"빅데이터 분석 속도 최대 100배 빨라져"

빅데이터 분석이 100배 빨라진다. 비정형과 반정형 데이터를 저장하고 분석할 수 있는 새로운 컬럼DB 엔진 기술과 대시보드 드릴다운 기능, 3D 글로브 및 3D 링크-그래프, 트리맵 등을 이용한 직관적 시각화와 다차원 분석 방법이 동원된 새로운 분석기법이 등장했기 때문이다.

데이터 기반 인프라 기술과 솔루션 전문기업 이디엄(대표 양봉열)이 빅데이터 분석을 실시간으로 지원하는 '로그프레소 엔터프라이즈'(Logpresso Enterprise) 최신 버전을 출시했다. 이디엄은 22일 빅데이터 분석의 최신 기술 트렌드를 반영해 분석 속도가 최대 100배 이상 빨라졌다고 설명했다.

로그프레소는 IT 인프라에서 발생하는 다양한 데이터의 수집부터 저장, 분석 및 시각화에 이르는 전체 과정을 통합한 솔루션으로 이를 통해 데이터를 다양한 목적으로 쉽고 간편하게 활용할 수 있다.

로그프레소 최신 버전은 100배 이상의 데이터 분석 성능을 제공하는 컬럼DB 기술과 탐색적 데이터 분석을 지원하는 대시보드 드릴다운 기능을 기반으로 각종 정형·비정형 데이터에 대한 실시간 비즈니스 인텔리전스를 제공한다.

양봉열 이디엄 대표는 "로그프레소는 통신로그분석, 서비스 품질관제, 통합보안관제, 실시간 이상금융거래탐지 등 다양한 분야에 적용돼왔다"며 "컬럼DB 기술을 이용해 이러한 시스템들의 분석 능력을 고도화하고 수십 만대 이상의 셋톱박스, IoT 센서 등에서 발생하는 실시간 데이터 분석 요구에 대응할 수 있을 것으로 예상한다"고 말했다.

빅데이터를 실시간으로 분석하는 컬럼DB 기술이란, 기존 컬럼 지향 DBMS가 고속 분석을 수행하지만 테이블 스키마가 고정돼있어 형태가 다양한 빅 데이터를 처리하는 데에 어려웠던 점을 개선한 새로운 기술이다. 이디엄은 스키마리스 방식으로 데이터를 저장하고 분석할 수 있는 컬럼 스토리지 기술을 개발했다. 그 결과 비정형·반정형 데이터도 컬럼DB 기술로 고속 분석할 수 있게 됐다. 더불어 데이터 암호화를 적용할 경우, 분석 작업에 필요한 컬럼만 복호화할 수 있도록 해 보안성을 유지하면서도 고속 분석 성능을 유지할 수 있도록 했다.

또한 지연 평가와 SIMD(Single Instruction Multiple Data; 하나의 명령어로 여러 개의 값을 동시에 계산하는 병렬 프로세서의 한 방식) 기술 등을 쿼리 엔진에 추가로 적용했다. 데이터 분석 시 쿼리에서 참조하는 일부 컬럼만 읽어 들여 부하를 줄이고 최신 프로세서에서 제공하는 SIMD 기술을 이용해 연산을 가속함으로써 빠른 데이터 분석이 가능해졌다.

탐색적 데이터 분석을 지원하는 대시보드 드릴다운이란, 써머리 테이블이나 리포팅 쿼리 가속을 이용하는 단순한 실시간 대시보드를 넘어 엔진 차원의 성능 향상을 통해 빅 데이터의 탐색적 분석과 시각화를 실시간으로 지원하는 대시보드 드릴다운 기능을 의미한다.

로그프레소 새 버전에는 또한 3D 링크 그래프, 3D 글로브, 트리맵 등 다양한 위젯이 추가돼, 이를 이용한 직관적인 데이터 시각화 및 다차원 드릴다운 분석이 가능해졌다. 이와 같은 개선 사항과 기존에 제공하던 실시간 데이터 수집, 실시간 데이터 처리 및 분석 기능을 결합한 로그프레소 최신 버전은 정형·비정형 스트림 데이터에 대한 실시간 비즈니스 인텔리전스를 제공할 것으로 기대된다.

이규화 선임기자 david@dt.co.kr

http://www.dt.co.kr/contents.html?article_no=2016092302101252660001

둘러보기

더보기

“머신러닝 이용해 보안 관제 기술력 업그레이드”

올해 IT 업계에서 가장 주목하는 키워드는 ‘인공지능(AI)’이다. 통번역 시스템, 자율주행자동차, 투자 컨설팅, 의료 진단 등 거의 모든 영역에 AI가 사용될 수 있다. 장애·재해를 예측하고, 정교하게 설계된 사기범죄를 찾아내며, 은밀하게 진행되는 사이버 공격도 탐지할 수 있다. 양봉열 이디엄 대표이사는 “지난해부터 머신러닝을 이용한 다양한 기술과 서비스가 등장하고 있으며, 특히 보안 분야에서 머신러닝을 이용한 이상행위/이상징후 분석 등의 영역에서 실효적으로 사용될 수 있을 것으로 기대된다”고 말했다. 이디엄은 이상징후 탐지 솔루션 ‘로그프레소 소나’를 출시하고 보안관제 기술력을 한층 업그레이드하고 있다. 이디엄의 대표 솔루션 로그프레소는 SIEM과 같은 보안 모니터링 솔루션에 사용되고 있으며, 보안관제 시스템에도 로그프레소가 다수 적용됐다. 로그프레소 소나는 머신러닝을 이용한 이상징후 탐지를 통해 보안관제 시스템의 탐지 효과를 높일 수 있을 것으로 자신하고 있다. 통합로그분석 솔루션 기업들도 머신러닝을 적용한 이상행위 탐지 솔루션을 제공하고 있지만, 실제 운영환경에서는 머신러닝이 아니라 통계 기반 분석 알고리즘을 사용하고 있으며, 시나리오와 룰을 기준으로 이상행위를 찾아낸다. 양 대표는 “머신러닝을 보안 시스템에 적용한 수준을 살펴보면 경쟁사보다 이디엄이 훨씬 앞서있다”며 “이상행위 탐지 솔루션 ‘로그프레소 소나’는 오탐을 줄이기 위해 탐지된 이벤트가 실제 유효한 이벤트인지 판단한 후 다시 학습시키는 과정을 반복해 머신러닝의 이상을 구현해나가고 있다”고 밝혔다. **탁월한 스트리밍 성능으로 대용량 데이터 처리** 이디엄의 로그프레소는 탁월한 스트리밍 성능을 제공하며, 데이터의 수집, 탐색, 분석, 모델링, 배포하는 전체 사이클을 하나의 플랫폼에서 구현할 수 있다. 보안관제 뿐 아니라 통신사, 일반 기업과 공공기관에서 다양한 용도로 사용하고 있다. LG U+는 로그프레소를 이용해 하루 10~15TB에 이르는 LTE 데이터를 처리하고 있으며, 인터넷 포털 등도 로그프레소의 장기 고객이다. 한국전력에서는 공장의 휴폐업 징후를 원격으로 검침해 전력요금 미수 발생 가능성이 높은 상점을 관리하는 시스템을 운영하고 있는데, 여기에 로그프레소가 적용됐다. 국내 대형 제조기업과 IoT를 이용한 물류관리 시스템 구축을 개발하고 있으며, 금융기관의 이상거래탐지(FDS) 시스템에도 적용됐다. FDS 전문기업 데이터밸류는 로그프레소 엔진을 이용해 FDS 솔루션을 개발해 시장에 공급하고 있는데, 이 제품은 실시간성 요건과 행위기반 프로파일링 룰 개발 및 적용 효과가 탁월하다는 평가를 받는다. 외산 솔루션의 윈백 사례도 최근 발생하고 있다. 국내 대형 제조기업에서 복수의 시스템을 연결해 보안관제 시스템을 구축하고자 했는데, 외산 솔루션으로는 데이터 정합성이 맞지 않고 속도가 느려 해당 기업의 환경에 적합하지 않았다. 이디엄의 로그프레소는 여러 시스템의 데이터를 통합해 분석할 수 있으며, 실시간에 가까운 빠른 분석속도를 제공한다는 사실을 인정받아 해당 기업에 납품됐다. **기술 중심 기업으로 자리매김** 양 대표는 “오픈소스 빅데이터 분석 기술을 이용해 고객에게 커스터마이징하는 기업도 많이 있지만, 이 같은 방식으로는 대용량 분석이나 스트리밍 처리, 고속 인덱싱 검색, 컬럼 DB 아키텍처 등을 지원하지 못한다”며 “이디엄은 자체 개발한 빅데이터 분석 기술을 이용해 고객의 요구에 최적화된 기술을 제공한다”고 말했다. 한편 이디엄은 로그프레소 소나를 클라우드를 통해 공급해 중소·중견기업에서도 사용할 수 있도록 할 계획이다. 빅데이터 분석 기술은 전문조직을 운영할 수 있는 대형 엔터프라이즈에서만 사용한다는 한계가 있었지만, 로그프레소 소나 클라우드 버전은 프리셋 된 룰을 기반으로 운영해 전문지식 없는 소규모 조직에서도 쉽게 이용할 수 있다. 양 대표는 “다양한 산업과 규모의 고객들이 로그프레소를 이용해 비즈니스와 보안을 한 차원 업그레이드 할 수 있는 계기를 만들기를 바란다”며 “이디엄은 설립부터 지금까지 기술에만 매진해 온 기업으로, 전략적인 연구개발을 통해 빠르게 진화하는 빅데이터 기술 시장을 이끌어나가겠다”고 밝혔다. [http://www.datanet.co.kr/news/articleView.html?idxno=109070](http://www.datanet.co.kr/news/articleView.html?idxno=109070)

2017-03-23

서울시, 차세대 보안관제 구축…차세대는 무엇이 다른가?

보안이 무너지고 있다. 개인정보 유출 등 지난 몇 년간 정보보안 사고가 크게 늘어나면서 전통적인 경계보안의 한계와 문제점이 도출되고 있다. 특히 민감한 정보를 다루는 공공기관 같은 정보시설 등은 특정 정보를 빼내갈 목적으로 진행되는 APT공격의 표적이 되기가 쉽다. 갈수록 지능화되고 고도화되고 있는 APT공격은 암처럼 번지고 있다. 이에 보안업계에서는 각사별 APT 대응 솔루션으로 앞다퉈 APT 대응체계를 갖추고 있지만 확실한 대안이 나오고 있진 않다. 이에 주목받는 기술로 빅데이터 엔진을 활용한 공격 패턴 분석으로 사이버 공격을 사전에 방지하는 방법이 떠오르고 있다. 보안업계 관계자는 “APT 공격은 단기간에 준비해 실행하는 것이 아니라 장기간에 걸쳐 준비되고 이런 공격을 탐지하기 위해선 각종 대용량 데이터를 신속하게 분석할 수 있는 대용량 통계분석이 필요하다”며 “이런 대용량 통계분석 기능 위에 각종 시나리오로 분석을 수행할 수 있어야 된다”고 설명했다. 빅데이터 분석을 통해 로그를 통합, 관리하고 보안 위협을 종합적으로 대응하거나 보안사고시 상황을 빠르게 인지하고 분석하며 즉각 대처할 수 있는 삼박자가 맞아야 되는 필요성이 대두되고 있는 상황이다. 이러한 가운데 지난 5월 서울시청은 ‘서울 통합보안관제센터 이전 및 차세대 보안관제시스템 구축’ 사업을 선정한 바 있다. 서울 외에 부산도 차세대 보안관제 사업 선정을 조만간 진행할 예정이며 이외 많은 지자체에서도 지능화, 고도화된 사이버공격 위협으로부터 신속한 대응체계 구축을 위해 차세대 보안관제시스템을 준비중이다. 방화벽 등 다양한 이기종 로그를 신속하게 수집해 시나리오 기반 분석을 수행해 지능화·고도화된 사이버 위협에 대한 분석은 기본 대응체계를 확립하고자 하는 것이 주된 이유이다. 서울시가 진행하는 이번 사업은 서울시 전 기관에 대한 24시간 365일 보안관제 체계를 수립해 정보보안업무의 컨트롤 타워 구축을 통해 서울시 정보자산의 보호는 물론 시민에게 무중단 정보서비스를 제공하는 것이 목적이다. 특히 서울시측은 이번 보안 사업을 통해 전통적인 보안관제 체계를 넘어 사이버 공격 사전 예방, 침해사고 발생시 즉각 대응조치 등 보다 강화된 보안 관제를 수행하고자 하는데 가장 큰 목표로 하고 있다. 차세대가 붙은 이유는 바로 여기에 있다. 이 사업은 한솔넥스지와 이디엄 양사가 손을 잡고 사업을 수주했다. 두 기업의 선정이유는 바로 ‘빅데이터 역량’이다. 이디엄은 IT 인프라에서 발생하는 각종 데이터를 실시간으로 수집, 분석하는 역량을 지니고 있으며 한솔넥스지는 보안컨설팅, 취약점분석 등 보안관제에 필요한 뛰어난 역량과 더불어 자체적인 보안관제 방법론을 구축한 기업이다. 양사가 서울시가 구축하게 될 차세대 보안 관제시스템은 보안 시스템의 로그를 모아 살펴보는 것 그 이상을 의미한다. 구동언 이디엄 이사는 “차세대 보안 관제시스템은 보안 시스템 뿐만 아니라 사용자, 기기의 행위와 관련된 다양한 원천 데이터를 형태에 상관없이 수집한다”며 “이 모든 데이터를 각종 공격 유형에 해당되는지 확인하고 해당 사용자/기기의 과거 이력과 비교해 동료 사용자, 타 기기들의 이력과 비교해 이상행위인지 등을 판단하게 된다”고 말했다. 이어 “실시간 탐지, 대용량 통계분석, 프로파일링 기반 이상징후를 결합해 실시간으로 수집되는 다양한 유형의 데이터에 대해 실시간 이벤트 분석 및 복잡한 시나리오 기반의 분석을 할 수 있게 됨으로써 지능형 공격을 탐지할 수 있게 된다”고 덧붙였다. 특히 이디엄이 개발한 로그프레소가 가진 데이터 처리 역량이 높은 점수를 받았다. 로그프레소는 로그와 프레소의 합성어로 ‘데이터 핵심의 정수를 뽑아서 보여준다’는 뜻을 담고 있다. 구동언 이디엄 이사는 “로그프레소는 IT인프라에서 발생하는 다양한 데이터를 수집해 분석하고 한 눈에 시각화해서 보여주는 빅데이터 솔루션으로 통신, 금융, 공공 등 다양한 분야에서 활용되고 있다”고 설명했다. 특히 수집부터 시각화까지 의사결정에 필요한 모든 단계를 지원하고 전체 보안 현황을 확인할 수 있는 대시보드 형태의 웹 기반 UI를 제공하는 등의 메리트가 있어 국내 다양한 보안기업에서도 로그프레소를 활용해 보안 솔루션을 구축해 활용하고 있다. 각종 서버에서 쏟아지는 다양한 개인 정보 접근 로그를 업무 각 단계에서 수집해 개인정보 유출 및 오남용 이상 징후를 빠르게 인지하고 대응할 수 있는 점도 특징이다. 한편 한솔넥스지와 이디엄 양사는 다양한 산업 분야에서 선도적 빅데이터 보안 관제 모델을 만들어내 차별화된 정보보안 서비스를 제공할 계획이다. [http://www.cctvnews.co.kr/news/articleView.html?idxno=50854](http://www.cctvnews.co.kr/news/articleView.html?idxno=50854)

2016-06-21

빅데이터 이용 통합보안 전략 제시

빅데이터 전문기업 이디엄은 양봉열 대표(사진)가 오는 21일 열리는 IDG 콘퍼런스에서 빅데이터 보안관제 전략을 제시한다고 밝혔다. 양봉열 대표는 빅데이터 기반 통합 보안체계 구축 시 고려해야 할 사항을 짚어보고 한정된 인력으로 보안 체계를 통합 운영할 수 있는 방법을 제시할 예정이다. 2011년부터 개최돼온 'IDG 비즈니스 임팩트 & 빅데이터' 콘퍼런스는 올해 7회째를 맞아 '빅데이터, AI : 성공 비즈니스의 열쇠'라는 주제로 빅데이터, 인공지능, 머신러닝 등이 각 산업에서 어떻게 활용되고 있는지 살펴보는 세션을 갖는다. 양봉열 대표는 빅데이터를 이용한 통합 보안체계 구축을 주제로 이 세션에서 발표할 예정이다. 양 대표는 "단순한 외부 침해 관제를 위주로 이뤄졌던 통합 보안 관리는 애플리케이션 동작에 대한 가시성을 확보해 개인정보 오남용 탐지 등의 내부통제를 통합하고, 단순 탐지를 넘어 이상 거래를 실시간으로 대응 및 차단하는 보안 자동화 시대로 접어들고 있다"며 "통신사, 금융기관, 공공기관 등에서 안정성과 성능을 검증받은 '로그프레소' 기반 보안관제 구축 성공 사례를 바탕으로 통합 보안전략을 제시하겠다"고 밝혔다. '로그프레소'는 데이터를 기반으로 문제를 해결하고 가치를 창출할 수 있는 이디엄의 빅데이터 플랫폼이다. 이번 콘퍼런스에는 이디엄 외에도 이베이, 페이스북, 프로그, 에어비앤비, 현대중공업, 신한은행, 한국HPE, 파수닷컴 등이 빅데이터를 통한 비즈니스 혁신 사례를 발표할 예정이다. 이규화 선임기자 david@ [http://www.dt.co.kr/contents.html?article_no=2017020802109952660003](http://www.dt.co.kr/contents.html?article_no=2017020802109952660003)

2017-02-08