"빅데이터 분석 속도 최대 100배 빨라져"

빅데이터 분석이 100배 빨라진다. 비정형과 반정형 데이터를 저장하고 분석할 수 있는 새로운 컬럼DB 엔진 기술과 대시보드 드릴다운 기능, 3D 글로브 및 3D 링크-그래프, 트리맵 등을 이용한 직관적 시각화와 다차원 분석 방법이 동원된 새로운 분석기법이 등장했기 때문이다.

데이터 기반 인프라 기술과 솔루션 전문기업 이디엄(대표 양봉열)이 빅데이터 분석을 실시간으로 지원하는 '로그프레소 엔터프라이즈'(Logpresso Enterprise) 최신 버전을 출시했다. 이디엄은 22일 빅데이터 분석의 최신 기술 트렌드를 반영해 분석 속도가 최대 100배 이상 빨라졌다고 설명했다.

로그프레소는 IT 인프라에서 발생하는 다양한 데이터의 수집부터 저장, 분석 및 시각화에 이르는 전체 과정을 통합한 솔루션으로 이를 통해 데이터를 다양한 목적으로 쉽고 간편하게 활용할 수 있다.

로그프레소 최신 버전은 100배 이상의 데이터 분석 성능을 제공하는 컬럼DB 기술과 탐색적 데이터 분석을 지원하는 대시보드 드릴다운 기능을 기반으로 각종 정형·비정형 데이터에 대한 실시간 비즈니스 인텔리전스를 제공한다.

양봉열 이디엄 대표는 "로그프레소는 통신로그분석, 서비스 품질관제, 통합보안관제, 실시간 이상금융거래탐지 등 다양한 분야에 적용돼왔다"며 "컬럼DB 기술을 이용해 이러한 시스템들의 분석 능력을 고도화하고 수십 만대 이상의 셋톱박스, IoT 센서 등에서 발생하는 실시간 데이터 분석 요구에 대응할 수 있을 것으로 예상한다"고 말했다.

빅데이터를 실시간으로 분석하는 컬럼DB 기술이란, 기존 컬럼 지향 DBMS가 고속 분석을 수행하지만 테이블 스키마가 고정돼있어 형태가 다양한 빅 데이터를 처리하는 데에 어려웠던 점을 개선한 새로운 기술이다. 이디엄은 스키마리스 방식으로 데이터를 저장하고 분석할 수 있는 컬럼 스토리지 기술을 개발했다. 그 결과 비정형·반정형 데이터도 컬럼DB 기술로 고속 분석할 수 있게 됐다. 더불어 데이터 암호화를 적용할 경우, 분석 작업에 필요한 컬럼만 복호화할 수 있도록 해 보안성을 유지하면서도 고속 분석 성능을 유지할 수 있도록 했다.

또한 지연 평가와 SIMD(Single Instruction Multiple Data; 하나의 명령어로 여러 개의 값을 동시에 계산하는 병렬 프로세서의 한 방식) 기술 등을 쿼리 엔진에 추가로 적용했다. 데이터 분석 시 쿼리에서 참조하는 일부 컬럼만 읽어 들여 부하를 줄이고 최신 프로세서에서 제공하는 SIMD 기술을 이용해 연산을 가속함으로써 빠른 데이터 분석이 가능해졌다.

탐색적 데이터 분석을 지원하는 대시보드 드릴다운이란, 써머리 테이블이나 리포팅 쿼리 가속을 이용하는 단순한 실시간 대시보드를 넘어 엔진 차원의 성능 향상을 통해 빅 데이터의 탐색적 분석과 시각화를 실시간으로 지원하는 대시보드 드릴다운 기능을 의미한다.

로그프레소 새 버전에는 또한 3D 링크 그래프, 3D 글로브, 트리맵 등 다양한 위젯이 추가돼, 이를 이용한 직관적인 데이터 시각화 및 다차원 드릴다운 분석이 가능해졌다. 이와 같은 개선 사항과 기존에 제공하던 실시간 데이터 수집, 실시간 데이터 처리 및 분석 기능을 결합한 로그프레소 최신 버전은 정형·비정형 스트림 데이터에 대한 실시간 비즈니스 인텔리전스를 제공할 것으로 기대된다.

이규화 선임기자 david@dt.co.kr

http://www.dt.co.kr/contents.html?article_no=2016092302101252660001

둘러보기

더보기

빅데이터 이용 통합보안 전략 제시

빅데이터 전문기업 이디엄은 양봉열 대표(사진)가 오는 21일 열리는 IDG 콘퍼런스에서 빅데이터 보안관제 전략을 제시한다고 밝혔다. 양봉열 대표는 빅데이터 기반 통합 보안체계 구축 시 고려해야 할 사항을 짚어보고 한정된 인력으로 보안 체계를 통합 운영할 수 있는 방법을 제시할 예정이다. 2011년부터 개최돼온 'IDG 비즈니스 임팩트 & 빅데이터' 콘퍼런스는 올해 7회째를 맞아 '빅데이터, AI : 성공 비즈니스의 열쇠'라는 주제로 빅데이터, 인공지능, 머신러닝 등이 각 산업에서 어떻게 활용되고 있는지 살펴보는 세션을 갖는다. 양봉열 대표는 빅데이터를 이용한 통합 보안체계 구축을 주제로 이 세션에서 발표할 예정이다. 양 대표는 "단순한 외부 침해 관제를 위주로 이뤄졌던 통합 보안 관리는 애플리케이션 동작에 대한 가시성을 확보해 개인정보 오남용 탐지 등의 내부통제를 통합하고, 단순 탐지를 넘어 이상 거래를 실시간으로 대응 및 차단하는 보안 자동화 시대로 접어들고 있다"며 "통신사, 금융기관, 공공기관 등에서 안정성과 성능을 검증받은 '로그프레소' 기반 보안관제 구축 성공 사례를 바탕으로 통합 보안전략을 제시하겠다"고 밝혔다. '로그프레소'는 데이터를 기반으로 문제를 해결하고 가치를 창출할 수 있는 이디엄의 빅데이터 플랫폼이다. 이번 콘퍼런스에는 이디엄 외에도 이베이, 페이스북, 프로그, 에어비앤비, 현대중공업, 신한은행, 한국HPE, 파수닷컴 등이 빅데이터를 통한 비즈니스 혁신 사례를 발표할 예정이다. 이규화 선임기자 david@ [http://www.dt.co.kr/contents.html?article_no=2017020802109952660003](http://www.dt.co.kr/contents.html?article_no=2017020802109952660003)

2017-02-08

“머신러닝 이용해 보안 관제 기술력 업그레이드”

올해 IT 업계에서 가장 주목하는 키워드는 ‘인공지능(AI)’이다. 통번역 시스템, 자율주행자동차, 투자 컨설팅, 의료 진단 등 거의 모든 영역에 AI가 사용될 수 있다. 장애·재해를 예측하고, 정교하게 설계된 사기범죄를 찾아내며, 은밀하게 진행되는 사이버 공격도 탐지할 수 있다. 양봉열 이디엄 대표이사는 “지난해부터 머신러닝을 이용한 다양한 기술과 서비스가 등장하고 있으며, 특히 보안 분야에서 머신러닝을 이용한 이상행위/이상징후 분석 등의 영역에서 실효적으로 사용될 수 있을 것으로 기대된다”고 말했다. 이디엄은 이상징후 탐지 솔루션 ‘로그프레소 소나’를 출시하고 보안관제 기술력을 한층 업그레이드하고 있다. 이디엄의 대표 솔루션 로그프레소는 SIEM과 같은 보안 모니터링 솔루션에 사용되고 있으며, 보안관제 시스템에도 로그프레소가 다수 적용됐다. 로그프레소 소나는 머신러닝을 이용한 이상징후 탐지를 통해 보안관제 시스템의 탐지 효과를 높일 수 있을 것으로 자신하고 있다. 통합로그분석 솔루션 기업들도 머신러닝을 적용한 이상행위 탐지 솔루션을 제공하고 있지만, 실제 운영환경에서는 머신러닝이 아니라 통계 기반 분석 알고리즘을 사용하고 있으며, 시나리오와 룰을 기준으로 이상행위를 찾아낸다. 양 대표는 “머신러닝을 보안 시스템에 적용한 수준을 살펴보면 경쟁사보다 이디엄이 훨씬 앞서있다”며 “이상행위 탐지 솔루션 ‘로그프레소 소나’는 오탐을 줄이기 위해 탐지된 이벤트가 실제 유효한 이벤트인지 판단한 후 다시 학습시키는 과정을 반복해 머신러닝의 이상을 구현해나가고 있다”고 밝혔다. **탁월한 스트리밍 성능으로 대용량 데이터 처리** 이디엄의 로그프레소는 탁월한 스트리밍 성능을 제공하며, 데이터의 수집, 탐색, 분석, 모델링, 배포하는 전체 사이클을 하나의 플랫폼에서 구현할 수 있다. 보안관제 뿐 아니라 통신사, 일반 기업과 공공기관에서 다양한 용도로 사용하고 있다. LG U+는 로그프레소를 이용해 하루 10~15TB에 이르는 LTE 데이터를 처리하고 있으며, 인터넷 포털 등도 로그프레소의 장기 고객이다. 한국전력에서는 공장의 휴폐업 징후를 원격으로 검침해 전력요금 미수 발생 가능성이 높은 상점을 관리하는 시스템을 운영하고 있는데, 여기에 로그프레소가 적용됐다. 국내 대형 제조기업과 IoT를 이용한 물류관리 시스템 구축을 개발하고 있으며, 금융기관의 이상거래탐지(FDS) 시스템에도 적용됐다. FDS 전문기업 데이터밸류는 로그프레소 엔진을 이용해 FDS 솔루션을 개발해 시장에 공급하고 있는데, 이 제품은 실시간성 요건과 행위기반 프로파일링 룰 개발 및 적용 효과가 탁월하다는 평가를 받는다. 외산 솔루션의 윈백 사례도 최근 발생하고 있다. 국내 대형 제조기업에서 복수의 시스템을 연결해 보안관제 시스템을 구축하고자 했는데, 외산 솔루션으로는 데이터 정합성이 맞지 않고 속도가 느려 해당 기업의 환경에 적합하지 않았다. 이디엄의 로그프레소는 여러 시스템의 데이터를 통합해 분석할 수 있으며, 실시간에 가까운 빠른 분석속도를 제공한다는 사실을 인정받아 해당 기업에 납품됐다. **기술 중심 기업으로 자리매김** 양 대표는 “오픈소스 빅데이터 분석 기술을 이용해 고객에게 커스터마이징하는 기업도 많이 있지만, 이 같은 방식으로는 대용량 분석이나 스트리밍 처리, 고속 인덱싱 검색, 컬럼 DB 아키텍처 등을 지원하지 못한다”며 “이디엄은 자체 개발한 빅데이터 분석 기술을 이용해 고객의 요구에 최적화된 기술을 제공한다”고 말했다. 한편 이디엄은 로그프레소 소나를 클라우드를 통해 공급해 중소·중견기업에서도 사용할 수 있도록 할 계획이다. 빅데이터 분석 기술은 전문조직을 운영할 수 있는 대형 엔터프라이즈에서만 사용한다는 한계가 있었지만, 로그프레소 소나 클라우드 버전은 프리셋 된 룰을 기반으로 운영해 전문지식 없는 소규모 조직에서도 쉽게 이용할 수 있다. 양 대표는 “다양한 산업과 규모의 고객들이 로그프레소를 이용해 비즈니스와 보안을 한 차원 업그레이드 할 수 있는 계기를 만들기를 바란다”며 “이디엄은 설립부터 지금까지 기술에만 매진해 온 기업으로, 전략적인 연구개발을 통해 빠르게 진화하는 빅데이터 기술 시장을 이끌어나가겠다”고 밝혔다. [http://www.datanet.co.kr/news/articleView.html?idxno=109070](http://www.datanet.co.kr/news/articleView.html?idxno=109070)

2017-03-23

이디엄, BSMIT 협력 통해 로보어드바이저 시장 진출

이디엄(대표이사 양봉열)은 로보어드바이저 서비스 ‘파봇’을 운영하는 BSMIT와 로보어드바이저 기술 협력에 대한 업무협약(MOU)을 체결했다고 밝혔다. 이번 협약으로 양사가 보유한 실시간 빅데이터 분석, 머신러닝, 예측분석, 이상 징후 분석, 시장 대응형 투자엔진 등 다양한 기술을 활용하여 로보어드바이저 기술을 공동 개발하게 되며 이를 기반으로 로보어드바이저 서비스 ‘파봇’을 이용하는 고객들에게 보다 다양한 서비스를 제공할 예정이다. 빅데이터 분석 플랫폼 시장을 선도하는 이디엄과 로보어드바이저 시장의 대표 스타트업인 BSMIT의 이번 협력을 통해 양사는 로보어드바이저 시장의 주도권을 확대할 서비스와 기술을 만들어갈 수 있을 것으로 기대하고 있다. 변인선 BSMIT 대표는 “급변하는 금융시장에서 파봇은 안정성을 최우선 가치로 고객의 자산을 꾸준히 성장시켜 왔다”며 “데이터가 급격하게 변화하는 금융 환경에서 이디엄과 함께 고객의 다양한 요구사항을 만족시킬 수 있는 서비스를 개발하여 로보어드바이저 시장을 빠르게 성장시킬 것”이라고 말했다. 양봉열 이디엄 대표는 “그동안 금융권에서 이상 거래 탐지 시스템, 대포 통장 탐지 시스템 등으로 검증된 로그프레소의 성능과 안정성을 로보어드바이저를 통해서도 선보일 수 있게 되었다”며 “이번 협력을 계기로 로그프레소의 기술력을 한 단계 업그레이드 하는 동시에 스타트업 간의 협력에 기반한 성장 모델을 보여줄 것”이라고 밝혔다. 데이터넷(http://www.datanet.co.kr) [http://www.datanet.co.kr/news/articleView.html?idxno=107867](http://www.datanet.co.kr/news/articleView.html?idxno=107867)

2017-02-23