"빅데이터 분석 속도 최대 100배 빨라져"

빅데이터 분석이 100배 빨라진다. 비정형과 반정형 데이터를 저장하고 분석할 수 있는 새로운 컬럼DB 엔진 기술과 대시보드 드릴다운 기능, 3D 글로브 및 3D 링크-그래프, 트리맵 등을 이용한 직관적 시각화와 다차원 분석 방법이 동원된 새로운 분석기법이 등장했기 때문이다.

데이터 기반 인프라 기술과 솔루션 전문기업 이디엄(대표 양봉열)이 빅데이터 분석을 실시간으로 지원하는 '로그프레소 엔터프라이즈'(Logpresso Enterprise) 최신 버전을 출시했다. 이디엄은 22일 빅데이터 분석의 최신 기술 트렌드를 반영해 분석 속도가 최대 100배 이상 빨라졌다고 설명했다.

로그프레소는 IT 인프라에서 발생하는 다양한 데이터의 수집부터 저장, 분석 및 시각화에 이르는 전체 과정을 통합한 솔루션으로 이를 통해 데이터를 다양한 목적으로 쉽고 간편하게 활용할 수 있다.

로그프레소 최신 버전은 100배 이상의 데이터 분석 성능을 제공하는 컬럼DB 기술과 탐색적 데이터 분석을 지원하는 대시보드 드릴다운 기능을 기반으로 각종 정형·비정형 데이터에 대한 실시간 비즈니스 인텔리전스를 제공한다.

양봉열 이디엄 대표는 "로그프레소는 통신로그분석, 서비스 품질관제, 통합보안관제, 실시간 이상금융거래탐지 등 다양한 분야에 적용돼왔다"며 "컬럼DB 기술을 이용해 이러한 시스템들의 분석 능력을 고도화하고 수십 만대 이상의 셋톱박스, IoT 센서 등에서 발생하는 실시간 데이터 분석 요구에 대응할 수 있을 것으로 예상한다"고 말했다.

빅데이터를 실시간으로 분석하는 컬럼DB 기술이란, 기존 컬럼 지향 DBMS가 고속 분석을 수행하지만 테이블 스키마가 고정돼있어 형태가 다양한 빅 데이터를 처리하는 데에 어려웠던 점을 개선한 새로운 기술이다. 이디엄은 스키마리스 방식으로 데이터를 저장하고 분석할 수 있는 컬럼 스토리지 기술을 개발했다. 그 결과 비정형·반정형 데이터도 컬럼DB 기술로 고속 분석할 수 있게 됐다. 더불어 데이터 암호화를 적용할 경우, 분석 작업에 필요한 컬럼만 복호화할 수 있도록 해 보안성을 유지하면서도 고속 분석 성능을 유지할 수 있도록 했다.

또한 지연 평가와 SIMD(Single Instruction Multiple Data; 하나의 명령어로 여러 개의 값을 동시에 계산하는 병렬 프로세서의 한 방식) 기술 등을 쿼리 엔진에 추가로 적용했다. 데이터 분석 시 쿼리에서 참조하는 일부 컬럼만 읽어 들여 부하를 줄이고 최신 프로세서에서 제공하는 SIMD 기술을 이용해 연산을 가속함으로써 빠른 데이터 분석이 가능해졌다.

탐색적 데이터 분석을 지원하는 대시보드 드릴다운이란, 써머리 테이블이나 리포팅 쿼리 가속을 이용하는 단순한 실시간 대시보드를 넘어 엔진 차원의 성능 향상을 통해 빅 데이터의 탐색적 분석과 시각화를 실시간으로 지원하는 대시보드 드릴다운 기능을 의미한다.

로그프레소 새 버전에는 또한 3D 링크 그래프, 3D 글로브, 트리맵 등 다양한 위젯이 추가돼, 이를 이용한 직관적인 데이터 시각화 및 다차원 드릴다운 분석이 가능해졌다. 이와 같은 개선 사항과 기존에 제공하던 실시간 데이터 수집, 실시간 데이터 처리 및 분석 기능을 결합한 로그프레소 최신 버전은 정형·비정형 스트림 데이터에 대한 실시간 비즈니스 인텔리전스를 제공할 것으로 기대된다.

이규화 선임기자 david@dt.co.kr

http://www.dt.co.kr/contents.html?article_no=2016092302101252660001

둘러보기

더보기

빅데이터 기반 실시간 모니터링… 대포통장 한달새 4건 적발 결실

증권업계 IT가 '확' 달라졌다. 과거 보안시스템 미비와 낙후된 인프라에서 벗어나 빅데이터부터 인공지능(AI), 오픈뱅킹, 클라우드, 블록체인까지 첨단 IT기술을 경쟁적으로 도입하며 금융혁신을 본격화하고 있다. 이에 주요 증권사의 IT담당 임원들을 만나 신기술 도입 계획과 최근의 성과 등을 직접 들어본다. 첫회로 빅데이터로 대포통장 사냥에 나선 NH투자증권의 백종우 정보보호최고책임자(CISO, 상무)를 만났다. "빅데이터로 수상한 계좌 정보를 실시간으로 자동 탐색하니 적중률도 높아지고 대포통장 적발에 투입됐던 인력이나 시간도 크게 줄었습니다." 13일 서울 여의도 NH농협재단 사무실에서 만난 백종우 NH투자증권 정보보호최고책임자(CISO, 상무·사진)는 최근 구축한 빅데이터 기반 대포통장 모니터링 시스템의 성과를 이 같이 소개했다. 백 상무가 이끄는 NH투자증권 정보보호부는 지난달 9일 빅데이터 기반의 대포통장 모니터링 시스템을 업계 최초로 구축, 이 시스템을 통해 최근 한 달 동안 4건의 대포통장을 적발하는데 성공했다. NH투자증권의 대포통장 모니터링 시스템은 지난 2014년 구축했던 이상거래탐지시스템(FDS)을 업그레이드한 것이다. 당시부터 NH투자증권은 타 증권사들과 달리 '빅데이터'를 접목하는데 주목했다. 갈수록 교묘해지는 이상 거래 징후를 실질적으로 포착하기 위해서는 단편적인 방식의 FDS가 한계가 있다는 판단에서다. 백 상무는 "대포통장의 특성상 기존 거래를 안 하던 계좌에서 갑자기 거래가 발생하거나 CD기에서 입금한 직후 자동이체 혹은 직접 지점을 방문해 바로 출금을 해가는 경우가 많아 계좌 중심으로 거래 데이터의 상관관계를 분석하는 빅데이터가 필요했다"고 말했다. 이어 "2014년 당시 6개 증권사가 공동으로 솔루션을 구매해 FDS를 구축하자는 논의를 금융투자협회 중심으로 진행했었으나 이때 제시된 솔루션에는 빅데이터가 빠져있었다"며 "우리는 빅데이터가 당시에도, 향후에도 굉장히 중요하다는 판단을 했고 독자 구축을 진행했다"고 덧붙였다. 대포통장 모니터링 시스템은 방대한 수집데이터에 대포통장의 특성을 반영한 자체 룰 30~40여개, 시나리오 10여개를 적용하고 의심 계좌로 여겨질 경우 업무지원부 모니터링 담당자에게 메시지를 통해 알린다. 담당자는 걸러진 계좌 정보를 확인하고 은행연합회 등에 계좌 정보를 전송하고 은행연합회는 해당 금융기관에 확인을 요청한 후 지급 정지 등의 조치를 내린다. 빅데이터 기반의 대포통장 모니터링 시스템은 무엇보다 기존 투입해야 했던 시간과 인력 등 비용을 대폭 줄였다. 기존 FDS의 경우 일 40만건의 이상거래 징후를 수집하는 반면, 대포통장 모니터링 시스템은 일 70만건 이상을 들여다 볼 수 있다. 이상 거래를 포착하기 위해 수집되는 데이터의 범위도 기존 비대면 채널 계좌 거래 정보에서 지점이나 CD·ATM 등 모든 계좌 거래 내용과 금융결제원 의심유의 계좌, 일시 인출정지 계좌 등 광범위하게 확대됐다. 탐지방법의 경우 이체 전 추가인증 단계뿐 아니라 본거래, 과거이력까지 동시 다발적으로 이뤄지기 때문에 정확도가 높아진다. 백 상무는 "기존에는 대포통장 모니터링이 업무지원부 2명이 하루 300~500건에 이르는 이상 징후 계좌를 하나하나 들여다보는 수작업으로 이뤄졌는데 하루 종일 매달려서 해도 다 보는 것은 무리가 있었다"며 "그러던 것이 자동화 시스템을 통해 한 명이 한 두 시간 정도 매달려 하루 평균 70건 정도만 확인해보면 되는 방식으로 바뀌었다"고 말했다. 앞선 기술 도입이 가능했던 배경은 전사적인 지원 덕분이다. 대포통장 모니터링 시스템을 구축하는 데 투입된 비용은 무려 10억원에 이른다. NH투자증권은 이달부터 각종 보안 솔루션에서 발생하는 로그 데이터 등의 상관관계를 하나의 시스템에서 분석할 수 있는 통합 모니터링 시스템 구축도 시작했다. 백 상무는 "금융권의 개인정보 유출 문제나 불법 거래 등이 만연해지면서 신뢰도가 하락했었는데 이를 극복하고 평판을 개선하기 위해 대대적인 투자를 했다"며 "12월 초 통합 모니터링 시스템을 개시해 더욱 강화된 보안 기술을 보여줄 수 있을 것"이라고 말했다. 김유정기자 clickyj@ [http://www.dt.co.kr/contents.html?article_no=2016061402100658759001](http://www.dt.co.kr/contents.html?article_no=2016061402100658759001)

2016-06-13

“머신러닝 이용해 보안 관제 기술력 업그레이드”

올해 IT 업계에서 가장 주목하는 키워드는 ‘인공지능(AI)’이다. 통번역 시스템, 자율주행자동차, 투자 컨설팅, 의료 진단 등 거의 모든 영역에 AI가 사용될 수 있다. 장애·재해를 예측하고, 정교하게 설계된 사기범죄를 찾아내며, 은밀하게 진행되는 사이버 공격도 탐지할 수 있다. 양봉열 이디엄 대표이사는 “지난해부터 머신러닝을 이용한 다양한 기술과 서비스가 등장하고 있으며, 특히 보안 분야에서 머신러닝을 이용한 이상행위/이상징후 분석 등의 영역에서 실효적으로 사용될 수 있을 것으로 기대된다”고 말했다. 이디엄은 이상징후 탐지 솔루션 ‘로그프레소 소나’를 출시하고 보안관제 기술력을 한층 업그레이드하고 있다. 이디엄의 대표 솔루션 로그프레소는 SIEM과 같은 보안 모니터링 솔루션에 사용되고 있으며, 보안관제 시스템에도 로그프레소가 다수 적용됐다. 로그프레소 소나는 머신러닝을 이용한 이상징후 탐지를 통해 보안관제 시스템의 탐지 효과를 높일 수 있을 것으로 자신하고 있다. 통합로그분석 솔루션 기업들도 머신러닝을 적용한 이상행위 탐지 솔루션을 제공하고 있지만, 실제 운영환경에서는 머신러닝이 아니라 통계 기반 분석 알고리즘을 사용하고 있으며, 시나리오와 룰을 기준으로 이상행위를 찾아낸다. 양 대표는 “머신러닝을 보안 시스템에 적용한 수준을 살펴보면 경쟁사보다 이디엄이 훨씬 앞서있다”며 “이상행위 탐지 솔루션 ‘로그프레소 소나’는 오탐을 줄이기 위해 탐지된 이벤트가 실제 유효한 이벤트인지 판단한 후 다시 학습시키는 과정을 반복해 머신러닝의 이상을 구현해나가고 있다”고 밝혔다. **탁월한 스트리밍 성능으로 대용량 데이터 처리** 이디엄의 로그프레소는 탁월한 스트리밍 성능을 제공하며, 데이터의 수집, 탐색, 분석, 모델링, 배포하는 전체 사이클을 하나의 플랫폼에서 구현할 수 있다. 보안관제 뿐 아니라 통신사, 일반 기업과 공공기관에서 다양한 용도로 사용하고 있다. LG U+는 로그프레소를 이용해 하루 10~15TB에 이르는 LTE 데이터를 처리하고 있으며, 인터넷 포털 등도 로그프레소의 장기 고객이다. 한국전력에서는 공장의 휴폐업 징후를 원격으로 검침해 전력요금 미수 발생 가능성이 높은 상점을 관리하는 시스템을 운영하고 있는데, 여기에 로그프레소가 적용됐다. 국내 대형 제조기업과 IoT를 이용한 물류관리 시스템 구축을 개발하고 있으며, 금융기관의 이상거래탐지(FDS) 시스템에도 적용됐다. FDS 전문기업 데이터밸류는 로그프레소 엔진을 이용해 FDS 솔루션을 개발해 시장에 공급하고 있는데, 이 제품은 실시간성 요건과 행위기반 프로파일링 룰 개발 및 적용 효과가 탁월하다는 평가를 받는다. 외산 솔루션의 윈백 사례도 최근 발생하고 있다. 국내 대형 제조기업에서 복수의 시스템을 연결해 보안관제 시스템을 구축하고자 했는데, 외산 솔루션으로는 데이터 정합성이 맞지 않고 속도가 느려 해당 기업의 환경에 적합하지 않았다. 이디엄의 로그프레소는 여러 시스템의 데이터를 통합해 분석할 수 있으며, 실시간에 가까운 빠른 분석속도를 제공한다는 사실을 인정받아 해당 기업에 납품됐다. **기술 중심 기업으로 자리매김** 양 대표는 “오픈소스 빅데이터 분석 기술을 이용해 고객에게 커스터마이징하는 기업도 많이 있지만, 이 같은 방식으로는 대용량 분석이나 스트리밍 처리, 고속 인덱싱 검색, 컬럼 DB 아키텍처 등을 지원하지 못한다”며 “이디엄은 자체 개발한 빅데이터 분석 기술을 이용해 고객의 요구에 최적화된 기술을 제공한다”고 말했다. 한편 이디엄은 로그프레소 소나를 클라우드를 통해 공급해 중소·중견기업에서도 사용할 수 있도록 할 계획이다. 빅데이터 분석 기술은 전문조직을 운영할 수 있는 대형 엔터프라이즈에서만 사용한다는 한계가 있었지만, 로그프레소 소나 클라우드 버전은 프리셋 된 룰을 기반으로 운영해 전문지식 없는 소규모 조직에서도 쉽게 이용할 수 있다. 양 대표는 “다양한 산업과 규모의 고객들이 로그프레소를 이용해 비즈니스와 보안을 한 차원 업그레이드 할 수 있는 계기를 만들기를 바란다”며 “이디엄은 설립부터 지금까지 기술에만 매진해 온 기업으로, 전략적인 연구개발을 통해 빠르게 진화하는 빅데이터 기술 시장을 이끌어나가겠다”고 밝혔다. [http://www.datanet.co.kr/news/articleView.html?idxno=109070](http://www.datanet.co.kr/news/articleView.html?idxno=109070)

2017-03-23

이디엄, BSMIT 협력 통해 로보어드바이저 시장 진출

이디엄(대표이사 양봉열)은 로보어드바이저 서비스 ‘파봇’을 운영하는 BSMIT와 로보어드바이저 기술 협력에 대한 업무협약(MOU)을 체결했다고 밝혔다. 이번 협약으로 양사가 보유한 실시간 빅데이터 분석, 머신러닝, 예측분석, 이상 징후 분석, 시장 대응형 투자엔진 등 다양한 기술을 활용하여 로보어드바이저 기술을 공동 개발하게 되며 이를 기반으로 로보어드바이저 서비스 ‘파봇’을 이용하는 고객들에게 보다 다양한 서비스를 제공할 예정이다. 빅데이터 분석 플랫폼 시장을 선도하는 이디엄과 로보어드바이저 시장의 대표 스타트업인 BSMIT의 이번 협력을 통해 양사는 로보어드바이저 시장의 주도권을 확대할 서비스와 기술을 만들어갈 수 있을 것으로 기대하고 있다. 변인선 BSMIT 대표는 “급변하는 금융시장에서 파봇은 안정성을 최우선 가치로 고객의 자산을 꾸준히 성장시켜 왔다”며 “데이터가 급격하게 변화하는 금융 환경에서 이디엄과 함께 고객의 다양한 요구사항을 만족시킬 수 있는 서비스를 개발하여 로보어드바이저 시장을 빠르게 성장시킬 것”이라고 말했다. 양봉열 이디엄 대표는 “그동안 금융권에서 이상 거래 탐지 시스템, 대포 통장 탐지 시스템 등으로 검증된 로그프레소의 성능과 안정성을 로보어드바이저를 통해서도 선보일 수 있게 되었다”며 “이번 협력을 계기로 로그프레소의 기술력을 한 단계 업그레이드 하는 동시에 스타트업 간의 협력에 기반한 성장 모델을 보여줄 것”이라고 밝혔다. 데이터넷(http://www.datanet.co.kr) [http://www.datanet.co.kr/news/articleView.html?idxno=107867](http://www.datanet.co.kr/news/articleView.html?idxno=107867)

2017-02-23