"빅데이터 분석 속도 최대 100배 빨라져"

빅데이터 분석이 100배 빨라진다. 비정형과 반정형 데이터를 저장하고 분석할 수 있는 새로운 컬럼DB 엔진 기술과 대시보드 드릴다운 기능, 3D 글로브 및 3D 링크-그래프, 트리맵 등을 이용한 직관적 시각화와 다차원 분석 방법이 동원된 새로운 분석기법이 등장했기 때문이다.

데이터 기반 인프라 기술과 솔루션 전문기업 이디엄(대표 양봉열)이 빅데이터 분석을 실시간으로 지원하는 '로그프레소 엔터프라이즈'(Logpresso Enterprise) 최신 버전을 출시했다. 이디엄은 22일 빅데이터 분석의 최신 기술 트렌드를 반영해 분석 속도가 최대 100배 이상 빨라졌다고 설명했다.

로그프레소는 IT 인프라에서 발생하는 다양한 데이터의 수집부터 저장, 분석 및 시각화에 이르는 전체 과정을 통합한 솔루션으로 이를 통해 데이터를 다양한 목적으로 쉽고 간편하게 활용할 수 있다.

로그프레소 최신 버전은 100배 이상의 데이터 분석 성능을 제공하는 컬럼DB 기술과 탐색적 데이터 분석을 지원하는 대시보드 드릴다운 기능을 기반으로 각종 정형·비정형 데이터에 대한 실시간 비즈니스 인텔리전스를 제공한다.

양봉열 이디엄 대표는 "로그프레소는 통신로그분석, 서비스 품질관제, 통합보안관제, 실시간 이상금융거래탐지 등 다양한 분야에 적용돼왔다"며 "컬럼DB 기술을 이용해 이러한 시스템들의 분석 능력을 고도화하고 수십 만대 이상의 셋톱박스, IoT 센서 등에서 발생하는 실시간 데이터 분석 요구에 대응할 수 있을 것으로 예상한다"고 말했다.

빅데이터를 실시간으로 분석하는 컬럼DB 기술이란, 기존 컬럼 지향 DBMS가 고속 분석을 수행하지만 테이블 스키마가 고정돼있어 형태가 다양한 빅 데이터를 처리하는 데에 어려웠던 점을 개선한 새로운 기술이다. 이디엄은 스키마리스 방식으로 데이터를 저장하고 분석할 수 있는 컬럼 스토리지 기술을 개발했다. 그 결과 비정형·반정형 데이터도 컬럼DB 기술로 고속 분석할 수 있게 됐다. 더불어 데이터 암호화를 적용할 경우, 분석 작업에 필요한 컬럼만 복호화할 수 있도록 해 보안성을 유지하면서도 고속 분석 성능을 유지할 수 있도록 했다.

또한 지연 평가와 SIMD(Single Instruction Multiple Data; 하나의 명령어로 여러 개의 값을 동시에 계산하는 병렬 프로세서의 한 방식) 기술 등을 쿼리 엔진에 추가로 적용했다. 데이터 분석 시 쿼리에서 참조하는 일부 컬럼만 읽어 들여 부하를 줄이고 최신 프로세서에서 제공하는 SIMD 기술을 이용해 연산을 가속함으로써 빠른 데이터 분석이 가능해졌다.

탐색적 데이터 분석을 지원하는 대시보드 드릴다운이란, 써머리 테이블이나 리포팅 쿼리 가속을 이용하는 단순한 실시간 대시보드를 넘어 엔진 차원의 성능 향상을 통해 빅 데이터의 탐색적 분석과 시각화를 실시간으로 지원하는 대시보드 드릴다운 기능을 의미한다.

로그프레소 새 버전에는 또한 3D 링크 그래프, 3D 글로브, 트리맵 등 다양한 위젯이 추가돼, 이를 이용한 직관적인 데이터 시각화 및 다차원 드릴다운 분석이 가능해졌다. 이와 같은 개선 사항과 기존에 제공하던 실시간 데이터 수집, 실시간 데이터 처리 및 분석 기능을 결합한 로그프레소 최신 버전은 정형·비정형 스트림 데이터에 대한 실시간 비즈니스 인텔리전스를 제공할 것으로 기대된다.

이규화 선임기자 david@dt.co.kr

http://www.dt.co.kr/contents.html?article_no=2016092302101252660001

둘러보기

더보기

빅데이터 기반 실시간 모니터링… 대포통장 한달새 4건 적발 결실

증권업계 IT가 '확' 달라졌다. 과거 보안시스템 미비와 낙후된 인프라에서 벗어나 빅데이터부터 인공지능(AI), 오픈뱅킹, 클라우드, 블록체인까지 첨단 IT기술을 경쟁적으로 도입하며 금융혁신을 본격화하고 있다. 이에 주요 증권사의 IT담당 임원들을 만나 신기술 도입 계획과 최근의 성과 등을 직접 들어본다. 첫회로 빅데이터로 대포통장 사냥에 나선 NH투자증권의 백종우 정보보호최고책임자(CISO, 상무)를 만났다. "빅데이터로 수상한 계좌 정보를 실시간으로 자동 탐색하니 적중률도 높아지고 대포통장 적발에 투입됐던 인력이나 시간도 크게 줄었습니다." 13일 서울 여의도 NH농협재단 사무실에서 만난 백종우 NH투자증권 정보보호최고책임자(CISO, 상무·사진)는 최근 구축한 빅데이터 기반 대포통장 모니터링 시스템의 성과를 이 같이 소개했다. 백 상무가 이끄는 NH투자증권 정보보호부는 지난달 9일 빅데이터 기반의 대포통장 모니터링 시스템을 업계 최초로 구축, 이 시스템을 통해 최근 한 달 동안 4건의 대포통장을 적발하는데 성공했다. NH투자증권의 대포통장 모니터링 시스템은 지난 2014년 구축했던 이상거래탐지시스템(FDS)을 업그레이드한 것이다. 당시부터 NH투자증권은 타 증권사들과 달리 '빅데이터'를 접목하는데 주목했다. 갈수록 교묘해지는 이상 거래 징후를 실질적으로 포착하기 위해서는 단편적인 방식의 FDS가 한계가 있다는 판단에서다. 백 상무는 "대포통장의 특성상 기존 거래를 안 하던 계좌에서 갑자기 거래가 발생하거나 CD기에서 입금한 직후 자동이체 혹은 직접 지점을 방문해 바로 출금을 해가는 경우가 많아 계좌 중심으로 거래 데이터의 상관관계를 분석하는 빅데이터가 필요했다"고 말했다. 이어 "2014년 당시 6개 증권사가 공동으로 솔루션을 구매해 FDS를 구축하자는 논의를 금융투자협회 중심으로 진행했었으나 이때 제시된 솔루션에는 빅데이터가 빠져있었다"며 "우리는 빅데이터가 당시에도, 향후에도 굉장히 중요하다는 판단을 했고 독자 구축을 진행했다"고 덧붙였다. 대포통장 모니터링 시스템은 방대한 수집데이터에 대포통장의 특성을 반영한 자체 룰 30~40여개, 시나리오 10여개를 적용하고 의심 계좌로 여겨질 경우 업무지원부 모니터링 담당자에게 메시지를 통해 알린다. 담당자는 걸러진 계좌 정보를 확인하고 은행연합회 등에 계좌 정보를 전송하고 은행연합회는 해당 금융기관에 확인을 요청한 후 지급 정지 등의 조치를 내린다. 빅데이터 기반의 대포통장 모니터링 시스템은 무엇보다 기존 투입해야 했던 시간과 인력 등 비용을 대폭 줄였다. 기존 FDS의 경우 일 40만건의 이상거래 징후를 수집하는 반면, 대포통장 모니터링 시스템은 일 70만건 이상을 들여다 볼 수 있다. 이상 거래를 포착하기 위해 수집되는 데이터의 범위도 기존 비대면 채널 계좌 거래 정보에서 지점이나 CD·ATM 등 모든 계좌 거래 내용과 금융결제원 의심유의 계좌, 일시 인출정지 계좌 등 광범위하게 확대됐다. 탐지방법의 경우 이체 전 추가인증 단계뿐 아니라 본거래, 과거이력까지 동시 다발적으로 이뤄지기 때문에 정확도가 높아진다. 백 상무는 "기존에는 대포통장 모니터링이 업무지원부 2명이 하루 300~500건에 이르는 이상 징후 계좌를 하나하나 들여다보는 수작업으로 이뤄졌는데 하루 종일 매달려서 해도 다 보는 것은 무리가 있었다"며 "그러던 것이 자동화 시스템을 통해 한 명이 한 두 시간 정도 매달려 하루 평균 70건 정도만 확인해보면 되는 방식으로 바뀌었다"고 말했다. 앞선 기술 도입이 가능했던 배경은 전사적인 지원 덕분이다. 대포통장 모니터링 시스템을 구축하는 데 투입된 비용은 무려 10억원에 이른다. NH투자증권은 이달부터 각종 보안 솔루션에서 발생하는 로그 데이터 등의 상관관계를 하나의 시스템에서 분석할 수 있는 통합 모니터링 시스템 구축도 시작했다. 백 상무는 "금융권의 개인정보 유출 문제나 불법 거래 등이 만연해지면서 신뢰도가 하락했었는데 이를 극복하고 평판을 개선하기 위해 대대적인 투자를 했다"며 "12월 초 통합 모니터링 시스템을 개시해 더욱 강화된 보안 기술을 보여줄 수 있을 것"이라고 말했다. 김유정기자 clickyj@ [http://www.dt.co.kr/contents.html?article_no=2016061402100658759001](http://www.dt.co.kr/contents.html?article_no=2016061402100658759001)

2016-06-13

이디엄, BSMIT 협력 통해 로보어드바이저 시장 진출

이디엄(대표이사 양봉열)은 로보어드바이저 서비스 ‘파봇’을 운영하는 BSMIT와 로보어드바이저 기술 협력에 대한 업무협약(MOU)을 체결했다고 밝혔다. 이번 협약으로 양사가 보유한 실시간 빅데이터 분석, 머신러닝, 예측분석, 이상 징후 분석, 시장 대응형 투자엔진 등 다양한 기술을 활용하여 로보어드바이저 기술을 공동 개발하게 되며 이를 기반으로 로보어드바이저 서비스 ‘파봇’을 이용하는 고객들에게 보다 다양한 서비스를 제공할 예정이다. 빅데이터 분석 플랫폼 시장을 선도하는 이디엄과 로보어드바이저 시장의 대표 스타트업인 BSMIT의 이번 협력을 통해 양사는 로보어드바이저 시장의 주도권을 확대할 서비스와 기술을 만들어갈 수 있을 것으로 기대하고 있다. 변인선 BSMIT 대표는 “급변하는 금융시장에서 파봇은 안정성을 최우선 가치로 고객의 자산을 꾸준히 성장시켜 왔다”며 “데이터가 급격하게 변화하는 금융 환경에서 이디엄과 함께 고객의 다양한 요구사항을 만족시킬 수 있는 서비스를 개발하여 로보어드바이저 시장을 빠르게 성장시킬 것”이라고 말했다. 양봉열 이디엄 대표는 “그동안 금융권에서 이상 거래 탐지 시스템, 대포 통장 탐지 시스템 등으로 검증된 로그프레소의 성능과 안정성을 로보어드바이저를 통해서도 선보일 수 있게 되었다”며 “이번 협력을 계기로 로그프레소의 기술력을 한 단계 업그레이드 하는 동시에 스타트업 간의 협력에 기반한 성장 모델을 보여줄 것”이라고 밝혔다. 데이터넷(http://www.datanet.co.kr) [http://www.datanet.co.kr/news/articleView.html?idxno=107867](http://www.datanet.co.kr/news/articleView.html?idxno=107867)

2017-02-23

이디엄, 빅데이터 분석 솔루션 GS 인증 1등급 획득

이디엄(대표 양봉열)은 빅데이터 솔루션 ‘로그프레소(Logpresso)’가 한국정보통신기술협회(TTA)로부터 GS인증 1등급을 획득했다고 16일 밝혔다. GS인증은 국제 품질평가 모델 ISO/IEC 916, 25041, 25051을 기반으로 국가가 소프트웨어 품질을 평가하고 인증하는 제도다. 로그프레소는 기업 IT 인프라에서 빅데이터를 수집, 분석, 시각화 할 수 있는 소프트웨어로, 엔터프라이즈 환경에서 발생하는 다양한 데이터 수집부터 저장, 분석, 시각화에 이르는 전체 과정을 효율적으로 통합하고, 실시간으로 다양한 분석을 수행할 수 있는 솔루션이다. 특히 실시간으로 대용량 데이터 분석을 수행할 수 있는 여러 기능을 내장하고 있어 실시간 빅데이터 분석이 필요한 각종 산업 영역에서 적극적으로 도입되고 있다. 2013년 첫 버전이 발표된 이래로 컴플라이언스를 위한 대용량 로그 관리, 빅데이터 보안관제, 서비스 품질 관리, 개인정보 유출 탐지, 실시간 이상 거래 탐지, 생산 공정 품질 데이터 분석 등 다양한 목적을 위해 활용되고 있다. 로그프레소는 GS 인증 평가를 통해 ▲기능성 ▲신뢰성 ▲사용성 ▲효율성 ▲유지보수성 ▲이식성 등 다양한 기준에 대한 기능평가 및 현장조사를 모두 충족하여 1등급 인증을 받았다. [http://www.datanet.co.kr/news/articleView.html?idxno=102930](http://www.datanet.co.kr/news/articleView.html?idxno=102930)

2016-08-16