토종 빅데이터 검색솔루션 외산 제쳐

3일 걸리던 일을 순식간에… 토종벤처 해냈다

빅데이터는 단순히 큰 데이터가 아니라 크고 많고 빠르고 복잡한 형태를 지닌 데이터를 말한다. 전에는 대부분 그냥 흘려보내거나 쌓아두기만 했다. 그러나 분석 기술의 발달로 정형이든 비정형이든 분석이 가능해졌고 서로 엮어 실시간으로 분석할 수 있는 플랫폼도 등장하고 있다. 빅데이터를 분석하기 시작하자 지금까지 발견하지 못했던 새로운 패턴이 드러나고 있다. 그 속에 다양한 의미가 내포돼 있다는 것을 알게 됐다. 데이터의 패턴 속에서 비즈니스에 필요한 인사이트를 얻을 뿐 아니라 데이터를 다루는 데 있어 보다 완벽한 보안체계를 구축할 수 있게 됐고 비용절감과 생산성 향상이 이뤄졌다. 이디엄(대표 양봉열)은 빅데이터 이슈와 함께 부상한 기업이다. 이디엄의 실시간 빅데이터 분석 시스템 `로그프레소'(LOGPRESSO)는 대용량 비정형 데이터를 실시간 수집ㆍ검색ㆍ분석ㆍ시각화해 기업의 의사결정을 돕는다. 이디엄은 지난 4월 쟁쟁한 외산을 물리치고 국내 L통신사가 발주한 실시간 서비스품질 모니터링 시스템의 빅데이터 분석 엔진 구축 사업자로 선정돼 업계를 놀라게 했다. 설립 1년밖에 안 된 신생벤처가 외산이 장악한 국내 빅데이터 검색솔루션 시장에, 그것도 통신3사 중 한 곳에 검색엔진을 제공함으로써 파장을 몰고 온 것이다. 이디엄은 최근 금융권 이상금융거래탐지시스템(FDS) 성능 업그레이드 BMT에서도 잇따라 수위를 차지했다. 금융권 FDS에서는 로그를 모두 모을 수 있어야 하고 실시간 행위를 들여다볼 수 있는 룰(rule) 엔진이 필요하다. 로그프레소는 이를 만족시킴으로써 현재 M, D 증권사와 도입 협상을 진행 중이다. 이디엄의 로그프레소가 승승장구하는 요인은 제품력이 뛰어나기 때문이다. 로그프레소는 데이터의 수집에서부터 유의미한 정보도출에 이르기까지 데이터의 전체 생명주기를 아우르는 모든 기능을 통합해 제공한다. 로그프레소를 도입하면 즉각 빅데이터 분석에 들어갈 수 있다. 기능이 통합돼 있고 기존 시스템과 뛰어난 호환성을 갖기 때문이다. 통신사에 엔진을 공급할 수 있었던 데는 외산 솔루션에 비해 5배 이상 빠른 데이터 분류 및 검색, 분석 능력이 작용했다. 로그프레소는 3일 이상 걸리던 분석시간을 초단위로 획기적으로 단축했다. 실시간 통신데이터 검색 및 분석이 가능해진 것이다. 빅데이터 분석을 위해서는 다양한 조건이 요구된다. 유닉스 윈도 등 상용서버 운영체제, 스위치 라우터 방화벽 IPS 등 네트워크, RDBS(관계형 데이터베이스) 등의 데이터와 웹 및 웹 앱 서버와 보안 및 응용프로그램의 로그 수집이 필요하다. 데이터 파싱(parsing) 및 정규화 등 다양한 포맷 처리도 능란해야 하고 수천만 건 이상의 방대한 대용량 로그를 고속으로 압축 전송하고 저장해야 한다. 여기에 개인정보 등 암호화와 데이터 위ㆍ변조 탐지, 실시간 풀 텍스트 검색과 데이터 분석 능력이 붙어야 한다. 이에 대한 해법으로서 이디엄의 로그프레소는 다수의 표준 프로토콜 및 에이전트를 지원하고 내장 파서(parser, 프로그램 구문 해석 알고리즘) 및 쿼리를 이용한 정규화를 채택했다. 국내외 대부분의 보안 솔루션과 장비의 로그 포맷에 대한 파서도 내장했다. 원본 대비 10% 크기의 에이전트 실시간 압축 전송을 지원하고 초당 80만 건의 고속 데이터를 저장할 수 있다. 임시 파일 생성 없이 실시간 암호화하고 무결성 검사도 지원한다. 실시간 풀텍스트 검색을 위해 다양한 인덱스 내장 방식을 취한다. 스트림 분석은 경쟁 제품이 따라오지 못하는 로그프레소만의 강점이다. 이벤트 컨텍스트 함수를 이용한 인 메모리 이벤트 연관 분석과 스트림 쿼리를 통한 실시간 스트리밍 데이터 분석은 폭증하는 미래 빅데이터 환경에 대비해 개발했다. 이러한 기술력과 스펙은 통합보안관제와 통합로그관리 솔루션 시장에서 로그프레소가 부상하는 배경이 됐다. 다양한 표준 프로토콜 지원은 물론, 예약된 쿼리를 통해 실시간 및 배치 ETL(데이터 추출 변환 적재)를 지원한다. 관계형 데이터베이스 데이터를 조합 분석하는 유연성도 뛰어나다. 운영관제에 필수적인 대시보드 구성을 손쉽게 하는 사용자 정의 대시보드 기능도 탁월하다. 하둡(HDFS)과 연동해 사용할 수 있으므로 하둡으로 수집한 데이터를 로그프레소를 이용해 추가적인 분석과 시각화를 수행한다. 로그프레소는 경찰청 도로교통공단 등 공공, 금융결제원 등 금융, L통신사 등 통신과 병원, 일반기업에 고른 레퍼런스를 확보하고 있다. 이규화선임기자 david@ [http://www.dt.co.kr/contents.html?article_no=2014062402011375660001](http://www.dt.co.kr/contents.html?article_no=2014062402011375660001)

2014-06-23

외산보다 10배 빠른 국산 빅데이터 검색엔진 나왔다

외산 빅데이터 검색엔진보다 10배 빠른 국산 제품이 등장했다. 스플렁크, 루씬 등 외산이 선점한 글로벌 빅데이터 시장에서 국산 엔진이 새로운 대안으로 부상할지 주목된다. 이디엄(대표 양봉열)은 빅데이터 검색엔진 '로그프레소'를 자체 기술로 개발해 출시했다고 20일 밝혔다. 로그프레소는 멀티코어 아키텍처 활용을 극대화한 제품으로, 인덱싱과 동시에 로그를 압축·저장하는 방식을 활용한다. 운영에 필요한 서버 수를 크게 줄일 수 있어 가격 경쟁력이 높다. 로그프레소는 스플렁크, 루씬 등 종전에 출시된 외산 솔루션보다 5~10배 빠른 속도로 로그를 읽고 인덱싱 할 수 있다. 초당 30만건(로그 300바이트 기준)의 로그를 실시간으로 인덱싱하며, 1테라바이트(TB)의 데이터가 쌓인 경우 특정 단어를 검색하는데 10~30초밖에 걸리지 않는다는 게 회사 측 설명이다. 외산 A 제품과 로그프레소를 자체 비교 실험한 결과 199만9194건의 로그(160바이트 기준)를 입력했을 때 A 제품은 평균 초당 8만9562건, 로그프레소는 48만492건의 인덱싱이 가능해 5배 이상 차이가 나는 것으로 나타났다. 이디엄은 다량의 로그가 쌓이는 통합 보안관제 시스템과 공장 제조라인 등을 중심으로 제품 보급이 이뤄질 것으로 기대했다. 로그프레소는 실시간 데이터 처리가 가능해 지속적인 관리가 요구되는 보안과 제조 분야에 우선 적용될 것이라는 설명이다. 우수한 기술을 인정받아 이미 국내 보안, 통합관제 업체 시스템에 적용이 늘어나는 추세다. 이디엄은 29세의 서울대학교 컴퓨터공학과 출신 양봉열 대표가 동료 2명과 함께 지난 3월 공동 창업한 스타트업 기업이다. 3명은 과거 보안 솔루션을 제공하는 벤처기업 '엔초비'를 설립해 운영한 경험을 바탕으로 이디엄을 새롭게 창업했다. 공개소프트웨어(SW) 기반 빅데이터 검색엔진은 성능에 한계가 있다고 판단해 4년여에 걸쳐 자체 기술로 로그프레소를 개발했고 관련 특허도 획득했다. 양봉열 대표는 “늘어나는 로그와 비정형 데이터 처리를 원하는 보안관제 시스템 및 네트워크 관제 업계와 생산라인 불량 원인을 분석하려는 제조업계에 로그프레소는 최고의 해결책이 될 것”이라며 “앞으로 확대될 빅데이터 산업에서 핵심 인프라 역할을 수행하겠다”고 말했다. 로그 인덱싱 속도 비교(단위:logs/sec) (자료:이디엄) 

2013-06-21

빅데이터 기술, 보안시장에서 '각광'

보안 영역이 빅데이터 기업의 '기회의 장'으로 부상하고 있다. 사이버 공격 고도화로 기존 보안 솔루션으로 대응이 어려워지면서 '빅데이터 기술'이 대안으로 떠오르고 있다. 26일 업계에 따르면 기업·공공기관의 빅데이터 기술 적용 보안사업 발주가 이어지면서 빅데이터 기업들이 보안시장 공략에 박차를 가하고 있다. 특히 정부통합전센산터가 발주한 '빅데이터를 활용한 통합자료분석시스템 구축사업'과 같이 보안 사업에 직간접적으로 빅데이터 기술 적용을 요구하는 사례가 늘면서 기업들 움직임이 빨라졌다. 보안 시장에서 빅데이터 기술이 주목 받는 것은 전통적인 시그니처(알려진 위협) 방식 보안 솔루션으로는 지능형지속위협(ATP)과 같은 새로운 형태의 공격을 방어할 수 없기 때문이다. 빅데이터 기술을 활용하면 과거에는 몰랐던 공격 패턴을 분석해 대응할 수 있다. 가트너는 최근 보고서에서 “빅데이터를 활용한 보안 분석으로 종전 볼 수 없었던 패턴을 발견하고 경영을 위한 통찰력을 얻을 수 있다”고 평가했다. 국내 기업 중에는 KT넥스알이 가장 활발하다. 기업의 보안 솔루션 로그 데이터를 빅데이터 플랫폼에 통합·수집·저장·분석해 새로운 공격에 대응하는 'NDAP 포 시큐리티(NDAP for Security)'를 출시했으며 최근 한 대기업에 구축을 완료했다. 관계형 데이터베이스 관리시스템(RDMBS) 기반 통합보안관리(ESM) 시스템을 운용하던 이 대기업은 제품을 도입해 기존 파악이 어려웠던 새로운 보안 취약점을 분석하고 사고를 예방할 수 있게 됐다. KT넥스알 관계자는 “보안 시장에서 빅데이터 기술 도입이 필요하다는 공감대가 형성되는 상황”이라며 “여러 기업과 제품 보급을 위한 논의를 하고 있다”고 말했다. 더존정보보호서비스·KCC시큐리티·SGA·이디엄 등도 빅데이터 보안 사업에 박차를 가하고 있다. 더존정보보호서비스는 스플렁크의 빅데이터 엔진을 적용한 '아르고스 센티넬'을 출시했다. KCC시큐리티는 빅데이터를 이용한 보안관제 기술 특허를 획득했다. 대용량 데이터를 효율적으로 분석해 분산서비스거부(DDoS), APT 등의 공격을 효과적으로 탐지하는 기술이다. SGA는 국가과제로 빅데이터 기반 APT 공격 탐지 기술을 개발 중이다. 연내 출시 예정인 빅데이터 기반 통합보안관제솔루션에 기술을 적용할 방침이다. 이디엄은 빅데이터 엔진 로그프레소를 출시해 통합보안관제시스템 시장을 공략하고 있다. 해외 기업 중에는 스플렁크, 블루코트 등이 관련 사업에 박차를 가하고 있다. 양봉열 이디엄 대표는 “정부통합전산센터, 교육청 등 통합관제사업 발주 시 빅데이터 기술 도입을 요구하는 기관이 늘고 있다”며 “보안 부문은 특히 실시간 대응이 중요한 만큼 빅데이터 기술이 유용하게 활용될 수 있을 것”이라고 말했다. [전자신문 - 빅데이터 기술, 보안시장에서 '각광'](https://www.etnews.com/201308260565)

2013-08-26