빅데이터는 단순히 큰 데이터가 아니라 크고 많고 빠르고 복잡한 형태를 지닌 데이터를 말한다. 전에는 대부분 그냥 흘려보내거나 쌓아두기만 했다. 그러나 분석 기술의 발달로 정형이든 비정형이든 분석이 가능해졌고 서로 엮어 실시간으로 분석할 수 있는 플랫폼도 등장하고 있다.
빅데이터를 분석하기 시작하자 지금까지 발견하지 못했던 새로운 패턴이 드러나고 있다. 그 속에 다양한 의미가 내포돼 있다는 것을 알게 됐다. 데이터의 패턴 속에서 비즈니스에 필요한 인사이트를 얻을 뿐 아니라 데이터를 다루는 데 있어 보다 완벽한 보안체계를 구축할 수 있게 됐고 비용절감과 생산성 향상이 이뤄졌다.
이디엄(대표 양봉열)은 빅데이터 이슈와 함께 부상한 기업이다. 이디엄의 실시간 빅데이터 분석 시스템 `로그프레소'(LOGPRESSO)는 대용량 비정형 데이터를 실시간 수집ㆍ검색ㆍ분석ㆍ시각화해 기업의 의사결정을 돕는다.
이디엄은 지난 4월 쟁쟁한 외산을 물리치고 국내 L통신사가 발주한 실시간 서비스품질 모니터링 시스템의 빅데이터 분석 엔진 구축 사업자로 선정돼 업계를 놀라게 했다. 설립 1년밖에 안 된 신생벤처가 외산이 장악한 국내 빅데이터 검색솔루션 시장에, 그것도 통신3사 중 한 곳에 검색엔진을 제공함으로써 파장을 몰고 온 것이다.
이디엄은 최근 금융권 이상금융거래탐지시스템(FDS) 성능 업그레이드 BMT에서도 잇따라 수위를 차지했다. 금융권 FDS에서는 로그를 모두 모을 수 있어야 하고 실시간 행위를 들여다볼 수 있는 룰(rule) 엔진이 필요하다. 로그프레소는 이를 만족시킴으로써 현재 M, D 증권사와 도입 협상을 진행 중이다.
이디엄의 로그프레소가 승승장구하는 요인은 제품력이 뛰어나기 때문이다. 로그프레소는 데이터의 수집에서부터 유의미한 정보도출에 이르기까지 데이터의 전체 생명주기를 아우르는 모든 기능을 통합해 제공한다. 로그프레소를 도입하면 즉각 빅데이터 분석에 들어갈 수 있다. 기능이 통합돼 있고 기존 시스템과 뛰어난 호환성을 갖기 때문이다.
통신사에 엔진을 공급할 수 있었던 데는 외산 솔루션에 비해 5배 이상 빠른 데이터 분류 및 검색, 분석 능력이 작용했다. 로그프레소는 3일 이상 걸리던 분석시간을 초단위로 획기적으로 단축했다. 실시간 통신데이터 검색 및 분석이 가능해진 것이다.
빅데이터 분석을 위해서는 다양한 조건이 요구된다. 유닉스 윈도 등 상용서버 운영체제, 스위치 라우터 방화벽 IPS 등 네트워크, RDBS(관계형 데이터베이스) 등의 데이터와 웹 및 웹 앱 서버와 보안 및 응용프로그램의 로그 수집이 필요하다. 데이터 파싱(parsing) 및 정규화 등 다양한 포맷 처리도 능란해야 하고 수천만 건 이상의 방대한 대용량 로그를 고속으로 압축 전송하고 저장해야 한다. 여기에 개인정보 등 암호화와 데이터 위ㆍ변조 탐지, 실시간 풀 텍스트 검색과 데이터 분석 능력이 붙어야 한다.
이에 대한 해법으로서 이디엄의 로그프레소는 다수의 표준 프로토콜 및 에이전트를 지원하고 내장 파서(parser, 프로그램 구문 해석 알고리즘) 및 쿼리를 이용한 정규화를 채택했다. 국내외 대부분의 보안 솔루션과 장비의 로그 포맷에 대한 파서도 내장했다. 원본 대비 10% 크기의 에이전트 실시간 압축 전송을 지원하고 초당 80만 건의 고속 데이터를 저장할 수 있다. 임시 파일 생성 없이 실시간 암호화하고 무결성 검사도 지원한다. 실시간 풀텍스트 검색을 위해 다양한 인덱스 내장 방식을 취한다.
스트림 분석은 경쟁 제품이 따라오지 못하는 로그프레소만의 강점이다. 이벤트 컨텍스트 함수를 이용한 인 메모리 이벤트 연관 분석과 스트림 쿼리를 통한 실시간 스트리밍 데이터 분석은 폭증하는 미래 빅데이터 환경에 대비해 개발했다.
이러한 기술력과 스펙은 통합보안관제와 통합로그관리 솔루션 시장에서 로그프레소가 부상하는 배경이 됐다. 다양한 표준 프로토콜 지원은 물론, 예약된 쿼리를 통해 실시간 및 배치 ETL(데이터 추출 변환 적재)를 지원한다. 관계형 데이터베이스 데이터를 조합 분석하는 유연성도 뛰어나다. 운영관제에 필수적인 대시보드 구성을 손쉽게 하는 사용자 정의 대시보드 기능도 탁월하다. 하둡(HDFS)과 연동해 사용할 수 있으므로 하둡으로 수집한 데이터를 로그프레소를 이용해 추가적인 분석과 시각화를 수행한다. 로그프레소는 경찰청 도로교통공단 등 공공, 금융결제원 등 금융, L통신사 등 통신과 병원, 일반기업에 고른 레퍼런스를 확보하고 있다.
이규화선임기자 david@
http://www.dt.co.kr/contents.html?article_no=2014062402011375660001
