실시간 데이터 분석 솔루션 시장 ‘태동’

사물인터넷(IoT) 시대를 맞아 빅데이터 속에서 실시간으로 인사이트를 얻기 위해 다양한 방법이 강구되고 있다. 6일 본지 취재 결과 최근 관련업계에서는 서로 연결된 각종 기계로부터 쏟아지고 있는(machine-generated) 데이터에 대한 관심이 점차 늘어나고 있다. IDC는 오는 2018년까지 IoT에서 생성된 데이터의 40%가 보관되고 프로세스를 거쳐 분석될 것으로 예상하고 있다. 빅데이터가 IoT와 결합하면서 폭넓은 분야에서 데이터 분석과 활용이 보편화될 것으로 전망된다.

이에 따라 보다 빠르고 명확한 의사결정으로 경쟁에서 앞서기 위해 ‘실시간 분석’에 대한 니즈도 급증하고 있다. ‘온라인 분석’은 데이터의 생성 시점과 분석 시점의 구분이 없는 반면, ‘실시간 분석’은 데이터가 생성되는 시점에 최대한 가깝게 분석이 함께 이뤄진다. 수많은 센서나 소셜미디어에서 생성되는 시계열(time series) 데이터를 그 대상으로 하며, 특히 각종 기계로부터 생성되는 로그데이터가 주재료가 되고 있다.

소프트웨어(SW) 벤더들은 ‘빅데이터’와 ‘실시간’이라는 두 축을 모두 지원하기 위해 다양한 형태의 솔루션을 선보이며 이 새로운 시장을 공략하고 있다. 공통적으로 빠른 색인(indexing)을 지원하며, 크게 컬럼형 데이터베이스관리시스템(DBMS)에서 파생된 유형과 로그처리시스템에서 발전된 유형으로 구분할 수 있다.

컬럼형DBMS에서 파생된 유형의 경우 DML(데이터조작언어) 가운데 수정(update)과 삭제(delete)를 지원하지 않는 대신 입력(insert)과 검색(select)을 위한 성능을 극대화시키는 등의 방식을 취한다. 로그처리시스템에서 발전된 유형의 경우 NoSQL DB처럼 스키마(schema)를 고정하지 않고 로(raw)데이터 자체를 실시간 인덱싱하고 향후 분석 대상을 재정의하는 스키마리스(schema-less) 형태로 저장한다.

컬럼형DBMS에서 파생된 솔루션으로는 ▲파스트림 ▲아이리스DB ▲인피니플럭스 등을 들 수 있고, 로그처리시스템에서 발전된 솔루션으로는 ▲스플렁크 ▲테라스트림 바스 ▲로그프레소 ▲D2 등을 꼽을 수 있다.

<이하 상세 내용 컴퓨터월드 9월호 참조>

http://www.itdaily.kr/news/articleView.html?idxno=68478

둘러보기

더보기

[인터뷰] “빅데이터 분석기술 선두하반기 공급 늘리겠다”

"실제로 출근하지 않았는데 출입통제시스템에서는 출근한 걸로 기록돼 있고 ERP에서 결제까지 한 경우가 발생하고 있습니다. 빅데이터 분석에서 점점 보안검색 요구가 높아지고 있어요. 연관분석이 포함된 시나리오 분석이 필요하다는 겁니다. 실시간 대용량을 커버하는 것도 중요하지만 보안 측면을 강화해야 하는 것이 빅데이터 분석의 최근 경향입니다." 이디엄 양봉열 대표는 빅데이터 분석의 POC(서비스 영역)가 확장되어 가는데 따라 빅데이터 솔루션 시장이 가파른 성장을 보일 것으로 보고 있다. 그는 "금융 유통 통신 제조 국방 교육 등 거의 모든 분야에서 빅데이터 속에 잠재된 가치를 추출하기 위해 더 많은 투자를 하고 있다"며 "성공의 관건은 폭증하는 데이터를 서로 연계해 신속하고 정확하며 안전하게 검색 분석해 표출하는 것"이라고 말했다. 양 대표는 "향후 IoT 시대에는 모든 데이터를 분석하는 것이 불가능하지만, 그렇다고 무시할 수는 없기 때문에 실시간 취사선택하고 하나라도 유의미한 패턴을 놓치지 않는 분석시스템이 필요하다"고 강조했다. 그러면서 "이디엄은 설립된 지 1년여 밖에 안 됐지만, 구성원들이 빅데이터 분석 기술에 몸담고 연구를 시작한 지가 10년에 이르기 때문에 빅데이터의 현재진행형과 미래 모습을 그리는 데에 좀 더 앞서 있다"고 말했다. 양 대표는 이를 입증하는 기술이 바로 로그프레소에 적용된 스트림 쿼리 기능과 암호화 지원 기능이라고 소개했다. 양 대표는 "하반기부터 본격적인 채널 확보와 파트너십 확대로 그동안 수요를 맞추지 못한 공급능력을 보강할 계획"이라며 "패키지가 아닌 검색엔진을 공급하는 방안도 고려하고 있다"고 말했다. 이디엄은 양 대표와 대학(서울대 컴퓨터 공학과), 고교, 사회 동아리 회원들을 중심으로 짜여져 있다. 전체 직원 가운데 10명이 서른 살 전후 친구, 선후배로 엮여 있어 회사가 자유롭고 생동감이 넘친다. 올해 전년 대비 최대 3배 성장한다는 과감한 목표를 세운 것도 이같은 활력과 자신감이 뒷받침하고 있다. 이규화선임기자 david@ 사진=김민수기자 ultratist@dt.co.kr

2014-06-23

이디엄, 실시간 빅데이터 분석 솔루션 ‘로그프레소 3.0’ 출시

이디엄(www.eediom.com 대표 양봉열)은 실시간 빅데이터 분석 솔루션인 ‘로그프레소 3.0’을 출시했다고 21일 밝혔다. 이전 버전 제품 대비 성능 및 고급 분석기능이 강화된 것이 특징이다. 2013년 첫 버전이 발표된 로그프레소는 IT 인프라에서 발생하는 다양한 데이터의 수집부터 저장, 분석, 시각화에 이르는 전체 과정을 단일 엔진으로 처리할 수 있는 국산 실시간 빅데이터 솔루션이다. 금융과 통신, 공공 등 각종 산업 영역에 걸쳐 응용 영역을 넓혀 나가고 있으며, 컴플라이언스 준수, 서비스 품질데이터 실시간 분석, 개인정보 유출 탐지, 하루 20TB에 이르는 통신 로그 분석까지 다양한 목적으로 활용되고 있다. 이번에 업그레이드된 로그프레소 3.0은 ▲10배 이상의 검색 성능을 제공하는 필드 인덱스 ▲실시간으로 연관 분석을 수행할 수 있는 스트림 조인 및 멀티 패턴 매칭 ▲고급 분석을 위한 다양한 분석 기능 제공 등이 특징으로, 기존 제품에 비해 실시간 분석 및 검색 성능이 개선됐다. 복잡한 조건의 분석을 수행할 수 있는 분석 기능도 강화됐다. 이디엄 양봉열 대표는 “이번 로그프레소 3.0의 출시로 인해 최고 성능을 보장하는 실시간 빅데이터 솔루션으로서 입지를 강화함은 물론, 분석의 중요성이 커져가는 시장 환경에 가장 알맞은 형태로 로그프레소의 영역 확대를 가속화 할 것”이라고 말했다. <백지영 기자>jyp@ddaily.co.kr [https://www.ddaily.co.kr/news/article/?no=138446](https://www.ddaily.co.kr/news/article/?no=138446)

2015-12-21

앤서, SK플래닛에 빅데이터플랫폼 프로젝트

앤서(대표 박준형)는 SK플래닛(대표 서진우) 빅데이터 플랫폼 프로젝트를 완료했다고 14일 밝혔다. SK플래닛은 개인정보보호법, 정보통신망법 및 전자금융거래법 등 컴플라이언스 이슈 해결과 분산된 원본로그 통합관리, 위변조 방지 저장, 다양한 시스템 연동으로 보안사고와 원인 추적 시스템을 마련했다. SK플래닛이 운영하는 5개 IDC에 에이전트 유무 방식 시스템을 도입해 실시간 원본로그를 수집하는 프로젝트를 추진했다. 앤서는 SK플래닛 빅데이터 플랫폼 시스템에 로그프레소를 공급했다. 로그프레소는 위·변조가 불가능한 매체에 로그 원본을 저장하고 감사, 침해사고 조사, 해킹관련 사항을 입증할 수 있도록 분석·지원하는 솔루션이다. 이 기종 시스템에서 발생하는 다양한 이벤트를 단일 통합분석 UI로 구현한다. 원본로그 기밀성과 무결성 보장방안을 수립한다. 실시간 이벤트 분석체계와 사후대응을 위한 포렌식 원본로그 분석도 지원한다. 시스템 로그 이벤트를 탐지하고 실시간 알림 서버, 네트워크와 업무시스템 등 임계치 설정도 가능하다. 박준형 앤서 대표는 “빅데이터 플랫폼 뿐만 아니라 간편결재를 비롯해 핀테크 분야에서 빅데이터 보안 솔루션에 대한 수요가 많아질 것”으로 예상하며 “하반기에 관련분야 신규 고객 확보에 주력할 것”이라고 말했다. 김인순기자 insoon@etnews.com [https://www.etnews.com/20150914000221](https://www.etnews.com/20150914000221)

2015-09-14