이디엄, 실시간 빅데이터 분석 솔루션 ‘로그프레소 3.0’ 출시

이디엄 "빅데이터 분석 분야 공격적 확장"

가입자 스마트폰이 악성 앱에 감염될 경우 경고해주는 서비스가 지난해 한 통신사의 히트상품이 된 적 있다. 천만명 이상 전체 사용자의 15일간 데이터를 전수 검사해 15분 내에 악성 앱 감염 여부를 판단하는 성능은 웬만한 분석 능력으로는 불가능하다. 데이터 기반 인프라 솔루션 전문기업 이디엄(http://logpresso.com 대표 양봉열)은 이 같은 통신 빅데이터 분석 실력을 앞세워 올해 통신 분야뿐 아니라 금융, 유통, 공공 분야로 빅데이터 솔루션 적용을 공격적으로 늘릴 예정이다. 이디엄이 지난 연말 선보인 빅데이터 분석 솔루션 '로그프레소 3.0'은 기존 풀텍스트 대비 10배 이상의 검색 속도를 제공하는 필드 인덱스 기능을 도입하고 고급 분석을 위한 다양한 분석 기능과 데이터 제한 없는 중첩 조인 지원 기능도 탑재했다. 데이터 수집, 저장, 분석 및 관리에서 획기적으로 편의성을 높인 UX도 주목된다. 사실 2014년 4월 선보인 '로그프레소 2.0'은 뛰어난 성능에도 불구하고 UI와 UX에서 외산 솔루션에 비해 높은 평가를 받지 못했다. 이번에 이 점을 철저히 불식시키려 했다. 적극적인 마케팅도 계획하고 있다. 인지도에서도 외산에 밀리지 않겠다는 각오다. 구동언 이사는 "실시간 처리능력과 분석력에서 외산에 비해 오히려 더 빠른데, 그동안 국산이라서 디스카운트된 면이 있었다"며 "파트너사도 10여개로 늘리고 고객 지원도 강화할 계획"이라고 말했다. '로그프레소 3.0'은 우선 빅데이터 분석의 본류인 수집, 분석, 시각화에 충실했다. IT인프라에서 발생하는 다양한 데이터에 대해 수집부터 저장, 분석, 시각화에 이르는 전체 과정을 통합했다. 컴플라이언스 준수에서부터 서비스품질 데이터 실시간 분석, 개인정보 유출 탐지, 하루 20TB에 이르는 통신로그 분석까지 다양한 목적으로 활용되도록 했다. 로그프레소 3.0은 △수천만건의 이벤트 실시간 분석 △실시간 빅데이터 조인 분석 및 패턴매칭 △초고속 검색 성능을 제공하는 필드인덱싱 △고급 분석을 위한 다양한 분석 기능 제공 등이 장점이다. 이전에는 불가능했던 대규모 빅데이터 실시간 분석을 가능하게 해준다. 이를 통해 급변하는 비즈니스 환경에서 데이터 기반의 인사이트를 보다 빠르게 얻고 보다 신속하게 의사결정을 내릴 수 있게 했다. ◇ 필드 인덱싱으로 검색 성능 10배 이상 개선 로그프레소 3.0은 새로 도입된 필드 인덱싱을 기반으로 기존 풀텍스트 인덱싱 대비 10배 이상 향상된 검색 성능을 제공한다. 필드 인덱스는 I/O 감소, 타입 인코딩을 이용한 범위 검색 지원 등 다양한 기능을 통해 뛰어난 검색 성능을 제공한다. 통신사의 경우, 천만명 이상의 사용자로부터 매일 10TB 이상의 데이터가 생성되고 있다. 필드 인덱스를 도입해 15일치 데이터 분석을 분단위로 수행할 수 있게 됐다. 사용자 단말의 악성 앱 감염 여부를 보다 빠르게 진단할 수 있게 되어 악성 앱에 의한 피해를 최소화 할 수 있게 되었다. 양봉열 이디엄 대표는 "IoT 확산 등으로 IT 인프라에서 발생하는 데이터의 종류와 양은 이전과는 비교할 수 없을 정도로 급증하고 있다"며 "로그프레소는 데이터 수집에서 저장, 분석, 시각화까지 이르는 데이터 분석 전체 과정을 유연하게 통합하고, 차별화된 실시간 빅데이터 분석 기술과 혁신적으로 개선된 데이터 성능을 제공함으로써 각종 실시간 빅데이터 분석 요구를 만족시켜 줄 것"이라고 밝혔다. ◇ 스트림 조인, 멀티패턴매칭, CEP 엔진 도입 로그프레소 3.0은 데이터에 실시간으로 조인 분석할 수 있는 스트림조인 기능과 수천 가지의 패턴을 고속으로 매칭할 수 있는 멀티패턴매칭 기능, CEP(복합이벤트프로세싱) 엔진을 이용한 이벤트 분석 기능을 제공한다. 이를 이용해 실시간 빅데이터에 대한 조인 분석, 패턴 매칭 및 이벤트 분석을 할 수 있다. 은행의 경우, 이체 거래를 50종 이상의 패턴과 2년간의 행위이력과 대조해 0.1초 안에 이상 거래 여부를 탐지한다. 이를 통해 각종 금융사기로부터 발생하는 다양한 이상거래를 차단할 수 있다. 로그프레소 3.0은 또한 고급분석을 위한 다양한 함수를 제공해 빅데이터를 기반으로 다양한 예측 분석과 클러스터링 등을 수행할 수 있다. 데이터량에 제한 없는 조인 및 중첩 조인을 지원해 이기종 데이터를 기반으로 복잡한 시나리오 분석을 할 수 있다. 이를 통해 DLP 유출탐지, DRM 암호화 해제, 프린트 로그, 인사정보 등 각종 항목을 조합해 내부통제 이상탐지 룰을 작성하고 시나리오로 만들어 다양한 이상행위를 신속하게 탐지한다. ◇ 개선된 다양한 관리 기능 이디엄은 로그프레소를 활용하는 고객의 다양한 요구사항을 적극적으로 반영해 △에이전트 원격 업그레이드 △분산환경에 대한 권한 관리 △보안그룹 관리 등 데이터 수집부터 저장, 분석, 시각화, 관리까지 전체 과정을 개선했다. 개선된 환경을 이용해 고객은 데이터 분석 과정 전체에 대한 관리 비용을 줄임과 더불어 중요한 데이터를 더욱 더 안전하게 관리할 수 있다. 이규화 선임기자 david@dt.co.kr [http://www.dt.co.kr/contents.html?article_no=2016010502101352660001](http://www.dt.co.kr/contents.html?article_no=2016010502101352660001)

2016-01-04

실시간 데이터 분석 솔루션 시장 ‘태동’

사물인터넷(IoT) 시대를 맞아 빅데이터 속에서 실시간으로 인사이트를 얻기 위해 다양한 방법이 강구되고 있다. 6일 본지 취재 결과 최근 관련업계에서는 서로 연결된 각종 기계로부터 쏟아지고 있는(machine-generated) 데이터에 대한 관심이 점차 늘어나고 있다. IDC는 오는 2018년까지 IoT에서 생성된 데이터의 40%가 보관되고 프로세스를 거쳐 분석될 것으로 예상하고 있다. 빅데이터가 IoT와 결합하면서 폭넓은 분야에서 데이터 분석과 활용이 보편화될 것으로 전망된다. 이에 따라 보다 빠르고 명확한 의사결정으로 경쟁에서 앞서기 위해 ‘실시간 분석’에 대한 니즈도 급증하고 있다. ‘온라인 분석’은 데이터의 생성 시점과 분석 시점의 구분이 없는 반면, ‘실시간 분석’은 데이터가 생성되는 시점에 최대한 가깝게 분석이 함께 이뤄진다. 수많은 센서나 소셜미디어에서 생성되는 시계열(time series) 데이터를 그 대상으로 하며, 특히 각종 기계로부터 생성되는 로그데이터가 주재료가 되고 있다. 소프트웨어(SW) 벤더들은 ‘빅데이터’와 ‘실시간’이라는 두 축을 모두 지원하기 위해 다양한 형태의 솔루션을 선보이며 이 새로운 시장을 공략하고 있다. 공통적으로 빠른 색인(indexing)을 지원하며, 크게 컬럼형 데이터베이스관리시스템(DBMS)에서 파생된 유형과 로그처리시스템에서 발전된 유형으로 구분할 수 있다. 컬럼형DBMS에서 파생된 유형의 경우 DML(데이터조작언어) 가운데 수정(update)과 삭제(delete)를 지원하지 않는 대신 입력(insert)과 검색(select)을 위한 성능을 극대화시키는 등의 방식을 취한다. 로그처리시스템에서 발전된 유형의 경우 NoSQL DB처럼 스키마(schema)를 고정하지 않고 로(raw)데이터 자체를 실시간 인덱싱하고 향후 분석 대상을 재정의하는 스키마리스(schema-less) 형태로 저장한다. 컬럼형DBMS에서 파생된 솔루션으로는 ▲파스트림 ▲아이리스DB ▲인피니플럭스 등을 들 수 있고, 로그처리시스템에서 발전된 솔루션으로는 ▲스플렁크 ▲테라스트림 바스 ▲로그프레소 ▲D2 등을 꼽을 수 있다. <이하 상세 내용 컴퓨터월드 9월호 참조> [http://www.itdaily.kr/news/articleView.html?idxno=68478](http://www.itdaily.kr/news/articleView.html?idxno=68478)

2015-09-06

앤서, 대한상공회의소에 통합 로그 시스템 구축 완료

빅데이터·보안 솔루션 업체 앤서(대표 박준형)는 대한상공회의소에 통합 로그 시스템을 구축했다고 4일 밝혔다. 앤서는 이를 통해 대한상공회의소는 회원들이 안심하고 홈페이지에서 정보를 이용할 수 있는 무결성 기반의 환경 구축과 개인정보보호법, 정보통신망법, 공공기관의 개인정보보호를 위한 기본지침 등 법정 준수사항 이행을 위한 안전장치를 갖추게 됐다고 설명했다. 앤서가 대한상의에 공급한 '로그프레소' 플랫폼은 △네트워크, 서버의 장애로 인해 로그수집이 불가능 할 시 에이전트가 마지막 전송 기록을 재전송해 로그수집 유실 방지 △로그 수집과 동시에 원본 대비 10% 크기의 용량으로 실시간 압축해 디스크 입출력(Input/Output) 비용 절감 △초당 5십만EPS 인덱싱 및 1TB 로그를 1초 이내 처리하는 빠른 검색 및 분석 △로그 포맷에 상관없이 사용자가 원하는 대시보드의 유연한 생성 등의 특징을 제공한다. 앤서는 앞으로 교육기관이나 의료기관 등 법적 규제에 따라 개인정보보호를 강화해야 하는 분야에 대한 영업을 강화할 계획이다. 박준형 앤서 대표는 "그동안 금융권을 중심으로 구축이 이루어지고 있던 통합로그 시스템이 기관이나 협단체를 비롯해 다른 산업분야로 확대되고 있다"며 "특히 기업, 교육기관, 병원 등 정부의 기본지침에 따른 법정 준수사항을 이행해야 하는 많은 유관기관에서 시스템 도입을 검토하고 있다"고 말했다. 이재운기자 jwlee@dt.co.kr [http://www.dt.co.kr/contents.html?article_no=2016020402109960813001](http://www.dt.co.kr/contents.html?article_no=2016020402109960813001)

2016-02-04