[로그분석특집] 이디엄 '로그프레소'

이디엄(대표 양봉열)은 데이터 분석 스타트업이다. 이디엄 통합로그관리 솔루션 ‘로그프레소 (LOGPRESSO)’를 업그레이드해 통합로그 시장을 공략한다.

로그프레소는 IT 인프라에서 발생하는 다양한 데이터를 수집, 저장, 분석, 시각화 등에 이르는 전체적인 작업을 통합한다. 빅데이터를 실시간으로 스트림 분석하는 솔루션이다. 각종 컴플라이언스를 만족시키는 것부터 효과적이고 신속한 보안 침해사고 분석, 데이터 위변조 방지 등 통합로그 관리체계를 지원한다.

로그프레소는 수천만건 이벤트 실시간 스트림을 분석한다. 실시간 스트림 조인 분석과 필드 인덱스 기반 초고속 데이터 검색 기능 등을 새로 추가했다. 기업 IT 인프라에서 발생하는 다양한 보안 리스크를 완화할 수 있을 것으로 기대된다.

로그프레소는 특허 등록된 빅데이터 스트림 분석 기술을 기반으로, 실시간 보안 분석과 경보 기능을 제공한다. 특히 실시간 빅데이터를 스트림 조인 분석과 복합 이벤트 처리(CEP) 분석을 한다. 실시간으로 쏟아지는 각종 보안 위협을 보다 신속하게 탐지하고 대응한다.

데이터 검색과 분석 성능도 대폭 개선했다. 필드 인덱스 기술로 쉽고 정교하게 데이터 인덱싱을 한다. 기존 풀텍스트 검색보다 10배 이상 빨라진 검색 엔진으로 보안 침해 사고를 보다 쉽고 빠르게 분석한다.

이렇게 IT 인프라 전반에 걸쳐 발생하는 각종 보안 위협에 실시간으로 대응하는 것을 시작으로, 인프라 자원에 대한 모니터링, 각종 보안사고 분석, 로그 원본 보존 및 관리까지 IT 인프라 관리에 필요한 다양한 요구사항을 한 개 솔루션에서 자연스럽게 통합했다.

2013년 제품을 발표한 이후 통신사, 금융기관, 공공기관 등 많은 고객이 로그프레소를 도입했다. 하루에 10테라바이트(TB) 이상 로그 데이터가 발생하는 LG유플러스는 기존 인프라로는 하루 로그 데이터 분석에 3일 이상 소요됐다. 로그프레소를 도입해 하루 데이터를 분단위로 분석할 수 있는 체계를 갖췄다.

SK플래닛은 로그프레소를 활용해 전국 IDC에서 발생하는 로그에 대해 원본 로그의 통합 관리, 위변조 방지 암호화 저장을 수행해 다양한 컴플라이언스 이슈를 해결했다. 동시에 전체 인프라에서 발생하는 보안 사고와 장애 추적 업무를 수행하는 종합 대응 시스템을 만들었다.

관세청은 개인정보 유출 사고 방지를 위해 로그프레소를 도입했다. 개인정보를 다루는 모든 시스템 업무 로그와 엔드포인트 보안솔루션에서 발생하는 각종 로그를 실시간으로 수집·분석하는 체계를 마련했다. 로그프레소는 임시 데이터를 남기지 않고 수집과 동시에 실시간으로 데이터를 암호화해 개인정보관련 로그 데이터를 안전하게 저장한다.

양봉열 이디엄 대표는 “기업 IT가 보다 복잡해지고, 인프라 내외부에 대한 경계가 흐려지면서, 보안 위협은 보다 다양한 방면에서 쏟아지고 있다”며 “로그프레소는 차별화된 빅데이터 스트림 분석 기술과 개선된 데이터 검색 성능으로 폭발적으로 증가한 실시간 보안 위협에 대응한다”고 말했다.

김인순기자 insoon@etnews.com

https://www.etnews.com/20151028000160

둘러보기

더보기

실시간 데이터 분석 솔루션 시장 ‘태동’

사물인터넷(IoT) 시대를 맞아 빅데이터 속에서 실시간으로 인사이트를 얻기 위해 다양한 방법이 강구되고 있다. 6일 본지 취재 결과 최근 관련업계에서는 서로 연결된 각종 기계로부터 쏟아지고 있는(machine-generated) 데이터에 대한 관심이 점차 늘어나고 있다. IDC는 오는 2018년까지 IoT에서 생성된 데이터의 40%가 보관되고 프로세스를 거쳐 분석될 것으로 예상하고 있다. 빅데이터가 IoT와 결합하면서 폭넓은 분야에서 데이터 분석과 활용이 보편화될 것으로 전망된다. 이에 따라 보다 빠르고 명확한 의사결정으로 경쟁에서 앞서기 위해 ‘실시간 분석’에 대한 니즈도 급증하고 있다. ‘온라인 분석’은 데이터의 생성 시점과 분석 시점의 구분이 없는 반면, ‘실시간 분석’은 데이터가 생성되는 시점에 최대한 가깝게 분석이 함께 이뤄진다. 수많은 센서나 소셜미디어에서 생성되는 시계열(time series) 데이터를 그 대상으로 하며, 특히 각종 기계로부터 생성되는 로그데이터가 주재료가 되고 있다. 소프트웨어(SW) 벤더들은 ‘빅데이터’와 ‘실시간’이라는 두 축을 모두 지원하기 위해 다양한 형태의 솔루션을 선보이며 이 새로운 시장을 공략하고 있다. 공통적으로 빠른 색인(indexing)을 지원하며, 크게 컬럼형 데이터베이스관리시스템(DBMS)에서 파생된 유형과 로그처리시스템에서 발전된 유형으로 구분할 수 있다. 컬럼형DBMS에서 파생된 유형의 경우 DML(데이터조작언어) 가운데 수정(update)과 삭제(delete)를 지원하지 않는 대신 입력(insert)과 검색(select)을 위한 성능을 극대화시키는 등의 방식을 취한다. 로그처리시스템에서 발전된 유형의 경우 NoSQL DB처럼 스키마(schema)를 고정하지 않고 로(raw)데이터 자체를 실시간 인덱싱하고 향후 분석 대상을 재정의하는 스키마리스(schema-less) 형태로 저장한다. 컬럼형DBMS에서 파생된 솔루션으로는 ▲파스트림 ▲아이리스DB ▲인피니플럭스 등을 들 수 있고, 로그처리시스템에서 발전된 솔루션으로는 ▲스플렁크 ▲테라스트림 바스 ▲로그프레소 ▲D2 등을 꼽을 수 있다. <이하 상세 내용 컴퓨터월드 9월호 참조> [http://www.itdaily.kr/news/articleView.html?idxno=68478](http://www.itdaily.kr/news/articleView.html?idxno=68478)

2015-09-06

금융거래 이상징후 포착 `최적화`

개인정보유출과 해킹 등으로 금융사고가 빈발하면서 금융권의 이상거래탐지시스템(FDS) 구축 필요성이 높아지고 있다. 금감원은 현재 각 금융사가 연내에 FDS를 구축할 것을 독려하고 있다. 컴플라이언스로 강제되는 것은 아니지만, 금융사고 발생 시 FDS 미비 금융사에게는 가중 처벌이 가해지기 때문에 은행, 카드, 증권, 보험별로 FDS 구축을 서두르고 있다. 빅데이터 기반 실시간 로그분석 솔루션 기업 데이터밸류(공동대표 김형석, 이재학)는 최근 '로그세이'(LogSay)라는 금융거래 이상 징후 탐지 시스템을 선보였다. 이상 거래 징후 포착에는 빅데이터를 얼마나 신속하고 유효하게 분석할 수 있느냐가 관건인데, 로그세이는 초당 100만 건 아카이빙, 초당 50만 건의 웹로그 인덱싱, 초당 1만 건 이상의 이상 거래 분석 능력을 보유하고 있다. 로그세이는 빅데이터 분석 엔진 개발 기업 이디엄(대표 양봉열)의 로그 분석 엔진 '로그프레소'를 탑재하고 있다. 로그프레소는 순수 국내기술로 개발된 실시간 빅데이터 분석 엔진으로서 이미 국내 이통사에 공급돼 대용량 로그 분석의 역할을 성공적으로 수행하고 있는 시스템이다. 로그세이는 이상 거래 탐지와 관련한 금감원 컴플라이언스를 충족한다. 또한 고객별 커스터마이징과 단시간 포팅, 손쉽고 단순한 UI로 차별화를 꾀하고 있다. 시스템 내에 개인정보보호, 내부 정보유출 탐지, 암호화 기능이 탑재돼 레거시 시스템과의 연동에도 유리하다. 이재학 대표는 "현재 은행들과 BMT를 진행하고 있다"며 "은행들이 사내 개발 또는 아웃소싱 두 갈래로 진행하고 있는데, 어떤 방향이든 은행 거래의 속성과 보안에 대한 인사이트를 갖춘 컨설팅과 조언은 필요하다"고 말했다. 그는 "로그세이는 금융 보안에 대한 오랜 경험을 가진 전산 인력과 로그 분석 및 검색 분야 국내 최고 기술진이 협력해 만든 제품으로서, 금융시스템의 모든 채널을 이용하는 금융거래 정보를 수집, 분석할 수 있다"고 강조했다. 특히 로그세이가 강조하는 강점은 금융권 전문가를 통한 룰(rule) 발굴과 룰에 기반한 룰 엔진 개발 및 탑재로서, 업무 적용에 있어서 최적화를 이뤘다는 평가를 받고 있다. 데이터밸류는 하반기 은행과 증권사를 중심으로 FDS 구축 수요가 증가할 것에 대비해 BMT를 늘리고 고객사 상황에 맞는 최적화 구성전략을 전개하고 있다. 이규화 선임기자 david@ [http://www.dt.co.kr/contents.html?article_no=2014080502101352660002](http://www.dt.co.kr/contents.html?article_no=2014080502101352660002)

2014-08-04

이디엄 "빅데이터 분석 분야 공격적 확장"

가입자 스마트폰이 악성 앱에 감염될 경우 경고해주는 서비스가 지난해 한 통신사의 히트상품이 된 적 있다. 천만명 이상 전체 사용자의 15일간 데이터를 전수 검사해 15분 내에 악성 앱 감염 여부를 판단하는 성능은 웬만한 분석 능력으로는 불가능하다. 데이터 기반 인프라 솔루션 전문기업 이디엄(http://logpresso.com 대표 양봉열)은 이 같은 통신 빅데이터 분석 실력을 앞세워 올해 통신 분야뿐 아니라 금융, 유통, 공공 분야로 빅데이터 솔루션 적용을 공격적으로 늘릴 예정이다. 이디엄이 지난 연말 선보인 빅데이터 분석 솔루션 '로그프레소 3.0'은 기존 풀텍스트 대비 10배 이상의 검색 속도를 제공하는 필드 인덱스 기능을 도입하고 고급 분석을 위한 다양한 분석 기능과 데이터 제한 없는 중첩 조인 지원 기능도 탑재했다. 데이터 수집, 저장, 분석 및 관리에서 획기적으로 편의성을 높인 UX도 주목된다. 사실 2014년 4월 선보인 '로그프레소 2.0'은 뛰어난 성능에도 불구하고 UI와 UX에서 외산 솔루션에 비해 높은 평가를 받지 못했다. 이번에 이 점을 철저히 불식시키려 했다. 적극적인 마케팅도 계획하고 있다. 인지도에서도 외산에 밀리지 않겠다는 각오다. 구동언 이사는 "실시간 처리능력과 분석력에서 외산에 비해 오히려 더 빠른데, 그동안 국산이라서 디스카운트된 면이 있었다"며 "파트너사도 10여개로 늘리고 고객 지원도 강화할 계획"이라고 말했다. '로그프레소 3.0'은 우선 빅데이터 분석의 본류인 수집, 분석, 시각화에 충실했다. IT인프라에서 발생하는 다양한 데이터에 대해 수집부터 저장, 분석, 시각화에 이르는 전체 과정을 통합했다. 컴플라이언스 준수에서부터 서비스품질 데이터 실시간 분석, 개인정보 유출 탐지, 하루 20TB에 이르는 통신로그 분석까지 다양한 목적으로 활용되도록 했다. 로그프레소 3.0은 △수천만건의 이벤트 실시간 분석 △실시간 빅데이터 조인 분석 및 패턴매칭 △초고속 검색 성능을 제공하는 필드인덱싱 △고급 분석을 위한 다양한 분석 기능 제공 등이 장점이다. 이전에는 불가능했던 대규모 빅데이터 실시간 분석을 가능하게 해준다. 이를 통해 급변하는 비즈니스 환경에서 데이터 기반의 인사이트를 보다 빠르게 얻고 보다 신속하게 의사결정을 내릴 수 있게 했다. ◇ 필드 인덱싱으로 검색 성능 10배 이상 개선 로그프레소 3.0은 새로 도입된 필드 인덱싱을 기반으로 기존 풀텍스트 인덱싱 대비 10배 이상 향상된 검색 성능을 제공한다. 필드 인덱스는 I/O 감소, 타입 인코딩을 이용한 범위 검색 지원 등 다양한 기능을 통해 뛰어난 검색 성능을 제공한다. 통신사의 경우, 천만명 이상의 사용자로부터 매일 10TB 이상의 데이터가 생성되고 있다. 필드 인덱스를 도입해 15일치 데이터 분석을 분단위로 수행할 수 있게 됐다. 사용자 단말의 악성 앱 감염 여부를 보다 빠르게 진단할 수 있게 되어 악성 앱에 의한 피해를 최소화 할 수 있게 되었다. 양봉열 이디엄 대표는 "IoT 확산 등으로 IT 인프라에서 발생하는 데이터의 종류와 양은 이전과는 비교할 수 없을 정도로 급증하고 있다"며 "로그프레소는 데이터 수집에서 저장, 분석, 시각화까지 이르는 데이터 분석 전체 과정을 유연하게 통합하고, 차별화된 실시간 빅데이터 분석 기술과 혁신적으로 개선된 데이터 성능을 제공함으로써 각종 실시간 빅데이터 분석 요구를 만족시켜 줄 것"이라고 밝혔다. ◇ 스트림 조인, 멀티패턴매칭, CEP 엔진 도입 로그프레소 3.0은 데이터에 실시간으로 조인 분석할 수 있는 스트림조인 기능과 수천 가지의 패턴을 고속으로 매칭할 수 있는 멀티패턴매칭 기능, CEP(복합이벤트프로세싱) 엔진을 이용한 이벤트 분석 기능을 제공한다. 이를 이용해 실시간 빅데이터에 대한 조인 분석, 패턴 매칭 및 이벤트 분석을 할 수 있다. 은행의 경우, 이체 거래를 50종 이상의 패턴과 2년간의 행위이력과 대조해 0.1초 안에 이상 거래 여부를 탐지한다. 이를 통해 각종 금융사기로부터 발생하는 다양한 이상거래를 차단할 수 있다. 로그프레소 3.0은 또한 고급분석을 위한 다양한 함수를 제공해 빅데이터를 기반으로 다양한 예측 분석과 클러스터링 등을 수행할 수 있다. 데이터량에 제한 없는 조인 및 중첩 조인을 지원해 이기종 데이터를 기반으로 복잡한 시나리오 분석을 할 수 있다. 이를 통해 DLP 유출탐지, DRM 암호화 해제, 프린트 로그, 인사정보 등 각종 항목을 조합해 내부통제 이상탐지 룰을 작성하고 시나리오로 만들어 다양한 이상행위를 신속하게 탐지한다. ◇ 개선된 다양한 관리 기능 이디엄은 로그프레소를 활용하는 고객의 다양한 요구사항을 적극적으로 반영해 △에이전트 원격 업그레이드 △분산환경에 대한 권한 관리 △보안그룹 관리 등 데이터 수집부터 저장, 분석, 시각화, 관리까지 전체 과정을 개선했다. 개선된 환경을 이용해 고객은 데이터 분석 과정 전체에 대한 관리 비용을 줄임과 더불어 중요한 데이터를 더욱 더 안전하게 관리할 수 있다. 이규화 선임기자 david@dt.co.kr [http://www.dt.co.kr/contents.html?article_no=2016010502101352660001](http://www.dt.co.kr/contents.html?article_no=2016010502101352660001)

2016-01-04