실시간 데이터 분석 솔루션 시장 ‘태동’

사물인터넷(IoT) 시대를 맞아 빅데이터 속에서 실시간으로 인사이트를 얻기 위해 다양한 방법이 강구되고 있다. 6일 본지 취재 결과 최근 관련업계에서는 서로 연결된 각종 기계로부터 쏟아지고 있는(machine-generated) 데이터에 대한 관심이 점차 늘어나고 있다. IDC는 오는 2018년까지 IoT에서 생성된 데이터의 40%가 보관되고 프로세스를 거쳐 분석될 것으로 예상하고 있다. 빅데이터가 IoT와 결합하면서 폭넓은 분야에서 데이터 분석과 활용이 보편화될 것으로 전망된다.

이에 따라 보다 빠르고 명확한 의사결정으로 경쟁에서 앞서기 위해 ‘실시간 분석’에 대한 니즈도 급증하고 있다. ‘온라인 분석’은 데이터의 생성 시점과 분석 시점의 구분이 없는 반면, ‘실시간 분석’은 데이터가 생성되는 시점에 최대한 가깝게 분석이 함께 이뤄진다. 수많은 센서나 소셜미디어에서 생성되는 시계열(time series) 데이터를 그 대상으로 하며, 특히 각종 기계로부터 생성되는 로그데이터가 주재료가 되고 있다.

소프트웨어(SW) 벤더들은 ‘빅데이터’와 ‘실시간’이라는 두 축을 모두 지원하기 위해 다양한 형태의 솔루션을 선보이며 이 새로운 시장을 공략하고 있다. 공통적으로 빠른 색인(indexing)을 지원하며, 크게 컬럼형 데이터베이스관리시스템(DBMS)에서 파생된 유형과 로그처리시스템에서 발전된 유형으로 구분할 수 있다.

컬럼형DBMS에서 파생된 유형의 경우 DML(데이터조작언어) 가운데 수정(update)과 삭제(delete)를 지원하지 않는 대신 입력(insert)과 검색(select)을 위한 성능을 극대화시키는 등의 방식을 취한다. 로그처리시스템에서 발전된 유형의 경우 NoSQL DB처럼 스키마(schema)를 고정하지 않고 로(raw)데이터 자체를 실시간 인덱싱하고 향후 분석 대상을 재정의하는 스키마리스(schema-less) 형태로 저장한다.

컬럼형DBMS에서 파생된 솔루션으로는 ▲파스트림 ▲아이리스DB ▲인피니플럭스 등을 들 수 있고, 로그처리시스템에서 발전된 솔루션으로는 ▲스플렁크 ▲테라스트림 바스 ▲로그프레소 ▲D2 등을 꼽을 수 있다.

<이하 상세 내용 컴퓨터월드 9월호 참조>

http://www.itdaily.kr/news/articleView.html?idxno=68478

둘러보기

더보기

[FDS특집] 사기거래 방지에 나선 금융권, 앞 다퉈 FDS 도입

대형 카드사의 대규모 고객정보 유출. 피싱·파밍 등 금융정보를 노리는 각종 사이버 위협이 증가하고 불법적·악의적 정보 유출로 부정거래 발생 위험도 높아졌다. 금융감독 당국은 부정거래 등 사기거래를 방지하기 위해 금융사 이상거래탐지시스템(FDS) 구축 촉구에 나섰다. 카드사가 사기방지 위주로 적용했던 FDS가 전 금융권으로 확대된다. 금융·보안 솔루션 기업도 대거 국내 금융회사에 맞는 맞춤형 FDS 솔루션을 출시, 시장공략을 강화했다. ◇FDS 도입에 가장 적극적인 은행권 FDS 도입에 가장 분주한 곳은 은행권이다. 최근 금융감독원은 은행에게 해당 시스템에 적합한 FDS를 올해 말까지 구축하라고 요청했다. 금융위원회도 ‘금융회사 정보기술(IT)부문 보호업무 이행지침’에 FDS 구축을 포함시켰다. 그동안 FDS는 카드사가 불법적·악의적 카드 도용을 막기 위해 주로 도입했다. 그 외 금융회사는 FDS 도입에 적극적이지 않았다. 감독당국의 FDS 구축 요청으로 우리·하나·외환은행이 본격적으로 FDS 구축에 착수했다. 일부 FDS를 도입한 신한은행과 국민은행도 고도화를 진행한다. 하나은행과 외환은행은 이미 관련 솔루션 기업 대상으로 정보제공요청서(RFI)를 발송했다. 솔루션 업체로부터 정보제공을 받으면 이를 기반으로 제안요청서(RFP)를 작성, 배포할 계획이다. 하나·외환은행은 오는 9월까지 공동으로 FDS 구축을 완료한다는 목표를 세웠다. 외환은행 관계자는 “기존에 FDS 구축이 카드사 위주로 진행돼 은행 뱅킹 시스템에 적합한 프로그램을 찾는 게 쉽지 않다”며 “근본적인 대책 마련을 위해 방향성부터 고민해 준비하고 있다”고 전했다. 우리은행도 적극적이다. 개발업체 대상으로 의향서를 접수, 곧 RFP를 배포한다. 은행권에 독자적 FDS가 없어 뱅킹시스템 전반의 패턴 분석이 가능한 협력 기업을 선정할 예정이다. 우리은행 관계자는 “일부 은행이 FDS를 가동했지만 자체 모니터링을 하는 수준”이라며 “단계별 개발 일정을 확정하고 연말까지 모든 작업을 완료 하겠다”고 말했다. 차세대시스템을 구축 중인 기업은행은 FDS 고도화를 준비한다. 현재 운영 중인 이상징후탐지시스템의 정밀도를 패턴분석이 가능할 정도로 높이는 게 목표다. 앞서 FDS 솔루션 업체 대상으로 설명회도 개최했다. 기업은행 관계자는 “은행 서비스의 특성을 반영, 이상 징후를 분석할 수 있어야 한다”며 “이를 구현할 수 있는 프로그램을 확보하기 위해 고민 중”이라고 설명했다. 국민은행도 자체 로그분석 시스템에 FDS 기능을 보강하는 고도화 작업을 계획하고 있다. FDS가 주목받는 것은 전자금융결제 수문장 역할을 하던 공인인증서를 비롯해 개인방화벽, 보안카드, 일회용비밀번호(OTP) 등 인터넷뱅킹 보안 솔루션을 무력화하는 공격이 늘어났기 때문이다. 더 이상 고객 PC나 스마트폰 보안을 강화하는 솔루션을 적용하기 힘들다. 금융사는 내부 시스템에 FDS를 운영해 금융정보가 유출됐더라도 금융사기 피해를 최소화하는데 집중한다. FDS는 최근 발생한 앱카드 부정사용을 알아내며 효과를 입증했다. 성재모 금융보안연구원 본부장은 “최근 금융거래 사기는 그동안 신뢰했던 인증수단을 피해 나타났다”며 “금융사는 정보가 유출돼도 2차 피해를 최소화하는 모니터링을 강화할 수밖에 없는 상황”이라고 말했다. ◇금융권 맞춤형 FDS 솔루션 잇따라 출시 FDS 관련 솔루션 업체도 앞다퉈 금융권 맞춤형 제품을 출시, 적극적으로 시장 공략에 나섰다. 워치아이시스템은 금융권 요구에 맞는 솔루션을 제시했다. 빅데이터량이 폭발적으로 증가하는 금융사 IT자산 로그데이터를 실시간으로 수집·인덱싱·통합·분석하는 빅데이터 분석솔루션인 ‘로그인 사이트 V3.0’을 출시했다. 이 제품은 빅데이터 분석 엔진 기반으로 전사 시스템의 데이터를 실시간 분석할 수 있다. 다면적 차원에서 이상거래 징후 탐지가 가능하다. 엠오에스아시아도 빅데이터 플랫폼인 스플렁크를 전면에 내세우며 FDS 시장을 공략한다. 스플렁크 핵심은 데이터 수집과 분석이다. 웹사이트·애플리케이션·서버·네트워크 장치 등 각종 기기에서 생성된 데이터를 수집하고 인덱싱해 활용할 수 있도록 지원한다. 실시간 데이터 검색과 스플렁크만의 다양한 함수로 데이터를 분석한다. 한국CA는 ‘CA 리스크마인더’로 시장 공략을 강화했다. 이 제품은 계정 도난이나 온라인 사기에 대응하는 실시간 보호기능을 구현한다. 기업 온라인 서비스부터 소비자 온라인 자금이체, 전자상거래 트랜잭션까지 온라인 접속에서 발생할 수 있는 모든 잠재적 사기 상황을 분석한다. 모든 과정은 위험도가 낮은 합법적 사용자에게 영향을 미치지 않는 범위 내에서 진행된다. 큐핏은 자체 개발한 사기방지솔루션에 오라클 보험사기방지 솔루션을 더해 성능을 강화한 FDS 솔루션을 개발했다. 금융보안연구원이 발표한 FDS 기술 가이드라인에 있는 정보 수집 후 거래 내역 분석과 분석된 결과를 효율적으로 대응한다. 고객 거래에서 들어온 거래 정보 프로파일링을 평가해 이상금융거래를 적발한다. 데이터밸류는 이디엄과 금융권 이상거래 탐지 솔루션인 ‘로그세이(LogSay)’를 공동 개발했다. 로그세이는 100% 국내 기술로 개발된 실시간 빅데이터 분석 시스템 로그프레소를 기반으로 한 이상금융거래 탐지시스템이다. 금융위원회에서 발표한 이상거래시스템 운영지침과 금융권 내 실무자의 요구사항을 충족한다. 데이터스트림즈는 ‘테라스트림’으로 시장공략에 나섰다. 다양한 서버 환경에서 소스 데이터를 고속 가공 처리할 수 있는 데이터 통합 솔루션이다. 고속 데이터 추출 엔진인 팩트(FACT)를 탑재해 타 솔루션 대비 최고 30배 빠른 추출 성능을 보인다. 신혜권기자 hkshin@etnews.com [https://www.etnews.com/20140722000061](https://www.etnews.com/20140722000061)

2014-07-24

[로그분석특집] 이디엄 '로그프레소'

이디엄(대표 양봉열)은 데이터 분석 스타트업이다. 이디엄 통합로그관리 솔루션 ‘로그프레소 (LOGPRESSO)’를 업그레이드해 통합로그 시장을 공략한다. 로그프레소는 IT 인프라에서 발생하는 다양한 데이터를 수집, 저장, 분석, 시각화 등에 이르는 전체적인 작업을 통합한다. 빅데이터를 실시간으로 스트림 분석하는 솔루션이다. 각종 컴플라이언스를 만족시키는 것부터 효과적이고 신속한 보안 침해사고 분석, 데이터 위변조 방지 등 통합로그 관리체계를 지원한다. 로그프레소는 수천만건 이벤트 실시간 스트림을 분석한다. 실시간 스트림 조인 분석과 필드 인덱스 기반 초고속 데이터 검색 기능 등을 새로 추가했다. 기업 IT 인프라에서 발생하는 다양한 보안 리스크를 완화할 수 있을 것으로 기대된다. 로그프레소는 특허 등록된 빅데이터 스트림 분석 기술을 기반으로, 실시간 보안 분석과 경보 기능을 제공한다. 특히 실시간 빅데이터를 스트림 조인 분석과 복합 이벤트 처리(CEP) 분석을 한다. 실시간으로 쏟아지는 각종 보안 위협을 보다 신속하게 탐지하고 대응한다. 데이터 검색과 분석 성능도 대폭 개선했다. 필드 인덱스 기술로 쉽고 정교하게 데이터 인덱싱을 한다. 기존 풀텍스트 검색보다 10배 이상 빨라진 검색 엔진으로 보안 침해 사고를 보다 쉽고 빠르게 분석한다. 이렇게 IT 인프라 전반에 걸쳐 발생하는 각종 보안 위협에 실시간으로 대응하는 것을 시작으로, 인프라 자원에 대한 모니터링, 각종 보안사고 분석, 로그 원본 보존 및 관리까지 IT 인프라 관리에 필요한 다양한 요구사항을 한 개 솔루션에서 자연스럽게 통합했다. 2013년 제품을 발표한 이후 통신사, 금융기관, 공공기관 등 많은 고객이 로그프레소를 도입했다. 하루에 10테라바이트(TB) 이상 로그 데이터가 발생하는 LG유플러스는 기존 인프라로는 하루 로그 데이터 분석에 3일 이상 소요됐다. 로그프레소를 도입해 하루 데이터를 분단위로 분석할 수 있는 체계를 갖췄다. SK플래닛은 로그프레소를 활용해 전국 IDC에서 발생하는 로그에 대해 원본 로그의 통합 관리, 위변조 방지 암호화 저장을 수행해 다양한 컴플라이언스 이슈를 해결했다. 동시에 전체 인프라에서 발생하는 보안 사고와 장애 추적 업무를 수행하는 종합 대응 시스템을 만들었다. 관세청은 개인정보 유출 사고 방지를 위해 로그프레소를 도입했다. 개인정보를 다루는 모든 시스템 업무 로그와 엔드포인트 보안솔루션에서 발생하는 각종 로그를 실시간으로 수집·분석하는 체계를 마련했다. 로그프레소는 임시 데이터를 남기지 않고 수집과 동시에 실시간으로 데이터를 암호화해 개인정보관련 로그 데이터를 안전하게 저장한다. 양봉열 이디엄 대표는 “기업 IT가 보다 복잡해지고, 인프라 내외부에 대한 경계가 흐려지면서, 보안 위협은 보다 다양한 방면에서 쏟아지고 있다”며 “로그프레소는 차별화된 빅데이터 스트림 분석 기술과 개선된 데이터 검색 성능으로 폭발적으로 증가한 실시간 보안 위협에 대응한다”고 말했다. 김인순기자 insoon@etnews.com [https://www.etnews.com/20151028000160](https://www.etnews.com/20151028000160)

2015-10-28

이디엄, 실시간 빅데이터 분석 솔루션 ‘로그프레소 3.0’ 출시

이디엄(www.eediom.com 대표 양봉열)은 실시간 빅데이터 분석 솔루션인 ‘로그프레소 3.0’을 출시했다고 21일 밝혔다. 이전 버전 제품 대비 성능 및 고급 분석기능이 강화된 것이 특징이다. 2013년 첫 버전이 발표된 로그프레소는 IT 인프라에서 발생하는 다양한 데이터의 수집부터 저장, 분석, 시각화에 이르는 전체 과정을 단일 엔진으로 처리할 수 있는 국산 실시간 빅데이터 솔루션이다. 금융과 통신, 공공 등 각종 산업 영역에 걸쳐 응용 영역을 넓혀 나가고 있으며, 컴플라이언스 준수, 서비스 품질데이터 실시간 분석, 개인정보 유출 탐지, 하루 20TB에 이르는 통신 로그 분석까지 다양한 목적으로 활용되고 있다. 이번에 업그레이드된 로그프레소 3.0은 ▲10배 이상의 검색 성능을 제공하는 필드 인덱스 ▲실시간으로 연관 분석을 수행할 수 있는 스트림 조인 및 멀티 패턴 매칭 ▲고급 분석을 위한 다양한 분석 기능 제공 등이 특징으로, 기존 제품에 비해 실시간 분석 및 검색 성능이 개선됐다. 복잡한 조건의 분석을 수행할 수 있는 분석 기능도 강화됐다. 이디엄 양봉열 대표는 “이번 로그프레소 3.0의 출시로 인해 최고 성능을 보장하는 실시간 빅데이터 솔루션으로서 입지를 강화함은 물론, 분석의 중요성이 커져가는 시장 환경에 가장 알맞은 형태로 로그프레소의 영역 확대를 가속화 할 것”이라고 말했다. <백지영 기자>jyp@ddaily.co.kr [https://www.ddaily.co.kr/news/article/?no=138446](https://www.ddaily.co.kr/news/article/?no=138446)

2015-12-21