"빅데이터 분석 속도 최대 100배 빨라져"

빅데이터 분석이 100배 빨라진다. 비정형과 반정형 데이터를 저장하고 분석할 수 있는 새로운 컬럼DB 엔진 기술과 대시보드 드릴다운 기능, 3D 글로브 및 3D 링크-그래프, 트리맵 등을 이용한 직관적 시각화와 다차원 분석 방법이 동원된 새로운 분석기법이 등장했기 때문이다.

데이터 기반 인프라 기술과 솔루션 전문기업 이디엄(대표 양봉열)이 빅데이터 분석을 실시간으로 지원하는 '로그프레소 엔터프라이즈'(Logpresso Enterprise) 최신 버전을 출시했다. 이디엄은 22일 빅데이터 분석의 최신 기술 트렌드를 반영해 분석 속도가 최대 100배 이상 빨라졌다고 설명했다.

로그프레소는 IT 인프라에서 발생하는 다양한 데이터의 수집부터 저장, 분석 및 시각화에 이르는 전체 과정을 통합한 솔루션으로 이를 통해 데이터를 다양한 목적으로 쉽고 간편하게 활용할 수 있다.

로그프레소 최신 버전은 100배 이상의 데이터 분석 성능을 제공하는 컬럼DB 기술과 탐색적 데이터 분석을 지원하는 대시보드 드릴다운 기능을 기반으로 각종 정형·비정형 데이터에 대한 실시간 비즈니스 인텔리전스를 제공한다.

양봉열 이디엄 대표는 "로그프레소는 통신로그분석, 서비스 품질관제, 통합보안관제, 실시간 이상금융거래탐지 등 다양한 분야에 적용돼왔다"며 "컬럼DB 기술을 이용해 이러한 시스템들의 분석 능력을 고도화하고 수십 만대 이상의 셋톱박스, IoT 센서 등에서 발생하는 실시간 데이터 분석 요구에 대응할 수 있을 것으로 예상한다"고 말했다.

빅데이터를 실시간으로 분석하는 컬럼DB 기술이란, 기존 컬럼 지향 DBMS가 고속 분석을 수행하지만 테이블 스키마가 고정돼있어 형태가 다양한 빅 데이터를 처리하는 데에 어려웠던 점을 개선한 새로운 기술이다. 이디엄은 스키마리스 방식으로 데이터를 저장하고 분석할 수 있는 컬럼 스토리지 기술을 개발했다. 그 결과 비정형·반정형 데이터도 컬럼DB 기술로 고속 분석할 수 있게 됐다. 더불어 데이터 암호화를 적용할 경우, 분석 작업에 필요한 컬럼만 복호화할 수 있도록 해 보안성을 유지하면서도 고속 분석 성능을 유지할 수 있도록 했다.

또한 지연 평가와 SIMD(Single Instruction Multiple Data; 하나의 명령어로 여러 개의 값을 동시에 계산하는 병렬 프로세서의 한 방식) 기술 등을 쿼리 엔진에 추가로 적용했다. 데이터 분석 시 쿼리에서 참조하는 일부 컬럼만 읽어 들여 부하를 줄이고 최신 프로세서에서 제공하는 SIMD 기술을 이용해 연산을 가속함으로써 빠른 데이터 분석이 가능해졌다.

탐색적 데이터 분석을 지원하는 대시보드 드릴다운이란, 써머리 테이블이나 리포팅 쿼리 가속을 이용하는 단순한 실시간 대시보드를 넘어 엔진 차원의 성능 향상을 통해 빅 데이터의 탐색적 분석과 시각화를 실시간으로 지원하는 대시보드 드릴다운 기능을 의미한다.

로그프레소 새 버전에는 또한 3D 링크 그래프, 3D 글로브, 트리맵 등 다양한 위젯이 추가돼, 이를 이용한 직관적인 데이터 시각화 및 다차원 드릴다운 분석이 가능해졌다. 이와 같은 개선 사항과 기존에 제공하던 실시간 데이터 수집, 실시간 데이터 처리 및 분석 기능을 결합한 로그프레소 최신 버전은 정형·비정형 스트림 데이터에 대한 실시간 비즈니스 인텔리전스를 제공할 것으로 기대된다.

이규화 선임기자 david@dt.co.kr

http://www.dt.co.kr/contents.html?article_no=2016092302101252660001

둘러보기

더보기

이디엄, BSMIT 협력 통해 로보어드바이저 시장 진출

이디엄(대표이사 양봉열)은 로보어드바이저 서비스 ‘파봇’을 운영하는 BSMIT와 로보어드바이저 기술 협력에 대한 업무협약(MOU)을 체결했다고 밝혔다. 이번 협약으로 양사가 보유한 실시간 빅데이터 분석, 머신러닝, 예측분석, 이상 징후 분석, 시장 대응형 투자엔진 등 다양한 기술을 활용하여 로보어드바이저 기술을 공동 개발하게 되며 이를 기반으로 로보어드바이저 서비스 ‘파봇’을 이용하는 고객들에게 보다 다양한 서비스를 제공할 예정이다. 빅데이터 분석 플랫폼 시장을 선도하는 이디엄과 로보어드바이저 시장의 대표 스타트업인 BSMIT의 이번 협력을 통해 양사는 로보어드바이저 시장의 주도권을 확대할 서비스와 기술을 만들어갈 수 있을 것으로 기대하고 있다. 변인선 BSMIT 대표는 “급변하는 금융시장에서 파봇은 안정성을 최우선 가치로 고객의 자산을 꾸준히 성장시켜 왔다”며 “데이터가 급격하게 변화하는 금융 환경에서 이디엄과 함께 고객의 다양한 요구사항을 만족시킬 수 있는 서비스를 개발하여 로보어드바이저 시장을 빠르게 성장시킬 것”이라고 말했다. 양봉열 이디엄 대표는 “그동안 금융권에서 이상 거래 탐지 시스템, 대포 통장 탐지 시스템 등으로 검증된 로그프레소의 성능과 안정성을 로보어드바이저를 통해서도 선보일 수 있게 되었다”며 “이번 협력을 계기로 로그프레소의 기술력을 한 단계 업그레이드 하는 동시에 스타트업 간의 협력에 기반한 성장 모델을 보여줄 것”이라고 밝혔다. 데이터넷(http://www.datanet.co.kr) [http://www.datanet.co.kr/news/articleView.html?idxno=107867](http://www.datanet.co.kr/news/articleView.html?idxno=107867)

2017-02-23

빅데이터 이용 통합보안 전략 제시

빅데이터 전문기업 이디엄은 양봉열 대표(사진)가 오는 21일 열리는 IDG 콘퍼런스에서 빅데이터 보안관제 전략을 제시한다고 밝혔다. 양봉열 대표는 빅데이터 기반 통합 보안체계 구축 시 고려해야 할 사항을 짚어보고 한정된 인력으로 보안 체계를 통합 운영할 수 있는 방법을 제시할 예정이다. 2011년부터 개최돼온 'IDG 비즈니스 임팩트 & 빅데이터' 콘퍼런스는 올해 7회째를 맞아 '빅데이터, AI : 성공 비즈니스의 열쇠'라는 주제로 빅데이터, 인공지능, 머신러닝 등이 각 산업에서 어떻게 활용되고 있는지 살펴보는 세션을 갖는다. 양봉열 대표는 빅데이터를 이용한 통합 보안체계 구축을 주제로 이 세션에서 발표할 예정이다. 양 대표는 "단순한 외부 침해 관제를 위주로 이뤄졌던 통합 보안 관리는 애플리케이션 동작에 대한 가시성을 확보해 개인정보 오남용 탐지 등의 내부통제를 통합하고, 단순 탐지를 넘어 이상 거래를 실시간으로 대응 및 차단하는 보안 자동화 시대로 접어들고 있다"며 "통신사, 금융기관, 공공기관 등에서 안정성과 성능을 검증받은 '로그프레소' 기반 보안관제 구축 성공 사례를 바탕으로 통합 보안전략을 제시하겠다"고 밝혔다. '로그프레소'는 데이터를 기반으로 문제를 해결하고 가치를 창출할 수 있는 이디엄의 빅데이터 플랫폼이다. 이번 콘퍼런스에는 이디엄 외에도 이베이, 페이스북, 프로그, 에어비앤비, 현대중공업, 신한은행, 한국HPE, 파수닷컴 등이 빅데이터를 통한 비즈니스 혁신 사례를 발표할 예정이다. 이규화 선임기자 david@ [http://www.dt.co.kr/contents.html?article_no=2017020802109952660003](http://www.dt.co.kr/contents.html?article_no=2017020802109952660003)

2017-02-08

서울시, 차세대 보안관제 구축…차세대는 무엇이 다른가?

보안이 무너지고 있다. 개인정보 유출 등 지난 몇 년간 정보보안 사고가 크게 늘어나면서 전통적인 경계보안의 한계와 문제점이 도출되고 있다. 특히 민감한 정보를 다루는 공공기관 같은 정보시설 등은 특정 정보를 빼내갈 목적으로 진행되는 APT공격의 표적이 되기가 쉽다. 갈수록 지능화되고 고도화되고 있는 APT공격은 암처럼 번지고 있다. 이에 보안업계에서는 각사별 APT 대응 솔루션으로 앞다퉈 APT 대응체계를 갖추고 있지만 확실한 대안이 나오고 있진 않다. 이에 주목받는 기술로 빅데이터 엔진을 활용한 공격 패턴 분석으로 사이버 공격을 사전에 방지하는 방법이 떠오르고 있다. 보안업계 관계자는 “APT 공격은 단기간에 준비해 실행하는 것이 아니라 장기간에 걸쳐 준비되고 이런 공격을 탐지하기 위해선 각종 대용량 데이터를 신속하게 분석할 수 있는 대용량 통계분석이 필요하다”며 “이런 대용량 통계분석 기능 위에 각종 시나리오로 분석을 수행할 수 있어야 된다”고 설명했다. 빅데이터 분석을 통해 로그를 통합, 관리하고 보안 위협을 종합적으로 대응하거나 보안사고시 상황을 빠르게 인지하고 분석하며 즉각 대처할 수 있는 삼박자가 맞아야 되는 필요성이 대두되고 있는 상황이다. 이러한 가운데 지난 5월 서울시청은 ‘서울 통합보안관제센터 이전 및 차세대 보안관제시스템 구축’ 사업을 선정한 바 있다. 서울 외에 부산도 차세대 보안관제 사업 선정을 조만간 진행할 예정이며 이외 많은 지자체에서도 지능화, 고도화된 사이버공격 위협으로부터 신속한 대응체계 구축을 위해 차세대 보안관제시스템을 준비중이다. 방화벽 등 다양한 이기종 로그를 신속하게 수집해 시나리오 기반 분석을 수행해 지능화·고도화된 사이버 위협에 대한 분석은 기본 대응체계를 확립하고자 하는 것이 주된 이유이다. 서울시가 진행하는 이번 사업은 서울시 전 기관에 대한 24시간 365일 보안관제 체계를 수립해 정보보안업무의 컨트롤 타워 구축을 통해 서울시 정보자산의 보호는 물론 시민에게 무중단 정보서비스를 제공하는 것이 목적이다. 특히 서울시측은 이번 보안 사업을 통해 전통적인 보안관제 체계를 넘어 사이버 공격 사전 예방, 침해사고 발생시 즉각 대응조치 등 보다 강화된 보안 관제를 수행하고자 하는데 가장 큰 목표로 하고 있다. 차세대가 붙은 이유는 바로 여기에 있다. 이 사업은 한솔넥스지와 이디엄 양사가 손을 잡고 사업을 수주했다. 두 기업의 선정이유는 바로 ‘빅데이터 역량’이다. 이디엄은 IT 인프라에서 발생하는 각종 데이터를 실시간으로 수집, 분석하는 역량을 지니고 있으며 한솔넥스지는 보안컨설팅, 취약점분석 등 보안관제에 필요한 뛰어난 역량과 더불어 자체적인 보안관제 방법론을 구축한 기업이다. 양사가 서울시가 구축하게 될 차세대 보안 관제시스템은 보안 시스템의 로그를 모아 살펴보는 것 그 이상을 의미한다. 구동언 이디엄 이사는 “차세대 보안 관제시스템은 보안 시스템 뿐만 아니라 사용자, 기기의 행위와 관련된 다양한 원천 데이터를 형태에 상관없이 수집한다”며 “이 모든 데이터를 각종 공격 유형에 해당되는지 확인하고 해당 사용자/기기의 과거 이력과 비교해 동료 사용자, 타 기기들의 이력과 비교해 이상행위인지 등을 판단하게 된다”고 말했다. 이어 “실시간 탐지, 대용량 통계분석, 프로파일링 기반 이상징후를 결합해 실시간으로 수집되는 다양한 유형의 데이터에 대해 실시간 이벤트 분석 및 복잡한 시나리오 기반의 분석을 할 수 있게 됨으로써 지능형 공격을 탐지할 수 있게 된다”고 덧붙였다. 특히 이디엄이 개발한 로그프레소가 가진 데이터 처리 역량이 높은 점수를 받았다. 로그프레소는 로그와 프레소의 합성어로 ‘데이터 핵심의 정수를 뽑아서 보여준다’는 뜻을 담고 있다. 구동언 이디엄 이사는 “로그프레소는 IT인프라에서 발생하는 다양한 데이터를 수집해 분석하고 한 눈에 시각화해서 보여주는 빅데이터 솔루션으로 통신, 금융, 공공 등 다양한 분야에서 활용되고 있다”고 설명했다. 특히 수집부터 시각화까지 의사결정에 필요한 모든 단계를 지원하고 전체 보안 현황을 확인할 수 있는 대시보드 형태의 웹 기반 UI를 제공하는 등의 메리트가 있어 국내 다양한 보안기업에서도 로그프레소를 활용해 보안 솔루션을 구축해 활용하고 있다. 각종 서버에서 쏟아지는 다양한 개인 정보 접근 로그를 업무 각 단계에서 수집해 개인정보 유출 및 오남용 이상 징후를 빠르게 인지하고 대응할 수 있는 점도 특징이다. 한편 한솔넥스지와 이디엄 양사는 다양한 산업 분야에서 선도적 빅데이터 보안 관제 모델을 만들어내 차별화된 정보보안 서비스를 제공할 계획이다. [http://www.cctvnews.co.kr/news/articleView.html?idxno=50854](http://www.cctvnews.co.kr/news/articleView.html?idxno=50854)

2016-06-21