로그프레소 소나 4.0.2404.0 버전이 출시되었습니다. 이 버전은 지난 해 대규모 금융그룹 환경에서 검증된 새로운 클러스터 아키텍처 구성을 지원합니다.
전달 노드 기반 자동 부하 분산
지금까지 로그프레소는 각 장비에서 발생하는 로그를 어느 수집 서버에 저장할지 운영자가 직접 지정하여 관리해왔습니다. 그러나 단일 데이터 원천에서 일일 1TB 이상의 데이터가 수집되는 사례가 등장하기 시작하면서 부하 자동 분산 기능이 필요하게 되었습니다.
전달 노드(Forwarder node)는 로그의 진입점으로 기능하는 새로운 유형의 노드로, 모든 수집 노드와 연결되어 있습니다. 전달 노드는 클러스터가 수신하는 모든 데이터의 게이트웨이처럼 동작하며 로그프레소 소나의 고가용성과 부하 분산 기능을 강화합니다.
전달 노드는 각 수집 노드 쌍 중에서 우선순위가 높은 노드(실선) 집합에 대하여 라운드 로빈 방식으로 부하를 분산합니다. 우선순위가 높은 노드는 데이터를 같은 쌍에 속한 다른 노드로 실시간 복제합니다.
또한 수집 노드에 장애가 발생하면 전달 노드는 자신의 메모리와 디스크를 사용해 아직 수집 노드에 전송되지 않은 데이터를 보관합니다. 수집 노드가 복구되면 전달 노드는 보관 중인 데이터를 수집 노드에 전송함으로써 데이터 손실을 방지하고 고가용성을 향상시킵니다. (더 알아보기)
스토리지 성능과 비용 최적화
| 구분 | Hot 계층 | Warm 계층 | Cold 계층 |
|---|---|---|---|
| 장치 유형 | NVMe 또는 SSD | HDD | S3 또는 NAS |
| 검색 성능 | 매우 높음 | 보통 | 낮음 |
| 통계 성능 | 높음 | 보통 | 낮음 |
| 복제 계수 | 2 | 2 | 1 |
| 단위 비용 | 높음 | 보통 | 낮음 |
| 구성 목적 | 검색 성능 극대화 | 범용 분석 | 컴플라이언스 준수 |
SIEM 하드웨어 비용에서 큰 비중을 차지하는 것이 바로 스토리지입니다. 스토리지의 가격은 성능과 용량에 비례하는데, SIEM은 컴플라이언스 준수를 위해 장기간 데이터를 보관하여야 하므로 대용량 스토리지가 필수적입니다. 지금까지 로그프레소는 단일 데이터 계층으로 구성되어 스토리지의 성능과 비용을 모두 최적화하기 어려웠습니다.
이번에 새롭게 선보이는 스토리지 생명주기 기능을 이용하면 데이터를 여러 스토리지 계층에 나누어 보관할 수 있으므로, 다른 성능 특성을 가진 하드웨어를 조합할 수 있습니다. 예를 들어, 최근 1개월 분량의 로그는 NVMe에 저장하여 검색 및 분석 성능을 극대화하고, 그 이후의 로그는 하드디스크나 NAS에 보관하여 최소 비용으로 최대의 성능을 추구할 수 있습니다.
특히, 중복성(Redundancy)이 보장되는 네트워크 연결 스토리지(NAS)나 S3 등 오브젝트 스토리지로 데이터 이관 시에는 논리적으로 단일 사본을 보관하도록 구성하여 디스크 사용량을 최소화 할 수 있습니다. 데이터 적재 후 위변조를 방지하는 WORM(Write-Once Read-Many) 스토리지에 대한 지원도 생명주기의 일부로 편입하여 설정 및 관리가 훨씬 간편해졌습니다. (더 알아보기)
맺음말
이 외에도 T-OTP를 통한 2차 인증을 지원하는 등 100가지 이상의 기능이 개선되었습니다. 4.0.2404 릴리스 노트에서 세부사항을 확인해보세요!
