DHCP를 통한 자산 프로파일링

네트워크 보안 관리는 내부에 어떤 호스트들이 존재하는지 파악하는데서 출발합니다. 큰 범위에서는 방화벽을 이용하여 트래픽의 흐름을 제어하지만, 특정 세션이 정말 허용된 트래픽인지, 침입방지시스템에서 경보한 익스플로잇이 해당 호스트에 유효한 공격인지 식별하기 위해서는 자산에 대한 상세한 메타데이터가 필요합니다.

과거에는 자산 정보를 수작업으로 관리할 수 있었지만, 개인이 사용하는 모바일 장치가 증가하고 인터넷에 접근하는 기기의 종류가 늘어나면서 자동화된 자산 정보 구축이 중요해졌습니다. 최근의 네트워크 접근 제어 (NAC; Network Access Control) 솔루션들은 자산 정보의 자동 수집과 네트워크 접근 권한 제어를 수행하는데, 로그프레소는 별도의 NAC이 없는 경우에도 자산 프로파일링을 자동화할 수 있는 방법을 제공합니다. 그 중 하나는 DHCP 핑거프린팅입니다.

DHCP 프로토콜

아래의 스크린샷은 와이어샤크로 살펴본 DHCP 패킷 샘플입니다. 원본 PCAP 파일은 Chris Sanders 웹사이트에서 다운로드할 수 있습니다.

스크린샷에서 확인할 수 있듯이 각 DHCP 요청 패킷은 MAC, IP 주소 정보 뿐 아니라, 호스트 이름 (Client Identifier 옵션), 제조사 (Vendor class identifier) 정보를 포함하고 있습니다. 더 중요한 부분은 매개변수 요청 목록 (Parameter Request List) 옵션이 운영체제나 기기에 따라 조금씩 다르기 때문에, 일종의 지문처럼 활용할 수 있다는 사실입니다.

DHCP 핑거프린팅

로그프레소는 decodedhcp 커맨드를 이용해서 DHCP 패킷을 파싱할 수 있도록 지원합니다.

pcapfile dhcp_inlease_renewal.pcap | decodedhcp

아래의 쿼리는 호스트 이름 추출 예시입니다. foreach 함수는 options 필드를 순회하면서 name이 HostName인 옵션을 찾아 BLOB 값을 decode 하여 호스트 이름 문자열로 복원합니다.

pcapfile dhcp_inlease_renewal.pcap | decodedhcp
| eval host_name = strjoin("", foreach(if(valueof(_1, "name") == "HostName", decode(valueof(_1, "value")), ""), options))
| eval host_name = if(len(host_name) > 0, host_name, null)
| fields client_ip, client_mac, host_name

아래의 쿼리는 DHCP 핑거프린트 룩업 DB를 이용하여 호스트의 운영체제를 식별하는 예시입니다.

pcapfile dhcp_inlease_renewal.pcap | decodedhcp
| eval host_name = strjoin("", foreach(if(valueof(_1, "name") == "HostName", decode(valueof(_1, "value")), ""), options))
| eval host_name = if(len(host_name) > 0, host_name, null)
| lookup dhcp_fingerprint fingerprint output category as os_category, vendor as os_vendor, family as os_family, description as os_name
| fields host_name, client_ip, client_mac, os_category, os_vendor, os_family, os_name, fingerprint

로그프레소에 내장된 DHCP 핑거프린트 룩업은 200개 이상의 핑거프린트를 포함하며 아래의 메타데이터를 제공합니다:

  • category: 20종 이상의 장치 분류 (예: Desktop oriented operating system)
  • vendor: 60종 이상의 제조사 (예: Microsoft Corporation)
  • family: 90종 이상의 장치 유형 (예: Microsoft Windows NT)
  • description: 운영체제/기기 이름 (예: Windows 7)

위의 예시는 PCAP 파일을 대상으로 한 쿼리이지만, 로그프레소는 풀 패킷 캡처 엔진을 내장하고 있으므로 실시간으로 DHCP 트래픽을 수집하여 자산 데이터베이스 구축을 자동화할 수 있습니다.

둘러보기

더보기

CEF 로그 포맷

CEF는 공통 이벤트 포맷 (Common Event Format)의 약어로, 아크사이트 등 ESM이나 SIEM 시스템과 연동할 목적으로 흔히 사용되는 규격입니다. 이 문서에서는 CEF 포맷의 세부사항을 다룹니다. ## CEF 헤더 규격 CEF 포맷은 아래와 같이 구성됩니다. ``` Jan 18 11:07:53 호스트 CEF:버전|제조사|제품모델|제품버전|이벤트 클래스 ID|이벤트 이름|위험도|[확장] ``` * 버전: CEF 포맷 자체의 버전을 의미합니다. 현재 유효한 값은 0 입니다. * 제조사: 로그를 전송하는 장치의 제조사를 의미합니다. * 제품모델: 로그를 전송하는 장치의 제품모델을 의미합니다. 제조사와 제품모델의 쌍으로 유일하게 해당 제품을 식별할 수 있어야 합니다. * 제품버전: 로그를 전송하는 장치의 버전을 의미합니다. * 이벤트 클래스 ID: 이벤트 유형별로 유일한 식별자입니다. 숫자일 수도 있고, 문자열일 수도 있습니다. 일반적으로 IPS의 시그니처 ID가 기입됩니다. * 이벤트 이름: 사람이 읽을 수 있는 형태의 이벤트 설명이 기록됩니다. 이 항목에는 IP나 포트처럼 특정한 정보는 포함하지 않고 이벤트 클래스 ID와 연결된 설명을 기록합니다. * 위험도: 이벤트 중요도를 문자열이나 숫자로 표현합니다. 문자열인 경우 유효한 값은 Unknown, Low, Medium, High, Veri-High 입니다. 숫자인 경우 유효한 값은 0~3 (Low), 4~6 (Medium), 7~8 (High), 9~10 (Very-High) 입니다. ## CEF 확장 CEF 헤더 뒷부분은 키=값 쌍으로 기술됩니다. 각각의 키=값 쌍은 공백으로 구분되며, 순서에는 제약이 없습니다. CEF 확장 필드는 값의 타입에 따라 커스텀 필드의 이름이 결정됩니다. 예를 들면 다음과 같습니다. * cn1 (custom number 1): 정수 필드, cn3까지 지정 가능 * cfp1 (custom floating point 1): 실수 필드, cfp4까지 지정 가능 * cs1 (custom string 1): 문자열 필드, cs6까지 지정 가능 * c6a1 (custom ipv6 address 1): IPv6 주소 필드, c6a4까지 지정 가능 각각의 커스텀 필드 값에 해당되는 필드 이름은 Label 접미사가 붙은 필드로 지정됩니다. 예를 들어, cn1 필드 값에 대한 필드 이름은 cn1Label 필드에 기록됩니다. 주로 사용되는 표준화된 확장 필드는 다음과 같습니다: | CEF 키 | 전체 이름 | 타입 | 최대길이 | 설명 | | ---------- | --------------------- | ---------- | ------------------------------- | ---------------------------------------------------------------------------------------------------- | | externalId | externalId | 문자열 | 40 | 원본 데이터 식별자 (Primary Key 등) | | rt | deviceReceiptTime | 타임스탬프 | | 이벤트를 수신한 시각, MMM dd yyyy HH:mm:ss 포맷이거나 1970년 1월 1일에서 시작하는 UNIX 타임스탬프 값 | | dvc | deviceAddress | IPv4 주소 | | 이벤트와 관련된 장치의 IPv4 주소 | | dvchost | deviceHostName | 문자열 | 100 | 이벤트와 관련된 장치의 호스트 이름 | | src | sourceAddress | IPv4 주소 | | 출발지 IPv4 주소 | | spt | sourcePort | 정수 | 0~65535 사이의 출발지 포트 번호 | | shost | sourceHostName | 문자열 | 1023 | 출발지 호스트 이름 | | smac | sourceMacAddress | MAC | | 콜론으로 구분된 출발지 MAC 주소 | | dst | destinationAddress | IPv4 주소 | | 목적지 IPv4 주소 | | dpt | destinationPort | 정수 | | 0~65535 사이의 목적지 포트 번호 | | dhost | destinationHostName | 문자열 | 1023 | 목적지 호스트 이름 | | dmac | destinationMacAddress | MAC | | 콜론으로 구분된 목적지 MAC 주소 | | msg | message | 문자열 | 1023 | 멀티라인을 포함할 수 있는 상세 메시지 | ## 메세지 인코딩 규칙 메세지는 아래의 규칙으로 인코딩합니다. * 문자집합: 전체 메세지는 UTF-8로 인코딩합니다. * 파이프: 파이프(|) 문자는 헤더의 각 구성요소를 구분하는데 사용하므로, 값에 파이프 자체를 표현해야 하는 경우 백슬래시를 앞에 붙여서 이스케이프해야 합니다. * 백슬래시: 백슬래시(\) 문자는 이스케이프로 사용하므로, 값에 백슬래시 자체를 표현해야 하는 경우 백슬래시(\)를 앞에 하나 더 붙여야 합니다. * 등호: 등호(=) 문자는 CEF 메세지 확장 부분에서 키와 값을 구분하는 용도로 사용하므로, 값에 등호 자체를 표현해야 하는 경우 백슬래시(\)를 앞에 하나 더 붙여야 합니다. 단, 헤더 부분에서는 등호를 이스케이프하지 않습니다. * 개행: 멀티라인으로 구성된 필드는 개행을 \r이나 \n으로 표현합니다. 단, 개행은 확장의 값 표현에만 허용됩니다. ## CEF 로그 예제 CEF를 사용하는 파이어아이 NX 시리즈의 로그 예시는 아래와 같습니다. ``` fenotify-20252856.warning: CEF:0|FireEye|CMS|7.8.1.468932|DM|domain-match|1|rt=Oct 19 2016 01:04:40 UTC src=172.20.1.23 cn3Label=cncPort cn3=53 cn2Label=sid cn2=80448589 shost=dns.example.com proto=udp spt=23619 cs5Label=cncHost cs5=acme.com dvchost=EXAMPLE-NX2 dvc=192.168.10.11 smac=e4:c7:22:2a:c7:d2 cn1Label=vlan cn1=0 externalId=10352856 cs4Label=link cs4=https://example.com/event_stream/events_for_bot?ev_id\=10352856 act=notified dmac=00:09:0f:09:1e:03 cs1Label=sname cs1=Trojan.Gen.C.DNS ``` ## 참고 문헌 아래의 경로에서 원문 (영문)을 확인할 수 있습니다. * [ArcSight Common Event Format (CEF) Guide](https://www.protect724.hpe.com/servlet/JiveServlet/downloadBody/1072-102-9-20354/CommonEventFormatv23.pdf)

2017-03-25

Sysmon을 이용한 엔드포인트 포렌식

우리는 많은 비용과 노력을 들여 보안체계를 구축하지만, 임직원의 피싱 메일 첨부파일 실행과 같은 작은 부주의로도 공격자가 쉽게 내부로 침투할 수 있습니다. 방화벽이나 침입방지시스템 로그는 트래픽의 흐름과 알려진 네트워크 위협들을 가시적으로 보여주지만, 단지 방화벽 로그에 남아있는 IP와 포트만을 근거로 단말에서 어떤 프로세스가 어떻게 실행되어서 어떤 경로로 전파된 것인지 사후 추적하는 것은 불가능에 가깝습니다. 최근 몇 년 사이에 안티바이러스를 보완하는 EDR (Endpoint Detection & Response)이 빠르게 도입되고 있습니다. EDR은 단말에서 발생하는 모든 행위들을 중앙 서버에 기록하고 분석함으로써, 악성코드의 감염과 확산 경로를 효율적으로 탐지하고 추적할 수 있도록 지원합니다. 예전에는 수천 대의 단말마다 발생하는 수많은 프로세스의 실행, 네트워크 연결 기록들을 DB에서 관리하는게 불가능하다고 여겨졌지만, 발전된 빅데이터 기술이 이 모든 것을 가능하게 한 것입니다. EDR 솔루션을 도입할 수 있는 여건이라면 좋겠지만, 그렇지 않은 경우에도 마이크로소프트에서 배포하는 Sysmon을 이용해서 엔드포인트 보안 체계를 강화할 수 있습니다. Sysmon은 아래와 같은 시스템 행위들을 윈도우 이벤트 로그로 기록합니다. * 프로세스의 생성 및 종료 * 드라이버 로드 * 실행 이미지 로드 * 파일 생성 시각 변조 * 네트워크 연결 * CreateRemoteThread API 사용 * RawAccessRead API 사용 * Sysmon 서비스 상태 변경 아래에서는 로그프레소 센트리를 통해 Sysmon 이벤트를 수집한 예제를 하나씩 살펴보고, 이를 어떻게 외부의 위협 인텔리전스와 연동하여 탐지 및 분석할 수 있는지 알아봅니다. ## 프로세스 실행 분석 ```query table sysmon | fields _time, event_id, level, line ``` ![](/media/ko/2017-01-19-sysmon/sysmon-process-log.png) ``` Process Create: UtcTime: 2017-01-19 14:26:38.692 ProcessGuid: {9D15E6DA-CC9E-5880-0000-0010ECBA5E33} ProcessId: 12644 Image: C:\Program Files\Git\mingw64\bin\git.exe CommandLine: git.exe status -z -u CurrentDirectory: 작업디렉터리 User: 사용자이름 LogonGuid: {9D15E6DA-****-****-****-************} LogonId: 0xA2**** TerminalSessionId: 2 IntegrityLevel: Medium Hashes: SHA256=B388344FEB34B1CB4E7566D846C85587B843181999C05BA00C82FE208CA4909B ParentProcessGuid: {9D15E6DA-CC9E-5880-0000-001080B85E33} ParentProcessId: 19180 ParentImage: C:\Program Files\Git\cmd\git.exe ParentCommandLine: "C:\Program Files\Git\cmd\git.exe" status -z -u ``` 위의 스크린샷은 프로세스 생성 및 종료 시 남겨진 이벤트 로그의 예시입니다. 아래와 같이 쿼리를 사용해서 간단히 이벤트 메시지를 파싱할 수 있습니다. ```query table sysmon | search line == "*Process Create*" | eval line = substr(line, indexof(line, ":") + 3), line = replace(line, "\n", "`") | parsekv overlay=t pairdelim="`" kvdelim=": " | eval Hashes = substr(Hashes, indexof(Hashes, "SHA256=") + 7) ``` ![](/media/ko/2017-01-19-sysmon/sysmon-process-hash.png) 많은 프로세스 실행 기록이 남아있지만, SHA256 해시를 기준으로 통계내면 400개의 실행 이미지로 요약됩니다. ```query table sysmon | search line == "*Process Create*" | eval line = substr(line, indexof(line, ":") + 3), line = replace(line, "\n", "`") | parsekv overlay=t pairdelim="`" kvdelim=": " | eval Hashes = substr(Hashes, indexof(Hashes, "SHA256=") + 7) | stats count by Image, Hashes | sort -count ``` ![](/media/ko/2017-01-19-sysmon/sysmon-process-hash-stats.png) 초기 화이트리스팅 작업을 통해 정상 이미지는 배제하고, 바이러스토탈 등 외부 인텔리전스 서비스를 연동하면 효율적으로 악성코드를 진단할 수 있습니다. 만약 특정 바이너리가 악성코드로 진단된 경우, 원본 이벤트 로그에 아래와 같이 부모 프로세스에 대한 정보가 남아있으므로 충분히 감염 경로를 역추적 할 수 있습니다. ``` ParentProcessGuid: {9D15E6DA-CC9E-5880-0000-001080B85E33} ParentProcessId: 19180 ParentImage: C:\Program Files\Git\cmd\git.exe ParentCommandLine: "C:\Program Files\Git\cmd\git.exe" status -z -u ``` 같은 악성코드 해시가 여러 대의 시스템에서 발견된다면, 이벤트 로그를 시간순으로 정렬하여 어느 호스트로부터 악성코드가 전파되기 시작했는지 분석할 수 있습니다. ## 네트워크 연결 분석 네트워크 연결 이벤트는 프로세스 ID와 이미지 경로를 포함하여 정확하게 어느 프로세스가 어떤 호스트와 통신했는지 보여줍니다. ![](/media/ko/2017-01-19-sysmon/sysmon-connection-log.png) ``` Network connection detected: UtcTime: 2017-01-19 14:54:26.027 ProcessGuid: {9D15E6DA-483F-5876-0000-00105E39B000} ProcessId: 10336 Image: C:\Program Files (x86)\Google\Chrome\Application\chrome.exe User: 사용자명 Protocol: tcp Initiated: true SourceIsIpv6: false SourceIp: 172.20.XXX.XXX SourceHostname: 출발지호스트명 SourcePort: 53563 SourcePortName: DestinationIsIpv6: false DestinationIp: XXX.XXX.XXX.XXX DestinationHostname: DestinationPort: 80 DestinationPortName: http ``` 마찬가지로 아래와 같이 쿼리를 사용해서 간단히 이벤트 메시지를 파싱할 수 있습니다. ```query table sysmon | search line == "*Network connection detected*" | eval line = substr(line, indexof(line, ":") + 3), line = replace(line, "\n", "`") | parsekv overlay=t pairdelim="`" kvdelim=": " | fields _time, ProcessId, Image, Protocol, SourceIp, SourcePort, SourcePortName, DestinationIp, DestinationPort ``` ![](/media/ko/2017-01-19-sysmon/sysmon-connection-log-parsing.png) 이번에는 [맬웨어도메인리스트](https://www.malwaredomainlist.com/)와 연계하여 분석해보도록 하겠습니다. 데모를 위해 맬웨어도메인리스트에 등록된 악성 IP 중 하나에 일부러 접속해서 이벤트를 발생시켰습니다. ```query table sysmon | search line == "*Network connection detected*" | eval line = substr(line, indexof(line, ":") + 3), line = replace(line, "\n", "`") | parsekv overlay=t pairdelim="`" kvdelim=": " | join DestinationIp [ wget url="http://www.malwaredomainlist.com/hostslist/ip.txt" | eval ip = split(line, "\r\n") | fields ip | explode ip | rename ip as DestinationIp ] | fields _time, ProcessId, Image, Protocol, SourceIp, SourcePort, DestinationIp, DestinationPort ``` ![](/media/ko/2017-01-19-sysmon/sysmon-mdl-join.png) 위의 쿼리는 wget 커맨드를 사용해서 맬웨어도메인리스트의 IP 목록을 다운로드한 후 개행문자로 분리하여 즉석에서 IP 블랙리스트 데이터셋을 생성하고 이를 로컬의 윈도우 이벤트와 조인합니다. 위의 쿼리를 로그프레소의 스트림 쿼리로 설정하면, 외부 위협 인텔리전스를 이용하여 밀리초 단위의 실시간으로 탐지 및 경보할 수 있습니다. 위에 설명한 항목들 외에도 Sysmon은 유용한 이벤트 로그들을 생성하므로, 엔드포인트에 일괄 배포하여 이벤트 로그를 실시간으로 수집하고 탐지하면 엔터프라이즈 보안 및 분석 역량을 한단계 끌어올릴 수 있습니다.

2017-01-19

바이러스토탈 API 연동

네트워크 DPI 솔루션이나 EDR 등 엔드포인트 솔루션을 통해 의심스러운 바이너리 해시, IP 주소, 도메인을 수집한 경우, 바이러스토탈 API와 연계하여 악성 여부를 진단할 수 있습니다. ## API 키 발급 바이러스토탈에 가입한 후 커뮤니티 프로필에서 아래와 같이 API 키를 확인할 수 있습니다. ![](/media/ko/2017-01-15-virustotal-api/api-key.png) 모든 API는 JSON 형태로 응답을 반환하며, 아래의 속성을 포함하고 있습니다: * response_code: 1 (분석 결과 있음), 0 (분석 결과 없음), -2 (분석 진행중) * verbose_msg: 응답코드와 관련된 메시지 아래의 예시들은 임의로 진단결과가 존재하는 레코드를 만들어서 REST API를 호출하고 있으나, 예제 쿼리들을 스트림 쿼리로 설정하면 의심되는 정보를 실시간으로 바이러스토탈과 연동하여 조회할 수 있습니다. 다만, 커뮤니티 계정인 경우 바이러스토탈 서비스에서 분당 호출 횟수를 제한합니다. 예제 쿼리의 `VIRUSTOTAL_API_KEY` 부분은 발급받은 API 키로 교체하셔야 실행됩니다. ## 파일 해시 조회 ```query json "{}" | eval md5 = "7657fcb7d772448a6d8504e4b20168b8" | eval url = concat("https://www.virustotal.com/vtapi/v2/file/report?apikey=VIRUSTOTAL_API_KEY&resource=", md5) | wget | parsejson | parsemap field=line | fields scan_id, total, positives, md5, sha256 ``` ![](/media/ko/2017-01-15-virustotal-api/hash-report.png) 호출하는 URL의 resource 매개변수는 MD5, SHA1, SHA256 해시 중 하나를 사용할 수 있습니다. total은 전체 진단 수, positives는 악성으로 탐지된 수를 의미하므로, positives / total 비율이 높은 경우 악성코드로 진단할 수 있습니다. ## IP 주소 조회 ```query json "{}" | eval ip = "90.156.201.27" | eval url = concat("https://www.virustotal.com/vtapi/v2/ip-address/report?apikey=VIRUSTOTAL_API_KEY&ip=", ip) | wget | parsejson overlay=t | parsemap field=line | explode detected_urls | parsemap overlay=t field=detected_urls | fields ip, response_code, url, positives, total, scan_date ``` ![](/media/ko/2017-01-15-virustotal-api/ip-report.png) IP 분석 결과는 위의 스크린샷처럼 주어진 IP와 연관된 악성 URL 정보를 포함합니다. ## 도메인 조회 ```query json "{}" | eval domain = "027.ru" | eval url = concat("https://www.virustotal.com/vtapi/v2/domain/report?apikey=VIRUSTOTAL_API_KEY&domain=", domain) | wget | parsejson overlay=t | parsemap field=line | explode detected_urls | parsemap overlay=t field=detected_urls | fields domain, response_code, categories, url, positives, total, scan_date ``` ![](/media/ko/2017-01-15-virustotal-api/domain-report.png) 도메인 분석 결과는 위의 스크린샷처럼 주어진 도메인과 연관된 악성 URL 정보를 포함합니다.

2017-01-15