CEF 로그 포맷

바이러스토탈 API 연동

네트워크 DPI 솔루션이나 EDR 등 엔드포인트 솔루션을 통해 의심스러운 바이너리 해시, IP 주소, 도메인을 수집한 경우, 바이러스토탈 API와 연계하여 악성 여부를 진단할 수 있습니다. ## API 키 발급 바이러스토탈에 가입한 후 커뮤니티 프로필에서 아래와 같이 API 키를 확인할 수 있습니다.  모든 API는 JSON 형태로 응답을 반환하며, 아래의 속성을 포함하고 있습니다: * response_code: 1 (분석 결과 있음), 0 (분석 결과 없음), -2 (분석 진행중) * verbose_msg: 응답코드와 관련된 메시지 아래의 예시들은 임의로 진단결과가 존재하는 레코드를 만들어서 REST API를 호출하고 있으나, 예제 쿼리들을 스트림 쿼리로 설정하면 의심되는 정보를 실시간으로 바이러스토탈과 연동하여 조회할 수 있습니다. 다만, 커뮤니티 계정인 경우 바이러스토탈 서비스에서 분당 호출 횟수를 제한합니다. 예제 쿼리의 `VIRUSTOTAL_API_KEY` 부분은 발급받은 API 키로 교체하셔야 실행됩니다. ## 파일 해시 조회 ```query json "{}" | eval md5 = "7657fcb7d772448a6d8504e4b20168b8" | eval url = concat("https://www.virustotal.com/vtapi/v2/file/report?apikey=VIRUSTOTAL_API_KEY&resource=", md5) | wget | parsejson | parsemap field=line | fields scan_id, total, positives, md5, sha256 ```  호출하는 URL의 resource 매개변수는 MD5, SHA1, SHA256 해시 중 하나를 사용할 수 있습니다. total은 전체 진단 수, positives는 악성으로 탐지된 수를 의미하므로, positives / total 비율이 높은 경우 악성코드로 진단할 수 있습니다. ## IP 주소 조회 ```query json "{}" | eval ip = "90.156.201.27" | eval url = concat("https://www.virustotal.com/vtapi/v2/ip-address/report?apikey=VIRUSTOTAL_API_KEY&ip=", ip) | wget | parsejson overlay=t | parsemap field=line | explode detected_urls | parsemap overlay=t field=detected_urls | fields ip, response_code, url, positives, total, scan_date ```  IP 분석 결과는 위의 스크린샷처럼 주어진 IP와 연관된 악성 URL 정보를 포함합니다. ## 도메인 조회 ```query json "{}" | eval domain = "027.ru" | eval url = concat("https://www.virustotal.com/vtapi/v2/domain/report?apikey=VIRUSTOTAL_API_KEY&domain=", domain) | wget | parsejson overlay=t | parsemap field=line | explode detected_urls | parsemap overlay=t field=detected_urls | fields domain, response_code, categories, url, positives, total, scan_date ```  도메인 분석 결과는 위의 스크린샷처럼 주어진 도메인과 연관된 악성 URL 정보를 포함합니다.

2017-01-15

Sysmon을 이용한 엔드포인트 포렌식

우리는 많은 비용과 노력을 들여 보안체계를 구축하지만, 임직원의 피싱 메일 첨부파일 실행과 같은 작은 부주의로도 공격자가 쉽게 내부로 침투할 수 있습니다. 방화벽이나 침입방지시스템 로그는 트래픽의 흐름과 알려진 네트워크 위협들을 가시적으로 보여주지만, 단지 방화벽 로그에 남아있는 IP와 포트만을 근거로 단말에서 어떤 프로세스가 어떻게 실행되어서 어떤 경로로 전파된 것인지 사후 추적하는 것은 불가능에 가깝습니다. 최근 몇 년 사이에 안티바이러스를 보완하는 EDR (Endpoint Detection & Response)이 빠르게 도입되고 있습니다. EDR은 단말에서 발생하는 모든 행위들을 중앙 서버에 기록하고 분석함으로써, 악성코드의 감염과 확산 경로를 효율적으로 탐지하고 추적할 수 있도록 지원합니다. 예전에는 수천 대의 단말마다 발생하는 수많은 프로세스의 실행, 네트워크 연결 기록들을 DB에서 관리하는게 불가능하다고 여겨졌지만, 발전된 빅데이터 기술이 이 모든 것을 가능하게 한 것입니다. EDR 솔루션을 도입할 수 있는 여건이라면 좋겠지만, 그렇지 않은 경우에도 마이크로소프트에서 배포하는 Sysmon을 이용해서 엔드포인트 보안 체계를 강화할 수 있습니다. Sysmon은 아래와 같은 시스템 행위들을 윈도우 이벤트 로그로 기록합니다. * 프로세스의 생성 및 종료 * 드라이버 로드 * 실행 이미지 로드 * 파일 생성 시각 변조 * 네트워크 연결 * CreateRemoteThread API 사용 * RawAccessRead API 사용 * Sysmon 서비스 상태 변경 아래에서는 로그프레소 센트리를 통해 Sysmon 이벤트를 수집한 예제를 하나씩 살펴보고, 이를 어떻게 외부의 위협 인텔리전스와 연동하여 탐지 및 분석할 수 있는지 알아봅니다. ## 프로세스 실행 분석 ```query table sysmon | fields _time, event_id, level, line ```  ``` Process Create: UtcTime: 2017-01-19 14:26:38.692 ProcessGuid: {9D15E6DA-CC9E-5880-0000-0010ECBA5E33} ProcessId: 12644 Image: C:\Program Files\Git\mingw64\bin\git.exe CommandLine: git.exe status -z -u CurrentDirectory: 작업디렉터리 User: 사용자이름 LogonGuid: {9D15E6DA-****-****-****-************} LogonId: 0xA2**** TerminalSessionId: 2 IntegrityLevel: Medium Hashes: SHA256=B388344FEB34B1CB4E7566D846C85587B843181999C05BA00C82FE208CA4909B ParentProcessGuid: {9D15E6DA-CC9E-5880-0000-001080B85E33} ParentProcessId: 19180 ParentImage: C:\Program Files\Git\cmd\git.exe ParentCommandLine: "C:\Program Files\Git\cmd\git.exe" status -z -u ``` 위의 스크린샷은 프로세스 생성 및 종료 시 남겨진 이벤트 로그의 예시입니다. 아래와 같이 쿼리를 사용해서 간단히 이벤트 메시지를 파싱할 수 있습니다. ```query table sysmon | search line == "*Process Create*" | eval line = substr(line, indexof(line, ":") + 3), line = replace(line, "\n", "`") | parsekv overlay=t pairdelim="`" kvdelim=": " | eval Hashes = substr(Hashes, indexof(Hashes, "SHA256=") + 7) ```  많은 프로세스 실행 기록이 남아있지만, SHA256 해시를 기준으로 통계내면 400개의 실행 이미지로 요약됩니다. ```query table sysmon | search line == "*Process Create*" | eval line = substr(line, indexof(line, ":") + 3), line = replace(line, "\n", "`") | parsekv overlay=t pairdelim="`" kvdelim=": " | eval Hashes = substr(Hashes, indexof(Hashes, "SHA256=") + 7) | stats count by Image, Hashes | sort -count ```  초기 화이트리스팅 작업을 통해 정상 이미지는 배제하고, 바이러스토탈 등 외부 인텔리전스 서비스를 연동하면 효율적으로 악성코드를 진단할 수 있습니다. 만약 특정 바이너리가 악성코드로 진단된 경우, 원본 이벤트 로그에 아래와 같이 부모 프로세스에 대한 정보가 남아있으므로 충분히 감염 경로를 역추적 할 수 있습니다. ``` ParentProcessGuid: {9D15E6DA-CC9E-5880-0000-001080B85E33} ParentProcessId: 19180 ParentImage: C:\Program Files\Git\cmd\git.exe ParentCommandLine: "C:\Program Files\Git\cmd\git.exe" status -z -u ``` 같은 악성코드 해시가 여러 대의 시스템에서 발견된다면, 이벤트 로그를 시간순으로 정렬하여 어느 호스트로부터 악성코드가 전파되기 시작했는지 분석할 수 있습니다. ## 네트워크 연결 분석 네트워크 연결 이벤트는 프로세스 ID와 이미지 경로를 포함하여 정확하게 어느 프로세스가 어떤 호스트와 통신했는지 보여줍니다.  ``` Network connection detected: UtcTime: 2017-01-19 14:54:26.027 ProcessGuid: {9D15E6DA-483F-5876-0000-00105E39B000} ProcessId: 10336 Image: C:\Program Files (x86)\Google\Chrome\Application\chrome.exe User: 사용자명 Protocol: tcp Initiated: true SourceIsIpv6: false SourceIp: 172.20.XXX.XXX SourceHostname: 출발지호스트명 SourcePort: 53563 SourcePortName: DestinationIsIpv6: false DestinationIp: XXX.XXX.XXX.XXX DestinationHostname: DestinationPort: 80 DestinationPortName: http ``` 마찬가지로 아래와 같이 쿼리를 사용해서 간단히 이벤트 메시지를 파싱할 수 있습니다. ```query table sysmon | search line == "*Network connection detected*" | eval line = substr(line, indexof(line, ":") + 3), line = replace(line, "\n", "`") | parsekv overlay=t pairdelim="`" kvdelim=": " | fields _time, ProcessId, Image, Protocol, SourceIp, SourcePort, SourcePortName, DestinationIp, DestinationPort ```  이번에는 [맬웨어도메인리스트](https://www.malwaredomainlist.com/)와 연계하여 분석해보도록 하겠습니다. 데모를 위해 맬웨어도메인리스트에 등록된 악성 IP 중 하나에 일부러 접속해서 이벤트를 발생시켰습니다. ```query table sysmon | search line == "*Network connection detected*" | eval line = substr(line, indexof(line, ":") + 3), line = replace(line, "\n", "`") | parsekv overlay=t pairdelim="`" kvdelim=": " | join DestinationIp [ wget url="http://www.malwaredomainlist.com/hostslist/ip.txt" | eval ip = split(line, "\r\n") | fields ip | explode ip | rename ip as DestinationIp ] | fields _time, ProcessId, Image, Protocol, SourceIp, SourcePort, DestinationIp, DestinationPort ```  위의 쿼리는 wget 커맨드를 사용해서 맬웨어도메인리스트의 IP 목록을 다운로드한 후 개행문자로 분리하여 즉석에서 IP 블랙리스트 데이터셋을 생성하고 이를 로컬의 윈도우 이벤트와 조인합니다. 위의 쿼리를 로그프레소의 스트림 쿼리로 설정하면, 외부 위협 인텔리전스를 이용하여 밀리초 단위의 실시간으로 탐지 및 경보할 수 있습니다. 위에 설명한 항목들 외에도 Sysmon은 유용한 이벤트 로그들을 생성하므로, 엔드포인트에 일괄 배포하여 이벤트 로그를 실시간으로 수집하고 탐지하면 엔터프라이즈 보안 및 분석 역량을 한단계 끌어올릴 수 있습니다.

2017-01-19

레지스트리 포렌식

레지스트리는 윈도우즈 운영체제와 응용프로그램에 관련된 방대한 설정과 운영 정보가 기록된 데이터베이스입니다. 윈도우즈 운영체제 초창기에는 INI 파일을 사용했으나, 레지스트리가 도입되면서 표준화된 계층적 데이터 구조, 다중 사용자 환경 지원, 접근 권한 제어, 바이너리 포맷 파일 기반의 효율적 I/O, 타입 시스템, 트랜잭션 등을 제공하게 되었습니다. 레지스트리를 분석하면 어떤 프로그램이나 서비스가 부팅 시 자동으로 실행되는지, 어떤 프로그램을 최근에 실행했는지, 어떤 프로그램을 얼마나 오래 사용했는지, 최근 어떤 파일을 검색했는지, 어떤 파일을 열어봤는지, 어느 서버에 접속했는지, 어떤 파일을 압축했는지 등 무수히 많은 정보를 추출할 수 있습니다. 따라서 레지스트리 분석은 사고 조사 초기에 수행해야 할 중요한 단계이며, 여기에서 확인된 정보에 따라 후속 조사의 진행이 결정될 수 있습니다. ## 레지스트리 하이브 파일 레지스트리 편집기(regedit)를 통해 하나로 보이는 레지스트리의 계층적 구조는 물리적으로 여러 개의 레지스트리 하이브 파일에 분산되어 있습니다.  `%SystemRoot%\System32\config` 디렉터리에는 아래와 같은 레지스트리 하이브 파일이 존재합니다. * SAM: HKEY_LOCAL_MACHINE\SAM * SECURITY: HKEY_LOCAL_MACHINE\Security * SOFTWARE: HKEY_LOCAL_MACHINE\Software * SYSTEM: HKEY_LOCAL_MACHINE\System 또한 각 사용자 계정의 디렉터리에는 NTUSER.DAT 레지스트리 하이브 파일이 존재합니다. ## HIVE 파일 구조 레지스트리 하이브 파일은 아래와 같이 구성되어 있습니다.  BASE 블록 구조  HIVE BIN 헤더 구조  로그프레소 포렌식의 hive-file 커맨드는 아래와 같은 필드를 출력합니다.  * key: 키 * type: 타입 (문자열, 이진값, DWORD, QWORD 등) * name: 값 * value: 데이터 * last_written: 마지막 기록 시각 ## 코드게이트 포렌식 문제 연습 로그프레소 포렌식 솔루션은 쿼리를 기반으로 다양한 포렌식 아티팩트를 연관 분석하는 강력한 기능을 지원합니다. 아래에서는 이전 코드게이트 2011 컨퍼런스에서 레지스트리와 관련하여 출제된 문제를 어떻게 분석하는지 설명합니다. > we are investigating the military secret's leaking. we found traffic with leaking secrets while monitoring the network. Security team was sent to investigate, immediately. But, there was no one present. > It was found by forensics team that all the leaked secrets were completely deleted by wiping tool. And the team has found a leaked trace using potable device. Before long, the suspect was detained. But he denies allegations. > Now, the investigation is focused on potable device. The given files are acquired registry files from system. The estimated time of the incident is Mon, 21 February 2011 15:24:28(KST). > Find a trace of portable device used for the incident. > The Key : "Vendor name" + "volume name" + "serial number" (please write in capitals) * Codegate 2011 Forensic 300 문제 파일 제시된 파일의 압축을 풀면 6개의 레지스트리 하이브 파일을 확인할 수 있습니다. 먼저 시스템에 마운트된 장치 정보를 추출하기 위해 SYSTEM 하이브 파일에서 MountedDevices 키를 검색하면 아래와 같이 이진값으로 된 레지스트리 데이터를 확인할 수 있습니다. ```query hive-file codegate2011\system.bak | search key == "*MountedDevices" and name == "\\DosDevices*" ```  이 데이터를 UTF-16으로 디코드하면 아래와 같은 문자열을 확인할 수 있습니다. ```query hive-file codegate2011\system.bak | search key == "*MountedDevices" and name == "\\DosDevices*" | eval value = substr(decode(value, "UTF-16LE"), 4) ```  USB 값만 필터링해서 정규식으로 파싱하면 제조사, 모델명, 버전, 시리얼을 추출할 수 있습니다. ```query hive-file codegate2011\system.bak | search key == "*MountedDevices" and name == "\\DosDevices*" | eval value = substr(decode(value, "UTF-16LE"), 4) | search value == "*USB*" | rex field=value "Ven_(?<vendor>[^&]+)&Prod_(?<product>[^&]+)&Rev_(?<version>[^#]+)#(?<serial>[^&]+)" | eval serial = lower(serial) | fields vendor, product, version, serial, value ```  그러나 아직 볼륨 이름과 장치를 연결한 시간을 확인하지 못한 상태입니다. 장치를 연결한 시간은 HKLM\SYSTEM\ControlSet00X\Enum\USB\VID_####&PID_#### 키의 마지막 수정 시간을 확인하면 됩니다. 아래와 같이 쿼리하면 66개의 키를 확인할 수 있습니다. ```query hive-file codegate2011\system.bak | search key == "*USB\\VID_*" | eval serial = lower(valueof(split(key, "\\"), 5)) | stats max(last_written) as last_connect by serial ```  볼륨 이름은 HKLM\SOFTWARE\Microsoft\Windows Portable Devices\Devices 키에서 확인할 수 있습니다. 아래와 같이 쿼리하면 40개의 키를 확인할 수 있습니다. ```query hive-file codegate2011\software.bak | search key == "*Windows Portable Devices*" and name == "FriendlyName" | rex field=key "&REV_[^#]+#(?<serial>[^&]+)" | eval serial = lower(serial) | stats first(value) as volume_name by serial ```  이 3종의 쿼리 결과를 시리얼 번호로 조인하면 원하는 결과를 한 번에 추출할 수 있습니다. ```query hive-file codegate2011\system.bak | search key == "*MountedDevices*" | eval value = substr(decode(value, "UTF-16LE"), 4) | search value == "*USB*" | rex field=value "Ven_(?<vendor>[^&]+)&Prod_(?<product>[^&]+)&Rev_(?<version>[^#]+)#(?<serial>[^&]+)" | eval serial = lower(serial) | stats count by vendor, product, version, serial, value | join serial [ hive-file codegate2011\system.bak | search key == "*USB\\VID_*" | eval serial = lower(valueof(split(key, "\\"), 5)) | stats max(last_written) as last_connect by serial ] | join serial [ hive-file codegate2011\software.bak | search key == "*Windows Portable Devices*" and name == "FriendlyName" | rex field=key "&REV_[^#]+#(?<serial>[^&]+)" | eval serial = lower(serial) | stats first(value) as volume_name by serial ] | search last_connect >= date("2011-02-21", "yyyy-MM-dd") and last_connect <= date("2011-02-22", "yyyy-MM-dd") | order volume_name, vendor, product, version, serial, last_connect ```  이처럼 로그프레소 쿼리를 이용하여 레지스트리 포렌식 데이터를 손쉽게 분석하고 가공할 수 있으며, 재사용 가능한 라이브러리로 구축할 수 있습니다.

2020-11-01