자바 HotSpot Base64 디코더 힙 오버플로 취약점(CVE-2026-114938, Java4Shell) 대응 권고


개요

CVE-2026-114938(별칭 Java4Shell)은 OpenJDK HotSpot JVM의 x86-64 AVX-512 Base64 디코딩 인트린직(intrinsic)에서 발생하는 힙 버퍼 오버플로 취약점입니다. 잘못된 패딩이 포함된 입력을 처리할 때 저장 마스크 계산에 오류가 발생해 출력 배열 밖의 힙 메모리를 덮어쓰며, 메모리 유출과 원격 코드 실행으로 이어질 수 있습니다.

  • 애플리케이션이 공격자 입력을 취약한 디코더로 전달하면 인증이나 사용자 상호작용 없이 공격할 수 있습니다.
  • 취약 코드가 포함된 패치 전 HotSpot 런타임에서 AVX-512 VBMI 등 관련 CPU 기능과 Base64 인트린직 경로를 사용할 때 영향을 받습니다. ARM64 네이티브 JVM은 이번 취약점의 x86-64 코드 경로에 해당하지 않습니다.
  • 오라클은 CVSS v3.1에서 8.1로 평가하고 Java SE의 Compiler 컴포넌트로 분류했습니다. 발견자인 Calif는 CVSS v4.0에서 **9.2(Critical)**로 평가했습니다.
  • Calif의 Quang Luong이 AI 코딩 에이전트를 활용해 발견했으며, 오라클 공지에는 Albert Yang도 제보자로 기재되어 있습니다.
  • 오라클은 11월 17일 Critical Security Patch Update(CSPU)를 발표했습니다. Calif가 밝힌 패치 공개 시각은 한국 시각으로 11월 18일 오전 6시입니다.
  • Calif는 Keycloak, Jira, Confluence, Artifactory, Jenkins, PingFederate의 기본 설정에서 인증 전 원격 코드 실행을 시연했다고 발표했습니다. 제품별 익스플로잇은 비공개이며, 공개 재현 코드의 범위와 취약점의 전체 영향을 구분해야 합니다.

레드햇도 이 취약점을 통한 원격 코드 실행 가능성을 경고하며, 패치 전 임시 완화책으로 -XX:-UseBASE64Intrinsics를 우선 권장합니다. 실제 악용 현황은 후속 공식 공지로 확인해야 합니다.

인터넷에 노출되지 않은 내부 서비스와 외부 서버에 접속하는 Java 클라이언트도 공격자 입력이 취약한 디코더에 도달한다면 점검 대상입니다.

영향받는 버전

오라클 공지에 명시된 영향 버전과 패치 버전은 다음과 같습니다. 이전 릴리스도 취약 코드가 포함되어 있으면 영향을 받을 수 있으므로, 표에 없는 구버전을 안전하다고 판단해서는 안 됩니다.

제품영향 범위 또는 오라클 명시 버전수정 버전·확인 방법
OpenJDK 17 계열17.0.6부터 취약 코드가 포함된 패치 전 빌드해당 배포판의 CVE 수정 빌드 확인
OpenJDK 21 / 25 / 27 계열취약 코드가 포함된 패치 전 빌드해당 배포판의 CVE 수정 빌드 확인
Oracle Java SE 1717.0.21.0.317.0.21.1+4
Oracle Java SE 2121.0.13.0.321.0.13.1+4
Oracle Java SE 2525.0.5.0.325.0.5.1+4
Oracle Java SE 2727.0.1.0.327.0.1.1+4
Oracle Java SE 8 Enterprise Performance Pack8u511b33-perfEnterprise Performance Pack용 수정 배포본을 Oracle 공지에서 확인
Oracle GraalVM for JDK 17 / 2117.0.21.0.3, 21.0.13.0.3Oracle CSPU 및 해당 제품 패치 안내 확인
Oracle GraalVM Enterprise Edition21.3.20.0.3Oracle CSPU 및 해당 제품 패치 안내 확인

위 표의 오라클 Java SE 17·21·25·27 패치 버전은 릴리스 노트의 전체 빌드 문자열 기준입니다.

레드햇은 OpenJDK 8과 11에 취약한 코드 경로가 없다고 설명합니다. 이를 Oracle Java SE 8 Enterprise Performance Pack까지 확대 적용하면 안 됩니다. 해당 제품은 Oracle 영향 목록에 별도로 포함되어 있습니다.

Calif는 Temurin, Corretto, Zulu, Microsoft Build of OpenJDK, Liberica, SapMachine, Red Hat OpenJDK 등 관련 배포판을 영향 대상으로 설명합니다. 다만 실제 판정은 제품명만으로 하지 말고 전체 빌드 버전, 패치 포함 여부, CPU 기능, JVM 설정, 입력 경로를 함께 확인해야 합니다. OpenJ9나 GraalVM 네이티브 이미지도 제품명만으로 비영향을 단정하지 말고 해당 벤더의 구현·버전별 설명을 확인합니다.

하드웨어 조건

구분판단 기준
Intel x86-64Ice Lake, Sapphire Rapids, Emerald Rapids, Granite Rapids 등 AVX-512 VBMI 지원 CPU가 주요 점검 대상
AMD x86-64Zen 4 이상 EPYC/Ryzen 등 관련 명령어를 지원하는 CPU가 주요 점검 대상
ARM64 네이티브 JVM이번 취약점의 x86-64 코드 경로에 해당하지 않음
가상 머신호스트 모델명보다 게스트에 실제로 노출된 CPU 기능을 기준으로 판단
QEMU/KVM호스트 CPU 기능 전달 및 모델별 기능 설정이 가능하므로 일괄 비영향 분류 금지
Rosetta·기타 에뮬레이션제품명으로 단정하지 말고 해당 실행 모드가 노출하는 명령어와 런타임 경로 확인

CPU 제품군은 예시입니다. QEMU/KVM은 CPU 기능을 추가·제거하거나 호스트 기능을 전달할 수 있습니다. 게스트 내부와 실제 애플리케이션 실행 환경에서 확인해야 합니다. 클라우드 호스트 이동이나 VM 재설정 후에는 조건을 다시 확인합니다.

배포판 패치 현황 (2026-11-18 기준)

배포판상태
Oracle Java SE 17 / 21 / 25 / 2717.0.21.1+4, 21.0.13.1+4, 25.0.5.1+4, 27.0.1.1+4 배포
Amazon Corretto 1717.0.21.1.2에서 수정
Red Hat OpenJDK공식 보안 공지와 임시 완화책 제공. 제품·지원 스트림별 수정 패키지는 최신 RHSA·errata 확인
Eclipse Temurin최신 Adoptium 공지와 CVE 수정 릴리스 확인 필요
Azul / Microsoft / BellSoft / SAP각 벤더의 CVE 수정 빌드와 배포 상태 확인 필요
Ubuntu / DebianCVE 페이지와 USN·DSA의 전체 수정 패키지 버전 확인 필요

패치 현황은 확인 시점 이후 바뀔 수 있습니다. ‘확인 필요’는 미배포를 뜻하지 않으며, 사용하는 제품의 최신 공지를 확인해야 합니다.

배포판은 기존 버전 번호에 패치를 백포트할 수 있으므로 버전 끝자리나 공개일만으로 수정 여부를 판정하면 안 됩니다. 패키지 전체 버전과 벤더 공지의 CVE 수정 여부를 대조합니다. 애플리케이션·컨테이너·어플라이언스에 번들된 JDK도 별도로 확인해야 합니다.

취약점 원인

HotSpot의 x86-64 Base64 디코딩 최적화는 벡터 명령어와 비트 마스크를 이용해 여러 바이트를 한 번에 처리합니다. 잘못된 패딩 꼬리를 처리할 때 출력 길이 계산이 음수가 되고, 이것이 저장 마스크 계산에 사용되면서 64바이트 전체가 기록될 수 있습니다. 공개 분석에는 = 외에도 ==, X=, X==, XY=, === 형태의 꼬리가 설명되어 있습니다.

HotSpot Base64 디코더 저장 마스크 오류로 인한 힙 오버플로 개념도

패딩 꼬리가 = 한 글자인 경우의 산술 오류는 다음과 같습니다.

꼬리 길이 = 1, 꼬리 내용 = "="
출력 길이 = floor(1 / 4) × 3 = 0
패딩 보정 후 출력 길이 = -1
BZHI의 인덱스 하위 8비트 = 255 → 64비트 마스크가 모두 1
마스크 저장 → 64바이트 전체 기록

Calif가 설명한 65바이트 입력 예시에서는 디코더가 출력 배열을 50바이트로 할당하지만, 오프셋 48부터 64바이트를 기록해 인덱스 50~111의 62바이트가 배열 밖으로 나갑니다. 50바이트는 정상 디코딩 결과의 길이가 아니라 잘못된 입력에 대해 할당된 배열의 길이입니다. 정상 동작은 입력을 거부하는 것이며, 취약 경로에서는 예외가 발생하기 전에 메모리 손상이 일어날 수 있습니다. 배열 밖 기록이 항상 살아 있는 객체를 손상시키는 것은 아닙니다.

입력 길이 임계값에는 버전 차이가 있습니다. Calif는 OpenJDK 17의 경우 더 높은 임계값 때문에 A 128개 뒤에 =를 붙이는 입력을 설명합니다. 따라서 65바이트 예시를 모든 Java 17 빌드의 재현 조건으로 일반화하면 안 됩니다.

공개 시연은 정상 디코딩을 반복해 C2가 해당 인트린직 경로를 사용하는 상태로 만든 뒤 잘못된 입력을 처리합니다. 서버가 이미 해당 경로를 사용 중일 수도 있으므로 공격자가 별도 예열 요청을 보낸다는 조건을 탐지의 전제로 삼으면 안 됩니다.

점검 대상은 java.util.Base64의 basic·URL 디코딩이 취약 인트린직에 도달하는 경로입니다. MIME 디코더나 자체 구현을 사용하는 라이브러리의 영향은 버전과 실제 호출 경로로 확인해야 합니다. 라이브러리 이름만으로 애플리케이션 전체를 비영향으로 분류하지 않습니다.

영향

  • 서비스 거부: 메모리 손상으로 JVM이 종료되거나 GC 등 후속 처리에서 크래시할 수 있습니다.
  • 힙 메모리 유출: Calif는 인접 배열 길이 손상과 응답 경로를 이용한 힙 유출을 설명합니다.
  • 원격 코드 실행: Calif는 초기의 고정값 쓰기를 추가 메모리 조작으로 확장한 RCE를 설명하며, 레드햇도 임의 코드 실행 위험을 경고합니다.

초기 오버플로에서 배열 밖에 기록되는 값은 제한적이지만, Calif는 인접 배열의 길이를 손상시키는 방법으로 이를 추가 메모리 조작과 코드 실행으로 확장했다고 설명합니다. 아래는 Calif가 시연했다고 발표한 대상입니다. 실제 영향은 제품 버전, 런타임, 입력 경로와 힙 배치에 따라 달라집니다.

구분Calif 발표 대상
인증 전 RCEKeycloak, Jira, Confluence, Artifactory, Jenkins, PingFederate
인증 후 RCEApache Kafka 브로커, Solr, Elasticsearch, Gerrit, Spinnaker
기타Struts·Spring Boot 샘플 앱, 악성 TLS 서버에 연결하는 Java 클라이언트

공격 표면 후보는 HTTP Basic 인증, JWT 디코딩, SAML, 웹훅, 요청 본문의 Base64 필드, 파일 업로드 등입니다. 실제 노출은 각 입력이 취약한 디코더에 도달하는지에 달려 있습니다. 원격 코드 실행에 성공하면 JVM 프로세스 계정의 권한으로 동작하므로 해당 계정과 컨테이너의 권한도 피해 범위에 영향을 줍니다.

탐지

다음 명령은 리눅스 환경 예시입니다. 실제 프로세스와 런타임을 식별한 뒤 CPU 기능, JVM 설정, 크래시 흔적과 트래픽을 함께 점검합니다.

1. 자산 식별

java -version은 PATH에서 선택된 Java를 보여줍니다. 서비스에 번들된 JDK와 컨테이너 내부 런타임은 실행 중인 프로세스 기준으로 확인합니다.

# 프로세스 후보 식별: 결과에 Java가 아닌 프로세스가 포함될 수 있으므로 확인
pgrep -af java

readlink -f /proc/[PID]/exe
jcmd [PID] VM.version
jcmd [PID] VM.command_line

# 설치 패키지 보조 점검
rpm -qa | grep -i openjdk
dpkg -l | grep -i openjdk

jcmd는 대상 JVM과 동일한 유효 사용자·그룹 등 접근 조건이 필요합니다. 컨테이너는 PID 네임스페이스와 도구 유무를 고려해 해당 환경 안에서 점검합니다. 연결 실패나 출력 부재를 비영향으로 해석하지 않습니다.

2. CPU 기능과 인트린직 활성화 여부 점검

# 게스트·컨테이너 등 실제 실행 환경에서 CPU 기능 확인
grep -m1 '^flags' /proc/cpuinfo | tr ' ' '\n' | grep -E '^(avx512f|avx512bw|avx512vbmi|bmi2)$'

# 실행 중인 JVM 설정 확인: [PID]를 대상 PID로 교체
jcmd [PID] VM.flags -all | grep -E 'UseAVX|UseBASE64Intrinsics'

Calif의 하드웨어 점검 예시는 위 네 플래그가 모두 있는지 확인합니다. 패치 전 빌드에서 UseBASE64Intrinsics = true, UseAVX = 3이고 관련 CPU 기능이 노출된 경우 주요 점검 대상입니다. 이 조건만으로 입력 경로 도달이나 침해 사실까지 입증되는 것은 아닙니다.

java -XX:+PrintFlagsFinal -version은 새로 시작한 JVM을 확인하는 명령입니다. 이미 실행 중인 서비스에 완화 옵션이 적용되었는지 확인하는 용도로 대체해서는 안 됩니다.

3. 크래시 흔적 확인

# 경로와 기간은 운영 환경에 맞게 조정
find /var/log /opt -name 'hs_err_pid*.log' -newermt '2026-11-01' 2>/dev/null
grep -rE 'Base64\$Decoder|Illegal base64 character|Input byte array has wrong 4-byte ending unit' /var/log/myapp/
journalctl --since '2026-11-01' | grep -E 'SIGSEGV|core dumped|hs_err'

오류 파일 위치는 작업 디렉터리와 JVM 설정 등에 따라 다르므로 서비스별 설정도 확인합니다. 손상된 객체를 나중에 읽다가 크래시할 수 있어 로그에 Base64가 나타나지 않을 수 있습니다. 잘못된 입력에 대한 예외는 패치된 JVM에서도 발생하므로 예외 응답만으로 취약 여부나 공격 성공 여부를 판별할 수 없습니다.

4. 트래픽 모니터링

Base64 값의 잘못된 패딩과 예상하지 않은 디코딩 오류를 조사합니다. 원시 헤더 전체 길이가 아니라 애플리케이션에 전달되는 인코딩 값의 길이를 기준으로 평가해야 합니다. 특정 최소 길이만으로 모든 영향 버전과 입력을 포괄한다고 가정하지 않습니다.

HTTP Basic 조사 로직
1. 헤더를 파싱해 인증 스킴과 인코딩 값을 분리한다.
2. Basic 스킴이면 값의 문자 집합, 패딩 위치·개수, 길이를 검증한다.
3. 특히 '='로 끝나면서 값의 길이 % 4 != 0인 입력을 조사한다.

JWT 조사 로직
1. Bearer 값이 해당 서비스에서 JWT로 처리되는지 확인한다.
2. JWS compact 형식이면 점으로 구분된 3개 세그먼트를 각각 검사한다.
3. 어느 세그먼트든 '='가 있으면 비정상 패딩 후보로 기록한다.
4. 헤더·페이로드뿐 아니라 서명 세그먼트도 검사한다.

Bearer 토큰이 항상 JWT인 것은 아닙니다. JWT를 사용하는 경로에서는 헤더·페이로드·서명 중 어느 세그먼트도 검사에서 빠지지 않도록 파싱 후 각각 확인합니다. JWE 등 다른 형식을 사용하는 경로는 해당 형식에 맞게 처리합니다. 잘못된 패딩은 조사 단서이며, 이 취약점의 악용을 단독으로 입증하지는 않습니다. 차단 전 정상 트래픽과 파서 동작을 검증해야 합니다.

정상 요청의 반복은 예열 후보일 수 있지만 단독 탐지 근거로는 약합니다. 자격증명이나 토큰 원문 대신 경로, 값의 길이, 패딩 이상 여부, 처리 결과 등 필요한 메타데이터를 기록합니다. 요청 본문·SAML·업로드 등 다른 입력 경로도 함께 확인합니다.

대응 방안

근본 조치는 벤더가 CVE 수정을 명시한 빌드로 업데이트하는 것입니다. 패치 적용 전에는 취약한 인트린직 경로를 끄고 외부 입력 경로를 제한합니다.

단계조치고려 사항
1-XX:-UseBASE64Intrinsics 적용서비스 재시작과 Base64 처리 성능 영향 확인
2외부 노출 축소와 비정상 입력 검증실제 입력 경로·오탐 여부 확인
3벤더 수정 빌드 적용JVM 재시작, 이미지 재빌드·재배포 및 실행 버전 확인

1. JVM 옵션으로 Intrinsic 비활성화

레드햇은 -XX:-UseBASE64Intrinsics를 공식 임시 완화책으로 우선 권장합니다. 해당 옵션은 Base64 최적화 경로를 비활성화하며, 다른 AVX-512 최적화까지 일괄 비활성화하지 않습니다. 실제 배포판과 제품의 지원 방식에 맞춰 적용합니다.

# 서비스가 JAVA_OPTS를 읽는 경우에만 사용: 실제 기동 설정에 반영
JAVA_OPTS="${JAVA_OPTS:+$JAVA_OPTS }-XX:-UseBASE64Intrinsics"

# 대안: 해당 서비스 실행 환경에 적용하고 기존 값 보존
# 위 방식과 둘 중 하나를 선택하며, 전체 호스트 일괄 적용 범위에 유의
export JAVA_TOOL_OPTIONS="${JAVA_TOOL_OPTIONS:+$JAVA_TOOL_OPTIONS }-XX:-UseBASE64Intrinsics"

# 서비스 재시작 후 실제 JVM에서 확인: [PID]를 대상 PID로 교체
jcmd [PID] VM.flags -all | grep UseBASE64Intrinsics

확인 결과는 UseBASE64Intrinsics = false여야 합니다. 셸에서 환경 변수만 바꿔도 이미 실행 중인 JVM에는 반영되지 않습니다. systemd, Kubernetes 등은 해당 서비스의 기동 설정에 반영하고 재시작·재배포해야 합니다.

  • 대안인 -XX:UseAVX=2도 레드햇이 안내하지만 AVX-512 전반을 끄므로 다른 연산 성능에도 영향을 줄 수 있습니다.
  • ARM64 JVM은 UseAVX 옵션을 인식하지 못해 기동에 실패할 수 있으므로 혼합 아키텍처의 공통 설정에 넣지 않습니다.
  • 배포 전 기동 여부와 주요 기능·성능을 확인하고, 적용 후 실제 프로세스의 설정을 다시 확인합니다.
  • 제품에 번들된 JVM은 제품 벤더가 지원하는 설정·업데이트 경로를 사용합니다.

2. 노출 축소 및 앞단 필터링

방화벽·보안 그룹·IP 허용 목록으로 불필요한 외부 접근을 제한합니다. WAF나 API 게이트웨이에서 잘못된 Base64 패딩을 차단할 수 있지만, 해당 애플리케이션이 받는 모든 입력 경로를 포괄하는지 확인해야 합니다.

리버스 프록시의 요청 버퍼링은 일부 공개 공격 프로파일의 타이밍에 영향을 줄 수 있으나 일반적인 완화책으로 간주하면 안 됩니다.

3. 패치 적용

Oracle Java SE 17·21·25·27은 위 표의 수정 릴리스로, 다른 배포판은 벤더가 이 CVE 수정을 명시한 빌드로 교체합니다. Oracle Java SE 8 Enterprise Performance Pack과 GraalVM 계열은 해당 제품의 별도 패치 안내를 확인합니다.

  1. 서비스별 JVM 벤더·전체 빌드 버전과 번들 위치를 기록합니다.
  2. 벤더 공지에서 CVE 수정 여부와 전체 패키지 버전을 대조합니다.
  3. 제품·컨테이너·베이스 이미지에 패치를 반영하고 관련 JVM을 재시작합니다.
  4. jcmd [PID] VM.version으로 실행 중인 버전을 다시 확인합니다.
  5. 재배포·롤백 시 이전 이미지가 재사용되지 않도록 CI와 이미지 다이제스트도 갱신합니다.
  6. 패치 후 임시 옵션의 유지·제거는 제품 벤더 안내와 기능·성능 검증 결과에 따라 결정합니다.

우선순위는 제품명만으로 정하지 않고 인터넷 노출, 인증 전 입력 경로, 실제 런타임·CPU 조건, 보유 데이터와 권한으로 판단합니다. 내부 서비스와 외부 서버에 접속하는 Java 클라이언트도 입력 경로에 따라 점검 대상입니다.

참고 자료

둘러보기

더보기