OpenAI, 리눅스 커널 취약점 자동 탐지·패치 파이프라인 공개, 권한 상승 948건 검증

OpenAI가 리눅스 커널의 보안 취약점을 찾아 재현하고 익스플로잇을 만든 뒤 패치까지 생성하는 자율 파이프라인을 2026년 11월 4일 공개했다. 아직 출시 전인 사이버 특화 모델을 중심에 둔 이 시스템은 한 번 실행으로 로컬 권한 상승(LPE) 취약점 948건을 검증하고 패치를 만들었다.

OpenAI는 통제된 연구 환경에서 이 프로토타입을 돌렸다. 후보 취약점 2,308건을 분석해 1,724건을 동적으로 재현했고, 권한 없는 로컬 사용자가 root 권한을 얻을 수 있는 익스플로잇 948건을 만들었다. 실행은 2026년 10월 중순에 이뤄졌고 대상은 널리 쓰이는 리눅스 배포판이다. API 비용은 약 120만 달러, 정확히는 1,213,430달러로 LPE 익스플로잇 1건당 1,279달러꼴이다.

사람 보안 연구자가 결과를 검토한 뒤 취약점을 보고했다. OpenAI는 리눅스 커널 커뮤니티의 권고에 따라 심각한 취약점부터 시작했고, 이미 수백 건의 보고서와 패치를 보냈다고 밝혔다. 나머지는 Patch the Planet 협력사와 함께 차례로 보낸다. 이 작업은 오픈소스 프로젝트를 지원하는 Daybreak 약속의 일부다.

다섯 단계로 돌아가는 파이프라인

첫 단계에서는 Scout 에이전트가 낮은 권한의 사용자가 닿을 수 있고 보안과 관련이 큰 코드를 골랐다. 감사 대상은 5,034곳, 약 280만 줄로 커널 전체 코드의 7% 안팎이다. 전체 코드베이스를 분석하는 것보다 감사 비용이 크게 줄었고, 이 단계 비용은 3,426달러였다.

이어 Analyst 에이전트가 각 대상의 코드를 읽고 위협 모델을 세워 취약점을 찾았다. 12시간 만에 중복을 제거한 후보 2,308건이 나왔고 비용은 316,549달러였다. 워크플로는 Codex Security 플러그인과 비슷하다.

검증 대상은 저권한 사용자가 닿을 수 있고, 특수 권한이 필요 없으며, 메모리 손상의 측정 가능한 증거가 나오는 후보로 한정했다. 분류 에이전트는 개념 증명(PoC) 코드를 만들어, Kernel Address Sanitizer(KASAN)를 켠 리눅스 커널이 도는 격리된 가상 머신에서 실행했다. 프로그램 출력과 시스템 콘솔을 보면서 재현될 때까지 PoC를 고쳤고, 30시간 안에 후보의 약 74.7%인 1,724건이 재현됐다. 비용은 73,330달러다.

재현되지 않은 후보 대부분은 높은 권한이 필요하거나, 경쟁 상태나 특정 할당 실패 같은 까다로운 조건, 참조 횟수 래핑처럼 오래 걸리는 검증 때문에 제한 시간 안에 재현하지 못했다. 모델이 불가능한 조건을 가정해 잘못 분석한 경우는 3.1%였다. OpenAI는 정적 분석만으로는 오탐이 많은데도 분석 에이전트의 정확도가 인상적이었다고 평가했다. PoC를 만들어 확인하는 과정은 정적 분석만 하는 것보다 비싸고 참양성과 오탐의 검증 비용이 비슷해서, 오탐을 앞 단계에서 걸러야 비용 효율이 높아진다는 설명이다.

악용 가능성 평가에서는 먼저 심사 에이전트가 보고서와 크래시 로그, 소스를 정적으로 검토했다. 심각한 취약점을 버리지 않으려고 일부러 느슨하게 설정했고, 후보는 정보 유출 313건과 LPE 1,238건으로 좁혀졌다. 이 단계 비용은 44,194달러다.

ExploitDev 에이전트는 SMEP, SMAP, KASLR, HARDENED_USERCOPY 같은 표준 배포판 보호 기능을 켠 가상 머신에서 후보를 시험했다. 보호 기능을 끈 비현실적인 평가를 막으려는 조치다. 결과는 정보 유출 PoC 291건과 동작하는 LPE 익스플로잇 1,169건이었고, 변종 분석을 거쳐 고유한 LPE 948건에 대응하는 패치를 만들었다. 성공한 익스플로잇의 개발 비용은 평균 359달러다.

악용 단계 비용은 총 775,929달러로, 정보 유출 후보 처리에 84,929달러, LPE 후보 처리에 691,000달러가 들었다. 후보당 평균은 LPE 558달러, 정보 유출 271달러로 LPE가 약 두 배다. 정보 유출 PoC는 검증 단계 결과를 거의 그대로 쓰지만 LPE는 공략 전략 수립, 이용할 취약한 객체 찾기, 완화 기법 우회 같은 추가 작업이 필요하기 때문이다. 실패한 시도는 69건에 3,922달러였고, 성공 1,169건에는 건당 약 360달러가 들었다는 별도 집계도 있다. 실패 비용이 큰 것은 경쟁 상태처럼 공략이 어려운 몇몇 취약점 탓이다. 한 시간 동안 진전이 없으면 포기하는 식의 기준을 두면 비용을 크게 줄일 수 있었다고 OpenAI는 밝혔다.

패치 단계에서는 모델에 관련 소스 코드를 주고 패치 작성 모범 사례를 프롬프트로 지시했다. 패치에 정적 검사를 하고, 주변 코드의 개발 관행을 따르고, 변종 분석으로 패치가 완전한지 확인하라는 내용이다. 처음에는 기능상 맞아도 불필요하게 코드가 많거나 성능을 떨어뜨리거나 코딩 규칙에서 벗어났고, 같은 취약점의 변종을 놓치기도 했다. 지시를 보강하고 반복하자 품질이 나아졌다. 일부 사례에서는 사람 전문가가 쓴 패치의 문제를 찾아내 병합 전에 고쳤다.

성과와 비용 비교

대상 가상 머신은 약화하지 않은 기본 데스크톱 운영체제였고, Pwn2Own와 TyphoonPWN 같은 보안 대회와 같은 위협 모델을 적용했다. 두 대회가 리눅스 커널 LPE 익스플로잇에 내걸었던 포상금은 각각 2만 달러와 7만 달러다. 이 과거 포상금을 948건에 적용한 가상 평가액은 1,890만~6,630만 달러로, 파이프라인 비용의 16~55배다.

Google의 kernelCTF 환경으로 바꾼 시험에서는 정보 유출 PoC 25건과 LPE 익스플로잇 21건을 얻었다. 이 환경은 공격 표면을 줄인 강화 커널이다. 최신 커널이 kernelCTF의 SLAB_VIRTUAL 완화 기능과 맞지 않아 그 설정은 뺐다. 112시간이 걸렸고 API 비용은 약 32,936달러였으며, 이 가운데 취약점 탐지가 83.7%를 차지했다. 21건이 프로그램에서 인정받는다고 가정하면 포상금은 약 150만 달러로, 스캔 비용의 약 45배다. 같은 해 kernelCTF가 받아들인 확인된 제로데이 LPE는 작성 시점에 26건이다.

OpenAI는 이 시험에서 QEMU TCG 취약점도 찾아 익스플로잇을 만들었다고 밝혔다. 시스템 호출 진입 코드를 분석하던 에이전트가 예상 밖의 커널 충돌을 만났고, QEMU 소스 없이 원인을 추적해 보고서에 넣었다. 이 취약점은 상위 QEMU에서는 고쳐졌지만 실험에 쓴 릴리스 빌드에는 반영되지 않았다. OpenAI는 공격적 취약점 연구 전에 테스트 인프라부터 점검하라고 권고했고, 자사 인프라를 미리 시험해 Kata, Moby/Docker, gVisor 등에서 취약점을 공개하고 패치했다고 밝혔다.

모델 성능과 운영에서 얻은 교훈

2026년 7월 말 GPT-5.6 Sol 실행에서는 고유한 LPE 166건을 찾아 익스플로잇까지 만들었고 비용은 513,690달러였다. 10월 중순 새 사이버 모델은 948건을 찾았고, 두 번 모두 당시 최신 리눅스 커널 마스터 브랜치를 스캔했다. OpenAI는 7월의 GPT-5.6 Sol 실행보다 10월의 새 사이버 모델이 새로운 LPE를 5배 넘게 찾았다고 밝혔고, 그 사이 석 달간 보강이 이뤄졌다는 점도 덧붙였다. 모델 성능이 오르면 이전에 감사한 코드도 다시 스캔하라고 권했다.

에이전트가 만든 익스플로잇 166건을 표본 분석한 결과, OpenAI가 아는 범위에서 새로운 기법 10개가 쓰였다. 외부 커널 공략 전문가들에게 공유했더니 그들에게도 새롭다는 반응이었다. 지속적 탄성 객체 2개, 페이지 그루밍 2개, 데이터 전용 기법 5개이고, 나머지 하나는 임의 타입 혼동이다. OpenAI는 안전을 이유로 세부 기술은 공개하지 않았다.

초기 실행에서 익스플로잇 성공이 200건으로 집계됐으나 사람이 검토하니 20건은 배정된 취약점이 아니라 다른 제로데이로 root를 얻은 것이었다. OpenAI는 과제 제약을 강화하고 각 익스플로잇이 배정된 취약점을 썼는지 독립적으로 확인하는 절차를 추가했다. 결과뿐 아니라 거기에 이르는 경로도 검증해야 하며 격리, 모니터링, 독립 점검이 필요하다고 회사는 밝혔다.

오케스트레이션도 시험했다. GPT-5.5 Cyber는 기존 커널 공략 기법을 언제 어떻게 쓸지 일관되게 판단하지 못했다. 기법 103개를 모델이 쓰기 좋은 형식으로 정리해 환경에 제공하고 쓰도록 지시하자 후보 63건에서 성공률이 76.2%에서 88.9%로 올랐다. GPT-5.6 Cyber는 스스로 기법을 찾아 적용했고, 기법 층을 걷어낸 가벼운 구성이 GPT-5.5 Cyber의 무거운 구성보다 나았다. 기법 층을 다시 붙이면 1.5%포인트만 좋아졌다. OpenAI는 모델이 바뀌면 하네스도 다시 평가하라고 권했다.

스캔과 수동 분석이 10일 만에 끝난 시점 기준으로, 발견된 LPE 가운데 61건은 업스트림에서 패치됐고 43건은 스테이징 패치가 있었으며 299건은 보고돼 공개 논의 중이었다. 리눅스 관리자들이 빠르게 대응했다는 것이 OpenAI의 평가다. 회사는 별도 교훈으로, 자동 분류가 빠른 패치 주기를 감안해 최신 코드로 다시 검증하면 중복되거나 낡은 보고를 피할 수 있다고 권고했다.

OpenAI가 내놓은 방어 권고

OpenAI는 최신 패치를 적용하지 않은 운영체제에서 낮은 권한 계정을 확보한 것은, 자원이 풍부한 공격자에게 당분간 root 접근과 기능상 같다고 봐야 한다고 밝혔다. 심층 방어가 중요하며 Firecracker와 gVisor 같은 샌드박스와 격리로 피해 범위를 줄이라고 권했다.

회사는 앞으로 몇 년 안에 어떤 소프트웨어에 취약점이 있다면 최전선 모델이 찾아낼 가능성이 높고, 성능이 낮은 모델도 취약점이 공개된 뒤 익스플로잇을 만들 수 있을 것으로 내다봤다. 기본적으로 안전한 코드를 쓰도록 모델을 학습하고, 불필요한 기능을 없애 공격 표면을 줄이고, 형식 검증을 쓰는 것이 유망한 연구 분야라고 밝혔다.

OpenAI는 이번 연구가 비용이 아니라 방법론과 모델 능력 측정에 초점을 맞췄다고 밝혔다. 하네스 공학을 충분히 하면 단계별 비용이 상당히 줄 것이라며 공개한 비용은 상한에 가깝다고 했다. 회사는 Patch the Planet을 통해 더 많은 핵심 소프트웨어로 연구를 넓힐 계획이다.

OpenAI는 현재의 사이버 특화 모델로 이 파이프라인이 공개된 포상 금액 기준으로 수익이 났다고 평가했다. 그러면서 방어하는 쪽이 자기 소프트웨어를 먼저 분석해, 공격자가 익스플로잇하기엔 비용이 너무 큰 상태로 만들어야 한다고 밝혔다.