버그바운티 업체 해커원(HackerOne)이 자체 시험 환경에 심어 둔 취약점 62개를 인공지능 모델에 찾게 했더니, OpenAI의 GPT-6 Astra가 53개를 찾아 단일 모델 최고인 재현율 85.5%를 기록했다. GPT-6 Astra, GPT-5.6 Sol, Claude Mythos 5를 각각 두 차례 실행해 결과를 합산하자 62개 중 61개, 98.4%까지 올라갔다. 재현율은 실제로 존재하는 취약점 가운데 AI가 찾아낸 비율이다.
제보가 진짜 취약점인지 가리는 검증 단계에서는 결과가 달랐다. 코드 탐색 도구를 붙이고 지시문을 고치고 취약 코드와 패치 코드를 비교하게 한 에이전트는 모델 종류와 관계없이 검증 정확도가 98%까지 높아졌다. 손대지 않은 기본 에이전트는 세 모델 모두 80% 이상이었다. 해커원은 모델끼리의 차이보다 기본 에이전트와 최적화 에이전트의 차이가 훨씬 컸다고 밝혔다.
버그바운티 현장에 닥친 변화
2025년 1월부터 해커원 플랫폼에 들어온 취약점 제보는 2.8배, 유효한 제보는 1.9배로 늘었다. 전체 제보가 늘어난 폭이 유효 제보보다 컸다. 해커원은 AI가 만든 부정확한 제보가 늘어 검증 부담이 커졌다고 설명했다. 취약점이 아닌 것을 취약점이라고 하거나, 일부 단계만 가능한데 더 큰 피해를 주장하는 제보가 예다.
해커원의 2026 보안 연구 보고서에서 조사에 참여한 연구자의 68%는 AI의 영향으로 연구 대상을 더 복잡하고 보상금이 높은 취약점으로 옮겼다고 응답했다. 해커원은 틀에 박힌 취약점 탐색은 AI가 거들고, 업무 절차를 악용하는 취약점과 여러 취약점을 엮은 공격을 분석하는 일의 비중이 커진다고 설명했다.
해커원의 2026년 보고서 기준으로 기업의 수정 속도는 빨라졌다. 전체 취약점이 해결되기까지 걸리는 평균 기간이 135일에서 62일로 짧아졌다. 그래도 확인만 되고 풀리지 않은 취약점은 2년간 131% 늘었다.
개별 취약점을 고치는 속도보다 새로 발견되는 취약점이 더 많아서 미해결 건수가 쌓이는 것으로 풀이된다.
해커원은 OpenAI와 손잡고 GPT 계열 사이버보안 모델을 소스코드 분석, 취약점 검증, 수정 작업에 쓴다. Anthropic의 Claude Mythos는 소스코드 보안 분석 서비스에 넣을 예정이다.
평가는 어떻게 진행됐나
탐색 평가는 10월 연구자료 '벤치마킹 더 프론티어(Benchmarking the Frontier)'로 공개됐다. 시험 환경 Celestia에 든 취약점 62개를 AI 모델 18개 변형이 찾게 했고, 설정마다 두 번 실행해 발견 건수를 합산했다. 모델마다 찾아내는 취약점이 조금씩 달라서, GPT-6 Astra, GPT-5.6 Sol, Claude Mythos 5를 각각 두 차례 실행한 결과를 합치면 62개 중 61개를 발견했다.
검증 실험은 5월에 공개됐다. GPT-5.5, Claude Opus 4.7, Claude Sonnet 4.6이 대상이었고, 공개 보안 취약점(CVE)이 있는 C·C++ 코드와 실제 웹 애플리케이션 취약점 제보를 사례로 썼다. 취약 코드와 수정 코드가 든 38개 사례에 같은 지시문과 기본 분석 도구를 주자 맞힌 개수는 모델 사이에 많아야 1개 차이였고 정확도는 약 2.5%포인트 벌어졌다. 정확도는 비슷했으나 분석 속도와 판단 방식에서는 모델마다 차이가 났다.
- GPT-5.5: Sonnet 4.6보다 약 3배 빠르게 검증을 마쳤고 Opus 4.7보다는 약 50% 빨랐다. 문제가 없는데 취약점이 있다고 잘못 판단하는 오탐도 적었다.
- Claude Sonnet 4.6: 복잡한 버퍼 오버플로·메모리 손상 취약점을 찾는 데 강점을 보였고, 다른 모델이 놓친 취약점을 찾아낸 사례도 있다. 반면 보안패치로 이미 고쳐진 코드를 취약하다고 본 사례가 있었다.
- Claude Opus 4.7: 여러 단계를 거쳐 분석해야 하는 상황에서 판단력이 상대적으로 높았다.
SSRF로 원격 코드 실행(RCE)까지 가능하다고 주장한 제보가 한 사례다. 실제로는 SSRF만 작동하고 RCE로 이어지는 길은 막혀 있었다. GPT-5.5와 Sonnet 4.6은 SSRF 작동을 확인하고 부분적으로 취약하다고 인정했으나, Opus 4.7은 RCE가 성립하지 않는 근거 세 가지를 짚어 제보를 기각했다. SSRF는 공격자가 서버를 시켜 엉뚱한 곳으로 네트워크 요청을 보내게 만드는 취약점이고, RCE는 대상 시스템에서 임의의 코드를 실행하는 공격이다.
조작한 증거를 내세워 SQL 인젝션을 주장한 사례도 있다. Opus 4.7은 프로그램이 실제로 돌려준 데이터와 제출된 증거를 맞대어 조작이라고 판단했다. GPT-5.5는 취약점이 없다는 결론에 그쳤고 증거가 조작됐는지는 따지지 않았다. SQL 인젝션은 데이터베이스에 비정상적인 명령을 넣어 정보를 빼내거나 바꾸는 공격이다.
GPT-5.5는 같은 입력에도 답이 달라졌다. 진짜 SSRF 취약점을 처음엔 허위 제보로 봤으나 다시 돌리자 정상 취약점이라고 답했다. 해커원에 따르면 추론 자원을 늘린 GPT-5.5는 Opus 4.7과 비슷한 정확도를 낼 수 있지만 분석 시간이 길어진다. 복잡한 제보 하나를 처리하며 도구를 부른 횟수는 Opus 4.7이 평균 16회, 추론을 높인 GPT-5.5가 85회였다. 해커원은 흔한 유형의 취약점을 빨리 가려내려면 GPT-5.5가, 공격 경로가 복잡하거나 제보를 믿을 만한지 따져야 하면 Opus 4.7이 낫다고 평가했다.
AI가 풀지 못한 문제
패치가 취약점을 완전히 해결했는지 판단하는 작업은 세 모델의 공통 한계였다. 세 모델이 낸 오류의 75%는 둘 이상의 모델에서 동시에 나와, 다수결로 합쳐도 풀기 어렵다. 같은 모델 조합이 탐색에서는 재현율을 끌어올렸지만 악용 가능성 검증에서는 공통 오류 탓에 효과가 제한된다.
정상 기능이나 업무 절차를 악용하는 비즈니스 로직 취약점도 AI에게 어렵다. 할인쿠폰이 의도하지 않게 중복 적용되거나 주문 처리의 허점으로 부당한 혜택이 생기는 경우가 그렇다. 소스코드뿐 아니라 서비스가 어떻게 운영되는지 알아야 하기 때문이다. 해커원은 기업 업무 운영과 얽힌 취약점을 찾는 데 AI의 신뢰성이 상대적으로 낮다고 밝혔다. 의도된 절차를 이해한 뒤 공격자가 이를 달리 쓸 방법을 떠올려야 한다는 것이다.
해커원은 AI 침투 테스트에서 사람의 검증을 병행한다. AI가 외부에 열린 서버와 애플리케이션을 조사해 공략할 만한 지점을 찾고, 점검 계획을 짠 뒤 분석 도구로 확인하면, 연구자가 결과를 검토하며 취약점을 이어 붙인 공격과 비즈니스 로직 취약점을 추가로 점검한다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- 해커원이 본 AI 해킹의 현 주소…최고 성능 모델은? – 바이라인네트워크 byline.network