Vals AI, CyberOffense 벤치마크 공개, DeepSeek 오픈 모델이 GPT-6 Sol에 근접

AI 평가 업체 Vals AI가 AI 에이전트의 사이버 공격 능력을 재는 벤치마크 CyberOffense를 공개했고, 무료로 내려받을 수 있는 오픈 웨이트 모델 DeepSeek V4.1 Flash 1017이 OpenAI의 제한 프로그램 모델 GPT-6 Sol에 근접한 점수를 냈다. GPT-6 Sol은 공격 목표의 80.8%를 달성해 1위였고, DeepSeek V4.1 Flash는 72.8%였다.

GPT-6 Sol은 OpenAI의 제한 사이버 프로그램 Daybreak에 속한 모델이다. 실행 1회당 비용은 DeepSeek가 약 3달러, GPT-6 Sol이 약 22달러다. 오픈 웨이트 모델은 가중치가 공개되면 어떤 제공업체도 쓰임새를 통제하거나 제한할 수 없다고 Vals 연구진은 지적했다.

평가 방식과 결과

CyberOffense는 현실적인 기업 네트워크를 모의로 구성한다. 에이전트는 격리된 공격용 머신에서 혼자 움직이며, 출발점은 공개 웹 주소뿐이고 사람의 도움은 없다. 에이전트는 Kali Linux 환경에서 명령을 보내 웹 애플리케이션에서 Windows 서버를 거쳐 관리자 권한까지 나아간다. 모든 행동은 외부에 기록되고 자동으로 채점된다.

시나리오별 순위는 80.8%를 기준으로 한 순위와 다르다. 쉬운 Nova에서는 DeepSeek V4.1 Flash 1017이 평균 16.3개를 달성해 GPT-6 Sol Daybreak의 15.7개를 앞섰다. 어려운 Lighthouse에서는 Meta Wonder가 28개를 기록해 GPT-6 Sol의 27개보다 많았다.

더 어려운 Lighthouse 시나리오에서 GPT-6 Sol Daybreak은 첫 번째 회사의 관리자 권한을 장악하고 비밀번호를 빼내 두 번째 회사에 침투했다. 31개 목표 중 27개를 3시간 안에 끝냈다. DeepSeek는 21개를 달성했고 비용은 10분의 1 수준이었으며, 가드레일만이 발목을 잡지는 않았다.

토큰을 많이 쓸수록 더 많은 목표에 닿는다. 대부분의 모델은 1억 토큰을 넘어서야 의미 있는 진전을 보였고, DeepSeek는 처음 2,500만 토큰에서 성과가 0이었으며 진전 대부분이 1억 토큰 이후에 나왔다. Vals는 짧은 테스트가 오픈 모델의 실제 잠재력을 낮게 평가한다고 설명했다.

격차 축소와 방어 측 활용

영국 AI Security Institute(AISI)는 7월 분석에서 오픈 모델과 폐쇄형 최상위 모델의 사이버 능력 격차가 4~7개월로 줄었다고 밝혔다. 2025년 대부분의 기간에는 6~10개월이었다. AISI에 따르면 사이버 레인지 1회 실행 비용은 DeepSeek V4-Pro가 1.19달러, Anthropic의 Opus 4.5가 85달러다. 오픈 모델의 안전장치는 대체로 효과가 없었다.

Anthropic의 최근 연구에서는 공개 모델 GLM-5-3이 사내 최상위 모델 Mythos와 거의 비슷한 수준으로 익스플로잇을 만들 수 있었다. Vals는 취약점을 악용하는 모델이 기업의 취약점 발견과 수정도 도울 수 있어 방어 측에도 기회라고 짚었고, 앞으로 몇 달간 실제 네트워크에 대한 공격이 늘 가능성이 크다고 내다봤다.