AI 성능 평가 업체 Vals가 모의 기업 네트워크 침투 시험에서 누구나 내려받을 수 있는 오픈 웨이트 모델 DeepSeek V4.1 Flash 1017이 OpenAI의 제한 공개 사이버 모델 Daybreak에 근접한 점수를 받았다고 밝혔다. 11월 7일 WIRED 보도에 따르면 Daybreak은 신뢰할 수 있는 파트너에게만 제공되며, 두 번의 시험 평균으로 부여된 목표의 81%를 완료했다. DeepSeek는 73%였다.1,2
비용 차이는 더 크다. WIRED는 Vals 자료를 인용해 GPT-6 Sol이 공격 한 번을 수행하는 데 토큰 비용으로 17~46달러가 드는 반면 DeepSeek는 2~3달러라고 전했다. Vals 보고서도 첫 번째 네트워크에서 DeepSeek가 Daybreak과 같은 수준에 도달하는 데 한 번에 3달러 미만이 들었고, Daybreak은 약 22달러였다고 적었다.1,2
시험 방식
Vals는 실제 조직처럼 서버, 작업용 PC, 사용자 계정, 보안 허점을 갖춘 모의 네트워크 두 곳(Nova, Lighthouse)에서 AI 에이전트를 시험했다. 실제 시스템과는 격리돼 있다. Nova는 여러 Active Directory 도메인이 연결된 네트워크이고 목표가 21개다. Lighthouse는 서로 분리된 두 회사 네트워크로 목표가 31개다. 에이전트는 작업 지시서와 출발점, 허용 범위를 받는다. 공개 웹 애플리케이션과 작업용 PC에서 시작해 첫 네트워크를 장악하고 관리자 권한을 얻은 뒤, 거기서 찾은 정보로만 두 번째 네트워크에 들어갈 수 있다.
모든 모델은 오픈소스 Pi 에이전트로, 모델 제공자와 시험 네트워크에만 접속되는 격리된 Kali Linux 머신에서 돌렸다. 에이전트가 끝났다고 판단하거나 토큰 예산을 다 쓰거나 48시간 제한에 닿을 때까지 실행했다. 목표마다 숨겨 둔 표식(대상 머신의 파일이나 기록)이 있어서, 실제로 그 지점까지 침투해야만 읽을 수 있다. Vals는 실행 뒤 기록된 명령 출력에서 비공개 정답지의 표식을 찾아 점수를 매기고, 모델 자신의 주장은 인정하지 않았다. 두 네트워크의 달성률을 평균해 총점을 내며, 모델 간 비교는 누적 토큰 5억 개까지 완료한 목표만 센다.1
결과와 한계
더 어려운 Lighthouse에서 GPT-6 Sol Daybreak은 첫 회사의 공개 웹 애플리케이션을 뚫고 관리자 권한을 얻은 뒤 비밀번호를 탈취해 두 번째 회사까지 들어갔다. 3시간 안에 31개 목표 중 27개를 완료했다. 토큰 1억 개 안에 25개에 도달할 만큼 효율적이었다.
DeepSeek는 처음 토큰 2,500만 개 동안 목표를 하나도 달성하지 못했고, 진척 대부분은 1억 개를 넘긴 뒤에 나왔다. Daybreak보다 두 배에서 네 배의 토큰을 썼지만 토큰 값이 싸서 비용은 3달러 미만에 그쳤다. Vals는 컴퓨트 한도를 일찍 걸었다면 DeepSeek의 실제 도달 범위를 크게 낮춰 평가했을 것이라고 밝혔다.
컴퓨트를 늘려도 나아지지 않은 모델도 있다. Grok 4.7, Kimi K3, GLM 5.3 Flash는 예산이 남았는데도 중간에 멈췄고 이후 회복하지 못했다. 모든 실행이 토큰이나 시간 제한이 아니라 스스로 끝났으므로, 점수는 모델이 더 낼 아이디어가 없던 지점을 뜻한다고 Vals는 설명했다. GLM은 한 네트워크에서 약 36시간, 1,000턴 가까이 백그라운드 작업이 돌아오기를 기다리며 대기와 확인만 반복하다 목표 5개로 끝났다.
가장 깊은 단계는 모든 모델에게 어려웠다. 두 네트워크짜리 시험에서는 첫 네트워크의 탈취 권한을 마지막 대상까지 끌고 가야 하는 최종 목표를 완료한 모델이 없었다. 단일 네트워크 시험에서도 전체 실행 중 마지막 단계에 닿은 것은 한 번뿐이었다. Vals는 모든 실행을 검토했고 정답지를 읽는 등의 편법은 발견하지 않았다고 밝혔다.1
접근 제한 논리와 업계 반응
Vals 연구원은 WIRED에 최상위 모델이 연구소 안에 잠겨 신뢰 접근 프로그램으로만 제공되는데, 누구나 내려받는 오픈 모델이 이를 따라잡기 시작했다고 말했다. WIRED는 폐쇄형 모델이 사이버 능력에서 더는 확실한 우위를 갖지 못해, 프런티어 연구소들이 접근을 제한해 온 노력이 무의미해질 수도 있다고 평가했다. Anthropic은 4월 Claude Mythos Preview부터 신모델을 제한 공개했다. 접근 제한은 고급 해킹 능력이 널리 퍼지기 전까지 시간을 버는 수단이라는 전제였다. Project Glasswing은 방어자에게 신모델의 전체 능력을 먼저 주는 프로그램이다. Anthropic의 프런티어 레드팀 책임자 Logan Graham은 당시 WIRED에 “6개월, 12개월, 24개월 뒤에는 이런 능력이 널리 퍼진 세상을 지금부터 준비해야 한다”고 말했다.2
공개된 가중치는 제공자가 사용을 감시하거나 막을 수 없다는 점이 위험이라고 Vals는 지적한다. 같은 능력이 방어자에게는 제공자 승인을 기다리지 않고 자기 시스템의 허점을 먼저 찾는 수단이 된다. Vals는 이런 공격이 앞으로 몇 달 안에 실제 기업망에서 더 흔해질 것으로 내다봤다. Vals의 Rayan Krishnan CEO는 비용 차이 때문에 방어하는 쪽도 비공개 모델보다 오픈 모델을 쓸 유인이 크다고 말했다. OpenAI는 WIRED의 논평 요청에 바로 응답하지 않았다.1,2
클라우드 보안 업체 Edera의 공동창업자 Alex Zenla CTO는 오픈 웨이트 모델이 오늘 이미 고급 공격을 만들 수 있다는 데 대체로 동의한다고 했다. 안전 학습을 가중치 수정으로 없앤 모델도 있다고 덧붙였다. 다만 폐쇄형 연구소가 이를 넘는 미공개 모델을 이미 학습했을 가능성이 크다며 쫓고 쫓기는 게임에 가깝다고 말했다.
WIRED는 실제 사이버 범죄와 국가 배후 해킹 활동의 관찰 결과도 전했다. 최근 몇 달간 공격자들은 자원을 아끼려고 대체로 구형이거나 성능이 낮은 모델(비공개와 공개 모두)로 대부분의 활동을 해 왔다. 방어자는 자금과 동기가 가장 큰 공격자가 그동안 비공개 모델에 어느 정도 접근했다고 가정해야 한다는 지적도 함께 나왔다.2
이번 시험은 모의 네트워크 두 곳에서 했다. 두 네트워크 시험에서는 최종 목표를 완료한 모델이 없었고, 단일 네트워크 시험에서는 전체 실행 중 한 번만 마지막 단계에 닿았다. 공격자들이 실제로 어떤 모델을 쓰는지는 이 평가로 알 수 없다.1,2