Epoch AI, 오픈 웨이트 모델 사이버 능력 폐쇄형에 6~7개월 뒤처져

Epoch AI는 2026년 10월 16일 공개한 분석에서 오픈 웨이트 모델의 사이버보안 능력이 폐쇄형 모델보다 6~7개월 뒤처져 있다고 밝혔다. 오픈 웨이트 모델 중 점수가 가장 높은 것은 Z.ai의 GLM-5.3으로, 사이버보안 벤치마크를 기반으로 한 Cyber ECI에서 160점을 받았다.

이 점수는 2026년 3월 출시된 OpenAI의 GPT-5.4(157.04점)보다 높지만, 같은 해 4월 나온 Claude Mythos Preview와 GPT-5.5에는 못 미친다. 현재 폐쇄형 최상위는 Anthropic의 Claude Opus 5.5와 OpenAI의 GPT-6 Astra로, 둘 다 171점이다. Epoch AI는 분석 결과를 크리에이티브 커먼즈 BY 라이선스로 공개했으며, 출처와 저자를 밝히면 자유롭게 쓸 수 있다.

지수 산출 방식과 격차 계산

Cyber ECI는 Epoch AI의 종합 지수인 Epoch Capabilities Index(ECI)를 사이버보안 분야에 맞춘 버전이다. 일반 벤치마크와 사이버 벤치마크를 함께 맞춰 얻은 벤치마크 매개변수를 그대로 쓰되, 각 모델의 점수는 사이버 결과만으로 추정한다. 점수 척도는 일반 ECI와 같다.

격차는 GLM-5.3의 점수를 사이에 두고 위아래로 가장 가까운 폐쇄형 모델의 출시일로 계산했다. 점수가 낮은 쪽은 2026년 3월 5일 출시된 GPT-5.4, 높은 쪽은 4월 7일 출시된 Mythos Preview다. 데이터 컷오프 시점에서 GPT-5.4는 7개월 전, Mythos Preview는 6개월 전에 나온 모델이다. 모델 비교에는 중심 추정값을 썼다.

분류 기준도 있다. 오픈 웨이트에는 사용 제한이나 비상업 조건이 붙은 라이선스 모델이 포함된다. 폐쇄형에는 제한 접근 모델과 미공개 모델이 들어가며, Claude Mythos 5와 Mythos Preview 초기 체크포인트가 그런 예다. 본문의 Mythos Preview는 2026년 4월 7일 체크포인트를 뜻한다.

데이터 범위와 한계

분석은 2026년 10월 8일 기준 데이터를 썼다. 10월 갱신으로 지수가 다루는 모델은 56개에서 76개로, 사이버 벤치마크는 20개에서 35개로 늘었고, 확장된 지수 전체의 모델과 벤치마크 조합 결과는 324건이다. 결과는 영국 AI Security Institute(AISI), CAISI, AI 사이버 평가 회사 Irregular, 모델 개발사 보고서와 기타 공개 자료에서 모았다. 이 분석에는 사이버 벤치마크 결과가 두 건 이상인 57개 모델만 포함했다.

모델당 결과 수가 적다는 점이 첫 번째 한계다. GLM-5.3의 점수는 CAISI 벤치마크 결과 3건에서, Opus 5.5의 점수는 Anthropic이 보고한 벤치마크 4건에서 나왔다. CAISI의 벤치마크 7개 중 3개는 2026년 9월 GLM-5.3 평가에서 나온 것이며, 이 모델의 사이버 결과는 그것뿐이다. Opus 5.5와 GPT-6 Astra는 공통 벤치마크가 없고 신뢰구간이 거의 완전히 겹친다.

CAISI가 평가한 미국 모델의 이름을 밝히지 않아, Epoch AI는 당시 선두였을 가능성이 가장 높다고 판단한 모델에 결과를 배정했다. GPT-6 Astra와 Claude Mythos Preview가 그 예다. 10월 재산출로 최고점 몇 개가 내려가 Claude Mythos 5는 3.9점, GPT-5.6 Sol은 4.7점 낮아졌고, 이전 발표의 Cyber ECI 값은 새 값과 직접 비교할 수 없다. 일반 ECI는 있어도 사이버 결과가 두 건 미만인 최근 오픈 웨이트 모델은 목록에 없다.

Epoch AI는 90% 신뢰구간을 모델별로 제공하지만, 모델 간 차이의 불확실성을 더 잘 추정할 수 있도록 방법론이 곧 바뀔 것으로 예상한다고 밝혔다. GLM-5.3의 구간은 155.83~166.97이고 Mythos Preview는 161.81~169.99여서 두 구간이 겹친다.