Gemini 4 Argon, ARC-AGI-3 97.5%…수학 8위·소프트웨어 공학 6위

Google DeepMind의 새 모델 Gemini 4 Argon이 ARC-AGI-3 벤치마크에서 97.5%를 기록했다. 비용은 4,800달러였고, 공급사별 기능을 쓰는 'Provider Adapter Harness'로 측정했다. ARC Prize에 따르면 OpenAI에 이어 이 벤치마크에서 95%를 넘은 두 번째 연구소이며, 이보다 높은 점수는 GPT-6 Astra의 99.9%뿐이다.

다만 점수는 테스트 방식에 크게 좌우된다. 이전 대화 내용을 간단한 메모로만 넘기는 'Standard Harness'에서는 추론 수준을 낮춘 Argon이 49.8%, 비용 5,800달러에 그쳤다. 한편 Epoch AI는 Argon이 지식, 에이전트, 비전 벤치마크 여러 곳에서 앞서지만 수학과 소프트웨어 공학에서는 뒤처진다고 평가했다.

ARC-AGI-3 결과

ARC-AGI 이전 버전에서 Argon은 ARC-AGI-2 91.3%(과제당 0.32달러), ARC-AGI-1 98.5%(과제당 0.16달러)를 기록했다. 비용은 입력 100만 토큰당 2달러, 출력 100만 토큰당 10달러의 도입 가격으로 계산했다.

이전 버전에서는 ARC-AGI-2가 91.3%(과제당 0.32달러), ARC-AGI-1이 98.5%(과제당 0.16달러)였다. 비용은 입력 100만 토큰당 2달러, 출력 100만 토큰당 10달러의 도입 가격으로 계산했다.

테스트 환경 논란

Provider Adapter Harness는 추론 내용을 유지하는 기능과 대화 압축 같은 공급사별 기능을 쓴다. 이런 환경 차이는 2026년 7월에도 논란이 됐다. 당시 OpenAI의 GPT-5.6 Sol은 두 가지 API 설정을 써서 Claude Opus 5를 이겼다. 표준 환경에서 GPT-5.6 Sol의 점수는 7.8%였는데, 이 환경은 행동마다 내부 추론을 버리고 Claude의 새 API 기능이 없는 옛 인터페이스를 썼다. 그 결과 Claude는 GPT-5.6과 다른 조건에서 테스트된 셈이었다. OpenAI의 Responses API로 추론 유지와 압축 기능을 켜자 GPT-5.6 Sol은 38.3%로 올라 Opus 5의 30.2%를 넘었다.

OpenAI는 벤치마크가 기술 환경도 함께 측정한다고 주장했다. ARC Prize 공동 창립자 Francois Chollet는 이후 일반에 공개된 API 설정을 허용했다.

Standard Harness에서는 API 문제로 Argon이 55개 게임을 모두 끝내지 못했다. 낮은 추론 수준에서 42개(49.8%), 중간에서 46개(46.3%)를 끝냈고, 가장 높은 수준에서는 19개만 끝내 ARC Prize가 점수를 공개하지 않았다. 공개된 결과는 중단된 실행의 부분 점수를 더해 55개 게임 전체를 포함한다.

Epoch AI의 종합 평가

Epoch AI의 역량 지수(ECI)에서 Argon은 165점으로 Fable 5.1과 같고, Opus 5.5(167점)와 GPT-6 Astra(166점) 바로 아래다. ECI는 50개 넘는 벤치마크를 하나의 척도로 묶은 지수로, Artificial Analysis가 주요 점수를 산정하는 방식과 비슷하다. Gemini 3.8 Flash(157점)보다 크게 높고, 선두인 Opus 5.5와 GPT-6 Astra와의 격차는 2026년 2월 Gemini 3.1 Pro 이후 가장 작다. Artificial Analysis와 Vals.ai도 앞서 같은 흐름을 확인했다.

분야별로는 차이가 난다. Epoch AI의 초기 추정에서 Argon은 수학 ECI 8위, 소프트웨어 공학 지수(SWE ECI) 6위다.