Artificial Analysis가 자사 지능 지수(Intelligence Index)를 5판으로 개편했고, Kimi K3.1 Pro의 순위가 5계단 떨어졌다. 이 모델은 출시 때 4위였으나 새 지수에서는 클로즈드 모델 8개 뒤인 9위다.
오픈 모델과 리더보드 최상위권 사이의 격차는 이전 3점에서 12점으로 커졌다고 Artificial Analysis는 밝혔다. 이와 별개로 Grok 4.7은 새 지수에서 자체 점수가 12점 떨어졌다.
이번 개편에서는 지수의 60%를 비공개 테스트 세트에 의존한다. 지수가 비공개 테스트 세트에 이 정도로 기대는 것은 이번이 처음이다. 공개된 시험 문제에 맞춰 모델을 학습시키는 '벤치맥싱(benchmaxxing)'을 막으려는 조치다.
AI 연구자 Nathan Lambert는 벤치맥싱이 원인의 일부일 뿐이라고 봤다. 요즘 학습 성과의 상당수가 강화 학습 환경에서 나오는데, 이 환경의 과제가 벤치마크 문제와 닮았다는 것이다. 여러 영역에서 동시에 성능을 따라가려면 정교한 강화 학습 인프라가 필요하고, 모든 연구소가 이를 갖춘 것은 아니라고 그는 말했다.
매체 The Decoder는 테스트 세트를 닫으면 외부에서 프롬프트의 오류를 찾아낼 수 없다는 단점을 지적했다. 이 매체는 지식 평가 AA-Omniscience를 그런 오류가 실제로 존재한다는 근거로 들었다. Artificial Analysis는 새 지수를 위해 이 벤치마크의 모호하거나 결함 있는 문항을 고쳤다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.