만점 가까운 벤치마크도 풀이 기록으로 모델 능력 예측, 오차 5.3배 감소

여러 모델이 만점에 가까운 점수를 받아 변별력을 잃은 벤치마크에서도 모델 능력을 가늠할 수 있다는 연구 결과가 arXiv에 2026년 10월 14일 공개됐다. 연구진은 모델이 문제를 푼 과정을 담은 전체 풀이 기록(트랜스크립트)을 활용하는 방법을 시험했다.

시험한 방법 가운데 두 풀이를 비교해 판정하는 방식이 포화된 벤치마크의 점수만 쓴 기준선보다 예측 오차를 5.3배 줄였다. 연구진은 포화된 벤치마크의 풀이 기록에 벤치마크 정확도로는 드러나지 않는 능력 정보가 남아 있다고 밝혔다.

포화가 문제가 되는 이유

연구진에 따르면 인공지능 성능이 빠르게 오르면서 벤치마크가 포화하고 있다. 여러 모델이 만점에 가까워지면 모델 간 차이를 가리는 힘이 사라지고, AI 안전 판단 근거와 최첨단 모델 정책에 쓰는 가치도 함께 떨어진다. 연구진은 문항 하나가 점수 외에도 모델이 과제를 푼 전체 기록이라는 훨씬 많은 정보를 만든다는 점에 주목했다.

실험 방법과 결과

연구진은 과거 벤치마크와 모델 출시 이력을 이용해 포화 상황을 사후에 재현했다. 포화된 벤치마크에서 정답으로 푼 풀이 기록만 접근할 수 있게 한 뒤, 따로 떼어 둔 미포화 문항에서 측정한 능력을 예측할 수 있는지 확인했다.

비교한 방법은 세 가지다. 두 풀이를 견주는 쌍대 판정, 풀이 하나에 절대 점수를 매기는 방식, 결정적 특징이나 임베딩으로 예측하는 방식이다. 평가한 방식 중 쌍대 판정이 예측 오차를 가장 크게 낮췄다. 능력과 관련된 정보는 기록 전반에 퍼져 있었지만, 특히 추론 과정과 도구 호출 구간에 몰려 있었다.

한계

분포가 달라지는 상황에서는 예측력이 항상 일반화되지는 않았다. 2025년 초 처음 등장한 추론 모델의 능력은 과소평가됐다. 연구진은 기존 벤치마크의 수명을 늘리려면 이런 신호를 안정적으로 뽑아내도록 설계한 방법이 필요하다고 밝혔다.