AI 평가 업체 Vals AI가 주요 모델 7개를 추론 강도 세 단계로 나눠 돌린 결과, 최저 설정에서 4개 모델이 Vals Index 점수의 80% 이상을 유지하면서 비용은 절반 이하로 줄었다고 밝혔다. 2026년 11월 3일 블로그에 올린 이 측정에서 Claude Opus 5.5는 점수의 80%를 비용 16%로 지켰다.
대부분의 최신 모델은 질문할 때 얼마나 깊이 생각할지 고르게 하지만, 높은 설정일수록 실행당 비용이 늘어난다. Vals AI는 평소 모델을 가장 높은 설정으로 돌리는데, 이번에는 각 추론 모델을 최저, 중간, 리더보드 설정(대개 최고 설정)으로 실행해 점수와 비용 변화를 쟀다. 과제마다 최적 설정을 골랐다고 가정해도 모델 중앙값 기준 이득은 6.0점이었고, 사후에 고른 값이라 실제 시스템이 얻을 이득의 상한이다.
최저 설정에서 점수와 비용 변화
측정 대상은 AI 회사 7곳의 최상위 모델이다. 각 모델을 Vals Index를 이루는 8개 벤치마크에서 돌렸다. 아래 표는 최저 설정의 점수와 비용을 리더보드 설정 대비 비율로 나타낸 것이다.
| 모델 | 비교한 설정 | 점수 유지 | 비용 |
|---|---|---|---|
| Gemini 4 Argon | low vs high | 99% | 84% |
| DeepSeek V4.1 Flash | low vs max | 89% | 50% |
| GPT-6 Astra | low vs max | 88% | 18% |
| Grok 4.7 | low vs xhigh | 86% | 16% |
| GLM-5.3 | low vs max | 81% | 53% |
| Claude Opus 5.5 | low vs max | 80% | 16% |
| Muse Spark 1.3 | minimal vs xhigh | 77% | 29% |
Gemini 4 Argon은 최저 설정에서 점수 99%를 지켰지만 비용은 84%로 거의 줄지 않았다. 중간 설정에서는 리더보드 설정보다 점수가 약간 높았고 비용은 78%로, 자체 최저 설정보다도 쌌다. 다만 Vals Index 전체에서 최저 설정만으로 리더보드 점수에 맞선 모델은 없었다.
모델과 벤치마크를 짝지은 56개 조합 중 22개에서는 더 싼 설정이 리더보드 설정과 같은 점수를 냈다. 시험한 저비용 설정 중 리더보드 설정보다 유의하게 높은 경우는 없었고, 유의하게 낮은 경우가 33개였다.
과제별 최적 설정과 벤치마크별 차이
Vals AI는 과제마다 점수가 가장 높은 설정 가운데 가장 싼 것을 골랐다고 가정해 이론상 상한을 계산했다. 사후에 결과를 보고 고른 값인데도 모델 중앙값 기준 이득은 6.0점이었고, 비용은 리더보드 설정의 64%였다. 모든 과제에 최저 설정을 쓸 때의 29%보다 비싸다. 실제 시스템은 결과를 보기 전에 설정을 골라야 하므로 이득이 이보다 작다고 Vals AI는 설명했다.
| 모델 | 리더보드 설정 | 과제별 최적 | 비용(리더보드 대비) |
|---|---|---|---|
| Gemini 4 Argon | 59.8 | 67.6 | 84% |
| DeepSeek V4.1 Flash | 51.5 | 57.4 | 62% |
| GPT-6 Astra | 54.7 | 59.6 | 64% |
| Grok 4.7 | 50.6 | 56.4 | 55% |
| GLM-5.3 | 52.1 | 59.9 | 76% |
| Claude Opus 5.5 | 60.6 | 66.6 | 50% |
| Muse Spark 1.3 | 47.5 | 55.4 | 80% |
추론을 늘렸을 때 얻는 이득은 벤치마크마다 크게 달랐다. 최저에서 최고 설정으로 올렸을 때 점수 상승의 중앙값은 Legal Research가 19.2점으로 가장 컸고, Code Migration 1.1이 15.6점, Terminal-Bench 4가 12.1점, Tax Agent Bench가 11.5점, Vibe Code Bench가 10.6점이었다. Finance Agent 2.1은 5.0점, HLAB 1.1과 EMB 1.1은 각각 3.3점으로 6점에 못 미쳤다.
측정 방식과 한계
리더보드 설정은 DeepSeek, GPT-6 Astra, Opus, GLM이 max, Grok과 Muse가 xhigh였다. Gemini는 리더보드 실행에서 추론 강도를 지정하지 않아 high 설정을 썼다. 평가한 8개 벤치마크는 Finance Agent 2.1, EMB 1.1, Terminal-Bench 4, Vibe Code Bench, Code Migration 1.1, Legal Research, HLAB 1.1, Tax Agent Bench다. Vals Index는 금융, 코딩, 법률, 세무 과제에서 에이전트형 모델의 성능을 재고, 산업별 미국 GDP 비중으로 가중한 지표다.
모든 설정은 벤치마크마다 과제의 약 절반으로 고정한 부분집합에서 돌렸고, 이 부분집합은 전체 벤치마크와 모델 순위가 같도록 골랐다. 기존 리더보드 실행이 있는 모델은 그 결과를 부분집합으로 다시 채점했고, Gemini를 포함해 실행이 없던 경우는 새로 돌렸다. 점수 차이는 같은 과제를 두 설정에 다시 뽑아 비교하는 짝지은 부트스트랩 검정으로 판단했으며, 보정한 p값이 0.05 미만이면 유의하다고 봤다. 비용은 정가 기준이다.
Vals AI가 밝힌 한계도 있다. 과제가 절반이라 발표된 점수보다 잡음이 크고, 대부분 벤치마크는 설정당 한 번만 실행했다. 유의한 차이가 없다고 해서 점수가 같다는 뜻은 아니며, 작은 실제 차이를 놓칠 수 있다. 리더보드 설정 실행은 대체로 몇 달 전 것이고 나머지는 10월에 돌려 그사이 제공사 쪽 변경이 비교에 영향을 줄 수 있다. 과제별 최적 설정은 그 과제의 결과로 골랐기 때문에 6.0점은 실제 시스템이 낼 수 있는 이득의 상한이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
