Microsoft와 홍콩시티대 연구진이 AI 에이전트의 장기 판단력을 재는 벤치마크 Taste-Bench를 만들었다. 에이전트가 긴 작업 도중 갈림길에서 어느 방향이 더 나은지 고르는 능력을 측정하는 도구다. 14개 모델을 시험한 결과 가장 높은 점수는 59.7%였다.1
벤치마크와 코드는 공개돼 있다. 코드는 MIT 라이선스, 데이터셋 텍스트는 CC BY 4.0이다. 데이터셋은 학습 데이터 오염을 막으려고 접근 신청을 받는 방식(gated)으로 배포하며, Hugging Face에서 신청한 뒤 로그인하면 내려받을 수 있다. OpenAI 호환 엔드포인트라면 어떤 모델이든 평가할 수 있고, 전체 실행은 요청 1,004건에 입력 토큰 약 800만 개가 든다.2
갈림길을 얼려 놓고 고르게 한다
연구진은 에이전트가 연구 논문을 쓰거나 소프트웨어 프로젝트를 만드는 동안 어떤 가설을 검증할지, 어떤 코드 위에 쌓을지 계속 고른다고 설명한다. 나쁜 선택도 처음에는 멀쩡해 보이고, 예산 대부분을 쓴 뒤에야 비용이 드러난다. 논문 저자들은 이런 선택을 잘하는 능력을 에이전트의 '취향(taste)'이라고 부른다. 기존 벤치마크는 작업을 끝냈는지만 보고 중간 단계의 질은 재지 않는다고 저자들은 지적한다.1
사람이 채점하면 비용이 크고 분야 전문성이 필요하며 규모를 키우기도 어렵다. 그래서 연구진은 이후 기록에 드러난 결과를 정답 근거로 삼았다. 병렬 유형은 같은 과제를 독립적으로 시도한 기록이 갈라진 지점이고, 우회 유형은 한 번의 실행 안에서 방향을 포기했다가 복구한 지점이다. 이 분기점에서 기록을 멈추고 이후 작업을 가린 채 모델에게 두 경로 중 하나를 고르게 한다.
문항은 502개다. 우회 유형에서는 포기한 방향과 이후 성공한 방향이 후보가 된다. 연구진은 분기점 4,657개를 뽑아 걸러 냈다. 모든 판정 모델이 후보 문구만 보고 맞히는 사소한 문항은 빼고, 판정 모델 중 하나라도 전체 기록을 읽은 뒤 라벨과 다르게 판정하는 문항도 제외했다. 사람이 검토한 결과 자동 생성 라벨은 거의 전부 확인됐다.1,2
영역별로는 엔지니어링 390문항(우회 266, 병렬 124)과 연구 112문항(우회 64, 병렬 48)이다. 기록은 SWE-bench와 SWE-bench Pro의 실행 이력, METR가 공개한 MALT(RE-Bench, HCAST 실행)에서 가져왔다.2
평가 때 모델은 과제, 결정 이전의 전체 궤적(자격 증명과 사용자 이름은 가림, 64K 토큰 한도), 두 후보를 받고 '사고의 연쇄'를 보이지 않은 채 한 줄로 답한다. 같은 문항을 원래 선택지 순서와 정반대 순서로 두 번 묻고, 두 번 다 맞혀야 정답으로 센다. 분모는 공개된 모든 문항, 곧 502문항에 두 순서를 곱한 1,004건이다. 무작위로 찍으면 25%가 나오고, 늘 같은 위치만 고르는 모델은 0점이다. 응답 오류와 해석 불가 출력은 오답으로 센다.1,2
최고 점수도 60%에 못 미친다
Claude, GPT, Grok, DeepSeek, GLM, MiniMax, Mistral 계열 14개 모델을 시험했다. 1위는 GPT-5.6 Sol로 평균 59.7%, 2위 GPT-5.5는 59.5%다. 나머지 모델은 모두 59.5%보다 낮았고 3위 Claude Opus 5는 55.5%였다. 두 가지 중 하나를 고르는 문제인데도 정복에 근접한 모델은 없었다. 우회 분기점이 병렬보다 일관되게 어려웠다.1,2
| 모델 | 평균(%) | 연구(%) | 엔지니어링(%) |
|---|---|---|---|
| GPT-5.6 Sol | 59.7 | 48.1 | 67.2 |
| GPT-5.5 | 59.5 | 47.4 | 68.8 |
| Claude Opus 5 | 55.5 | 35.3 | 64.1 |
| Grok 4.5 | 54.6 | 47.7 | 57.8 |
| GPT-5.6 Terra | 54.0 | 40.6 | 70.2 |
| GLM-5.2 | 53.9 | 40.2 | 59.4 |
평균은 연구와 엔지니어링 점수의 1:1 평균이다. 하위권은 Grok 4.20 Reasoning이 15.7%, GPT-5.4 Nano가 36.6%, Mistral Medium 3.5가 37.7%였다.2
결정적 단서가 분기점 이전 기록에 이미 있으면 전체 모델 평균 정확도는 62.3%였다. 단서가 한참 뒤의 작업에서야 나타나는 문항에서는 21%로 떨어져 무작위 수준에 가까웠다. 이런 문항은 사실상 앞으로의 작업을 예측해야 풀린다.
오래 생각하게 해도 소용이 없었다. 모델 두 개에 추론 설정을 세 단계로 바꿔 시험했는데, 가장 낮은 설정에서 가장 높은 설정으로 올려도 정확도는 거의 그대로였다. 가장 어려운 구간에서는 추론 토큰을 가장 많이 썼고, 가장 자주 틀린 문항일수록 오래 생각했다. 연구진은 이를 해당 분기점에 필요한 단서가 아직 없다는 신호로 해석한다. 저자들은 이 벤치마크가 SWE-bench Verified 같은 기존 종단 평가와 다른 능력을 잰다고 주장한다. 거기서 비슷한 점수를 받은 모델도 Taste-Bench에서는 뚜렷하게 갈린다고 밝혔다.1
취향은 학습시킬 수 있었다
연구진은 정답 경로를 아는 교사 모델의 판단을 문제만 보는 학생 모델에 증류했다. 기반은 Qwen3.6-27B다. 처음 보는 과제에서 학생 모델의 정확도는 30%에서 47.9%로 올랐다.
실전 효과도 시험했다. 각 분기점에서 학생 모델의 판단을 조언으로 과제 맥락에 넣고 별도 에이전트에게 문제를 풀게 했다. 따로 떼어 둔 SWE-bench Pro 과제 41개에서 성공률이 14.6%에서 33.7%로 올랐다. 완벽히 맞는 조언을 줬을 때의 상한은 39%여서, 학생 모델이 가능한 향상 대부분을 얻은 셈이다.
The Decoder는 기존 평가의 한계를 배경으로 언급했다. 이 매체에 따르면 METR는 SWE-bench Verified가 코딩 에이전트 성능을 상당히 과대평가한다는 점을 이미 보였고, 자동 테스트를 통과한 해법 가운데 상당수가 기본적인 기능 버그 때문에 전문가에게 거부됐다. The Decoder는 이번 벤치마크 1위인 GPT-5.6 Sol이 METR 평가에서 소프트웨어 테스트 부정행위 비율이 역대 가장 높았던 모델이라고도 전했다.1
영역별 점수를 보면 엔지니어링에서는 GPT-5.6 Terra가 70.2%, GPT-5.5가 68.8%까지 오르지만, 연구에서는 최고가 GPT-5.6 Sol의 48.1%에 그친다. 문항 수는 엔지니어링이 390개, 연구가 112개다.2