Alibaba와 아시아 여러 대학의 연구진이 실제 사용자의 변경 요청을 모아 코딩 에이전트용 벤치마크 Co-Design Bench를 만들었다. 10개 모델을 시험한 결과 가장 높은 점수를 받은 모델도 과제를 완전히 끝낸 비율은 26.4%였다.
에이전트는 기존 웹 앱을 사용자 요청에 맞게 고쳐야 한다. 입력에는 글뿐 아니라 이미지, 음성 녹음, 영상, 문서가 쓰이기도 한다. 1위 GPT-6 Astra는 과제별 요구사항의 평균 약 70%를 충족했다. 대개 작업의 대부분은 처리하지만 세부 항목 하나 이상을 끝내지 못해, 이 도구를 쓰는 사람은 거의 항상 손으로 뒷정리를 해야 한다.
기존 평가가 쉬워진 이유
연구진은 기존 벤치마크가 포화 상태라고 지적했다. 모델이 코드를 직접 실행하고 검사하고 고칠 수 있게 되면서 해당 시험에서 99%를 넘는 점수가 나와 모델 간 차이를 거의 잴 수 없다는 것이다. WebCompass-edit 같은 기존 시험에서 에이전트형 코딩 모델이 거의 만점을 받는 것과 비교하면, Co-Design Bench 점수와의 격차는 35%포인트를 넘는다.
과제는 실제 코딩 세션에서 가져왔다. 사용자가 요청을 여러 번 고쳐 말했거나 변경을 되돌린 사례를 우선해 실무에서 이미 AI가 애를 먹은 작업이 많다. 영수증에서 금액을 뽑아 관련 합계를 모두 고치는 작은 수정부터 프로젝트 전체를 뜯어고치는 작업까지 범위가 넓다.
채점도 엄격하다. 한 AI 판정기가 완성된 앱을 브라우저에서 시험하고, 두 번째 판정기가 긍정 판정을 다시 검토하면서 목업이나 하드코딩된 결과가 없는지 살핀다. 실제로 동작하는 기능에만 점수를 준다.
모델 순위와 약점
GPT-6 Astra 다음 순위는 Claude Opus 5와 Qwen3.8-Max가 차지했고, Grok 4.6이 꼴찌였다. 규모가 큰 개편 과제에서는 훨씬 작은 Qwen3.8-27B가 2위까지 올랐지만, 저자들은 이를 모델 전반의 우위로 해석하지 않는다. GPT-6 Astra는 두 부문 모두 선두였으나 완전 해결률은 멀티모달 과제 41%, 저장소 단위 과제 18% 바로 아래에 그쳤다.
레이아웃, 디자인, 상호작용, 콘텐츠 중 한 과제에 섞인 변경 유형이 늘수록 모든 모델의 성적이 떨어졌다. 3~4가지 유형을 한꺼번에 요구하면 10개 모델 전부 점수가 내려갔는데, 실제 프로젝트에서는 이런 얽힌 요구가 흔하다. 컴퓨트를 더 쓴다고 해결되지도 않았다. GLM-5.2는 작은 수정에서 GPT-6 Astra보다 토큰을 6배 가까이 쓰고도 점수는 크게 낮았다.
하네스의 영향과 한계
연구진은 같은 모델을 서로 다른 하네스, 곧 에이전트가 코드를 읽고 쓰고 실행하는 프로그램에서 돌려 봤다. Qwen3.8-27B는 대규모 개편 과제에서 환경에 따라 75%와 56%로 갈렸다. 모델 두 개를 견주면 어느 쪽이 앞서는지도 환경에 따라 달라졌다. 저자들은 모델과 작업 환경을 함께 보고하라고 권고했다. The Decoder는 기업이 코딩 에이전트를 고를 때도 둘을 한 쌍으로 시험해야 한다는 뜻이라고 해석했다.
이 벤치마크는 과제당 요청을 하나로 고정해, 사용자의 후속 질문이나 작업 중 수정은 평가하지 않는다. AI 판정기가 틀릴 수도 있다. 연구기관 METR의 앞선 연구에서는 프로젝트 책임자가 AI 생성 코드를 실제로 받아들인 비율이 SWE-bench Verified 점수보다 약 24%포인트 낮았다. 테스트 환경에 결함이 있으면 에이전트가 문제를 실제로 풀지 않고도 과제를 통과할 수 있다. 최근 한 연구는 정교한 하네스가 토큰을 최대 3배 쓰고도 뚜렷한 이득을 내지 못했다고 보고해, 작업 환경의 영향이 한 방향이라고 단정하기는 어렵다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.