Vals AI 연구, 에이전트 팀 비용 1.8~5.1배인데 품질 향상은 한 건뿐

평가 업체 Vals AI가 GPT-6 Sol과 Claude Opus 5.5를 단독 에이전트와 팀으로 나눠 "Vibe Code Bench"에서 시험한 결과, 멀티 에이전트 팀 구성의 비용은 단독 에이전트의 1.8배에서 5.1배였다. 추론 강도는 중간과 최대 두 단계로 나눠 측정했다.

팀과 단독 에이전트의 비교 네 건 가운데 통계적으로 유의미한 향상이 나온 것은 한 건이다. 추론 강도가 중간일 때의 GPT-6 Sol 팀으로, 점수가 7.3점 높았다. 최대 추론에서는 Sol과 Opus 5.5 모두 팀 구성의 이점이 없었다.

Anthropic 실험에서도 증가폭 둔화

Anthropic은 Opus 5.5로 한 자체 실험 두 건에서 에이전트를 늘릴수록 품질 향상폭이 줄었다고 밝혔다. 팀이 클수록 같은 성능에 더 빨리 도달했지만, 에이전트를 10개에서 100개로 늘려도 24시간 뒤 점수는 조금 오르는 데 그쳤다.

별도로 진행한 ProgramBench 시험에서는 속도가 빨라진 대신 토큰 사용량이 늘었다.

Fable 5.1은 Lean 정리 증명 과제에서 에이전트가 10개를 넘을 때 Opus 5.5보다 품질 향상이 더 뚜렷했지만, 모든 시험에서 Opus 5.5보다 점수가 낮았다. Knowledge base 과제에서는 에이전트를 30개에서 100개로 늘릴 때 점수가 오히려 소폭 내려갔다.

속도는 얻지만 품질은 아니다

OpenAI 연구원 Noam Brown은 Dwarkesh Podcast에서 멀티 에이전트 시스템이 주로 사는 것은 품질이 아니라 속도라고 말했다. 에이전트 4개는 과제를 두 배 빨리 풀었지만 비용도 두 배였고, 16개에서는 같은 양상이 이어지되 효율이 조금 더 떨어졌다. 웹 조사와 수학은 병렬화가 잘 되지만 소설 쓰기는 그렇지 않다고 했으며, 에이전트 1만 개를 소설에 투입하는 것은 사람 1만 명을 붙이는 것만큼 무의미하다고 말했다. 아주 많은 수의 에이전트로 확장하는 일은 비용이 너무 커서 대부분 탐색되지 않았다고도 인정했다.

OpenAI 개발자 Eric Provencher는 최근 이런 비용 문제를 이유로 에이전트 군집 사용을 경계했다. 군집은 돈 낭비일 가능성이 가장 높다고 주장했으며, 이유로 에이전트 사이의 조율이 무너진다는 점을 들고 이를 조율세라고 불렀다.