ToolBottleneckBench 공개, 하네스 예산 고정해 도구 에이전트 21개 구성 측정

Zichuan Xu, Yuyang Dong, Makoto Onizuka, Chuan Xiao 연구진이 도구를 호출하는 에이전트의 성능을 통제된 조건에서 재는 벤치마크 ToolBottleneckBench를 공개했다. 논문은 2026년 10월 15일 arXiv에 올라왔다. 연구진은 도구 에이전트의 성공 점수가 모델뿐 아니라 이를 실행하는 하네스의 예산도 반영한다고 지적했다.¹

코드와 데이터는 GitHub에 MIT 라이선스로 공개됐다. 다만 저장소에 포함된 ToolSandbox 일부와 채점 기록에 든 모델 생성 텍스트는 원래 약관을 따른다. Python 3.11 또는 3.12가 필요하고, 과제 묶음 생성과 검증, 릴리스 점검, 출력 한도 실험 재분석 명령은 모두 오프라인에서 실행된다. 공급자 인증이 필요한 원본 응답 기록과 수집용 실행기는 저장소에 들어 있지 않다.²

측정 방식

벤치마크는 합성한 기업 업무 과제를 고정해 두고 압력 하나만 바꾼다. 바꾸는 대상은 등록된 도구 목록, 모델에 보이는 도구 메뉴, 인증된 작업 절차, 반환 기록의 인코딩 중 하나다. 주요 결과는 모두 동결된 하나의 하네스 예산 아래에서 나왔다.

정밀 채점기는 실패한 시도마다 처음으로 충족하지 못한 의무와, 시도를 끝낸 하네스 한도가 있으면 그 한도를 기록한다. 저장소에는 과제 컴파일러, 샌드박스, 채점기, 에이전트 루프가 들어 있고 ToolSandbox 일부를 고정 버전으로 포함한다.^1,2

측정 결과

모델과 하네스 조합 21개를 비교한 결과, 모델에 작용하는 세 압력 가운데 큰 감점을 낸 것은 보이는 도구 메뉴뿐이었다. 이 감점은 완성 출력 한도에서 응답이 잘리는 정도와 함께 움직였다. 한도를 16배로 올리자 잘림이 많던 구성에서 감점 대부분이 사라졌다.

실패 대부분은 하네스 한도에 걸려 끝났다. 실패 기록으로 어떤 압력이 주어졌는지 가려내는 신뢰도는 도구 호출 횟수를 세는 방법보다 높지 않았다. 도움이 된 수리는 모델에 닿는 도구를 바꾸거나 호출을 누가 내리는지를 바꾸는 방식이었다. 성공률에서 모든 구성 전환보다 앞선 수리는 둘뿐이었고, 둘 다 모델의 행동을 개선하지는 않았다.¹

연구진은 압력의 효과를 보고할 때 측정 당시의 하네스 예산을 함께 적을 것을 권고했다. 벤치마크 카드와 주장-산출물 대응표는 각 발견을 해당 행과 분석에 연결하며, 점수 행과 분석 결과는 저장소의 results 폴더에 있다.^1,2