TRACER, 에이전트 도구 128개 중 5개만 보여 단계당 입력 토큰 80% 절감

에이전트가 전체 도구 목록을 매번 읽는 대신, 앞서 관측된 도구 호출 순서로 다음 도구 후보만 추려 보여 주는 검색 단계 TRACER가 arXiv에 공개됐다. 연구진은 소매와 통신을 섞은 τ² 환경에서 GPT-5.4의 도구 선택 정확도가 4.7점 올랐다고 밝혔다. 같은 환경에서 단계당 입력 토큰은 80% 줄었다고 한다.

이 실험에서 모델에 보여 준 도구는 전체 128개 중 5개뿐이다. 연구진은 전체 도구 목록을 노출하면 토큰 비용이 높고, 목록이 커지면 도구 선택을 해칠 수 있다고 지적했다. Abstract에는 사용 요금이나 공개 일정, 코드 배포 여부가 나오지 않는다.

TRACER는 LLM 에이전트 앞에 두는 검색 단계다. 관측된 도구 호출 순서를 트라이(trie) 구조에 색인하고, 경험적 사전 확률과 문맥 기반 사전 확률을 학습된 비율로 섞어 다음에 올 도구 후보의 순위를 매긴다.

에이전트가 한 차례 작업을 처음부터 끝까지 스스로 수행하는 자율 실행에서는 TRACER가 전체 도구 목록을 쓴 GPT-5.4의 작업 성공률과 같은 수준이었다. 이때 단계당 입력 토큰은 61% 적었다.

환경 6개와 모델 4개를 조합한 24개 쌍 가운데 21개에서 TRACER가 전체 목록을 쓸 때보다 도구 선택 정확도가 높았다. 정확도가 오른 쪽의 평균 향상 폭은 6~10점이다. 나머지 3개 쌍은 전체 목록보다 뒤처졌고, 그 차이는 최대 2.2점이었다. 연구진은 도구 선택과 자율 실행 두 설정의 실패 사례를 분석해 앞으로 풀 과제를 짚었다.

실험에서 다룬 도구 규모는 128개이고, 모델에 보여 준 후보는 5개였다. 결과는 Abstract에 적힌 환경 6곳과 모델 4개 조합에서 나온 것이다. 호출 기록이 적은 새 업무에서도 같은 효과가 나는지는 Abstract에 나오지 않아 확인할 수 없다.