AutoVend 공개, LLM 에이전트 5종 중 4종이 규칙 기반 재고 관리에 밀려

LLM 에이전트가 자판기 사업을 장기간 혼자 운영할 수 있는지 재는 벤치마크 AutoVend가 arXiv에 공개됐다. 에이전트 하나가 웹 기반 운영 화면을 통해 자판기 20대를 가상의 180일 동안 관리한다. 자판기는 다섯 가지 유형의 장소에 놓여 있다.

연구진은 LLM 에이전트 5종을 규칙 기반 재고 관리 기준선과 비교했다. 5종 중 4종이 이 기준선에 미치지 못했다. 투입한 추론 비용 1달러당 수익으로 순위를 매기면 수익만 볼 때와 모델 순서가 달라진다.

시뮬레이터 구성과 평가 방식

AutoVend의 시뮬레이터는 실제 데이터에 근거를 두고 만들었다. 공용 창고, 조달 소요 시간, 유료 재고 보충, 재고 유통기한 만료, 반복되는 운영비를 함께 반영한다. 온라인에서 내린 결정이 비용이 드는 물리적 실행으로 이어지는 O2O(온라인에서 오프라인) 상거래를 모사한 설계다.

연구진은 개별 거래를 넘어 온라인 결정이 지속적인 경제적 수익으로 이어지는지 평가해야 한다는 문제의식에서 이 벤치마크를 만들었다. 에이전트가 여러 장소를 얼마나 조율하고, 결정을 어떻게 실행하며, 성과가 시간에 따라 어떻게 변하는지를 진단한다.

분석에서 드러난 한계

운영 분석에서는 개별 지표가 좋아져도 경제적 성장이 꾸준히 커지지 않았다. 재고 비용과 실행 비용이 그 이득을 깎아 먹었기 때문이다.

궤적 분석에서는 세 가지 어려움이 확인됐다. 실행 가능한 행동에 근거를 두는 일, 재고 약정을 관리하는 일, 피드백을 효과적인 정책 수정으로 바꾸는 일이다.