인도 동네 잡화점을 본뜬 시뮬레이션 벤치마크 KiranaBench가 arXiv에 공개됐다(2026년 10월 16일 게재). 연구진이 오픈 웨이트 대규모 언어 모델 4종을 평가한 결과, 모두 정해진 규칙대로 가게를 운영하는 점주 기준선에 크게 못 미쳤다. 가장 나은 모델의 이익은 이 기준선의 8분의 1이었고, 두 모델은 아무도 관리하지 않는 가게보다 낮은 성적으로 끝났다.
KiranaBench는 멀티 에이전트 구조다. 매니저, 계산원, 보조원, 장부 담당 네 역할을 각각 별도의 LLM 에이전트가 맡는다. 고객·공급업체와의 대화는 영어, 힌디어, 힌글리시(힌디어와 영어를 섞은 말)로 이뤄지며, 상품 수요는 인도의 전국 가계 소비지출 조사에 맞춰 보정했다.
사업 운영을 장기 과제로 평가하는 기존 벤치마크는 거의 전적으로 영어 기반이고, 소매 환경도 서구를 배경으로 하며, 에이전트가 하나뿐이어서 사업 상황을 직접 관찰한다. 연구진은 이런 환경에서 나온 결과가 다중 에이전트를 쓰는 인도 언어 환경으로 어떻게 이어지는지 살펴봤다.
언어별 격차도 나타났다. 공급업체와 소통할 때 힌디어와 힌글리시의 성과가 영어보다 일관되게 낮았다. 연구진은 현재 LLM 에이전트가 인도의 소규모 사업을 자율 운영하기에는 아직 믿을 만하지 않다고 결론 내리고, 장기적이고 협업이 필요한 다국어 환경에 맞는 에이전트를 개발할 시험대로 쓰일 수 있다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.