ServiceBench 공개, LLM 에이전트 민원 처리 시나리오 2,500개로 평가

민원 처리를 전문으로 평가하는 벤치마크 ServiceBench가 논문으로 공개됐다. 연구진은 민원 유형 184개와 서비스 업종 5개에 걸친 시나리오 2,500개로 구성했으며, 민원 처리 전용 벤치마크로는 자신들이 아는 한 처음이라고 밝혔다.

연구진은 대규모 언어 모델(LLM) 에이전트가 규칙에 따른 상담과 정보 안내에는 서비스 챗봇에서 널리 쓰이지만, 감정적으로 부담이 큰 민원 응대는 여전히 사람 상담원에 크게 의존한다고 설명했다. 논문은 arXiv에 올라 있다.

평가 방식으로 연구진은 비대칭 점진적 민원 시뮬레이션(Asymmetric Progressive Complaint Simulation, APCS)을 제안했다. 정보가 비대칭인 상황에서 여러 차례 대화를 주고받는 실제 민원 처리를 흉내 내는 방법이며, 공정성에 기반한 평가 틀을 함께 내놓았다.

실험에서는 성능이 좋은 LLM 에이전트도 민원을 효과적으로 처리하지 못했다. 연구진에 따르면 에이전트는 필요한 정보를 먼저 나서서 수집하는 능력과 대화를 해결 쪽으로 전략적으로 이끄는 능력이 모두 부족했고, 너무 이른 보상에 자주 의존했다.

연구진은 사후 학습으로 이런 약점을 개선할 수 있다고 밝혔다. 지도 미세 조정(SFT)과 직접 선호 최적화(DPO)로 목표를 정해 학습시키자 해당 능력이 크게 좋아졌고, 규모가 작은 모델이 여러 결과 지표에서 훨씬 큰 모델과 비슷하거나 더 나은 성적을 냈다고 한다.