LLM 에이전트 질문 부담, 개수 대신 개입 예산으로 잰다

LLM 에이전트가 작업 중 사용자에게 던지는 질문의 부담을 질문 개수가 아니라 질문의 질까지 반영해 재는 평가 방식이 논문으로 제안됐다. 2026년 10월 17일 arXiv에 공개된 이 연구는 에이전트가 질문을 '얼마나 자주' 하는지와 '얼마나 잘' 하는지를 나눠 측정한다.

연구진은 8개 LLM을 고객 서비스 4개 영역에서 시험했다. 질문을 1~3개로 제한하자 사용자 주의 비용이 36~73% 줄었고, 질문 수를 제한하지 않았을 때 얻는 과제 보상의 86~94%는 유지됐다고 밝혔다.

개입 예산과 사용자 주의 비용

기존 평가는 질문 수를 세는 방식이어서 꼭 필요한 질문과 피할 수 있던 질문을 똑같이 취급했다. 새 프로토콜에서는 개입 예산이 에이전트가 할 수 있는 질문 수의 상한을 정한다. 사용자 주의 비용은 읽기 어렵거나 물어볼 가치가 없는 질문에 추가로 부과되며, 사람이 검증한 LLM 판정 모델이 질문을 평가한다.

질문 수가 같은 대화 쌍을 두고 어느 쪽이 더 힘들었는지 사람 평가자에게 물었더니, 75%의 경우 이 비용 판단과 의견이 일치했다. 연구진은 이 비용이 질문 개수로는 드러나지 않는 체감 노력을 반영한다고 설명했다.

질문을 줄이는 것과 잘하는 것

같은 예산에서 각 질문을 사용자의 이전 답변 기억과 대조해 검토하게 하면 주의 비용이 13% 더 줄었다. 보상 손실은 작았고 질문의 가치는 더 높아졌다고 연구진은 밝혔다.

모델별 차이도 컸다. 사용자 주의 비용이 같을 때 가장 효율적인 모델들은 질문에서 얻는 보상이 나머지 모델들의 두 배를 넘었다. 연구진은 질문을 적게 하는 것과 잘하는 것이 별개의 목표이므로 선제적 에이전트의 평가는 두 가지를 모두 측정해야 한다고 주장했다.