대화형 에이전트가 문장마다 자연스럽고 사실처럼 그럴듯하지만 정해진 대화 절차에서는 벗어나는 오류를 재는 벤치마크 DialFork가 공개됐다. 논문은 2026년 10월 15일 arXiv에 올라왔다. 연구진은 이를 '절차적 환각'이라 부르며, 원문 대화 텍스트에서 이 오류를 측정하는 첫 벤치마크라고 밝혔다.
DialFork는 12개 분야 24개 과제에 걸친 36,278개 대화로 이루어져 있다. 데이터는 MIT 라이선스로 공개됐고, 구성이 제대로 됐는지는 사람 주석자 30명이 검증했다고 연구진은 밝혔다.
절차를 지킨 대화를 정해진 발화 위치에서 갈라 낸 뒤, 네 가지 환각 유형 중 하나를 넣는 방식으로 데이터를 만들었다. 기존 연구는 사실과 다른 내용을 말하는 오류에 집중해 왔고, 연구진은 절차에서 벗어나는 오류가 간과됐다고 지적했다.
연구진은 절차 이탈을 세 가지 단위로 나눠 보는 평가 과제 셋을 정의했다. 대화 묶음이 절차를 지킨 대화에서 얼마나 벗어났는지 보는 과제는 배포한 에이전트를 감시하는 용도다. 대화 하나가 얼마나 벗어났는지 보는 과제는 절차 검색(procedural retrieval)에 해당하고, 대화가 처음 궤도를 이탈한 발화 위치를 찾는 과제는 실시간 가드레일에 쓰인다.
연구진은 묶음 단위 감시와 단일 대화 절차 검색, 앞의 두 과제를 위해 대화 흐름을 따지는 지표 FlowKL과 FlowScore를 제안했다. 두 지표는 대화 내용이 아니라 대화가 전개되는 방식을 비교한다.
연구진에 따르면 대화 단위 평가에서 FlowScore는 인코더 7종 전반에서 모든 기준선을 통계적으로 유의하게 앞섰다. 연구진은 이 결과가 의미 유사도는 절차 유사도를 대신하지 못함을 보여준다고 설명했다.
연구진은 사실성 평가만으로는 절차 이탈을 놓칠 수 있다고 문제를 제기했다. 연구진은 DialFork를 공개하며 커뮤니티가 대화 내용과 함께 대화 과정을 측정하길 바란다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.