심층 검색·심층 리서치 에이전트가 작업 중간에 저지르는 오류를 진단하는 평가 방법론과 분석 틀을 제안한 논문이 2026년 10월 21일 arXiv에 공개됐다. 논문은 여러 단계에 걸친 장기 작업을 수행하는 대규모 언어 모델(LLM) 기반 에이전트의 신뢰성을 평가하는 문제를 다룬다.
연구진은 기존 평가가 대부분 최종 결과에만 초점을 맞춘다고 지적했다. 그 결과 에이전트가 여러 오류에 취약한 중간 실행 과정은 제대로 파악되지 않았다고 설명했다. 연구진은 앞서 제시한 방법론과 분석 틀을 토대로 오류를 시스템 수준 오류와 과제 수준 오류라는 두 축으로 나눈 구조화된 분류 체계를 세웠다.
연구진은 단계별 실행 기록과 에이전트가 환경과 주고받은 상호작용을 체계적으로 살펴, 이런 오류가 전체 성능에 어떤 영향을 주는지 분석했다고 밝혔다. 식별한 오류 유형에 대한 실험과 분석을 바탕으로 딥 리서치 에이전트의 견고성, 추론 능력, 신뢰성을 높일 설계 지침도 제시했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.