LLM 에이전트 오류 725건 자체 복구, 개입 시점 예측법 ReCoF 제안

연구진이 LLM 에이전트의 오류 이벤트 1,403건을 모은 ReInBench를 만들어 분석한 결과, 725건이 자체 복구된 것으로 나타났다. 웹 서비스를 오가며 사용자 대신 일을 처리하는 대규모 언어 모델(LLM) 에이전트가 오류를 내면 외부 개입이 바로 필요한지, 아니면 에이전트가 스스로 복구하길 기다려도 되는지를 실증적으로 다룬 이 연구 논문은 arXiv에 2026년 10월 27일 공개됐다.

연구진은 컴퓨터 사용과 웹 작업에서 나온 에이전트 실행 기록 1,259건과 오류 이벤트 1,403건으로 구성한 데이터셋 ReInBench를 만들었다. 이를 바탕으로 에이전트가 얼마나 자주, 얼마나 빨리 스스로 복구하는지, 복구가 이후 실행과 작업 완료에 어떤 영향을 주는지, 오류가 났을 때 복구 여부를 예측할 수 있는지를 살폈다. 코드와 데이터도 공개한다고 밝혔다.

자체 복구의 양상

자체 복구된 725건은 자주 몇 단계 안에 회복됐고, 복구 성능은 실행을 맡은 LLM마다 달랐다. 연구진은 자체 복구가 같은 유형의 후속 오류에서 회복하는 데 도움이 될 수 있고, 전체 작업 완료도 뒷받침할 수 있다고 설명했다.

이런 결과를 근거로 연구진은 스스로 복구하기 어려운 오류에 개입을 우선하고, 복구 가능성이 높은 오류에서는 에이전트가 계속 실행하게 두라고 제안했다.

복구 여부를 예측하는 ReCoF

연구진이 제안한 ReCoF는 오류가 났을 때 그 오류가 스스로 복구될지를 예측해 추가 개입이 필요한지 판단하게 돕는 방법이다. ReInBench에서 가장 강한 기준 모델과 비교해 Macro-F1이 평균 9.02% 상대적으로 높았다고 연구진은 밝혔다.