ReflectPO 제안, 장기 과제 LLM 에이전트의 오류 복구 학습

연구진이 장기 과제를 수행하는 LLM 에이전트가 실행 중 생긴 오류에서 스스로 회복하도록 훈련하는 방법 ReflectPO(Reflection-Guided Policy Optimization)를 논문으로 제안했다. 논문은 2026년 10월 22일 arXiv에 올라왔다. ReflectPO는 강화 학습 틀로 설계됐다.

연구진은 장기 과제를 다루는 도구 사용(tool-use) 벤치마크 두 종에서 실험했다. ReflectPO는 대부분의 영역에서 기존 기준 방법 여러 개보다 성과가 좋았고, 평균 성능도 가장 높았다고 논문은 밝혔다.

연구진이 짚은 문제는 오류의 누적이다. 대규모 언어 모델(LLM)은 외부 도구를 쓰며 환경과 계속 상호작용해 복잡한 과제를 풀 수 있고, 실제 환경의 장기 과제에도 에이전트가 점점 많이 쓰인다. 이런 과제는 앞선 결정에 뒤의 결정이 매이고 환경 상태도 변하기 때문에, 초기에 저지른 실행 오류가 이후의 상호작용 기록과 환경 상태에 영향을 주며 결정 사슬을 따라 쌓인다.

두 가지 구성 요소

첫 번째 요소는 반성 유도 샘플링(Reflection-Guided Sampling)이다. 상호작용 궤적에서 갈래가 갈리는 지점의 차이와 같은 상태를 반복해 방문한 기록을 이용해 오류 복구용 힌트를 만든다.

두 번째는 트리 구조 기여도 할당(Tree-Structured Credit Assignment)이다. 샘플링한 궤적을 트리로 묶고, 부모 노드와 자식 노드 사이의 보상 차이와 복구로 얻은 이득을 바탕으로 행동 단위의 기여도를 매긴다.

연구진은 추가 분석에서 ReflectPO가 에이전트의 세 가지 능력을 끌어올렸다고 밝혔다. 자신이 궤도에서 벗어났음을 알아차리는 능력, 잘못된 상태에서 복구하는 능력, 복구 후 과제 완료를 향해 계속 나아가는 능력이다. 이 성과는 논문 초록에 담긴 저자들의 주장이다.