연구진이 장기 과제를 수행하는 LLM 에이전트의 강화 학습용 정책 최적화 방법 Effect-Marginal Policy Optimization(EMPO)을 제안했다. 논문은 2026년 10월 21일 arXiv에 공개됐다.
EMPO는 기존 기여도 신호를 그대로 유지한다. 궤적 단위와 단계 단위 기여도 추정기 모두와 함께 쓸 수 있고, 별도의 비평 모델이나 추가 롤아웃은 필요 없다고 연구진은 설명했다. 연구진은 ALFWorld, WebShop, Sokoban 실험에서 강력한 기준 방법보다 과제 성능과 학습 효율이 모두 높았다고 밝혔다.
여러 턴 강화 학습이 발전하면서 LLM 에이전트는 복잡한 장기 상호작용 과제에서 성능이 크게 올랐다. 기여도를 세밀하게 나누는 기법도 나왔지만, 정책 최적화는 여전히 응답별 확률비를 통해 이 신호를 반영한다고 연구진은 짚었다. 서로 다른 문장이 같은 실행 효과를 내도, 이후 결과에서 생기는 기여도 차이는 각 문장에 따로 묶인다는 것이다.
연구진은 이를 기여도-업데이트 불일치(credit-update misalignment)라고 불렀다. 분석 결과 정책 맥락과 실행 효과를 고정해도 기여도와 문장의 짝짓기가 정책 업데이트 방향을 형성한다는 점이 드러났다고 설명했다. 이를 토대로 EMPO는 효과 수준의 대리 목적 함수를 써서, 같은 효과를 내는 여러 문장의 업데이트를 서로 연결한다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.