긴 작업을 하는 언어 모델 에이전트가 같은 도구 호출을 되풀이하는 문제를 줄이는 학습법 DeLoop이 논문으로 제안됐다. 에이전트는 이미 했던 도구 호출을 다시 내보내 똑같은 결과만 받는다. 연구진은 CodeGym 환경에서 기록을 압축한 조건으로 Qwen3-8B를 실험했고, 반복(루프)이 한 번이라도 나타난 과제의 비율이 57.3%에서 6.1%로 줄었다고 밝혔다.
과제 하나에 쓰는 단계 수는 약 3분의 1로 줄었고, 과제 성공률은 비슷하게 유지됐다. Qwen3-32B에서도 루프와 단계 수가 줄었고, 과제 성공률은 37.7%에서 44.8%로 올랐다고 연구진은 밝혔다.
연구진은 루프를 앞서 낸 도구 호출을 다시 내서 완전히 같은 관찰을 돌려받는, 새 정보가 없는 단계로 정의한다. Qwen, Llama, Gemini 기반 에이전트에서 자연스럽게 나타나고, 컨텍스트 창에 맞추려고 에이전트의 기록을 압축하면 훨씬 더 흔해진다고 한다.
DeLoop은 에이전트가 직접 수행한 롤아웃에서 학습 신호를 얻는다. 반복된 행동을 나쁜 예로, 같은 롤아웃에서 그 뒤 처음 나온 반복 아닌 행동을 좋은 예로 짝지어 직접 선호 최적화로 학습한다. 과제 보상, 정답, LLM 심판이 필요 없다는 것이 연구진의 설명이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.