연구진이 소형 언어 모델(SLM) 에이전트가 같은 실패를 반복하며 작업을 진전시키지 못하는 정체를 줄이는 학습법 ProD(Progress-Aware Distillation, 진행도 인식 증류)를 14일 논문으로 공개했다. 논문은 매개변수 0.6B에서 8B까지 모델 8종을 학습에 쓴 영역과 쓰지 않은 영역의 벤치마크로 실험한 결과, ProD가 정체를 줄이고 지식 증류로 학습한 소형 에이전트의 성공률과 작업 완료 효율도 높였다고 밝혔다.
LLM 기반 에이전트는 토큰 소비량과 지연 시간이 커서 적용에 제약이 있고, 최근 연구는 대형 모델의 에이전트 능력을 소형 언어 모델에 옮기는 지도 미세 조정 기반 지식 증류에 집중하고 있다.
문제는 상호작용 기록이 길어질 때 나타난다. 추론과 행동의 연쇄가 길어지고 환경에서 돌아오는 피드백이 쌓이면 학생 에이전트가 실패한 전략을 계속 반복하며 정체에 빠지는 경향이 있고, 연구진은 이 현상이 여러 소형 모델과 작업 영역에서 일관되게 나타났다고 밝혔다.
ProD는 학생 모델이 만든 궤적에서 정체를 찾아낸다. 학생과 교사 모델의 정체 격차를 적응형 마진으로 바꿔, 이 마진을 정체 가능성에 매기는 페널티의 크기로 학습 중에 쓴다. 이 절차를 반복하면 학생 에이전트가 교사의 행동에 단계적으로 가까워진다고 연구진은 설명했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.