연구진이 LLM 에이전트를 학습할 때 전문가 모델이 쓴 텍스트 비평을 함께 학습 목표로 쓰는 방법 CAFT(Critique-Augmented Agentic Fine-Tuning)를 제안했다. 행동 수준의 감독에 비평을 더하면 행동만 쓰는 증류(action-only distillation)보다 τ²-Bench Airline+Retail과 WebShop의 에이전트 작업 성능이 평균 8% 높았다고 논문에서 밝혔다. 논문은 2026년 10월 14일 arXiv에 공개됐다. 이 8%가 상대 증가율인지 퍼센트포인트 차이인지, 점수가 어떤 지표인지는 논문 초록에 적혀 있지 않다.
실험에는 Nemotron 3와 Gemma 4 계열의 학생 모델 네 종을 썼다. 개별 모델명은 초록에 나오지 않는다. 평가는 에이전트 영역인 τ²-Bench의 Airline+Retail과 WebShop에서 했다.
에이전트를 개선하는 일반적인 접근은 더 강한 전문가 모델을 감독자로 쓰는 것이다. 전문가의 궤적을 행동 복제(behavior cloning)하거나, 약한 학생 모델이 생성한 궤적의 행동을 전문가가 교정한다.
CAFT는 학생 모델이 만든 궤적에서 틀린 행동마다 전문가에게 교정된 행동과 학생이 왜 틀렸는지 설명하는 텍스트 비평을 받아, 이 둘을 미세 조정의 학습 목표로 쓴다.
강화 학습의 출발점으로도 쓸 수 있다. 연구진은 CAFT로 학습한 체크포인트가 전문가 궤적을 증류한 체크포인트보다 강화 학습의 시작점으로 더 낫다고 밝혔다. 이 비교의 수치는 초록에 없다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.