TeachBack, 교사 모델의 가르치는 방식까지 학습시키는 자기 증류법 제안

TeachBack은 언어 모델이 스스로 교사와 학생 역할을 맡는 온폴리시 자기 증류(OPSD)에서, 교사가 학생에게 맞게 가르치는 법까지 학습하도록 한 방법이다. 논문은 2026년 10월 21일 arXiv에 올라왔다. 연구진은 수학과 논리 추론 과제 실험에서 기존 OPSD 방식과 관련 기준 모델보다 학생 성능이 꾸준히 높았다고 밝혔다.

OPSD에서는 같은 모델이 참고 풀이 같은 특권 정보를 받아 교사가 되고, 이 교사의 출력으로 지식 증류가 이뤄진다. 연구진은 특권 정보가 충분하면 교사가 매우 정확한 풀이를 내놓지만, 정확하다고 해서 학생이 배우기에 알맞은 것은 아니라고 지적했다. 완성된 풀이를 볼 수 있으면 교사가 참고 풀이에 기댄 짧은 유도 과정만 내놓고, 정답 없이 풀 때 필요한 탐색, 검증, 자기 수정을 생략할 수 있다는 것이다.

교사의 생성 방식을 조절하는 방법

TeachBack은 프롬프트에 넣는 참고 추론 뒤쪽 부분의 길이를 조절하고 프롬프트 형식을 바꿔 교사의 생성 행동을 다듬는다. 교사 정확도는 비슷하게 유지하면서, 교사가 문제를 직접 탐색하고 다시 풀도록 유도해 참고 풀이 의존도를 낮춘다는 것이 연구진의 설명이다.

롤아웃을 갱신할 때마다 공유 정책이 특권 정보를 받은 교사 궤적과 문제만 받은 학생 궤적을 함께 만든다. 쌍별 선호 목적 함수는 교사 궤적을 이용해 학생 학습을 개선하고, 방향을 뒤집은 선호는 학생의 행동을 이용해 특권 조건에서 나올 다음 교사 지도를 조정한다. 교사에게서만 배우는 것이 아니라 교사가 어떻게 가르쳐야 하는지도 배우는 양방향 구조다.