Yashuo Luo, Qianren Mao 등 연구진이 대형 추론 모델의 풀이 기록을 소형 모델이 배우기 쉬운 형태로 바꾸는 지식 증류 방법 CARD(Cognition-Aligned Reasoning Distillation)를 제안했다. 논문의 arXiv 발행일은 2026-10-27이다. 구현 코드는 GitHub 저장소 LiteSSLHub/CARD에 공개됐고, 저장소는 이 연구를 NeurIPS 2026 논문으로 소개한다.
CARD는 강화 학습을 쓰는 틀로, 이미 만들어 둔 교사 모델의 추론 기록을 그대로 변환해 학생 모델의 인지에 맞춘 교육용 기록으로 만든다. 연구진은 비용이 큰 재샘플링을 거치지 않는다고 밝혔다. 저장소에는 설치, 학습, 추론, 데이터셋 구성, 평가 실행 명령이 정리돼 있다. 오픈소스 학습 프레임워크 veRL을 바탕으로 만들었다.1,2
원본 기록을 그대로 따라 배울 때의 문제
연구진은 기존 증류가 교사의 원본 추론 기록을 그대로 학습 신호로 쓰는 점을 문제로 짚었다. 고성능 추론 모델은 보상 중심의 사후 학습(예: 인간 피드백 강화 학습)으로 문제를 잘 푸는 풀이자로 다듬어졌을 뿐, 작은 모델이 쉽게 배울 추론 과정을 내놓도록 훈련되지는 않았다는 설명이다.
학생 모델은 교사와 '인지 용량'이 달라서, 원본 기록을 그대로 모방하면 효과가 떨어지기도 하고 고품질 샘플이 많이 필요한 경우도 있다고 연구진은 밝혔다.
CARD는 두 가지 보상 신호로 최적화한다. 분포 정렬 보상은 학생 모델의 예측 분포에 맞추도록 하고, 논리 일관성 보상은 오해를 부르는 실패한 추론 단계를 줄인다.1
성능 주장과 공개된 코드
연구진은 여러 학생 모델과 설정에서 평가한 결과, 학습 데이터와 같은 영역에서는 원본 교사 기록으로 증류한 경우보다 우수했고, 영역 밖 성능에서는 상당한 향상을 얻었다고 밝혔다. 초록에는 구체적인 점수가 없다.1
학습 명령은 저장소의 cot_rewriter_grpo 디렉터리에서 scripts/grpo/start.sh로 실행하며, 예시 설정은 llama3_3b_grpo_2x80g다. 이 단계에는 GRPO라는 이름의 스크립트가 쓰인다.
저장소의 데이터셋 구성 예시는 Qwen2.5 7B 모델과 DeepMath 3만 건 설정 파일을 가리킨다. 평가 스크립트는 체크포인트 경로를 지정해 여러 벤치마크를 교차 평가하도록 짜여 있다.2