GIFT, 증류와 강화학습 충돌 토큰 걸러 AIME 최대 9.5% 상대 향상

연구진이 2026년 10월 22일 arXiv에 추론 모델 학습법 GIFT(Gradient-Informed FilTering)를 공개했다. 강화 학습 중에 교사 모델의 지식 증류 신호를 토큰 단위로 걸러, 정답 보상과 충돌하는 갱신은 먼저 버리고 보완적인 갱신은 남기는 방식이다. 연구진은 수학·논리 추론 벤치마크에서 여러 모델 크기에 걸쳐 기존 기준 방식보다 꾸준히 나은 결과를 냈고, 어려운 수학 추론 과제에서는 최대 9.5%의 상대 향상을 얻었다고 밝혔다.¹

코드와 설정은 GitHub 저장소 lilifree/GIFT에 올라와 있다. 저장소 인용 정보에는 저자로 Shijie Li, Yilin Gao, Tieyuan Chen, Yun Luo, Weiyao Lin, Hang Yu가 적혀 있다. 재현하려면 NVIDIA GPU가 달린 Linux와 CUDA 12.x, Python 3.10 이상이 필요하고, 논문 설정은 GPU 32장을 쓴다. 학습 데이터와 평가 데이터는 Hugging Face의 Leyiii/RLCSD에서 내려받는다.²

충돌하는 두 학습 신호

복잡한 추론을 가르치는 모델 학습에는 두 신호가 쓰인다. 하나는 정답 여부만 알려 주는 희소한 강화 학습 보상이고, 다른 하나는 토큰마다 방향을 알려 주는 조밀한 증류다. 연구진은 두 신호가 서로 보완적이어도 최적화에서 양립한다는 보장은 없다고 지적했다. 모방에 치우친 증류가 결과 중심의 강화 학습 목표와 부딪힐 수 있는데, 기존 혼합 방식에는 이를 풀 원리가 없다는 것이다.

GIFT는 교사의 갱신 중 어떤 것을 적용할지 정하는 배분 문제를 직접 다룬다. 토큰마다 증류 기울기를 둘로 쪼갠다. 강화 학습 기울기와 나란한 성분은 1차 충돌 정도를 재며 안전 필터 역할을 한다. 직교하는 성분은 새로운 방향의 지도량을 나타내며 가치를 가늠하는 척도가 된다. 이 분해로 토큰별 지도 신호의 순위를 매기는 점수 규칙이 나온다.

여기에 점진적인 커버리지 어닐링 일정을 결합했다. 증류를 받는 토큰의 예산을 차츰 줄이면서 가장 크게 충돌하는 갱신부터 버리고, 가장 보완적인 갱신은 온전한 강도로 남긴다. 학습이 수렴할 즈음에는 조밀하고 기하학적으로 걸러진 지도에서 정답 보상만 쓰는 순수한 목표로 매끄럽게 넘어간다고 연구진은 설명했다.¹

저장소 설명에 따르면 강화 학습 쪽은 GRPO, 증류 쪽은 토큰 단위 자기 증류(OPSD)다. 구현은 verl 0.8.0.dev의 수정본을 포함하지만 verl 소스 파일은 건드리지 않고, 실행 시점에 정책 손실과 액터를 메모리에서 패치한다.²

실험 결과

수학 실험은 DeepMath-103K에서 난이도별로 거른 부분집합으로 모델을 학습하고, AMC23·AIME24·AIME25로 평가했다. Qwen3-1.7B는 level5_7, Qwen3-4B는 level6_8, Qwen3-8B와 OLMo-3-7B-Think는 level7_10 부분집합을 썼다. 논리 실험은 Knights-and-Knaves 퍼즐을 썼고, 학습은 등장 역할 4~8개 구간이며 평가는 같은 구간과 9·10·11개 역할의 분포 밖 구간으로 나눴다.²

9.5%라는 최대치는 모든 과제의 평균이 아니라 특정 모델·과제 한 곳의 수치다. 저장소 표에서 상대 향상이 가장 큰 칸은 Qwen3-1.7B의 AIME25로 +9.51%이고, 1.7B의 AIME24가 +9.38%, 4B의 AIME25가 +9.13%로 뒤를 잇는다. AMC23은 향상 폭이 작아 1.7B에서 +0.40%, 4B에서 +0.11%, 8B에서 +0.56%였다.

논리 추론은 분포 안 4~8역할이 +1.38%, 분포 밖 9역할이 +5.80%, 10역할이 +3.39%, 11역할이 +4.76%였다. 분포 밖 구간에서 향상 폭이 분포 안보다 더 크게 나타난다.

저장소는 모델이나 데이터 없이 CPU에서 도는 단위 테스트도 제공한다. 계수 계산의 정확성, 가장 강한 충돌이 먼저 버려지는지, 커버리지 일정이 논문과 같은지를 검사한다.²