사고의 연쇄(CoT) 각 단계에 담긴 정보 밀도가 정답 여부를 예측하고, 추론 중에 조절할 수 있는 목표가 되는지 따진 논문이 2026년 10월 15일 arXiv에 올라왔다. 연구진은 생성 중 토큰 수준 엔트로피로 KV 캐시를 조정하는 방법 EGDR(Entropy-Gated Density Routing)을 제안했고, GSM8K 60문제 실험에서 외부 안내 없이 정확도를 10.0%포인트 높였다고 밝혔다.
실험은 추가 학습을 하지 않은 사전학습 모델에 CoT로 문제를 풀게 하고, 단계별 밀도를 두 지표로 재는 방식이다. 하나는 LP 분산으로, 토큰당 평균 음의 로그우도의 분산을 구해 정보가 단계마다 얼마나 고르지 않게 퍼졌는지 나타낸다. 다른 하나는 Caveman 압축률이다. 모델 규모 여섯 가지, 학습 방식 두 가지, GSM8K 문제 60개를 사용했다.
LP 분산이 낮을수록 정답일 가능성이 높다는 관계는 지도 미세 조정(SFT) 모델에서 나타났다. 이 관계는 모델이 커질수록 약해졌고, 강화 학습(RL)으로 증류한 모델에서는 방향이 뒤집혔다. 연구진은 밀도 행동을 가르는 요인이 모델 크기보다 학습 방식에 가깝다고 보았다.
합성 데이터 실험에서는 균일하게 분포한 데이터로 학습한 모델이 복잡성을 선호하는 분포를 단순성을 선호하는 분포보다 2.0~2.6배 더 정확하게 학습했다. 연구진은 이를 모델 고유의 복잡성 선호로 해석했다.
추론 중 밀도를 직접 조절하면 정확도가 60.0%에서 8.3%로 떨어졌다. 연구진은 자연스러운 밀도 패턴이 추론에 중요하다는 뜻이라고 설명했다. 반면 생성 전에 힌트를 넣고 대조적 KV 캐시 조절을 결합하는 사전 유도는 두 지표에서 일관되게 정확도를 13.3%포인트 높였다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.