저비트로 줄인 대규모 언어모델(LLM)이 긴 추론에서 무너지는 문제를 겨냥한 학습 기법 OnQ가 arXiv에 공개됐다. 연구진은 Qwen3-1.7B, 4B, 8B를 2비트와 3비트로 양자화해 실험했고, 9개 벤치마크 평균에서 OnQ가 가장 높았다고 밝혔다.
2비트에서는 모든 모델 크기, 모든 벤치마크에서 비교한 기준선 방식을 앞섰다고 한다. Qwen3-8B 평균은 가장 강한 기준선보다 10.26점 높았다. 실험 전체를 통틀어 가장 크게 오른 곳은 긴 호흡의 추론 벤치마크였다. 응답은 더 짧아졌고 중간에 잘리거나 같은 오류를 반복하는 경우도 줄었다고 연구진은 설명했다.
기존 방식의 문제
양자화 인식 학습(QAT)은 저비트 모델의 추론 능력을 되살리려는 방법이다. 기존 방식은 원본 풀 프리시전 모델이 만든 고정된 응답 열을 정답 삼아 양자화 모델을 지도한다. 연구진에 따르면 이렇게 학습한 저비트 모델도 긴 호흡의 추론 과제에서는 여전히 힘들어하고, 풀 프리시전 모델에는 충분한 토큰 한도 안에서 답을 끝내지 못하는 일이 종종 있었다.
연구진은 원인을 두 가지로 짚었다. 하나는 학습 때 보는 앞부분 문맥과 모델이 직접 생성하며 만나는 문맥이 달라지는 어긋남으로, 응답이 길수록 커진다. 다른 하나는 모델이 자기 문맥에서 다음 토큰 후보 일부는 낮게, 일부는 높게 예측하는 분포 불일치다. 이 불일치는 엔트로피가 높은 앞부분 문맥에서 더 빈번하다.
OnQ의 작동 방식
OnQ는 블록 단위 보정(calibration)에서 출발한다. 이후 양자화 모델이 직접 응답을 생성하고, 풀 프리시전 교사 모델이 그 모델 자신의 문맥에 맞춰 지도한다. 자체 생성 궤적으로 배우는 지식 증류에 해당하는 온폴리시 방식이다.
손실 함수로는 후보별 동적 KL을 쓴다. 후보마다 교사와 학생의 확률 비율을 보고 순방향 KL과 역방향 KL의 가중치를 조절해, 과소 예측과 과대 예측을 함께 바로잡는다.
10.26점을 비롯한 성능 수치는 논문 초록에 실린 연구진의 보고다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.