확산 언어모델(DLM)을 양자화할 때 같은 비트 예산으로 정확도를 더 높이는 방법 T2Quant가 논문으로 공개됐다. 연구진은 모델 3종과 벤치마크 6개에서 실험한 결과, T2Quant를 적용하면 기존 양자화 방법의 평균 정확도가 일관되게 개선되고, 같은 예산 기준으로 향상 폭은 최대 6.7%포인트라고 밝혔다.
논문은 2026년 10월 22일 arXiv에 올라왔다. T2Quant는 과제와 시간을 함께 고려하는 혼합 정밀도 프레임워크로, 정답 라벨이나 과제별 평가 지표 없이 얻는 민감도 신호를 써서 고정된 비트폭 예산 안에서 디노이징 단계마다 활성값의 정밀도를 배분한다.
연구진은 DLM이 반복적인 디노이징 과정을 거치기 때문에 양자화에서 고유한 어려움이 생긴다고 설명했다. 양자화 민감도는 과제에 따라, 또 디노이징 단계에 따라 달라지며, 하위 과제마다 단계별로 필요한 정밀도가 다르다는 것이 분석 결과다. 이런 패턴은 정답 라벨이나 과제별 평가 지표 없이도 예측할 수 있다고 연구진은 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.