LLM 추론, 2:4 희소성보다 양자화가 먼저라는 연구

2:4 반구조적 희소성과 양자화를 함께 쓸 때 어느 쪽을 먼저 적용해야 하는지 비교한 논문이 2026년 10월 20일 arXiv에 올라왔다. 현재 정밀도에서 2:4 희소성을 더할지, 한 단계 낮은 정밀도로 내릴지를 따졌고, 낮은 정밀도를 쓸 수 있는 동안에는 희소성을 더하는 쪽이 정확도와 속도 모두에서 불리하다고 결론 내렸다.

2:4 희소성은 NVIDIA 텐서 코어가 Ampere 세대부터 지원해 온 방식으로, 양자화와 함께 쓸 수 있다. 연구진은 희소성 메타데이터까지 비트 수에 포함한 동일 비트 조건과, 텐서 코어 등급이 같은 조건에서 두 방법을 견줬다. 대상은 트랜스포머 층의 GEMM 피연산자 여섯 개 전부이고, 커널은 GPU 세 세대에서 측정했으며 온라인 가지치기와 양자화 비용도 넣었다.

낮은 정밀도를 쓸 수 있는 동안 희소성이 뒤처지는 이유로 연구진은 에너지 손실을 들었다. 네 개 묶음마다 하드웨어가 강제한 축에서 버려지는 에너지는 비트 수를 줄여도 줄지 않는 반면, 양자화 오차는 비트 수를 줄이면 작아진다는 설명이다.

하드웨어가 지원하는 가장 낮은 정밀도까지 양자화한 뒤에는 상황이 다르다. 이 단계에서 2:4 희소성은 선형 층을 1.3~1.7배 빠르게 했다. H100에서 재학습한 2:4 모델을 vLLM으로 FP8 서빙하자 조밀한 FP8 모델보다 프리필 처리량이 27% 높았고, GSM8K 정확도는 비슷했다.

다만 품질은 재학습으로 되찾아야 한다. 재학습은 Perplexity를 먼저 회복시키지만 추론 능력은 한참 뒤에야 따라온다. 희소 FP4가 쌍 단위 4:8 패턴을 쓰는 Blackwell에서는 손실이 더 컸고, 연구진의 재학습 예산으로는 회복되지 않았다.