곱셈기 없이 4비트 LLM 추론, FPoT 양자화로 정확도 하락 0.4%p

연구진이 곱셈기 없이 대규모 언어 모델 추론을 돌리면서 4비트 가중치 양자화의 정확도 손실을 줄이는 Fractional Power-of-Two(FPoT) 방법을 arXiv에 공개했다(2026년 10월 15일 게재). Llama-3-8B에 가중치와 활성값을 모두 4비트로 양자화하는 설정에서, 제로샷 상식 추론 성능이 기존 Power-of-Two(PoT) 기준선보다 8.72% 향상됐다고 연구진은 밝혔다.

균일 정수 양자화 기준선과 비교하면 성능 하락은 0.4%p에 그친다고 한다. 이 결과는 모델 7종과 비트 폭 3종을 조합한 여러 설정에서 유지됐고, 최신 LLM 사후 양자화 기법과도 결합할 수 있어 특정 프레임워크에 묶이지 않는다고 연구진은 설명했다.

작동 방식

추론에서는 선형 투영의 곱셈 누산(MAC) 연산이 계산량과 에너지 비용의 대부분을 차지한다. PoT 가중치 양자화는 값을 2의 거듭제곱으로 바꿔 곱셈을 시프트와 덧셈 논리로 대신할 수 있지만, 기준 격자가 성겨서 낮은 비트 폭에서는 정확도가 크게 떨어진다.

FPoT는 밑을 √2로 잡은 반옥타브 격자를 쓴다. 격자가 촘촘해져 4비트 가중치 양자화가 실용적인 수준이 되고, 연산 경로는 시프트와 덧셈만 쓰는 완전 정수 방식으로 유지된다고 연구진은 밝혔다.

• √2 밑 가중치 격자와 균일 정수 활성값을 함께 쓴다.
• 보정 단계에서 격자 정렬을 다듬고, 이를 채널별 정적 스케일에 흡수한다.
• 가산기 1개짜리 경량 √2 근사를 쓰고, 근사 오차는 근사 격자 양자화로 가중치 보정 때 흡수한다. 그 결과 처리 소자(PE)의 게이트 수가 4비트 정수 곱셈기보다 크게 적다.