PACE, 선형 어텐션 모델 상태를 4비트로 저장해 DAMP 대비 메모리 약 3분의 2 사용

PACE는 선형 어텐션 언어 모델이 문맥을 담아 두는 순환 상태를 4비트로 저장하는 사후 양자화 기법이다. 2026-10-21 arXiv에 공개된 논문에서 제안했다. 미세조정 없이 이미 만들어진 모델에 적용하는 방식이다.

연구진은 파라미터 4B에서 35B까지 하이브리드 모델 네 종으로 실험했다. 4비트와 8비트 헤드를 섞은 PACE는 더 큰 세 모델에서 8비트 방식인 DAMP와 견줄 만한 성능을 내면서, 메모리는 DAMP의 약 3분의 2만 쓴다(약 3분의 1 절감)고 연구진은 밝혔다. 모든 헤드를 4비트로 둔 PACE는 같은 메모리에서 Q-Mamba보다 높은 점수를 받았다고 한다.

작동 방식

선형 어텐션 모델은 문맥을 고정 크기의 순환 상태에 담고, 추론 시스템은 동시에 디코딩하는 시퀀스마다 이 상태를 하나씩 저장한다. 상태를 낮은 정밀도로 저장하면 가속기 한 대에서 더 많은 시퀀스를 처리할 수 있다.

기존 상태 양자화 기법은 토큰을 생성할 때마다 상태를 반올림한다. PACE 논문은 이런 기존 기법들이 비트 수를 높이거나 모델을 미세조정하지 않으면 4비트에서 정확도가 떨어진다고 보고했다고 전했다.

PACE는 토큰 몇 개마다 한 번만 상태를 반올림하고, 그 사이에 생성된 토큰은 작은 버퍼에 보관한다. 프리필 단계에서 청크 커널이 청크당 한 번 반올림하는 것과 같은 원리다. 반올림 횟수가 줄면 상태에 쌓이는 오차도 줄어든다.

연구진은 gated-delta 상태에서 값이 큰 항목이 열 단위로 모이는 현상도 발견했다. 토큰마다 기록되는 갱신값의 일부 채널이 여러 토큰에 걸쳐 크게 유지되기 때문이다. PACE는 이에 맞춰 양자화 스케일을 열마다 공유하고, 반올림 오차가 가장 오래 남는 헤드는 8비트로 둔다.

몇 토큰마다 반올림해도 버퍼가 주는 디코딩 속도 향상은 유지된다고 연구진은 밝혔다.