멀티헤드 잠재 어텐션(MLA) 모델의 KV 캐시를 2비트로 저장하는 사후 보정 기법 RoLaQ(Rotation-calibrated Latent Quantization)가 논문으로 공개됐다. 연구진은 DeepSeek-V2-Lite에서 같은 메모리 예산으로 BF16 KV 캐시의 3.96배 용량을 확보했다고 밝혔다. 입력 토큰이 256K일 때 디코딩 처리량은 BF16의 2.51배로, SGLang 구현으로 측정했다고 한다.
MLA는 토큰마다 키·값 캐시의 내용을 공유 잠재 표현 하나로 압축하는 어텐션 방식이다. 연구진은 이 구조가 긴 문맥 추론에서 낮은 비트로 저장하기에 알맞다고 설명했다. 다만 2비트에서는 이 표현의 오차가 어텐션 매칭과 값 읽기에 함께 영향을 주고, 그 영향은 오차의 방향과 복원 크기에 따라 달라진다고 했다.
회전과 범위를 함께 보정하는 방식
RoLaQ는 오프라인에서 회전과 범위를 함께 보정한다. 고정된 키·값 투영이 정의하는 부분공간 안에서 공유 회전을 다듬고, 양자화 범위를 함께 학습한다. 이때 임계값과 복원 이득을 묶어서, 공유 신호가 받는 영향을 제어한다.
보정에는 예측 일치와 어텐션 출력 지도가 쓰이며, 모델 가중치는 고정한 채로 진행한다. 모델을 다시 학습하지 않는 방식이다.
측정 결과
연구진은 MLA 모델 3종과 벤치마크 6개에서 비교한 2비트 방식 가운데 평균 정확도가 가장 높았다고 밝혔다. 토큰 보호를 쓰지 않은 경우와 쓴 경우 모두 해당한다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.