MLA(Multi-Head Latent Attention) 캐시를 역할별로 나눠 양자화하는 RAQ-MLA 연구가 2026년 10월 24일 arXiv에 공개됐다. 연구진은 추가 학습 없이 MLA 캐시 전체를 원소당 약 2.5비트로 줄였고, 이론상 KV 캐시 용량이 6.5배로 늘어난다고 밝혔다.
연구진에 따르면 MLA 모델 4종에서 추론과 코딩 과제의 정확도가 거의 손실 없이 유지됐다. MLA는 최근 frontier 대형 언어 모델(LLM)들이 채택한 어텐션 방식이다.
MLA 캐시의 두 텐서는 역할이 다르다
표준 어텐션은 헤드별 키와 값을 캐시에 저장한다. MLA는 압축한 KV 잠재 벡터와 위치 정보를 어텐션 점수에 실어 나르는 좁은 위치 키를 저장하고, 디코딩 때 잠재 벡터를 키와 값으로 다시 펼친다.
기존 KV 캐시 양자화 기법은 표준 어텐션의 키와 값을 기준으로 설계돼 MLA가 실제로 저장하는 내용을 고려하지 않는다. 연구진은 이 때문에 낮은 비트 폭에서 정확도가 떨어진다고 지적했다.
연구진은 활성값 분포와 양자화 오차가 어텐션 출력으로 전파되는 방식을 분석했다. 그 결과 잠재 벡터는 주로 값을 공급하고, 위치 키는 어텐션 점수를 지배한다고 밝혔다.
텐서마다 다른 오차 기준으로 변환을 맞춘다
RAQ-MLA는 캐시된 텐서마다 가역 변환을 맞춘다. 기준은 그 텐서가 어텐션 출력에 전달하는 오차다. 잠재 벡터에는 어텐션 가중치를 반영한 값 오차를, 위치 키에는 점수 교란을 기준으로 삼는다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.