압축 KV 캐시, 편향을 키에 접어 vLLM 표준 커널로 실행

어텐션 매칭(Attention Matching, AM)으로 압축한 KV 캐시를 수정하지 않은 vLLM에서 돌리는 방법이 2026년 10월 27일 arXiv 논문으로 공개됐다. 논문은 AM이 각 키의 로짓에 더하는 편향 항을 키 벡터 안으로 접어 넣는 방식을 제안한다.

AM은 헤드마다 일부 키만 남기고, 남긴 키의 값을 다시 맞추고, 각 키의 로짓에 편향을 더해 캐시를 줄인다. 그런데 플래시 어텐션과 vLLM의 페이지 캐시에는 이 편향을 넣을 입력이 없다. 접기 방식은 이 문제를 풀기 위한 것이다.

편향을 키에 접는 방식

헤드마다 닫힌 형태의 방향 하나를 컨텍스트 쿼리로 맞춰 구한 뒤, 편향을 그 방향을 따라 키에 접는다. 결과는 AM과 같은 크기와 헤드 차원을 가진 일반 캐시이고, 모델 자체의 쿼리 경로를 그대로 쓴다. 출력 오차는 각 쿼리를 그 방향에 투영한 값이 1에서 얼마나 벗어나는지로 한정된다.

실험 결과

헤드별 예산을 같게 맞추고 수정하지 않은 vLLM이 KV 커넥터(커넥터)로 접은 캐시를 서빙했다. Qwen3-4B의 51개 질문에서는 Hugging Face의 답과 모두 일치했다. Qwen3-14B의 LongBench 샘플 200개 중 180개에서는 탐욕 디코딩 출력이 같았다.

QuALITY(Qwen3-1.7B·4B·8B, Llama-3.1-8B)와 LongHealth(Qwen3 모델 3종)에서 예산을 같게 했을 때, 정확도는 14개 설정 중 13개에서 AM과 오차 범위 안이었다. 편향을 그냥 버린 경우와 모두 돌린 12개 설정에서는 접기 방식이 전체 캐시와의 KL이 더 낮았다.

AM 논문이 공개한 헤드별 예산으로는 Qwen3-4B, 그 Instruct-2507 변형, Llama-3.1-8B에서 10개 중 9개가 AM과 오차 범위 안이었다. 이 조건에서는 편향을 버린 경우보다 KL이 낮다고 말할 수 없었고, 정확도는 두 방식이 한 번씩 앞섰다.