희소 KV 캐시 압축으로 일부 토큰만 남긴 뒤에도 위치 간격이 남긴 정보의 활용을 제한할 수 있다는 점을 다룬 연구가 arXiv에 공개됐다(2026년 10월 15일 게재). 연구진은 이 문제를 줄이는 RoPERelay를 제안했고, 두 모델과 여섯 가지 선택 방식, 세 가지 장기 기억 과제를 묶은 36개 비교 중 32개에서 답변 품질이 좋아졌다고 밝혔다.
Llama-3.1-8B-Instruct에 BM25 선택 방식을 쓰고 LongMemEval-S로 평가한 경우, 정확도는 23.6%에서 35.4%로 올랐다. 평가한 구성들에서 완전한 요청 하나를 처리하는 전체 시간 기준으로 잰 추가 부담은 약 1~3%였다. 기존 K/V를 그대로 재사용하므로 토큰을 다시 선택하거나 과거 구간을 프리필로 다시 계산하거나 캐시 용량을 늘릴 필요가 없다고 연구진은 설명했다.
남은 위치 간격과 보정 방식
희소 KV 압축은 선택한 과거 상태만 남겨 긴 문맥의 추론 비용을 줄인다. 그런데 남은 상태는 보통 전체 기록에서 갖던 좌표를 그대로 유지한다. 회전 위치 임베딩(RoPE)를 쓰는 모델에서는 삭제된 토큰이 남긴 빈 간격이 질의와 키를 맞추는 과정에 계속 영향을 주고, 남긴 정보를 활용하는 데 한계가 될 수 있다고 논문은 지적했다.
연구진은 선택 장치가 만든 캐시를 고정한 채 위치 구조가 정보 활용에 어떤 영향을 주는지, 어떤 좌표·이어쓰기 규칙이 답변 품질을 높이는지 살폈다. RoPERelay는 순서를 유지하는 촘촘한 RoPE 좌표를 새로 부여하고, 캐시된 키의 위상을 역회전 뒤 재회전으로 옮긴다. 현재 질의와 이후 생성도 같은 좌표에 맞춘다.
연구진은 이 결과가 내용 선택 이후의 위치 구성을 희소 KV 캐시의 별도 최적화 축으로 볼 근거라고 주장했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.