긴 문맥을 다루는 LLM의 디코딩 속도를 높이는 희소 어텐션 기법 Prism Attention이 논문 사이트 arXiv에 공개됐다(2026-10-16 게재). 연구진은 128K 문맥 길이에서 종단 간 디코딩이 FlashAttention보다 3.4배 빨랐다고 밝혔다.
연구진은 추론 벤치마크와 긴 문맥 벤치마크 모두에서 주요 희소 어텐션 방식 중 최고 수준(state-of-the-art)의 성능을 냈다고 주장했다. 이 수치와 성능 비교는 논문 저자들이 직접 보고한 결과다.
층마다 인덱스를 다시 계산하는 부담
LLM은 자기회귀 방식으로 토큰을 한 개씩 생성하는데, 매 단계마다 점점 커지는 KV 캐시 전체를 어텐션으로 훑어야 한다. 문맥이 길수록 메모리와 연산이 병목이 된다고 논문은 지적했다.
토큰 단위 희소 어텐션은 관련성이 높은 과거 토큰 일부만 계산해 부담을 줄인다. 그러나 문맥이 늘 때마다 층별 희소 인덱스를 다시 계산해야 해서 실제 이득이 종종 상쇄된다.
흔히 쓰는 해법 중 하나는 지정한 앵커 층에서만 인덱스를 계산하고 다른 층이 이를 공유하는 것이다. 다만 이 고정 재사용은 층을 지나며 달라지는 어텐션 패턴을 반영하지 못한다. 재사용한 인덱스가 층별 최적값에서 점점 벗어나 어텐션 손실이 커진다.
제안 후 보정하는 방식
연구진은 층 간 중요 토큰의 변화가 매우 국지적이라는 점을 발견했다. 상위 κ개 인덱스의 정확한 목록은 층마다 다르지만, 핵심 고어텐션 토큰은 그대로 유지되고 변화는 앞서 선택된 영역의 확장 경계 부근에 집중됐다.
Prism Attention은 이 관찰에 따라 인덱스를 그대로 재사용하지 않고 거친 단계에서 후보를 제안한 뒤 세밀하게 다듬는 방식을 쓴다. 층별 적응성을 지키면서 층 간 공유의 효율도 유지한다는 것이 연구진 설명이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.