MoEZip, MoE 모델 KV 캐시 10%만 남겨도 LongBench 24점 향상

MoEZip은 전문가 혼합(MoE) 언어모델이 긴 문맥을 처리할 때 KV 캐시를 줄이면서 답변 품질을 지키도록 설계한 압축 기법이다. 논문은 2026년 10월 21일 arXiv에 올라왔다. 연구진은 KV를 10%만 남기는 조건에서 기존 최고 수준(SoTA) 기법보다 LongBench에서 평균 24점, RULER에서 평균 20점 높았다고 밝혔다. 기존 SoTA 기준선과 견주면 LongBench 점수는 2.3배, RULER 점수는 4.9배다.

MoE 모델은 토큰마다 일부 파라미터만 활성화해 모델 용량을 효율적으로 키운다. 그러나 긴 문맥 추론에서는 KV 캐시가 시퀀스 길이에 비례해 늘어나 메모리가 병목으로 남는다. 기존 KV 캐시 압축 기법은 밀집(dense) 트랜스포머를 대상으로 비용을 줄였다.

연구진이 짚은 MoE 고유의 문제는 KV를 제거하면 답변을 생성하는 동안 선택되는 전문가가 바뀔 수 있다는 점이다. 이렇게 되면 생성 품질이 떨어진다. 기존 기법은 이 문제를 다루지 않았다는 것이 연구진의 설명이다.

MoEZip은 라우팅 분포의 피셔 정보 행렬을 바탕으로 새 지표를 만들어, 전문가 선택이 교란에 얼마나 민감한지 추정한다. 이 지표를 어텐션 가중치와 합쳐 문맥의 중요도를 매긴다. 여기에 밀집 구조용 제거 기법과 희소 MoE 구조용 제거 기법을 결합한 보완적 점수 체계를 얹었다.

연구진은 여러 벤치마크에서 공격적인 캐시 압축에도 성능이 안정적으로 유지된다고 밝혔다.