조건부 메모리 레이어의 양자화 표를 조회마다 다른 정밀도로 읽는 방법 GateRQ가 논문으로 공개됐다. 재학습 없이 DeepSeek-V4.1-Flash에서 GPU 표 메모리를 7.8배 줄였고, 이 덕분에 vLLM의 처리량이 FP8 표보다 11~31% 높아졌다. 논문은 2026년 10월 26일 arXiv에 올라왔다.
정확도 손실은 크지 않았다. 두 모델 실험에서 조회당 평균 1.50비트를 읽을 때 PopQA 점수가 약 1점 떨어졌고, 2.10비트를 읽을 때는 0.2점 떨어졌다고 연구진은 밝혔다. 논문 제목은 Let the Gate Decide다.
접근 빈도 기준이 오히려 나빴던 이유
조건부 메모리 레이어는 DeepSeek의 Engram처럼 해시된 n-gram 표를 언어 모델에 붙이는 구조다. DeepSeek-V4.1-Flash에서 이 레이어를 떼어 내면 PopQA 점수가 36.8점 내려간다.
양자화를 낮은 비트로 하면 드물게 나오는 롱테일 지식부터 사라진다. 흔한 해법은 자주 조회되는 행에 비트를 더 주는 것인데, 연구진은 접근 빈도로 정밀도를 높이면 무작위로 높이는 것보다 결과가 나쁘다고 밝혔다.
연구진은 원인을 각 행에 곱해지는 게이트에서 찾았다. 조회의 양자화 오차는 게이트 값만큼 가중되는데, 흔한 n-gram은 게이트가 작고 롱테일 개체의 드문 n-gram은 게이트가 크다. 게이트 값은 1비트 코드만으로 계산할 수 있다.
GateRQ의 작동 방식
GateRQ는 각 행을 1비트 잔차 코드의 사다리로 저장한다. 1단계 코드는 GPU 메모리에 두고 게이트를 계산하며, 게이트 순위가 높은 조회에 대해서만 더 깊은 단계를 읽는다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.