Delta N-gram, 역전파 없이 모델 N-gram 메모리에 새 내용 기록

연구진이 언어모델 내부의 해시 N-gram 표에 새 내용을 기록하는 기법 Delta N-gram을 arXiv에 공개했다(2026-10-22 게재). 이 기법은 역전파 없이 순전파만으로 기록하며, 사전 학습된 원래 표 T^0은 수정하지 않는다.

새 정보는 해당 행에 붙는 희소 패치 Δ에 저장된다. 패치를 비우면 원래 모델로 돌아간다. 연구진은 앞선 분석에서 모델의 해시 N-gram 표가 지속 업데이트가 기존 능력을 가장 덜 흔드는 곳이라고 확인했지만, 당시 기록 방식은 역전파가 필요했고 사전 학습된 표를 바꿨다고 밝혔다.

작동 방식

매개변수 410만 개의 기록기(writer)가 위치와 해시 헤드마다 목표값과 게이트를 내놓는다. 블록 평균 델타 규칙은 각 행이 이전 값과 게이트를 거친 목표값의 볼록 결합이 되도록 유지한다. 기록기는 일반 텍스트로 사전 학습 목표에 따라 미리 학습하며, 사용할 때는 순전파만 수행한다.

기록기는 두 종류다. 일반 기록기는 T^0만 쓰는 모델로 근거 문장을 인코딩하고, 델타 기록기는 현재 메모리를 읽으면서 인코딩한다.

실험 결과

질문 응답용으로 학습한 0.6B 시제품은 두 번째 기록 뒤에도 사실 16개를 모두 유지했다. 온라인 경사 기록 방식은 2~4개만 남았다.

Qwen3.8-Flash-Next에서 일반 기록기의 메모리는 문서별 특성을 보였다. 보류한 뉴스 사건 64건에서 이어 쓰기 NLL이 빈 메모리보다 토큰당 0.068 nat, 다른 문서의 메모리보다 0.024 nat 낮았다. 기사 16편이 사이에 끼면 각각 0.063과 0.013이었다. 델타 기록기의 메모리는 문서 특이성이 더 높았고, 방해 속에서 유지한 문서 특이성의 비율은 델타 기록기 70%, 일반 기록기 54%였다.

앞선 7개 과제 사슬에서 35,000회 기록하는 동안 두 기록기 모두 안정적이었다. 2층 수학 드리프트는 델타 기록기가 176%, 일반 기록기가 188%였다. 이후 정확도는 -0.26%p와 -0.52%p, 작은 k_i 드리프트는 17.9%와 17.5% 변했다. 논문은 두 수치를 두 기록기에 대응시켜 제시하며, 경사 업데이트는 정확도 -7.29%p, 작은 k_i 드리프트 39.2%였다.

남은 한계

연구진은 습득(acquisition)이 음수였다고 밝혔다. 일반 입력 드리프트는 32.8%로, 경사 업데이트의 20.75%보다 컸다. 모든 예제가 읽는 형식 행은 사전 학습 때 노름의 4~12배로 커졌다. 이런 행 8개를 0으로 만들면 수학 입력의 2층 드리프트가 98% 넘게 사라지지만, NLL 이득도 함께 사라진다.