연구진이 파라미터를 바꾸지 않는 대규모 언어 모델(LLM)에 질문마다 달라지는 메모리 토큰을 붙여 주는 메모리 시스템 Memorilla를 arXiv에 공개했다(2026년 10월 15일 게재). 문서 전체를 모델 입력에 넣는 대신, 문서 모음에서 질문에 필요한 정보를 모아 고정된 개수의 토큰으로 만들어 전달하는 방식이다.
연구진은 토큰 16개만 쓰고도 개인화, 장문 문서, 지식 집약형 질의응답을 아우르는 8개 벤치마크 중 5개에서 Mem0와 MemoRAG를 포함한 기준 모델보다 나은 성능을 냈다고 밝혔다.
작동 방식
동결된 LLM은 기억 시스템이 컨텍스트 창에 넣어 준 내용만 활용할 수 있다. 기존 시스템은 질문마다 필요한 정보를 모아 합치면서도 입력을 짧게 유지하는 데 어려움이 있다고 연구진은 지적했다.
Memorilla는 사용자 대화나 책 한 장 같은 문서를 한 번만 임베딩으로 바꿔 재사용한다. 이후 질문에 맞는 정보를 찾아 LLM의 입력 임베딩 공간에 배치하도록 학습한다. 이렇게 만든 토큰이 질문별 메모리 역할을 한다.
성능과 에이전트 실험
FactKG에서 Memorilla의 정확도는 84.33%로, 전체 문서를 넣고 추론한 방식의 80.43%를 넘었다. 원문 문서를 표현하는 데 쓴 토큰은 108분의 1 수준이다.
문서 수가 진행 중에 늘어나는 에이전트 환경에도 적용했다. 이때 문서는 에이전트가 거친 과거 턴이다. TextWorld 환경에서 Memorilla는 에이전트가 이미 탐색한 방 사이를 헤매는 경향을 줄였고, 평균 성공률은 전체 이력을 문맥에 넣는 방식의 18.6%에서 24.2%로 올랐다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.