연구진이 비전-언어 모델(VLM)에 조회 방식의 외부 메모리를 붙이는 V-LUMEN을 arXiv에 공개했다. 모델의 깊이나 너비, 연산량을 키우지 않고 임베딩 조회로 용량을 늘리는 방식을 이미지 입력까지 넓힌 것이다. 논문 게재일은 2026년 10월 27일이고, 코드도 공개됐다.
연구진은 고정한 Qwen3-VL-2B 백본에 V-LUMEN을 붙여 추론 중심 벤치마크 다섯 개에서 성능이 크게 올랐다고 밝혔다. 이 효과는 이미지가 학습 데이터와 겹치지 않는 벤치마크 세 개로도 제로샷 전이됐다고 한다. 구체적인 점수와 향상 폭은 초록에 나오지 않는다.
이미지 특징을 조회 키로 바꾸는 방식
텍스트는 토큰이 이산적이라 n-gram 조회가 자연스럽지만, 이미지 특징은 연속적이고 공간 구조가 있으며 질문에 따라 중요한 부분이 달라 같은 방식을 쓰기 어렵다는 것이 연구진의 설명이다.
V-LUMEN은 먼저 고정된 코드북으로 시각 특징을 이산화한다. 이어 공간 집계 기반 해시로 위치 정보를 반영한 메모리 키를 만들고, 텍스트 조건의 관련도 신호로 이 키를 조절한다. 조회 과정에는 학습하는 매개변수가 쓰이지 않는다. 가져온 임베딩은 게이트가 달린 잔차 경로로 백본에 합쳐진다.
어댑터와의 비교와 비용
매개변수 예산을 같게 맞추고 LoRA 또는 전문가 혼합(MoE) 어댑터 용량의 일부를 V-LUMEN으로 옮겨도 두 백본에서 정확도가 유지됐다. 연구진은 이를 근거로 외부 시각 메모리가 더 강한 적응 기법이 아니라 독립된 용량 축이라고 해석했다.
조회 비용은 테이블 크기와 무관하게 일정하고 프리필 단계에서 한 번만 든다. 연구진에 따르면 용량이 커질 때 늘어나는 것은 토큰당 연산이 아니라 저장 공간이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.