Gemma-4 12B·Inkling-Small, 인코더 없이도 내부에서 인코더 역할 학습

인코더 없는 멀티모달 LLM인 Gemma-4 12B와 Inkling-Small의 앞쪽 층이 오디오와 이미지를 처리하는 전용 인코더처럼 작동한다는 분석 결과가 나왔다. 논문 "Encoder-Free Multimodal LLMs Learn Implicit Encoders"는 2026년 10월 16일 arXiv에 올라왔다.

연구진이 살펴본 두 모델은 오디오와 이미지의 토큰 임베딩을 뽑는 모달리티별 인코더를 따로 두지 않는다. 샘플, 픽셀, 스펙트럼 특징의 구간(윈도)을 트랜스포머 언어 모델에 곧바로 입력한다. 연구진은 이런 구조에서 모델의 앞쪽 층이 전용 오디오·시각 인코더와 비슷한 일을 하도록 학습되는지 확인했다.

분석에서 앞쪽 층은 실제로 '암묵적 인코더'로 작동했다. 오디오와 시각 입력을 다른 모달리티가 어떤 맥락으로 함께 들어오는지와 거의 무관하게 부호화했다.

멀티모달 추론 과제를 수행할 때, 초기 층 전반에서 모달리티를 독립적으로 부호화해도 첫 층부터 함께 부호화한 경우와 정확도가 같았다. 층별 탐침(probing)으로 암묵적 인코더가 담는 핵심 정보를 분석한 결과, 그 동작은 널리 쓰이는 여러 인코더 모델과 비슷했다.