멀티모달

쉽게 말하면, 멀티모달 모델은 그림, 소리, 글처럼 서로 다른 종류의 정보를 함께 보고 그 사이의 관계를 파악하는 모델이다. 요리 영상을 떠올려 보면 화면, 음성, 자막은 각각 일부만 알려 준다. 멀티모달 모델은 어떤 말이 어떤 동작과 맞는지, 소리가 화면을 뒷받침하는지를 연결해 판단한다. 중요한 것은 처리 모듈이 물리적으로 한 네트워크에 있느냐가 아니라 학습된 관계다.

1. 개요

멀티모달 모델(multimodal model)은 둘 이상의 종류의 데이터를 처리하거나, 서로 연결하거나, 만들어 내는 머신러닝 모델 또는 모델 기반 시스템이다. 이때 데이터 종류 하나하나를 모달리티(modality)라고 부른다. 대표적인 모달리티는 언어, 이미지, 음성, 영상, 깊이 측정값, 열화상, 움직임 센서 값이다. 핵심 특징은 모든 입력이 하나의 거대한 네트워크를 거친다는 데 있지 않다. 모달리티별 인코더, 정렬 목표, 연결 장치, 디코더를 따로 둔 시스템이라도 예측이 모달리티 사이에서 학습된 관계에 기댄다면 멀티모달이다.

멀티모달 학습은 여러 종류의 문제를 다룬다. 이미지에 캡션을 붙이거나, 음성과 입술 움직임을 결합하거나, 도표에 대한 글 질문에 답하거나, 텍스트 조건으로 이미지를 생성하거나, 카메라 관측과 지시문으로 로봇 행동을 예측할 수 있다. 기초적인 분류 체계는 표현(representation), 번역(translation), 정렬(alignment), 융합(fusion), 공동 학습(co-learning)을 구분하고, 이후 연구는 모달리티의 이질성, 모달리티 사이의 연결, 그리고 이들이 상호작용하는 방식에 주목한다. 이런 구분이 중요한 까닭은 멀티모달이 하나의 구조, 하나의 학습 목표, 하나의 성능 기준을 가리키지 않기 때문이다.^2,3

공학적 구성 방식은 적어도 한 번 바뀌었다. 대략 2021년에서 2023년 사이에 만들어진 시스템은 보통 따로 학습한 시각 인코더를 따로 학습한 언어 모델에 붙이고, 그 사이의 연결 장치만 학습하는 방식이었다. 2023년 말 이후에는 가장 큰 시스템들이 처음부터 텍스트, 이미지, 음성, 영상을 섞은 데이터로 사전 학습되고 있으며, 그중 여러 시스템은 별도의 이미지 모델에 맡기지 않고 스스로 이미지를 생성한다. 2026년 7월 기준으로 두 방식 모두 실제 서비스에 쓰이고 있으며, 이 방식들에 붙은 명칭은 제공사마다 통일되어 있지 않다. 폐쇄형 시스템은 공개된 근거가 기술 보고서보다 모델 카드나 안전 문서인 경우가 많다.

2. 범위와 용어

2.1. 모달리티란 무엇인가

모달리티는 파일 확장자 같은 구분이 아니라 작업 목적에 따른 범주다. 텍스트와 음성은 언어적 내용이 서로 관련될 수 있지만, 신호의 성질, 잡음, 시간 흐름, 전처리 방식은 다르다. 컬러 이미지와 깊이 지도는 비슷한 모양의 배열로 저장될 수 있어도 측정하는 물리량이 다르다. 영상은 시공간을 하나로 묶은 모달리티로 볼 수도 있고, 시각 스트림과 음성 스트림을 따로 모델링할 수도 있다. 따라서 두 입력이 별개의 모달리티인지는 무엇을 나타내고 학습 문제에서 어떻게 쓰이는지에 따라 달라진다. 이렇게 작업에 따라 정하는 정의는 흔한 범주 오류 몇 가지를 막는다.²

• 여러 카메라 시점이 있다고 해서 자동으로 멀티모달이 되지는 않는다. 같은 시각 모달리티 안의 여러 관측일 수 있다.
• 작업 헤드가 여러 개인 모델은 다중 작업 모델이지만, 반드시 멀티모달인 것은 아니다.
• 텍스트만 쓰는 모델들의 앙상블은 텍스트와 다른 모달리티를 연결하지 않는 한 단일 모달리티로 남는다.
• 이미지를 JPEG에서 PNG로 바꾸면 인코딩이 바뀔 뿐 모달리티가 바뀌지 않는다.
• 시간, 위치, 기기 상태 같은 메타데이터도 별도의 정보 흐름으로 표현되고 학습된 예측에 영향을 준다면 모달리티가 될 수 있다.

경계는 분석 단위에 따라서도 달라진다. 음성 인코더는 부품으로 보면 단일 모달리티다. 그러나 이 인코더에 입술 움직임 특징을 결합한 더 큰 시청각 음성 시스템은 멀티모달이다. 음성 인식기는 음성을 텍스트로 옮기므로 작업이 표현 영역을 넘나들지만, 음성만 받는 배포된 인식기에는 음성과 텍스트의 공동 표현이 없을 수도 있다. 좋은 기술 설명은 '멀티모달'이 학습 데이터, 구조, 입력 인터페이스, 출력 공간, 전체 응용 중 무엇을 가리키는지 밝힌다.

2.2. 모델, 구성 요소, 시스템

실제 멀티모달 시스템은 흔히 모듈식이다. 모달리티별 인코더가 원시 입력을 특징으로 바꾸고, 투영 계층, 공유 잠재 공간, 어텐션 블록이 특징을 서로 맞춘다. 이후 융합 모듈이나 디코더가 예측이나 생성에 쓴다. 학습은 모든 구성 요소를 갱신할 수도 있고, 연결 장치만 갱신하거나 중간 일부만 갱신할 수도 있다. 전체 조립물을 멀티모달 모델이라고 부르는 것은 관례지만, 구조를 설명할 때는 어떤 부분이 고정되었는지, 공유되는지, 따로 학습되었는지를 밝혀야 한다.

이 구분은 대규모 언어 모델을 중심으로 만든 시스템에서 특히 중요하다. 시각 인코더와 학습된 연결 장치를 더하면 언어 모델의 모든 매개변수를 바꾸지 않고도 이미지를 받는 시스템을 만들 수 있다. Flamingo, BLIP-2, LLaVA는 이 모듈식 패턴의 서로 다른 버전을 보여 준다. 한 시스템의 공개 자료로 공개되지 않은 시스템의 작동 방식을 짐작해서는 안 된다.^4,5,6

2.3. 관련 용어

비전 언어 모델은 시각 정보와 언어 정보에 초점을 둔 멀티모달 모델이다. 멀티모달 언어 모델은 보통 하나 이상의 추가 모달리티를 조건으로 삼아 언어를 만들거나 해석한다. 시각-언어-행동 모델은 지각과 언어를 행동 예측이나 제어에까지 연결한다. 이들은 서로 겹치는 하위 계열이며, 모든 멀티모달 모델을 가리키는 동의어가 아니다. 멀티모달 학습은 표현 학습, 데이터 융합, 교차 모달 검색, 조건부 생성과도 겹치지만, 이 용어 중 하나만으로 나머지가 성립하지는 않는다. 듀얼 인코더는 토큰 흐름을 융합하지 않고도 조정된 표현을 학습할 수 있다. 결정 수준 융합(decision fusion) 시스템은 공통 임베딩을 배우지 않고 출력만 합칠 수 있다. 텍스트 조건부 이미지 생성기는 모달리티 사이를 번역하지만, 범용 시각 질의응답은 지원하지 않을 수도 있다.

'네이티브 멀티모달', '옴니(omni)', 'any-to-any' 같은 새 명칭은 주로 제품 발표에 등장하며 합의된 기술 정의가 없다. '네이티브 멀티모달'은 보통 나중에 적응시킨 것이 아니라 둘 이상의 모달리티로 사전 학습된 모델을 뜻하지만, 제공사들은 별도로 학습된 시각 인코더를 여전히 포함한 설계에도 이 말을 쓴다. '옴니'와 'any-to-any'는 내부 구조가 아니라 입력과 출력 인터페이스를 가리킨다. 이 용어 중 어느 것도 모달리티별 처리가 어디서 끝나는지, 어떤 구성 요소가 고정되었는지, 각 모달리티를 어떻게 토큰화했는지 말하지 않는다. 이 질문들은 따로 물어야 하며, 폐쇄형 시스템에서는 대개 답이 공개되지 않는다.

3. 연혁

3.1. 대규모 시각-언어 사전 학습 이전

멀티모달 머신러닝은 웹 규모의 이미지-텍스트 모델에서 시작하지 않았다. 그 이전에도 시청각 음성 인식, 멀티미디어 검색, 사람의 상호작용 분석, 이미지와 언어 사이의 관계를 다루는 연구가 있었다. 많은 시스템은 특징을 독립적으로 추출한 뒤 이어 붙이거나 판단 결과를 합쳤으므로, 사람이 설계한 특징의 품질과 시점이 핵심 제약이었다. Baltrusaitis와 동료들의 역사적 개관은 이 흐름들을 추적하고, 이를 근거로 초기 융합과 후기 융합보다 넓은 분류 체계를 제시한다.²

2011년 Ngiam과 동료들은 음성 분류를 위한 오디오와 비디오, 교차 모달 특징 학습, 테스트 시 한 모달리티만 있는 경우를 연구했다. 2012년 Srivastava와 Salakhutdinov는 다중 모달 Deep Boltzmann Machine으로 생성형 이미지-텍스트 표현을 학습하고 누락된 모달리티를 추론했다. 두 연구는 공유 구조, 비대칭 정보, 입력 누락, 결합 학습과 추론 시 가용성의 차이라는 지금도 중요한 주제를 이미 담고 있었다. 이미지 캡션 생성과 시각 질의응답은 영향력 있는 이미지-언어 과제가 되었다. 「Show and Tell」은 합성곱 이미지 인코더와 순환 디코더로 캡션을 생성했고, 원래의 Visual Question Answering 연구는 이미지에 대한 개방형 질문을 정식화하고 평가용 사람 답변을 제공했다. 이 시스템들은 대부분 따로 초기화한 시각·텍스트 파이프라인을 학습된 연결 장치나 융합 층으로 이은 구조였으며, 대규모 대조 사전 학습 이전에 교차 모달 생성과 추론 과제를 정립했다.^7,8,9

3.2. 교차 모달 트랜스포머

트랜스포머는 순환 구조 없이 어텐션으로 시퀀스를 모델링하는 방식을 도입했다. 이후 멀티모달 연구자들은 어텐션을 시각 영역과 언어 토큰 사이의 상호작용에 맞게 바꾸었다. ViLBERT는 공동 어텐션으로 연결된 두 스트림을 사용했다. LXMERT는 객체, 언어, 교차 모달리티 인코더를 나누고 여러 사전 학습 과제를 결합했다. UNITER는 이미지와 텍스트 특징을 하나의 결합 트랜스포머에 넣고 마스킹, 매칭, 단어-영역 정렬 목표로 학습했다. 이후 ViLT는 무거운 영역 특징 추출기에 의존하지 않고, 이미지 패치와 단어 임베딩에 작동하는 더 가벼운 이미지-텍스트 트랜스포머를 보였다.^10,11,12,13

이 모델들은 순환 층을 대체한 것 이상이었다. 상호작용의 위치와 방향을 명시했다. 시각 특징이 언어에 어텐션할 수도 있고, 언어가 시각에 어텐션할 수도 있으며, 공유 시퀀스를 같은 블록이 처리할 수도 있었다. 그 결과 나온 설계는 두 스트림 구조, 단일 스트림 구조, 크로스 어텐션 구조를 구분하는 기준점으로 여전히 쓸모가 있다.

3.3. 대규모 짝 데이터와 공동 임베딩

CLIP과 ALIGN은 듀얼 인코더가 이미지-텍스트 짝의 대규모 모음에서 어떻게 학습하는지 보여 주었다. CLIP은 4억 쌍으로 시각 인코더와 텍스트 인코더를 따로 학습했다. 배치 안에서 정규화된 이미지·텍스트 임베딩을 코사인 유사도로 비교하고, 대칭 교차 엔트로피 목표로 짝이 맞는 쌍의 유사도를 짝이 맞지 않는 쌍보다 높였다. 추론 시에는 자연어 클래스 설명을 새 분류 헤드 없이 분류기처럼 쓸 수 있었다. ALIGN은 10억 개가 넘는 잡음 섞인 이미지-대체 텍스트 쌍과 비슷한 듀얼 인코더 대조 설계를 사용했다. 이 연구는 사람이 큐레이션한 라벨 집합 대신 규모와 잡음 허용성을 강조했다. 이후 SigLIP은 전역 소프트맥스 정규화 쌍 목표를 쌍별 시그모이드 손실로 바꾸었다.^14,15,16

이 방법들은 조정된 임베딩 공간을 학습한다. 이미지와 텍스트는 각각 독립적으로 인코딩되지만, 학습 목표 덕분에 출력을 서로 비교할 수 있다. 다운스트림 시스템이 실제로 판단 결과를 결합하지 않는 한 이것은 후기 결정 융합의 예가 아니다. 정렬과 융합을 한 모델에서 함께 쓰기도 한다. ALBEF는 먼저 대조 목표로 단일 모달 이미지와 텍스트 표현을 정렬한 뒤 크로스 어텐션으로 융합했고, 잡음 많은 웹 데이터에서 더 잘 학습하도록 모멘텀 증류도 사용했다. BLIP은 이해와 생성을 함께 지원했고, 잡음 섞인 이미지와 텍스트로 더 깨끗한 학습 쌍을 만들기 위해 캡셔너와 필터를 도입했다. 이런 설계에서 아키텍처 범주는 서로 배타적인 라벨이라기보다 하나의 파이프라인 안의 단계인 경우가 많다.^17,18

3.4. 사전 학습된 구성 요소 연결

또 다른 흐름은 전체 시스템을 처음부터 학습하는 대신, 강력한 사전 학습된 단일 모달 구성 요소를 연결한다. Perceiver 구조는 비대칭 어텐션으로 크고 구조화된 입력을 고정 크기의 잠재 병목으로 옮기며, 이미지, 점군, 음성, 시청각 데이터에서 시연되었다. 병목은 원시 입력 크기가 아주 달라도 이후 계산으로 넘기는 특징 수를 조절할 수 있다.¹⁹

Flamingo는 고정된 시각 인코더와 고정된 언어 모델을 쓴다. Perceiver Resampler가 크기가 가변적인 시각 특징 격자를 고정된 수의 시각 토큰으로 바꾸고, 새로 학습한 게이트형 크로스 어텐션 층이 그 토큰으로 언어 모델 블록을 조건화한다. 입력에는 텍스트와 이미지 또는 영상이 섞여 들어갈 수 있다. BLIP-2는 고정된 이미지 인코더와 고정된 언어 모델 사이에 질의 트랜스포머를 두고 이 연결 장치를 두 단계로 학습한다. LLaVA는 시각 인코더를 학습된 투영으로 언어 모델에 잇고 이후 시각 지시 튜닝을 적용한다. 세 시스템은 하나의 순위가 아니라 설계 공간을 보여 준다. 투영은 단순하고 값싸지만 인터페이스를 언어 모델의 임베딩 형식으로 압축한다. 질의형 연결 장치는 제한된 수의 시각 특징을 고를 수 있고, 반복되는 크로스 어텐션은 여러 깊이의 층에 시각 근거를 노출한다. 상대적 가치는 과제, 입력 길이, 학습 데이터, 최적화 예산, 기본 구성 요소의 고정 여부에 따라 달라진다.^4,5,6

3.5. 이미지와 텍스트를 넘어서

ImageBind는 이미지, 텍스트, 음성, 깊이, 열화상, 관성 측정값 여섯 종류의 데이터를 정렬한다. 이미지를 결합 기준 모달리티로 쓰므로 이미지가 아닌 모달리티끼리 서로 직접 짝지어질 필요는 없다. 이는 공통 기준을 거쳐 간접적으로 조정하는 예이지, 모든 모달리티 쌍이 의미적으로 서로 바꿔 쓸 수 있게 된다는 증명은 아니다. 시청각 음성은 두 스트림이 시간에 따라 동기화되어 있다는 점에서 다르다. AV-HuBERT는 음성과 입술 움직임 입력에서 마스킹된 군집 할당을 예측해 시청각 음성 표현을 학습한다. u-HuBERT는 모달리티 드롭아웃과 통합 학습 방식을 써서 모델이 음성, 영상, 또는 둘 모두에서 작동하도록 한다. 이 시스템들은 시간 정렬과 모달리티 누락 시의 동작을 뒤늦게 고려할 사항이 아니라 핵심 문제로 다룬다.^20,21,22

조건부 생성과 구현된 제어는 분야를 더 넓힌다. 잠재 확산 모델은 압축된 잠재 공간에서 잡음 제거를 수행하고, 텍스트 같은 입력을 조건으로 삼기 위해 크로스 어텐션을 쓸 수 있다. RT-2는 로봇 행동을 토큰으로 표현하고, 로봇 궤적 데이터를 시각-언어 과제와 함께 공동 미세 조정하여 멀티모달 표현을 물리적 행동에 잇는 문서화된 예를 제공한다. 이 시스템들이 멀티모달로 쓰이는지는 고립된 인코더가 아니라 전체 과제가 정한다.^23,24

4. 핵심 기술 문제

다섯 부분으로 나뉜 분류 체계(표현, 번역, 정렬, 융합, 공동 학습)는 여전히 이 분야의 실용적인 지도다. 이를 다섯 가지 서로 겹치지 않는 모델 유형으로 읽어서는 안 된다. 하나의 캡션 생성 시스템이 다섯 문제를 모두 마주할 수 있다. 이후의 분류 체계는 추론, 생성, 전이, 정량화를 더하고 이질성, 연결, 상호작용을 중심으로 분야를 정리한다. 이 틀은 데이터를 한 모델에 넣기만 한 것과 모델이 실제로 교차 모달 근거를 쓰는지 측정하는 것을 구분하는 데 도움이 된다.^2,3

4.1. 표현

모달리티마다 구조가 다르다. 텍스트는 보통 이산적이고 순차적이다. 이미지는 공간 배열이고, 음성은 시간에 따라 표본화된다. 영상은 시간과 공간을 모두 가진다. 깊이, 열화상, 관성 신호는 단위, 잡음 과정, 표본화 속도가 각각 다르다. 표현은 과제에 필요한 정보를 보존하면서 이후 모듈이 비교하거나 결합할 수 있는 형태로 이 원천들을 바꿔야 한다.

기초 연구는 결합 표현(joint representation)과 조정된 표현(coordinated representation)을 구분한다. 결합 표현은 여러 모달리티로부터 함께 계산된다. 오디오와 시각 특징을 이어 붙여 하나의 네트워크에 넣는 것이 단순한 예다. 조정된 표현은 각 모달리티를 따로 부호화하되, 짝이 맞는 쌍의 임베딩끼리 유사도가 높은 것처럼 출력 사이의 정해진 관계를 강제한다. CLIP은 조정된 듀얼 인코더 시스템이고, UNITER는 결합 토큰 표현에 가깝다. ALBEF는 단계에 따라 조정과 융합을 모두 쓴다.²

표현은 전역적일 수도 지역적일 수도 있다. 이미지마다 벡터 하나, 캡션마다 벡터 하나는 검색에 효율적이지만, 어느 구절이 어느 영역에 대응하는지는 직접 알려 주지 않는다. 토큰 수준이나 영역 수준 특징은 더 세밀한 관계를 나타내지만 계산 비용이 커진다. 시간 시스템은 프레임 수준의 시간 정보를 유지할지, 구간으로 압축할지, 전체 시퀀스로 요약할지도 정해야 한다.

4.2. 번역

교차 모달 번역은 한 모달리티를 다른 모달리티로 옮긴다. 이미지 캡셔닝은 시각 입력을 언어로, 텍스트 조건 이미지 생성은 언어를 시각 출력으로, 음성 인식은 음향 신호를 텍스트로 옮긴다. 번역은 종종 일대다다. 여러 캡션이 한 이미지를 정확히 설명할 수 있고, 여러 이미지가 한 프롬프트를 만족할 수 있다. 따라서 평가는 단 하나의 정답을 가정할 수 없다. 번역 시스템은 자기회귀, 마스킹, 확산 기반 등 다양한 생성 방식을 쓸 수 있고, 출력 디코더는 결합 표현을 쓰거나 어텐션으로 조정된 특징에 조건화될 수 있다. 기존 캡션을 검색하는 모델과 새 텍스트를 생성하는 모델은 비슷한 정렬 인코더를 써도 출력 공간과 위험, 평가 방법이 다르므로 설계는 이 과제의 비대칭성을 보존해야 한다.

4.3. 정렬

정렬은 모달리티 사이의 대응 관계를 찾는다. 전역 수준에서는 이미지와 문장이 서로 맞는 짝인지가 질문이다. 더 세밀한 수준에서는 단어와 영역, 말소리 구간과 입술 움직임, 영상 장면과 자막 구간, 센서 사건과 행동을 맞춘다. 일부 대응은 라벨에 명시되어 있고, 일부는 동시 출현, 시간 동기화, 대조적 짝짓기에서 나온다. 정렬은 모호할 수 있다. 붐비는 이미지에서 캡션은 한 객체만 언급할 수 있고, 대체 텍스트는 픽셀보다 웹페이지의 목적을 설명할 수 있다. 음성과 입술 움직임은 약간 어긋날 수 있고, 이미지는 문단의 모든 진술을 그리지 않고도 문단을 설명할 수 있다. 쌍으로 묶인 모든 요소를 완벽히 정렬되었다고 보면 감독 신호에 잡음이 생기고, 짝이 없는 모든 표본을 참 음성으로 보면 거짓 음성이 생길 수 있다.

4.4. 융합

융합은 여러 흐름의 근거가 예측에 어떻게 영향을 주는지 정한다. 상호작용이 일어나는 위치에 따라 다음과 같이 나눈다.

• 조기(입력 수준) 융합은 대부분의 과제 모델링 전에 원시 또는 가볍게 처리된 특징을 결합한다. 낮은 수준의 상호작용을 드러낼 수 있지만 규모와 시점이 호환되어야 한다.
• 중간 융합은 각 모달리티가 먼저 고유 특징을 만든 뒤 상호작용한다. 토큰 이어 붙이기, 공동 어텐션, 크로스 어텐션, 게이트형 교환, 잠재 병목이 서로 다른 중간 융합 방식이다.
• 후기(결정 수준) 융합은 독립적으로 만든 예측이나 상위 수준 특징을 결합한다. 모듈식이라 한 구성 요소를 교체하기 쉽지만 세밀한 교차 모달 관계를 놓칠 수 있다.
• 혼합 융합은 둘 이상의 상호작용 지점을 쓴다. 예를 들어 대조 정렬 뒤에 크로스 어텐션 디코더를 두는 방식이다.

이 위치 분류는 결합 대 조정의 구분과 직교한다. 듀얼 인코더는 조정된 임베딩을 만든 뒤 후기 결정 모듈에 넘길 수 있다. 결합 모델도 모달리티별 인코더 이후까지 상호작용을 미룰 수 있다. 두 축을 모두 설명하는 것이 하나의 라벨을 붙이는 것보다 정보가 많다. 보편적으로 최적인 융합 지점은 없다. 누락 모달리티 상황에서 멀티모달 트랜스포머를 살펴본 연구는 민감도와 최적 융합 구성이 데이터셋마다 다르다고 보고했다. 따라서 아키텍처는 집계 순위표로 추론하지 말고 의도한 잡음, 누락, 지연 조건에서 시험해 골라야 한다.²⁵

같은 세 낱말은 전혀 다른 규모의 사전 학습 전략을 설명하는 데도 쓰인다. 이때 '조기 융합'은 모든 모달리티로 한 모델을 동시에 학습하는 것을, '후기 융합'은 따로 사전 학습한 구성 요소를 연결 장치로 잇는 것을 뜻한다. 이 용법은 뒤에서 다루며, 층 수준의 의미와 혼동하지 않아야 한다.

4.5. 공동 학습

공동 학습은 한 모달리티의 정보를 다른 모달리티의 표현이나 예측 개선에 쓴다. 교차 모달 감독은 직접 수집하기 비싼 라벨을 제공할 수 있다. 자연어 설명은 시각 범주를 감독할 수 있고, 시각 문맥은 음성의 모호함을 해소할 수 있으며, 공유된 기준점은 직접 짝이 없는 모달리티도 이어 줄 수 있다. ImageBind의 이미지 중심 정렬이 한 예다. 전이는 비대칭일 수 있다. 자원이 많은 모달리티가 교사 역할을 하고 자원이 적은 모달리티가 혜택을 받을 수 있다. 학습에는 짝이 있는 입력이 필요하지만 추론에서는 한 모달리티만 쓸 수도 있다. 반대로 학습 때 모든 모달리티가 있어도 배포 시 입력 누락을 견뎌야 할 수 있다. 이런 가용성 가정은 보고서에 명시해야 한다.²⁰

5. 아키텍처 패턴

5.1. 모달리티별 인코더

대부분의 시스템은 먼저 각 입력을 특징의 시퀀스나 집합으로 바꾼다. 이미지 인코더는 패치나 영역 토큰을 내고, 텍스트 인코더는 단어나 하위 단어 토큰을 낸다. 음성은 파형 구간, 스펙트로그램 패치, 학습된 코덱 단위로 표현될 수 있다. 영상은 프레임, 튜브, 사건 토큰을 낼 수 있고, 센서 신호는 타임스탬프나 채널로 묶인다. 모달리티별 인코더는 각자에게 맞는 귀납 편향과 사전 학습 파라미터를 쓸 수 있게 한다. 그러나 특징 폭, 척도, 위치 규칙, 의미 단위가 서로 맞지 않는 인터페이스 문제를 낳는다. 투영 계층, 정규화, 학습된 질의, 어텐션 블록이 그 인터페이스를 정의하는 흔한 방법이다. 벡터 폭이 같다는 이유만으로 결과 표현을 '공유된' 것이라고 부르면 안 된다.

5.2. 듀얼 인코더

듀얼 인코더는 두 모달리티를 독립적으로 조정된 공간에 사상한다. 임베딩 사이의 유사도는 검색, 짝짓기, 제로샷 분류를 지원한다. 각 쪽을 따로 부호화할 수 있으므로 큰 컬렉션을 미리 색인할 수 있다. 원하는 출력이 유사도 점수일 때 효율적인 구조다. 그러나 같은 독립성이 세밀한 상호작용을 제한한다. 전역 이미지 벡터만으로는 어떤 시각 토큰이 특정 단어를 뒷받침하는지 보여 줄 수 없다. 영역 특징, 토큰 수준 손실, 재순위화, 융합 모델을 더하면 이 필요를 채울 수 있지만 계산과 평가 방식이 바뀐다. CLIP, ALIGN, SigLIP은 듀얼 인코더 계열 안에서 서로 다른 학습 선택을 보여 준다.^14,15,16

5.3. 단일 스트림 결합 인코더

단일 스트림 설계는 모달리티별 입력을 호환 가능한 토큰으로 바꾸고, 모달리티나 위치 정보를 더한 뒤 결합된 시퀀스를 공유 층으로 처리한다. UNITER와 ViLT가 이미지-텍스트 예다. 원리상 모든 토큰이 어텐션으로 상호작용할 수 있다. 실제로는 시퀀스 길이, 어텐션 마스크, 위치 인코딩, 전처리가 계산상 가능한 상호작용을 정한다. 공유 층이 있다고 모든 모달리티가 똑같이 쓰이는 것은 아니다. 모델은 언어 사전 지식이나 시각적 지름길로 벤치마크를 풀 수 있다. 교차 모달 의존성을 확인하려면 입력 제거 실험과 반사실적 예가 필요하다.^12,13

5.4. 두 스트림과 크로스 어텐션 모델

두 스트림 모델은 별도의 모달리티 경로를 유지하면서 방향이 있는 교환을 추가한다. 크로스 어텐션에서는 한 스트림의 질의가 다른 스트림의 키와 값에 어텐션한다. 방향이 중요하다. 언어가 조건을 주는 시각 처리와 시각이 조건을 주는 언어 처리는 같은 계산이 아니다. ViLBERT는 공동 어텐션 스트림을 쓰고, LXMERT는 단일 모달리티 인코더와 교차 모달리티 인코더를 명시적으로 나눈다. 크로스 어텐션은 한 번, 여러 번, 또는 디코더에서만 일어날 수 있다. 반복된 상호작용은 더 세밀한 추론을 도울 수 있지만 메모리와 계산이 늘어난다. Flamingo처럼 게이트를 두면 새로 들어온 멀티모달 정보가 사전 학습된 표현을 얼마나 흔드는지 조절할 수 있다. 따라서 연결 장치의 위치는 그 이름만큼 중요하다.^4,10,11

5.5. 잠재 병목과 학습된 질의

이미지나 영상은 텍스트보다 훨씬 많은 토큰을 만들 수 있다. 잠재 병목은 고정되거나 제한된 수의 학습된 벡터로 더 큰 입력에 어텐션하고 이를 요약한다. Perceiver가 이 아이디어를 넓게 적용했고, Flamingo는 시각 특징에 Perceiver Resampler를 쓰며, BLIP-2는 연결 장치에 학습된 질의를 쓴다. 병목은 후속 시퀀스 길이를 줄이지만 정보 예산도 정한다. 잠재 토큰이 너무 적으면 작은 글자, 드문 사건, 공간 세부 정보가 빠질 수 있다. 토큰을 늘리면 용량이 커지지만 비용도 늘어난다. 적절한 크기는 해상도, 길이, 과제, 필요한 세밀한 근거의 정도에 따라 다르다.^4,5,19

5.6. 생성 조건화

생성형 시스템에서는 한 모달리티가 다른 모달리티의 디코더를 조건화하는 경우가 많다. 언어 디코더는 다음 텍스트 토큰을 예측하면서 이미지 특징에 어텐션할 수 있다. 확산 모델의 디노이저는 이미지 잠재 공간에서 잡음 제거 갱신을 예측하면서 텍스트 표현에 어텐션할 수 있다. 조건화는 모든 층이나 선택된 층에 적용될 수 있고, 전역 벡터 또는 특징 시퀀스를 쓸 수 있다. 생성이 곧 이해를 증명하지는 않는다. 시스템은 강한 사전 지식으로 그럴듯한 출력을 만들면서 조건 입력의 일부를 무시할 수 있다. 출력이 지정된 근거에 의존하는지 측정하려면 프롬프트-이미지 일관성 검사, 반사실적 프롬프트, 영역 그라운딩, 통제된 입력 제거가 필요하다.²³

5.7. 결정 융합

결정 융합은 모델을 대체로 독립적으로 두고 점수나 예측을 결합한다. 클래스 확률을 평균하거나, 학습된 게이트를 쓰거나, 입력 품질에 따라 전문 모델을 고르는 방식이 예다. 한 센서가 고장 나도 견고할 수 있고 모듈식 배포를 지원한다. 그러나 결정 단계 이전에 버려진 상호작용은 복구할 수 없다. 입술 읽기 모델과 음성 모델이 각각 독립적으로 잘못된 음소를 택하면, 단순 평균은 충돌을 풀 수 있었을 시간 정보에 거의 접근하지 못한다.

5.8. 대표 설계

이 표는 아키텍처를 설명할 뿐 성능 순위가 아니다. 각 시스템은 데이터, 학습 목표, 파라미터 수, 과제, 평가 방식이 서로 다르다. 2023년 이후의 설계는 연결 장치보다 사전 학습 방식으로 설명하는 편이 더 정확하므로, 표는 2023년 무렵의 설계까지만 다룬다.

6. 네이티브 멀티모달 사전 학습

멀티모달 시스템은 따로 학습한 부품을 조립해 만들 수도 있고, 여러 모달리티로 함께 학습할 수도 있다. 첫 번째 방식은 대략 2021년에서 2023년 사이의 발표를 주도했고 지금도 널리 쓰인다. 두 번째 방식은 최근 출시물이 '네이티브 멀티모달'이라고 부르는 것이다. 이 구분은 실재하지만 용어가 느슨해서, 두 조직이 같은 말을 서로 다른 설계에 붙이는 일이 생긴다.

6.1. 어댑터 방식과 그 전제

Flamingo, BLIP-2, LLaVA는 모두 이미 작동하는 구성 요소에서 출발해 그 사이의 인터페이스를 학습한다. 공통 전제는 자체 목표로 학습한 시각 인코더가 언어 모델에 필요한 정보를 담은 특징을 이미 만들고, 빠진 부분은 번역 층뿐이라는 것이다. 이 전제는 값싸서 매력적이다. 연결 장치는 작고, 비싼 구성 요소는 재사용하며, 필요한 짝 데이터도 상대적으로 적다. 2025년의 한 스케일링 연구는 이 계열을 후기 융합으로 부르고 그 표본 효율이 놀랍다고 평가했다.²⁶

이 전제는 일부만 맞다. Meta의 Perception Encoder 연구는 대조적 시각-언어 학습만으로도 제로샷 분류와 검색, 문서·영상 질의응답, 검출과 깊이 추정 같은 밀집 예측에 쓸 만큼 일반적인 임베딩을 만들 수 있다고 보고했다. 그러나 그 임베딩은 출력 층이 아니라 네트워크 중간 층에 숨어 있다. 저자들은 이를 꺼내기 위해 멀티모달 언어 모델링을 위한 언어 정렬과 밀집 예측을 위한 공간 정렬이라는 두 절차를 도입했다. 가장 유용한 표현이 연결 장치가 보통 읽는 층에 없다면, 어느 층에서 읽을지는 측정 가능한 결과를 낳는 설계 결정이다. 이것이 비전 인코더를 이름보다 학습 목표, 출력 층, 정렬 절차로 설명하는 것이 나은 이유 중 하나다.

6.2. 처음부터 인터리브 모달리티로 학습

Google의 첫 Gemini 보고서는 이미지, 음성, 영상, 텍스트 데이터로 처음부터 함께 학습한 모델을 설명한다. 이 모델은 자연 이미지, 차트, 스크린샷, PDF, 영상을 포함한 다양한 시각·음성 입력과 섞인 텍스트를 받고, 이산 이미지 토큰을 써서 이미지를 출력할 수 있다. Gemini 1.5 보고서는 입력 시퀀스 하나에서 음성, 시각, 텍스트, 코드를 섞을 수 있는 네이티브 멀티모달 희소 전문가 혼합 트랜스포머를 설명한다. Gemini 3 Pro 모델 카드는 2025년 11월 출시와 2026년 5월 갱신 날짜가 있으며, 텍스트·이미지·음성 입력을 네이티브로 지원하는 희소 전문가 혼합 트랜스포머를 설명한다. 이 모델은 최대 100만 토큰의 컨텍스트 창 안에서 텍스트, 이미지, 음성, 영상 파일을 받고, 최대 6만 4천 토큰의 텍스트를 출력한다.^27,28

OpenAI는 GPT-4o를 자기회귀 옴니 모델로 설명한다. 텍스트, 음성, 이미지, 영상의 임의 조합을 받고 텍스트, 음성, 이미지의 임의 조합을 출력한다. 텍스트, 시각, 음성을 종단 간으로 함께 학습했으며 모든 입력과 출력이 같은 신경망으로 처리된다고 밝힌다.²⁹

Meta의 Llama 4 발표는 세 번째 표현을 쓴다. 발표는 모델이 네이티브 멀티모달로 설계되었고, 텍스트와 시각 토큰을 하나의 통합 모델 백본에 넣는 조기 융합(early fusion)을 쓴다고 밝힌다. 이 덕분에 대량의 비라벨 텍스트, 이미지, 영상 데이터로 공동 사전 학습을 할 수 있다고 한다. 같은 발표는 시각 인코더가 MetaCLIP에 기반하며, 언어 모델에 맞추기 위해 고정된 Llama 모델과 함께 따로 학습되었다고 밝힌다. 따라서 개발사는 어떤 시스템을 조기 융합이라고 부르면서도 따로 학습한 인코더를 포함할 수 있다.³⁰

이 차이는 중요하다. 2025년 스케일링 연구는 조기 융합을 이미지 인코더나 토크나이저에 의존하지 않는 설계로 정의한다. 이 정의에 따르면 Llama 4는 조기 융합에 해당하지 않는다. 두 용법 모두 틀린 것은 아니고 경계를 다른 곳에 긋는 것이다. 모달리티별 처리가 어디서 끝나고 공유 계산이 어디서 시작되는지 말하는 설명이 두 라벨 중 어느 하나보다 정보가 많다.²⁶

6.3. 사전 학습 규모에서 조기 융합과 후기 융합

Shukor와 동료들은 아키텍처와 학습 혼합을 달리한 457개 모델을 학습해, 두 계열을 계산량을 맞춘 상태에서 비교했다. 저자들은 후기 융합에 본질적인 우위가 없다고 보고했다. 조기 융합은 매개변수 수가 적을 때 더 잘 작동했고, 학습 효율이 높았으며, 배포하기도 쉬웠다. 같은 계산 예산에서는 두 계열이 비슷한 검증 손실에 도달했지만, 매개변수와 학습 토큰의 균형은 달랐다. 조기 융합은 더 적은 매개변수로 같은 결과에 도달했다. 전문가 혼합 층을 더하자 모델이 모달리티별 가중치를 학습할 수 있게 되어 결과가 더 좋아졌다.²⁶

이 결과는 증거 수준에서 읽어야 한다. 연구가 말하는 것은 연구진 자신의 데이터 혼합으로 네이티브 멀티모달 모델을 처음부터 학습하고 검증 손실을 측정한 결과다. 이미 강력한 사전 학습 언어 모델을 가진 조직이 그것을 버려야 한다는 뜻은 아니다. 같은 논문이 후기 융합의 장점으로 꼽은 표본 효율은, 짝 데이터가 텍스트에 비해 부족할 때 바로 중요하다. 두 결과는 양립한다. 후기 융합은 표현을 가져다 씀으로써 데이터 효율을 얻고, 조기 융합은 표현을 함께 학습함으로써 매개변수 효율을 얻는다.

이 표는 위의 출처가 설명한 절충을 요약한 것이며 측정 결과도 순위도 아니다. 실제 시스템은 패턴을 섞어 쓴다. Llama 4는 따로 학습한 인코더를 유지한 채 공동 사전 학습을 하고, 여러 네이티브 모델은 이산 이미지 토크나이저라는, 그 자체로 따로 학습된 구성 요소를 유지한다.

6.4. 이해와 생성을 함께 하는 모델

2024년 무렵까지 이미지에 대한 질문에 답하면서 이미지도 만드는 시스템은 대개 별도의 생성기를 호출해 이 일을 했다. 그 후 여러 설계가 두 능력을 하나의 가중치 집합에 담았고, 그 방법은 서로 달랐다.

Chameleon(Meta, 2024년 5월)은 조기 융합 토큰 기반 혼합 모달 모델 계열이다. 임의의 순서로 이미지와 텍스트를 이해하고 생성한다. 논문은 처음부터 안정적인 학습 방식, 정렬 절차, 조기 융합 토큰 설정에 맞춘 아키텍처 매개변수화를 설명한다. 한 모델을 시각 질의응답, 캡셔닝, 텍스트 생성, 이미지 생성, 긴 혼합 모달 생성에서 평가했다. 이미지가 이산 토큰으로 양자화되므로 모델은 텍스트에 쓰는 것과 같은 다음 토큰 목표로 이미지 토큰을 예측할 수 있다.³¹

Transfusion(Meta, 2024년 8월)은 양자화 단계를 거부한다. 하나의 트랜스포머를 두 목표로 동시에 학습한다. 이산 텍스트 토큰에는 다음 토큰 예측을, 병렬로 처리되는 연속 이미지 패치에는 확산 목표를 적용한다. 저자들은 최대 70억 매개변수 모델을 2조 개의 멀티모달 토큰으로 사전 학습했다고 밝히며, 이 방법이 이미지를 이산 토큰으로 양자화해 그 위에서 언어 모델을 학습하는 방법보다 더 잘 확장된다고 보고한다.³²

Janus(DeepSeek, 2024년 10월)는 충돌의 원인을 백본이 아니라 시각 인코더에서 찾는다. 이해와 생성은 서로 다른 수준의 정보 세분성을 필요로 하므로, Janus는 시각 부호화를 별도 경로로 분리하면서 처리는 하나의 통합 트랜스포머로 유지한다. 그래서 각 과제가 자기 부호화 방식을 고를 수 있다. 논문은 이것을 Chameleon이 쓴 단일 시각 인코더와 명시적으로 대비한다. Janus-Pro는 같은 설계를 10억 매개변수와 70억 매개변수 규모로 키웠다.

OpenAI가 2025년 3월 GPT-4o 시스템 카드에 덧붙인 문서는 이 모델의 네이티브 이미지 생성을 ChatGPT 안에 내장된 자기회귀 모델로 설명한다. 반면 DALL·E는 확산 모델로 설명한다. 문서는 이 능력이 옴니 모델 GPT-4o의 아키텍처 깊숙이 내장되었다고만 말하고 더 자세한 구조는 주지 않는다. 문서의 주제는 안전이며, 그 안전 구조는 다층 완화 장치다. 채팅 모델의 거부, 텍스트와 이미지 분류기에 의한 프롬프트 차단, 맞춤 학습된 멀티모달 추론 모니터를 포함한 출력 차단으로 이루어진다.³³

이후의 이미지·영상 시스템은 대체로 아키텍처 정보가 늘기보다 줄어든 채 발표되었다. Google의 Nano Banana Pro는 2025년 11월에 출시되었으며, Gemini 3 Pro 모델 카드가 Gemini 3 Pro Image로 나열하는 Gemini 3 계열의 이미지 모델이다.²⁸

Meta의 Muse Image는 2026년 7월 7일 Meta Superintelligence Labs가 처음 공개한 이미지 모델로, 텍스트 프롬프트와 참조 이미지를 받아 이미지를 만든다. Meta의 발표는 구조가 아니라 행동을 설명한다. 정확도를 높이려고 검색과 코딩 도구를 호출하고, 자기 생성물을 스스로 다듬으며, 추가 테스트 타임 컴퓨트를 주면 더 좋아진다고 한다. Meta는 자기 정제가 강화학습 도중에 나타났다고 밝혔는데, 더 높은 보상을 받는 이미지를 만들었기 때문이라고 한다. 출시와 함께 모델 카드나 기술 보고서는 나오지 않았다.³⁴

Google I/O에서 2026년 5월 발표된 Gemini Omni는 이미지, 음성, 영상, 텍스트를 입력으로 받고 영상을 생성한다. 이미지와 음성 출력은 향후 과제로 남았고, 처음 공개된 구성원은 Gemini Omni Flash다. 발표문에는 아키텍처 설명이 없다.

이런 시스템은 기능적으로 설명하는 것이 정확하다. 무엇이 들어가고 무엇이 나오는지, 제공사가 주장하는 바가 무엇인지, 독립적인 주체가 무엇을 측정했는지를 적는다. 자매 시스템의 논문에서 아키텍처를 추론하는 것은 근거가 되지 않으며, 시연에서 추론하는 것도 마찬가지다.

6.5. 공개된 정보의 범위

두 가지 패턴이 보인다. 공개 가중치 릴리스는 대체로 목표와 융합 지점을 명시하는 논문과 함께 나왔는데, 가중치를 어차피 검사할 수 있기 때문이다. 폐쇄형 소비자 제품은 기능 설명, 안전 문서, 혹은 둘 다 없이 나온 경우가 많았다. 이 시스템들에 관한 백과사전식 서술은 이 구분을 뭉개지 말고 보존해야 하며, 공개되지 않은 항목에는 '공개되지 않음'이라고 써야 한다.

7. 1급 모달리티로서의 음성과 영상

이 글의 용어 상당수는 이미지와 텍스트를 위해 만들어졌다. 음성과 영상은 같은 종류의 입력이 더 늘어난 것이 아니다. 이들은 연속적이고, 시간 흐름에 의미가 있으며, 사용자가 아직 말하거나 촬영하는 도중에 들어오는 경우가 많다. 또한 내용 1초당 토큰 수(초당 토큰 수 기준)가 텍스트보다 훨씬 많이 든다.

7.1. 캐스케이드에서 종단 간 음성으로

언어 모델에 음성 인터페이스를 붙이는 일반적인 방법은 캐스케이드다. 음성 인식기가 전사문을 만들고, 언어 모델이 그 전사문을 받고, 텍스트 음성 변환 시스템이 답을 소리 내어 읽는다. SeamlessM4T 저자들은 번역에서도 같은 패턴과 그 비용을 설명한다. 통상의 음성 간 번역은 점진적으로 번역하는 캐스케이드 시스템에 의존하고, 그 때문에 고성능 통합 시스템은 닿기 어렵다고 지적한다. 캐스케이드는 전사문이 담지 않는 것, 즉 운율, 화자 정체성, 겹쳐 말하기, 음성이 아닌 소리를 버린다.

SeamlessM4T(Meta, 2023년 8월)는 음성-음성, 음성-텍스트, 텍스트-음성, 텍스트-텍스트 번역과 최대 100개 언어의 자동 음성 인식을 지원하는 단일 모델이다. 100만 시간의 공개 음성 오디오로 자기 지도 음성 표현을 먼저 학습했고, 이후 자동으로 정렬된 음성 번역 말뭉치와 사람이 라벨링한 데이터 및 의사 라벨 데이터를 결합해 학습했다.

Qwen2-Audio(Alibaba, 2024년 7월)는 음성 대화와 음성 분석이라는 두 상호작용 모드를 가지며, 시스템 프롬프트 없이 둘 사이를 전환한다. 보고서는 종단 간 음성 처리가 무엇을 주는지 간결하게 보여 준다. 환경음, 여러 화자의 대화, 말로 된 명령이 담긴 구간이 주어지면, 모델은 같은 한 번의 처리에서 명령을 따르고 주변 음성을 해석할 수 있다. 전사문은 이 모든 것을 낱말로 평평하게 만들어 버린다.

7.2. 스트리밍 입력과 실시간 상호작용

일괄 멀티모달 추론 실행은 모델이 실행되기 전에 전체 입력이 존재한다고 가정한다. 실시간 상호작용은 그렇지 않다. 입력은 점진적으로 들어오고, 사용자는 끼어들 수 있으며, 정확하지만 늦은 응답은 약간 덜 정확하지만 즉각적인 응답보다 나쁜 제품이다.

OpenAI는 GPT-4o가 음성 입력에 최소 232밀리초, 평균 320밀리초 만에 응답할 수 있다고 밝히며, 시스템 카드는 이를 대화에서의 인간 응답 시간과 비교한다. Google의 Live API 문서는 스트리밍 계약을 구체적으로 설명한다. 16kHz의 16비트 PCM 원시 음성, 초당 최대 1프레임의 이미지, 텍스트를 받고, 24kHz의 16비트 PCM 음성을 반환하며, 사용자가 응답 도중 말을 끊을 수 있는 barge-in(끼어들기)을 지원한다.²⁹

Qwen3-Omni(2025년 9월)는 공개된 아키텍처를 가진 이 계열의 몇 안 되는 시스템이다. Thinker-Talker 전문가 혼합 설계를 쓰며, Talker가 다중 코드북 방식으로 이산 음성 코덱을 자기회귀적으로 예측한다. 블록 단위 확산 대신 가벼운 인과 합성곱 네트워크를 써서 첫 코덱 프레임부터 스트리밍을 시작할 수 있다. 보고서는 이론적 콜드 스타트 종단 간 첫 패킷 지연을 234밀리초로 제시하고, 텍스트 119개 언어, 음성 이해 19개 언어, 음성 생성 10개 언어를 지원한다고 밝힌다.

Qwen3.5-Omni(2026년 4월)는 같은 계열을 보고서가 수천억 규모라고 설명하는 매개변수 수로 확장하고, 256,000 토큰 컨텍스트를 제공한다. 하이브리드 어텐션 전문가 혼합 프레임워크를 Thinker와 Talker 모두에 적용하고, 텍스트와 음성 단위를 동적으로 정렬하는 ARIA라는 메커니즘을 추가했다. 팀은 스트리밍 불안정의 원인을 텍스트와 음성 토크나이저의 인코딩 효율 차이로 보며, ARIA를 그 해결책으로 제시한다. 두 시스템의 수치는 모두 개발사 자체 발표다.³⁵

스트리밍은 아키텍처만큼 평가도 바꾼다. 발화가 끝나기 전에 답하기 시작해야 하는 시스템은 완전한 입력에 조건화할 수 없으므로, 완전한 녹음에서 잰 정확도는 추정치가 아니라 상한이다. 차례 주고받기, 끝점 탐지, 끼어들기 처리는 인터페이스 세부 사항이 아니라 측정 가능한 행동이 된다. 지연 시간은 정확도와 나란히 보고되는 지표가 되며, 두 값은 종합 점수가 숨기는 방식으로 서로 상충한다.

7.3. 긴 영상: 프레임, 토큰, 컨텍스트

영상은 가장 토큰 비용이 큰 흔한 모달리티이며, 적어도 한 시스템에 대해서는 계산이 공개되어 있다. Google의 Gemini API 문서는 2026년 7월 기준으로 영상이 기본적으로 초당 1프레임으로 샘플링되며, 기본 미디어 해상도에서는 프레임당 258토큰, 낮은 해상도에서는 66토큰이 든다고 밝힌다. 동반 음성은 초당 32토큰이다. 이를 합치면 기본 해상도에서 영상 1초당 약 300토큰, 낮은 해상도에서는 약 100토큰이다. 따라서 100만 토큰 컨텍스트는 기본 해상도에서 영상 약 1시간, 낮은 해상도에서 약 3시간을 담는다. Gemini 1.5 보고서는 연구 환경에서 최소 1,000만 토큰까지 확장된다고 설명하며, 이는 초당 1프레임 기준 약 10.5시간의 영상이나 약 107시간의 음성에 해당한다. Alibaba는 Qwen3.5-Omni가 10시간 넘는 음성 이해와 초당 1프레임 720p 영상 400초를 지원한다고 보고한다.³⁵

이로부터 세 가지 제약이 따르며, 이들은 함께 해결되지 않고 서로 맞바꾼다.

• 시간 샘플링. 초당 1프레임은 대부분의 프레임을 버린다. 샘플링 간격보다 짧은 제스처, 화면 속 글자 한 장면, 짧은 충돌은 모델에 전혀 닿지 않을 수 있다. 프레임 속도를 올리면 토큰 수가 비례해 늘어난다.
• 공간 세부 정보. 프레임당 258토큰에서 66토큰으로 줄이면 비용은 약 4분의 1로 줄지만, 작은 글자, 먼 거리의 물체, 미세한 구조에 필요한 해상도가 사라진다. 슬라이드나 화면처럼 프레임 자체가 문서인 경우 손실이 가장 크다.
• 어텐션 비용. 셀프 어텐션은 시퀀스 길이에 대해 이차적이므로 토큰 수는 컨텍스트 창 문제만이 아니다. 메모리 사용량과 지연 시간도 정한다.

토큰 압축이 표준적인 대응이다. 2025년 이 분야의 한 서베이는 방법을 활용하는 중복의 종류로 나눈다. 이미지는 공간, 영상은 시공간, 음성은 시간과 스펙트럼 중복이다. 또 메커니즘으로 나누어 변환 기반, 유사도 기반, 어텐션 기반, 질의 기반으로 구분한다. 이 방법들은 모두 구조상 손실이 있다. 무엇을 버리는지는 암묵적으로 두지 말고 명시하고 시험해야 한다. 버려진 내용이 바로 세밀한 영상 질문이 묻는 것인 경우가 많기 때문이다.

이 문제는 긴 문맥 언어 모델이 직면한 문제와 겹치지만, 영상은 텍스트에 없는 차원을 더한다. 토큰은 실제 시간과 고정된 관계를 가지므로 컨텍스트 한도는 곧 길이 한도이기도 하다. 큰 컨텍스트 창을 광고한 시스템도 장편 영화를 전체 해상도로 볼 수 없을 수 있으며, 실제로 무엇을 볼 수 있는지는 광고된 창이 아니라 토큰화 정책이 정한다.

7.4. 영상과 음성 이해 평가

Video-MME(2024년 5월)는 이 길이 분포를 중심으로 만들어졌다. 900개 영상, 총 254시간 분량을 담고, 사람이 주석을 단 2,700쌍의 질문과 답을 포함한다. 6개 시각 영역과 30개 하위 분야에 걸치며, 11초부터 1시간까지의 클립을 다룬다. 프레임과 함께 자막과 음성을 제공하므로, 점수 중 각 트랙이 얼마나 기여하는지 측정할 수 있다. 영상이 실제로 쓰였는지를 가정하지 않아도 된다.

EgoSchema(2023년 8월)는 다른 방향에서 긴 영상을 공략한다. Ego4D에서 파생되었으며, 250시간이 넘는 영상에서 뽑은 3분짜리 클립에 대해 사람이 큐레이션한 5지선다 객관식 질문을 5,000개 넘게 담는다. 저자들은 클립 길이가 그 자체로 시간적 난이도를 재지 못한다고 주장하고, 과제가 실제로 요구하는 영상의 고유 길이를 담는 시간적 인증 집합(temporal certificate sets)을 도입한다. 이 기준에서 EgoSchema의 인증 길이는 다음으로 가까운 데이터셋의 5.7배를 넘고, 다른 데이터셋의 10배에서 100배다. 원래 평가에서 수십억 매개변수 규모 모델은 무작위 선택의 정답률이 20%인데도 33%에 못 미치는 점수를 받았고, 사람은 약 76%였다. 두 벤치마크는 같은 방법론적 요점을 서로 다르게 보여 준다. 프레임 속도, 해상도, 음성과 자막 제공 여부, 모델이 실제로 받은 프레임 수를 모르면 영상 점수는 해석할 수 없다.

8. 학습 목표

가장 단순한 목표는 라벨이 있는 결과를 맞히도록 모델을 학습시키는 것이다. 답 분류, 캡션 가능도, 음성 인식, 감성, 사건 탐지, 행동 예측이 그 예다. 감독은 융합 표현에 붙을 수도 있고 모달리티별 헤드나 결합 헤드에 붙을 수도 있다. 보조 단일 모달 손실은 유용한 전문 특징을 보존할 수 있지만, 교차 모달 목표가 상호작용을 요구하지 않으면 모델이 단일 모달 지름길을 최적화하게 만들 수 있다.

8.1. 대조 정렬

대조 학습은 짝이 맞는 교차 모달 표본을 맞지 않는 표본보다 더 비슷하게 만든다. 이미지-텍스트 배치에서 CLIP은 모든 쌍별 유사도를 계산하고, 이미지에서 텍스트로, 텍스트에서 이미지로의 교차 엔트로피 손실을 적용한다. SigLIP은 쌍을 시그모이드 손실로 다루며 배치 전체에 걸친 전역 소프트맥스를 요구하지 않는다. 양성과 음성의 구성은 방법의 일부다. 같은 장면의 두 캡션은 한 쌍만 양성으로 표시되었더라도 의미상 호환될 수 있고, 같은 사건의 두 이미지는 거짓 음성이 될 수 있다. 어려운 음성을 골라내면 미세한 차이에 학습을 집중시키지만 주석 오류도 키울 수 있다. 배치 크기, 온도, 샘플링, 중복 처리는 임베딩 기하가 무엇을 나타내는지 바꾼다.^14,16

쌍을 묻는 이진 매칭 손실은 두 입력이 함께 속하는지를 묻는다. 토큰-영역이나 단어-패치 손실은 더 세밀한 대응을 겨냥한다. UNITER는 이미지-텍스트 매칭을 마스킹 및 정렬 목표와 결합했고, ALBEF는 초기 대조 단계와 이후의 융합 및 매칭을 분리했다. 이 목표들은 그라운딩을 개선할 수 있지만, 주어진 짝에 정확한 국소 주석이 없을 수 있다. 전역 캡션은 단어마다 보이는 영역 하나가 대응한다고 말하지 않는다. 자기 지도 학습은 한 모달리티 이상의 일부를 가리고 숨은 내용을 복원하거나 예측하도록 학습시킬 수 있다. LXMERT와 UNITER는 마스크 언어 목표와 시각 목표를 사용했고, AV-HuBERT는 마스크된 시청각 군집 목표를 예측한다. 난이도는 마스크 패턴에 달려 있다. 인접 프레임이나 다른 모달리티가 답을 직접 드러내면, 낮은 손실은 추상적 추론이 아니라 중복을 재고 있을 수 있다. 재구성 목표도 대상이 다르다. 픽셀, 음향 특징, 이산 코드, 시각 영역 라벨, 교사 모델의 표현 중 무엇을 복원하느냐에 따라 서로 다른 불변성을 장려한다. '마스크 멀티모달 사전 학습'이라고만 보고하면 중요한 설계 선택이 숨겨진다.^11,12,17,21

8.2. 자기회귀 생성

자기회귀 디코더는 이전 토큰과 멀티모달 문맥을 조건으로 다음 토큰을 예측한다. 캡셔닝, 질의응답, 전사, 행동 토큰 예측이 모두 이렇게 표현될 수 있다. 「Show and Tell」, Flamingo, RT-2는 서로 다른 영역에서 이 일반 패턴을 쓴다. 이미지가 이산 토큰으로 양자화되면 같은 목표가 이미지 출력에도 적용된다. Chameleon이 이미지를 생성하는 방식과 Gemini 1.0이 설명한 네이티브 이미지 출력이 그 예다. 양자화는 공짜가 아니다. 코드북이라는 제약을 부과하며, Transfusion 저자들은 이미지 데이터를 연속적으로 유지하고 확산 손실을 적용하는 편이 이미지를 토큰화해 자기회귀로 예측하는 것보다 잘 확장된다고 보고했다.^{4,9,24,27,31,32}

학습 중 교사 강제(teacher forcing)는 이전 정답 토큰을 제공하고, 추론 시에는 모델 자신의 출력을 조건으로 쓴다. 이 차이는 초기 오류를 누적시킬 수 있다. 유창한 디코더는 언어 사전 지식에 크게 기대기도 하므로, 가능도만으로는 그라운딩을 충분히 재지 못한다.

확산 목표는 데이터를 훼손하고 모델이 훼손을 되돌리도록 학습시킨다. 잠재 확산에서는 인코더가 이미지를 압축하고, 잡음 제거 모델이 잠재 공간에서 작동하며, 크로스 어텐션으로 텍스트 조건을 넣을 수 있다. 이 목표는 둘 다 텍스트와 이미지를 쓰더라도 대조 정렬과 같지 않다. 텍스트 인코더, 디노이저, 이미지 디코더는 각각 따로 학습된 이력을 가질 수 있다. 두 목표는 한 네트워크 안에서 배타적이지 않다. Transfusion은 같은 트랜스포머 안에서 텍스트 토큰에는 언어 모델링 손실을, 이미지 패치에는 확산 손실을 적용하며, 이미지 패치를 한 번에 하나씩이 아니라 병렬로 처리한다. 따라서 이런 시스템을 자기회귀나 확산 기반이라고만 부르면 불완전하다. 시퀀스의 어느 부분에 어떤 손실이 적용되는지를 말해야 한다.^23,32

멀티모달 시스템은 종종 다른 모델이 만든 감독 신호를 재사용한다. ALBEF는 모멘텀 증류를 쓰고, BLIP은 잡음 있는 웹 이미지의 캡션을 생성하고 걸러 낸다. 이런 부트스트래핑은 쓸 수 있는 데이터를 늘리지만 교사 모델의 오류를 물려받고 언어의 다양성을 좁힐 수 있다. 시각 지시 튜닝은 이미지-언어 예시를 사용자 지시와 응답의 형태로 만들어, 언어 모델 기반 시스템이 대화형 과제 행동을 배우게 한다. LLaVA가 초기의 문서화된 예다. 지시 튜닝은 모델이 요청을 따르는 방식을 바꾸지만, 그 자체로 시각적 그라운딩이나 사실 정확성의 독립적 증거는 아니다.^6,17,18

9. 데이터와 정렬

9.1. 짝 구성 방식

멀티모달 데이터는 여러 방식으로 구성할 수 있다.

• 명시적 짝: 이미지와 사람이 쓴 캡션처럼 짝이 분명한 경우다.
• 약한 짝: 이미지와 근처의 웹 텍스트처럼 관계가 불확실한 경우다.
• 인터리브 시퀀스: 이미지 여러 장과 문단이 섞인 웹페이지처럼 한 문서 안에서 여러 모달리티가 교차하는 경우다.
• 시간 동기화 스트림: 함께 녹음된 음성과 영상처럼 시간축이 맞춰진 경우다.
• 묶인 관측: 같은 사건에서 얻은 카메라, 깊이, 열화상, 관성 측정값이다.
• 과제 시연: 멀티모달 입력이 지시와 응답에 짝지어진 경우다.

짝 구조는 모델이 배울 수 있는 것을 제한한다. 전역 이미지-캡션 쌍은 넓은 의미 정렬을 지원하지만 정확한 영역-단어 대응에는 약한 증거만 준다. 타임스탬프가 붙은 음성과 영상은 시간 정렬을 지원하지만 녹음 지연과 서로 다른 표본 속도를 처리해야 한다. 인터리브 문서는 한 쌍을 넘는 문맥을 주지만, 어느 문단이 어느 이미지를 가리키는지에 불확실성을 더한다.

인터리브 데이터는 과거보다 더 중요해졌다. 네이티브 멀티모달 사전 학습이 이를 직접 소비하기 때문이다. Meta는 조기 융합이 Llama 4를 대량의 비라벨 텍스트, 이미지, 영상 데이터로 공동 사전 학습할 수 있게 하는 속성이라고 설명하고, Google은 Gemini가 텍스트, 이미지, 영상, 음성의 인터리브 시퀀스로 처음부터 학습되었다고 설명한다. 깨끗한 캡션 쌍의 말뭉치는 그 대체재가 아니다. 인터리브 형식이 모델에게, 이미지가 이미 읽은 문단을 거슬러 가리킬 수 있다는 점을 가르치기 때문이다. 정렬에는 수준이 있다. 데이터셋 수준 정렬은 출처가 비슷한 영역을 다루는지를 말하고, 예시 수준 정렬은 두 기록이 대응하는지를, 구간 수준은 순간이나 영역을, 토큰 수준은 세밀한 요소를 연결한다. 예시 수준 대조 손실로만 학습한 모델이 토큰 수준 그라운딩을 배웠다고 가정해서는 안 된다. 세분성은 부정 예시에도 영향을 준다. 캡션은 이미지 전체에는 틀렸지만 한 영역에는 맞을 수 있고, 문장은 영상의 다른 곳에서 일어난 사건을 묘사할 수 있다. 평가는 주장하는 능력의 해상도와 맞아야 한다.^27,30

9.2. 잡음과 불완전한 설명

웹에서 얻은 캡션과 대체 텍스트는 중복되거나, 홍보성이거나, 접근성이 낮거나, 보이는 내용과 무관할 수 있다. 이미지-텍스트 쌍은 사람, 물체, 글자, 문맥을 빠뜨릴 수 있다. 필터링은 명백한 잡음을 제거할 수 있고, 캡션 생성은 약한 텍스트를 대체하거나 보완할 수 있다. BLIP의 캡션 생성과 필터링 접근이 문서화된 한 전략이다. 결과물은 여전히 모델이 매개한 데이터이며 정답 데이터가 아니다.¹⁸

잡음 있는 라벨은 규모와 맞물린다. ALIGN은 제시된 설정에서 10억 개가 넘는 잡음 섞인 쌍으로도 유용한 표현을 학습할 수 있음을 보여 주었다. 그렇다고 잡음이 무해하다거나 데이터 큐레이션이 중요하지 않다는 뜻은 아니다. 정확성, 인구 집단 범위, 라이선스, 개인정보, 중복, 출처 추적은 서로 다른 데이터 품질 차원이다.¹⁵

실제 시스템은 빈 이미지, 무음 음성, 실패한 센서, 잘린 문서, 늦게 도착하는 모달리티를 만난다. 완전한 예시로만 학습하면 모델이 취약해질 수 있다. 모달리티 드롭아웃, 학습된 마스크, 불확실성을 고려한 게이트, 단일 모달 대체 경로가 가능한 대응이다. u-HuBERT는 음성과 시각 음성 입력에 모달리티 드롭아웃을 적용한다. 누락은 늘 무작위가 아니다. 카메라는 어두우면 실패하고, 음성은 개인정보 때문에 억제될 수 있으며, 어떤 집단에서는 메타데이터가 없을 수 있다. 균일한 무작위 마스크에서의 성능은 견고성을 과대평가할 수 있으므로, 평가는 그럴듯한 누락 메커니즘을 재현해야 한다. 모달리티끼리 충돌할 수도 있다. 캡션이 이미지와 모순되거나, 전사문이 음성을 잘못 들었거나, 두 센서가 어긋날 수 있다. 한 모달리티를 항상 믿으면 위험하고, 단순 평균은 충돌을 가릴 수 있다. 중요한 결정에 쓰이는 시스템은 불일치를 탐지하고 출처를 보존하며 불확실성을 드러내야 한다. 모든 충돌을 자신 있는 융합 답으로 바꾸어서는 안 된다.²²

10. 과제와 응용

교차 모달 검색은 한 모달리티로 다른 모달리티를 찾는다. 텍스트 질의로 이미지를 찾거나 이미지에 대한 설명을 찾는 식이다. 듀얼 인코더는 후보 임베딩을 질의 전에 미리 계산해 색인할 수 있으므로 잘 맞는다. 검색 평가는 흔히 맞는 항목이 얼마나 높은 순위에 있는지를 재지만, 결과는 후보 풀과 관련성의 정의에 달려 있다.

제로샷 분류는 자연어 클래스 설명을 비교 대상으로 쓴다. CLIP은 여러 이미지 데이터셋에서 이 패턴을 보였다. 결과는 프롬프트 표현, 클래스 어휘, 데이터셋 이동, 사전 학습 데이터와 평가셋의 관계에 따라 달라진다. 사전 의미 노출이 전혀 없는 상태에서 새 범주를 학습하는 것과는 같지 않다.¹⁴

10.1. 캡션과 시각 질의응답

이미지 캡셔닝은 시각 입력의 텍스트 설명을 만든다. 번역과 그라운딩을 시험하지만 유효한 출력은 열려 있다. 짧은 캡션은 세부를 빠뜨릴 수 있고, 긴 캡션은 근거 없는 물체를 넣을 기회가 더 많다. 참조 문장과의 겹침과 이미지와의 호환성은 서로 다른 성질을 잰다. 시각 질의응답은 이미지와 질문에 조건화된 답을 만든다. 일부 질문은 이미지를 보지 않고 언어 사전 지식만으로 답할 수 있다. VQA v2는 비슷한 질문이지만 답이 다른 상보적 이미지 쌍을 도입해 이 지름길을 줄였다. 그래도 성능은 질문 형식, 답 어휘, 시각 세부, 주석 관행에 따라 달라질 수 있다.³⁶

문서, 차트, 도표 질문은 레이아웃, 광학 문자 인식, 기호 표기, 공간 관계를 더한다. 모델은 글자를 정확히 추출하고도 관련 표식과 연결하지 못하거나, 차트의 눈금을 잘못 읽은 채 추론할 수 있다. 가능하면 인지, 정렬, 추론 오류를 구분해 평가해야 한다.

Donut(2021년)은 광학 문자 인식 단계를 제거할 수 있음을 보인 초기 시연이다. 저자들은 읽기를 기성 엔진에 맡길 때의 세 가지 비용을 든다. 소비하는 계산량, 언어와 문서 유형에 따른 경직성, 그리고 오류가 뒤의 모든 단계로 전파된다는 점이다. Donut은 교차 엔트로피 목표로 학습한 트랜스포머로 문서 이미지를 구조화된 출력에 직접 사상한다. 논문은 당시 시각 문서 이해 과제에서 속도와 정확도 모두 최고 수준의 결과를 보고했고, 여러 언어와 영역에 걸친 사전 학습을 위한 합성 데이터 생성기도 제시했다.

렌더링된 화면도 관련 모달리티이지만 관례가 다르며, 과제는 추출이 아니라 제어다. UI-TARS(2025년 1월)는 스크린샷만 입력으로 받고 키보드와 마우스 동작을 내는 그래픽 인터페이스 에이전트다. 상업 모델을 둘러싼 프롬프트 골격으로 조립하지 않고 종단 간으로 학습되었다. 저자들은 자체 평가에서 OSWorld 50단계 예산일 때 24.6, 15단계일 때 22.7, AndroidWorld에서 46.6을 보고한다. 화면 이해는 작은 글자와 조밀한 배치라는 문서 읽기의 실패 양상과, 잘못 잡힌 클릭이 결과를 낳는 제어의 실패 양상을 함께 가진다. 더 넓은 범주는 컴퓨터 사용 에이전트 항목을 참고한다.

이 과제들은 이미지 입력이라는 말이 너무 거친 설명이라는 점을 보여 준다. 사진, 스캔한 청구서, 차트, 스크린샷은 모두 이미지지만 서로 다른 해상도, 토큰 예산, 오류 분석을 요구한다.

10.2. 조건부 미디어 생성

텍스트-이미지 모델은 언어에 조건화된 시각 출력을 만든다. 관련 과제로 텍스트 안내 편집, 이미지 조건 변형, 텍스트에서 음성 생성, 프롬프트에서 영상 생성이 있다. 조건과 출력이 서로 다른 표현 영역에 있으므로 이 과제들은 멀티모달이다. 생성기가 모듈식 인코더와 디코더로 만들어졌더라도 마찬가지다. 유용한 평가는 조건 준수, 출력 품질, 다양성, 안전성, 출처, 의도한 용도에 맞춘 사람의 평가를 포함한다. 사실적인 샘플도 프롬프트를 어길 수 있고, 프롬프트에 맞는 샘플도 글자나 기하가 일그러질 수 있다. 하나의 스칼라 지표로는 이 속성을 모두 나타낼 수 없다.

출처 표시는 연구 주제에서 제품 기능으로 옮겨 왔다. Meta는 Muse Image의 이미지에 Content Seal이라는 보이지 않는 워터마크가 들어간다고 밝혔고, OpenAI는 생성 후 분류기 기반 출력 차단을 설명한다. 둘 다 생성된 미디어를 하류에서 믿을 만하게 탐지할 수 있다는 주장은 아니다. 생산자가 생성 시점에 무엇을 붙이거나 차단하는지에 관한 주장이며, 출처를 다룰 때 이 구분이 중요하다.^33,34

소리가 시끄러울 때 음성 인식은 입술 움직임을 쓸 수 있다. 두 스트림은 관계가 도움이 될 만큼 밀접하게 동기화되어야 한다. AV-HuBERT와 u-HuBERT가 이 설정에서 마스크 사전 학습과 모달리티 누락 처리를 보여 준다. 영상-언어 과제에는 시간 검색, 영상 질의응답, 사건 설명, 인터리브 시연 따르기가 포함된다. 모델은 어느 프레임이나 구간이 중요한지 고르고, 시간 순서와 시각적 동시 출현을 구분해야 한다. 너무 드물게 샘플링하면 짧은 근거를 놓칠 수 있고, 촘촘히 샘플링하면 시퀀스 길이와 비용이 늘어난다.^21,22

모든 멀티모달 능력이 한 네트워크 안에 있는 것은 아니다. HuggingGPT(2023년 3월)는 언어 모델을 제어기로 쓴다. 사용자 요청에서 과제를 계획하고, 허브에 게시된 기능 설명에 따라 모델을 고르고, 각 하위 과제를 선택된 모델로 실행한 뒤 결과를 요약한다. 이 시스템은 멀티모달이지만, 그 안의 어느 구성 요소도 그렇지 않다. 이 패턴은 교체를 쉽게 하고 오류 원인을 비교적 명확하게 한다. 대신 앞서 설명한 결정 수준 설계의 한계를 물려받는다. 제어기가 넘기지 않은 정보는 나중 단계에서 복구할 수 없고, 단계마다 지연이 더해지며, 하위 과제의 언어 설명이 모든 교차 모달 근거가 통과해야 하는 병목이 된다. 각 모달리티에 성숙한 전문 모델이 있고 과제가 깔끔하게 나뉠 때는 합리적이지만, 어떤 전문가도 볼 수 없는 관계에 답이 달려 있을 때는 나쁜 설계다.

10.3. 센서 융합과 로보틱스

센서 융합 모델은 카메라, 깊이, 열 감지, 위치, 관성 측정 같은 신호를 결합한다. 각 센서는 고유한 범위, 보정, 지연, 고장 조건을 가진다. 흐름이 상보적일 때 융합은 커버리지를 넓힐 수 있지만, 학습과 배포 파이프라인이 보정과 시간 정보를 보존할 때만 가능하다. 로보틱스에서는 멀티모달 입력을 행동과 연결할 수 있다. RT-2는 행동을 토큰으로 표현하고 로봇 궤적 데이터를 시각-언어 과제와 공동 미세 조정한다. 이것만으로 로봇에 언어 모델 평가가 충분해지지는 않는다. 물리적 배포에는 제어 안정성, 지연, 복구 행동, 분포 이동 아래의 안전성 시험도 필요하다.²⁴

이후 시스템은 같은 기본 형태를 유지하면서 소비하고 내놓는 것을 바꾼다. Google DeepMind의 온디바이스 구성원인 Gemini Robotics 2의 모델 카드(2026년 7월 30일 게시)는 온디바이스 Gemma 모델에 기반한 시각-언어-행동 모델로, 텍스트 지시와 로봇 자신의 시점 이미지, 수치형 자기 수용 감각 데이터를 받고 수치형 로봇 행동 값을 출력한다고 설명한다. Generalist AI는 2026년 4월 2일 GEN-1을 발표하며 실시간 로봇 운용을 위한 대형 멀티모달 모델이라고 소개했다. 저비용 웨어러블 기기로 수집한 사람 활동 기록으로 주로 사전 학습하고, 과제당 약 1시간 분량의 로봇 데이터로 새 로봇과 과제에 맞춘다고 한다. Mistral AI는 2026년 7월 Robostral Navigate를 발표했다. 하나의 RGB 카메라 이미지와 자연어 지시를 받아 항법 결정을 내는 80억 매개변수 비전 언어 모델이며, 다중 센서 하드웨어를 피하는 방법으로 제시된다. 이들은 개발사 자체 설명이며, 앞서 말한 공개 범위 주의 사항이 여기에도 같게 적용된다.

자기 수용 감각(proprioception)은 여기서 말하는 모달리티의 한 가지로 다뤄야 한다. 자기 고유의 단위, 표본화 속도, 고장 양상을 가진 별개의 정보 흐름이며, 모델은 이를 시각과 언어에 연결해야 한다.

11. 평가

11.1. 주장하는 능력에서 시작하기

평가는 입력 모달리티, 출력, 허용된 문맥, 적응 방식, 성공 기준을 명시하는 데서 시작해야 한다. '멀티모달 정확도'는 하나의 속성이 아니다. 검색 재현율, 캡션 합의도, 질의응답 정확도, 잡음 제거 품질, 음성 오류율, 로봇 성공률은 서로 다른 것을 잰다. 프로토콜은 고정 평가, 선형 프로빙, 과제별 미세 조정, 퓨샷 프롬프팅, 전체 학습을 구분해야 한다. 이 설정들을 조건 없이 비교하면 추가 라벨, 데이터, 적응에서 생긴 이득을 아키텍처 덕분으로 잘못 돌리게 된다. 스트리밍과 영상 시스템에서는 두 변수를 더 넣어야 한다. 모델이 답하기 전에 입력을 얼마나 볼 수 있었는지, 시각 트랙을 어떤 프레임 속도와 해상도로 보았는지다. 같은 벤치마크라도 한 모델이 16프레임을, 다른 모델이 600프레임을 받았다면 두 점수는 비교할 수 없다.

11.2. 모든 모달리티가 중요한지 검사

멀티모달 모델은 입력 하나를 무시하고도 높은 점수를 받을 수 있다. 유용한 검사는 다음과 같다.

• 각 모달리티를 하나씩 제거한다.
• 제거한 모달리티를 잡음, 빈 입력, 무관한 표본으로 바꾼다.
• 짝을 섞되 주변 분포는 유지한다.
• 한 모달리티만 바뀌는 반사실적 짝을 만든다.
• 서로 모순되는 모달리티를 제시하고 어느 쪽이 우세한지 살핀다.
• 완전한 입력, 부분적으로 누락된 입력, 자연스럽게 누락된 입력을 평가한다.
• 비슷한 용량의 강한 단일 모달리티 기준선과 비교한다.

이미지를 섞은 뒤에도 성능이 그대로라면 이미지-질문 벤치마크는 시각 의존성을 보여 주지 못하는 것이다. 특정 모달리티가 사라질 때만 실패한다면, 배포 계획에 대체 경로를 두거나 그 모달리티가 항상 있어야 한다는 요건을 넣어야 한다.

11.3. 이미지 없이 답할 수 있는 벤치마크

앞의 검사는 이론적인 위생 점검이 아니다. Chen과 동료들은 2024년 초에 흔히 쓰이던 멀티모달 벤치마크에 이 검사를 적용해 두 가지 문제를 찾았다. 첫째는 많은 샘플에 시각 내용이 필요 없다는 점이다. 답은 질문, 답지, 또는 언어 모델 안의 세계 지식으로 추론될 수 있다. 대표 사례로 Gemini Pro는 시각 입력 없이 MMMU에서 42.9%를 기록했고, 텍스트만 평가한 결과가 여섯 벤치마크 평균에서 무작위 선택 기준선을 24점 넘게 앞섰다. 둘째는 의도하지 않은 학습 데이터 누출이다. 모델이 문항을 기억하고 있어서 시각에 의존하는 질문도 이미지 없이 맞히는 경우다. Sphinx-X-MoE는 이미지 없이 MMMU에서 43.6%를 얻었고, 이는 자기 언어 모델 백본보다 17.9점 높았다.

이에 대응해 저자들은 MMStar를 공개했다. 자동 파이프라인과 사람의 검토를 거쳐 고른 1,500개 샘플로, 시각 의존적이고 누출이 적으며 실제 멀티모달 능력을 요구하도록 선별했다. 6개 핵심 능력과 18개 세부 축을 포함하며, 누출과 실제 멀티모달 이득을 재는 두 지표가 함께 제공된다. MMMU-Pro(2024년 9월)는 같은 문제의식으로 MMMU를 세 단계로 재구성했다. 텍스트만으로 답할 수 있는 문항을 걸러 내고, 추측을 어렵게 하도록 선택지를 늘리고, 문제 자체를 이미지 안에 렌더링한 시각 전용 설정을 추가했다. 보고된 점수는 원래 MMMU보다 16.8점에서 26.9점 낮아졌다.³⁷

두 결과는 같은 방향을 가리킨다. 텍스트 전용 기준선은 멀티모달 벤치마크의 선택 사항이 아니라, 없으면 보고된 점수를 멀티모달 능력에 귀속할 수 없게 만드는 필수 검사다. 같은 논리가 다른 모달리티에도 적용된다. 영상 벤치마크에는 프레임을 제거한 기준선이, 시청각 벤치마크에는 음성만과 영상만의 기준선이 필요하다.

11.4. 과제별 지표

캡셔닝은 여러 지표가 필요한 이유를 보여 준다. CIDEr는 가중 n-gram 유사도로 사람이 쓴 참조 캡션과의 합의를 잰다. CLIPScore는 참조 캡션 없이 이미지와 후보 캡션 사이의 호환성을 잰다. 어느 지표도 언급된 모든 물체가 실제로 존재한다거나 캡션이 특정 독자에게 유용하다는 것을 직접 증명하지 않는다.

질의응답 벤치마크는 정확 일치, 객관식 정확도, 주석자 간 합의 규칙을 쓸 수 있다. 검색은 흔히 순위의 재현율이나 중앙 순위를 보고한다. 생성은 분포, 지각, 선호, 조건 일관성 측정을 쓸 수 있다. 로보틱스는 과제 완료와 안전 결과가 필요하다. 지표는 데이터셋 버전, 전처리, 프롬프트, 디코딩 설정과 함께, 해당되는 경우 신뢰 구간이나 반복 실행의 변동과 함께 보고되어야 한다.

11.5. 진단용 벤치마크

Winoground는 캡션 어휘를 고정한 채 어순과 시각 관계를 바꾼다. 원 논문에서 평가된 모델은 거의 무작위 수준의 성능을 보였다. SugarCrepe는 이전 조합성 벤치마크에서 모델이 아티팩트를 활용할 수 있다는 증거에서 출발했고, 적대적 다듬기로 그런 지름길을 줄인다. MMMU는 11,500개 문항, 30개 주제, 다양한 이미지 유형을 담는다. 이런 세부 사항은 원래 벤치마크 설계를 설명할 뿐 영구적인 순위표가 아니다. 벤치마크는 너무 많이 풀리면 쓸모를 잃기도 한다. ZeroBench(2025년 2월)는 적대적 필터링으로 출시 시점의 최전선 모델이 풀 수 없도록 만들었고, 저자들은 초기 최고 점수가 pass@1과 pass^5 모두 0%였다고 보고했다. 이후 1년 동안의 추적에서 최고 성능은 pass^5 6%, pass@5 19%에 이르렀으며, 평가된 모델은 46개였다. 이렇게 만든 벤치마크는 분야 상위권에 대해 더 오래 정보를 주지만, 중간 수준에 대해서는 아무것도 알려 주지 않는다.^38,39,40

11.6. 환각과 그라운딩

멀티모달 환각은 과제에 상대적으로 정의해야 한다. 캡셔닝에서 객체 환각은 이미지가 뒷받침하지 않는 물체를 언급하는 것이다. CHAIR는 이 실패를 재려고 도입되었고, 표준 캡션 지표가 이를 놓칠 수 있음을 보였다. POPE는 물체가 있는지 묻는 질문으로 대형 시각-언어 모델의 객체 환각을 평가한다. 다른 그라운딩 실패로는 문서에 만들어 낸 글자, 잘못된 공간 관계, 근거 없는 시간적 사건, 언어 사전 지식에서 베낀 답이 있다.

개방형 생성은 유창성이나 답변 선호가 아니라 입력에 대한 주장 단위의 검사가 필요하다. 사람 평가자는 원래 모달리티에 접근할 수 있어야 하고, 근거 없는 내용과 무해한 생략을 구분하는 기준을 가져야 한다. 입력이 길어지면 오류 유형도 늘어난다. 초당 1프레임으로 샘플링한 1시간 영상에서 모델은 사건을 잘못된 분에 귀속하거나, 시각적으로 비슷한 두 장면을 합치거나, 샘플링이 전달하지 않은 구간에 대해 답할 수 있다. 마지막 경우는 보통의 의미에서 환각이 아니다. 근거가 모델에 닿기 전에 전처리 파이프라인에서 제거된 것이므로, 오류율과 함께 프레임 예산을 보고할 이유가 된다.

11.7. 견고성, 보정, 효율

견고성은 모달리티별로, 그리고 모달리티 사이의 상호작용별로 따로 평가해야 한다. 이미지 손상, 텍스트 변형, 음성 잡음, 시간 오프셋, 센서 탈락은 서로 바꿔 쓸 수 없다. 네 가지 시각-언어 데이터셋에서 11개 적응 방법을 96개 시각 손상과 87개 텍스트 손상으로 검사한 연구는, 시험에서 텍스트 손상에 더 민감했다고 보고했다. 또한 적응 예시를 늘리거나 학습 가능한 파라미터를 늘린다고 견고성이 보장되지는 않았다. 신뢰도는 근거가 없거나 충돌할 때 시험해야 한다. 깨끗하고 완전한 예시에서 잰 보정은 한 스트림이 손상되면 유지되지 않을 수 있다. 억지로 답하기보다 선택적 예측, 기권, 전문 모델로의 라우팅이 더 유용할 수 있다.

효율 보고는 매개변수 수, 학습 가능한 매개변수 수, 입력 토큰 수, 연산량, 최대 메모리, 처리량, 지연 시간, 에너지를 나눠야 한다. 고정된 언어 모델이 전체 매개변수의 대부분을 차지하는 반면, 새로 학습되는 부분은 작은 연결 장치가 지배할 수 있다. 잠재 병목은 후속 어텐션 비용을 줄일 수 있지만 시각 인코더는 여전히 비쌀 수 있다. 스트리밍 시스템에서는 첫 토큰이나 첫 패킷 지연이 전체 생성 시간과 별개의 수치이며, 둘은 반대 방향으로 움직일 수 있다. 비교는 호환되는 하드웨어, 정밀도, 배치 크기, 해상도, 길이, 디코딩 설정에서만 의미가 있다.

12. 한계와 실패 양상

12.1. 모달리티 지배와 지름길

모델은 한 모달리티가 보통 라벨을 예측한다고 배우고 나머지를 무시할 수 있다. 시각 질의응답의 언어 사전 지식은 잘 문서화된 예이며, VQA v2는 이를 일부 막기 위해 설계되었다. 지배는 데이터셋에 따라 뒤집히기도 한다. 눈에 띄는 물체가 있으면 질문이 무관해지거나, 깨끗한 음성이 있으면 영상이 필요 없어질 수 있다. 지름길 사용은 종합 정확도에서 늘 보이지는 않는다. 예시별 귀속, 모달리티 제거, 균형 잡힌 반사실적 예, 충돌 검사로 드러낼 수 있다. 구조가 대칭이라고 행동이 균형 잡혀 있다는 보장은 없다. 신호 품질과 감독이 여전히 비대칭일 수 있기 때문이다.³⁶

12.2. 학습 중 모달리티 불균형

문제는 추론 시의 지름길보다 앞선 최적화 단계에서도 나타난다. Wang, Tran, Feiszli는 멀티모달 네트워크가 엄밀히 더 많은 정보를 받고도 자기 최선의 단일 모달리티 대응 모델보다 낮은 성능을 낼 수 있음을 발견했고, 여러 모달리티 조합과 여러 영상 분류 벤치마크에서 이를 보고했다. 원인으로 두 가지를 든다. 멀티모달 네트워크는 용량이 커서 더 쉽게 과적합하며, 모달리티마다 과적합과 일반화 속도가 달라서 단일 공동 최적화 일정이 최적이 아니다. 제안된 해법인 Gradient-Blending은 측정된 과적합 행동으로부터 모달리티의 블렌딩을 계산한다.

이 문제는 아키텍처 문제가 아니라 학습 역학의 문제이므로, 아키텍처가 바뀌어도 살아남는다. 네이티브 멀티모달 모델의 규모 연구가 전문가 혼합 층의 이득을 보고하는 이유 중 하나이기도 하다. 라우팅은 모든 매개변수가 모든 모달리티를 섬기도록 강제하는 대신 모델이 모달리티별 가중치를 학습하게 한다. 결합 손실만 보면 한 분기가 이미 개선을 멈췄는데도 곡선이 건강해 보일 수 있으므로, 결합 곡선만이 아니라 모달리티별 검증 곡선을 보고해야 한다.²⁶

12.3. 미세한 공간 지각과 세기

대형 멀티모달 모델은 사람에게 사소한 저수준 시각 과제에서 여전히 약하다. Rahmanzadehgervi와 동료들은 두 원이 겹치는지 판단하거나 두 선이 몇 번 교차하는지 세는 과제 등 일곱 가지로 구성된 BlindTest를 만들었다. 당시 모델 네 개의 평균은 58.07%였고, 가장 좋은 Claude 3.5 Sonnet은 77.84%였다. 사람의 기대 정확도는 100%다. 기하 요소가 겹치거나 가까울 때는 이미지 해상도와 선 굵기를 바꿔도 성능이 나빴다. 선형 프로빙 분석은 시각 인코더가 과제를 풀 만큼의 정보를 담고 있으며, 실패는 그 정보를 답으로 바꾸는 단계에 있음을 시사했다. 그래서 개정된 제목은 모델이 세부 시각 특징을 말로 옮기지 못한다고 설명한다.

이 구체적 수치는 2024년 중반의 것이며 당시 시험된 모델에만 해당한다. 세기, 정밀한 공간 관계, 미세 기하 판별이라는 실패 종류는 개별 점수보다 오래 살아남았다. 이 결과는 앞선 아키텍처 논의와도 맞닿는다. 인코더가 근거를 가지고 있는데 언어 모델이 그것을 꺼내지 못한다면 병목은 둘 사이의 인터페이스다. 어댑터 방식은 그 인터페이스를 고정하고, 네이티브 사전 학습은 그것을 학습 가능한 상태로 남겨 둔다.

12.4. 모달리티 간극

대조적으로 정렬된 이미지와 텍스트 임베딩은 같은 분포를 차지할 필요가 없다. '모달리티 간극'에 관한 연구는 시험된 대조 모델에서 이미지와 텍스트 임베딩이 분리된 좁은 영역을 점유한다는 점을 밝히고, 이 효과를 초기화와 대조 최적화에 연결했다. 유사도는 검색에서 여전히 작동하지만, 이 기하 구조는 보간, 전이, 공정성, 완전한 분포 중첩을 가정하는 방법에 영향을 줄 수 있다. 간극을 닫는 것이 자동으로 이로운 것은 아니다. 일부 분리는 모달리티별 정보를 보존할 수 있다. 바람직한 기하는 다운스트림 과제가 비교, 융합, 생성, 모달리티별 식별 중 무엇을 필요로 하는지에 따라 달라진다.

12.5. 누락과 분포 이동

멀티모달 모델은 기대되는 입력이 모두 존재하는 상태로 평가되는 경우가 많다. 배포에서는 센서가 고장 나고 사용자 입력도 다양하다. 통제된 실험은 멀티모달 Transformer가 누락 입력에 민감할 수 있으며 가장 좋은 융합 설계가 데이터셋마다 다르다는 것을 발견했다. 모달리티 드롭아웃 학습은 도움이 될 수 있지만 구조화된 모든 실패를 덮지는 못한다. 분포 이동은 한 모달리티만, 또는 두 모달리티의 관계만 건드릴 수 있다. 새 카메라는 이미지 통계를 바꾸지만 텍스트는 그대로일 수 있고, 새 캡션 관행은 이미지를 바꾸지 않고 언어만 바꿀 수 있다. 음성과 영상은 각각 익숙하더라도 서로 어긋날 수 있다. 따라서 최종 출력만 모니터링하는 것보다 각 스트림과 그 대응 관계를 모니터링하는 것이 더 많은 정보를 준다.²⁵

12.6. 잡음 있는 정렬과 잘못된 확신

약하게 짝지어진 데이터는 함의가 아니라 상관관계를 가르친다. 이미지와 연결된 캡션이 화면 밖의 문맥을 언급할 수 있다. 웹페이지는 이미지 근처에 무관한 텍스트를 둘 수 있다. 전사문은 그대로 인용하지 않고 요약할 수도 있다. 이런 데이터로 학습한 모델은 그럴듯한 연관을 배우고, 근거 없는 확신을 붙여 제시할 수 있다. 필터링, 재캡션, 더 강한 매칭 손실은 일부 잡음을 줄이지만 그 자체로 선택 효과를 낳는다. 데이터 문서에는 출처, 짝짓기 과정, 필터, 중복 제거, 합성 기여분, 제외된 내용을 기록해야 한다.

12.7. 편향과 고르지 않은 성능

편향은 모든 모달리티와 짝짓기 과정, 과제 라벨에서 들어올 수 있다. MMBias는 14개 인구 집단 하위 그룹을 다루는 약 3,800개의 이미지와 문구를 담고, CLIP, ALBEF, ViLT의 편향을 평가하는 데 쓰였다. 연구는 특정 집단에 유리한 의미 있는 편향을 보고했다. 텍스트 어휘가 균형 잡혀 있어도 이미지가 균형 잡혀 있다고 보장되지 않으며, 주변 분포가 균형 잡혀 있어도 이미지-텍스트 조합이 균형 잡혀 있다고 보장되지 않는다. 평가는 관련 하위 그룹과 교차 집단을 보고하고, 고정관념적 연관을 검사하며, 누락이나 저품질 입력이 집단마다 다르게 영향을 주는지 시험해야 한다. 한 인코더의 편향 완화가 융합이나 생성 뒤에도 살아남는다는 보장은 없다. 의도한 용도가 필요한 하위 그룹 분석과 피해 분석의 범위를 정한다.

12.8. 환각과 충돌 해결

언어 디코더는 그럴듯한 시퀀스를 만들도록 최적화되어 있으므로, 시각이나 음향 근거와 접촉을 잃은 뒤에도 유창하게 이어 쓸 수 있다. 추가 멀티모달 문맥은 새로운 실패 양상도 낳는다. 시스템은 이미지보다 잘못된 캡션을 믿거나, 서로 모순되는 출처를 결합하거나, 인터리브 시퀀스의 앞선 이미지에 있던 세부를 인용할 수 있다. 그라운딩 손실, 검색 지원, 제약 디코딩, 검증 모델, 선호 튜닝은 가능한 개입이지만 어느 것도 과제별 평가의 필요를 없애지 못한다. '환각이 없다'는 주장은 정의된 오류 종류와 시험 분포에 묶이지 않으면 지나치게 넓다.

12.9. 이미지와 음성 입력이 낳는 안전 노출

이미지와 음성을 입력으로 받으면 텍스트 필터를 우회하는 채널이 열리므로, 능력 면만큼 공격 면도 넓어진다. 가장 단순한 형태는 최적화가 전혀 필요 없다. CLIP의 멀티모달 뉴런을 다룬 Distill 연구는 사과에 손으로 쓴 'iPod'라는 라벨을 붙이면 모델이 사과를 iPod으로 분류하게 만들 수 있고, 손글씨 텍스트 사진만으로도 충분한 경우가 많다고 보였다. 저자들은 이를 타이포그래픽 공격이라 부르며, 필요한 것은 펜과 종이 정도라고 지적했다. 메커니즘은 모델의 강점 자체다. 형식을 가로질러 개념에 반응하는 뉴런은 그려진 물체와 다른 물체를 가리키는 글자를 구분하지 못한다.

더 강한 형태는 이미지를 명령의 운반체로 만든다. Bagdasaryan과 동료들은 선택한 프롬프트에 해당하는 적대적 섭동을 만들어 이미지와 음성 녹음에 섞었다. 사용자가 섭동된 파일에 대해 질문하면, 섭동은 모델이 공격자가 고른 텍스트를 출력하고 대화의 나머지 동안 공격자의 지시를 따르도록 유도한다. 이 공격은 LLaVA와 PandaGPT에서 시연되었다. 섭동이 필요 없는 방법도 있다. Nagaraja와 동료들은 블랙박스 이미지 기반 프롬프트 인젝션 파이프라인을 설명한다. 지시를 평범한 사진 안에 렌더링된 글자로 넣으며, 분할 기반 영역 선택, 적응형 글자 크기, 배경 인식 렌더링을 써서 사람에게는 눈에 띄지 않으면서 모델은 읽을 수 있게 한다. COCO 이미지에서 프롬프트 전략 12개와 여러 임베딩 설정으로 GPT-4-turbo를 상대로 평가했고, 그들의 은밀성 제약 아래에서 최대 64%의 공격 성공률을 보고했다.

이 종류는 텍스트 프롬프트 인젝션과 구조적으로 다른 세 가지 성질이 있다. 페이로드는 사람 검토자가 자세히 읽지 않거나 아예 읽지 않는 채널로 들어온다. 필터링할 정규 문자열도 없는데, 공격은 파일의 어떤 바이트열이 아니라 모델이 픽셀에서 읽어 내는 내용으로 정의되기 때문이다. 웹을 탐색하거나 화면을 조작하는 에이전트는 기본적으로 공격자가 영향을 준 픽셀을 소비하므로, 노출은 모델 크기가 아니라 자율성과 함께 커진다. 모델이 읽은 모든 콘텐츠를 신뢰하지 않는 것으로 다루기, 확인 없이 에이전트가 할 수 있는 일을 제한하기, 명령 채널과 데이터 채널을 분리하기 같은 완화책은 텍스트 인젝션에 쓰는 것과 같으며 여기서도 더 완전하지는 않다. 생성 측 안전은 별개의 문제이며 자체 장치가 따로 있다. OpenAI는 4o 이미지 생성에 대해 채팅 모델의 거부, 텍스트와 이미지 분류기에 의한 프롬프트 차단, 아동 성적 학대물 분류기와 콘텐츠 정책을 추론하도록 맞춤 학습된 안전 추론 모니터를 포함한 생성 후 출력 차단으로 이루어진 다층 장치를 설명한다. 입력 안전과 출력 안전은 따로 평가하고 보고해야 한다. 한쪽이 강하다고 다른 쪽도 강하다는 보장은 없다.³³

12.10. 계산량과 정보의 불균형

모달리티는 서로 다른 토큰 부하를 만든다. 짧은 질문에 고해상도 이미지나 긴 영상이 붙을 수 있다. 모든 토큰에 걸친 전체 어텐션은 비싸고, 공격적인 풀링은 작은 물체, 글자, 짧은 사건에 필요한 근거를 지울 수 있다. 잠재 병목, 프레임 샘플링, 영역 선택, 토큰 가지치기는 정보를 비용과 맞바꾼다. 불균형은 최적화에도 영향을 준다. 한 스트림이 더 큰 기울기나 더 쉬운 손실을 만들 수 있고, 손실 가중치, 정규화, 샘플링, 커리큘럼 설계가 모델이 쓰는 모달리티를 바꿀 수 있다. 이런 구현 선택은 기록해야 한다. 상위 수준 아키텍처만으로는 행동이 정해지지 않기 때문이다.

12.11. 해석 가능성

어텐션 지도와 임베딩 유사도는 모델을 점검하는 데 도움이 되지만, 그것만으로 인과적 의존성이 입증되지는 않는다. 강조된 영역이 출력과 상관될 수 있어도 그 출력에 필요하지는 않을 수 있다. 근거를 제거하거나 대체하거나 반사실적으로 바꾸는 실험이 시각화보다 강한 행동 증거를 준다. 모듈형 시스템은 중간 인터페이스를 검사하며 디버깅해야 한다. 실패는 전처리, 인코더, 시간 정렬, 연결 장치, 검색, 디코딩, 후처리 어디서든 생길 수 있다. 시스템을 하나의 불투명한 멀티모달 모델로 다루면 수정이 어려워진다. 네이티브 멀티모달 모델은 더 어렵다. 따로 탐침할 연결 장치도, 따로 시험할 고정 인코더도 없으므로 쓸 수 있는 인터페이스는 입력 토크나이저와 출력 분포뿐이다.

13. 설계와 보고 관행

13.1. 먼저 계약 정의하기

• 필수 입력 모달리티와 선택 입력 모달리티
• 각 입력의 표본화 속도, 해상도, 길이, 동기화 방식
• 출력과 허용 가능한 지연 시간
• 입력이 누락되거나 손상되거나 충돌할 때의 처리 방식
• 예시가 전역, 지역, 시간 중 어떤 단위로 짝지어지는지
• 추론 실행에 학습 때 본 모든 모달리티가 필요한지 여부
• 입력이 완성된 상태로 오는지 스트림으로 오는지, 그리고 입력이 끝나기 전에 시스템이 무엇을 할 수 있는지
• 각 출처의 개인정보, 출처 추적, 보존 규칙
• 의도한 용도에서 가장 중요한 오류 유형

이 계약은 듀얼 인코더, 결합 인코더, 크로스 어텐션 연결 장치, 잠재 병목, 결정 융합, 공동 사전 학습 모델 중 무엇이 맞는지를 정한다. 배포 전에 필요한 시험도 함께 정한다.

13.2. 기준선과 인터페이스·데이터 보고

강한 평가에는 각 단일 모달리티 구성 요소, 단순한 특징 이어 붙이기나 점수 융합, 용량을 맞춘 멀티모달 대안이 포함되어야 한다. 복잡한 모델이 현실적인 조건에서 최선의 단일 모달리티 기준선을 넘지 못하면 교차 모달 장치가 도움이 되지 않을 수 있다. 완전하고 깨끗한 입력에서만 나아진다면 배포 이득은 헤드라인 점수보다 좁을 수 있다. 공개된 기록은 이를 권고가 아니라 필수로 다뤄야 함을 보여 준다. 멀티모달 네트워크는 공동 학습 중 자기 단일 모달리티 분기에 질 수 있고, 텍스트만 쓰는 모델도 시각을 시험하려는 벤치마크에서 무작위보다 훨씬 높은 점수를 얻을 수 있다. 기준선이 없으면 이런 결과가 보이지 않는다.³⁷

토큰화, 이미지 변환, 음성 특징, 프레임 샘플링, 센서 보정, 위치 인코딩, 연결 장치 형태를 보고한다. 어떤 매개변수가 사전 학습에서 초기화되었고, 어떤 것이 고정되었고, 어떤 것이 갱신되었는지도 밝힌다. 지시 따르기 시스템은 프롬프트 템플릿과 이미지, 음성, 그 밖의 입력이 어떻게 구분되는지 설명한다. 인터페이스는 버전 관리 대상이다. 이미지 자르기, 음성 정규화, 토크나이저, 투영 체크포인트를 바꾸면 핵심 모델이 그대로여도 이후 모듈이 보는 분포가 달라질 수 있다. 영상과 음성에서는 표본화 속도와 프레임당 토큰 예산도 같은 범주다. 이들은 모델이 무엇을 지각할 수 있는지를 조용히 정하는 전처리 매개변수다.

데이터 출처, 알려진 경우 라이선스, 수집 날짜, 언어, 지역, 모달리티 조합, 누락, 합성 데이터, 필터, 중복 제거를 기술한다. 완전한 짝과 짝이 없거나 약하게 짝지어진 예시의 개수는 따로 제시한다. 이미지가 모달리티 사이의 앵커로 쓰였다면 실제로 관측된 직접 짝이 무엇인지 밝힌다. 공동 사전 학습 모델이라면 고립된 짝에 대한 인터리브 문서의 비율을 밝힌다. 두 종류는 서로 다른 것을 가르치기 때문이다. 학습, 검증, 테스트 분할은 가능한 한 근접 중복과 출처 중복을 피해야 한다. 프롬프트를 조정하거나 체크포인트를 고르는 데 쓴 진단 예시를 손대지 않은 평가처럼 제시해서는 안 된다.

13.3. 평가 범위와 주장 수준

최소한 주요 과제 성능, 강한 단일 모달리티 기준선, 모달리티 제거 실험, 누락 입력 행동, 충돌 검사, 용도와 관련된 하위 그룹 결과, 보정, 자원 비용을 보고한다. 생성에는 그라운딩과 사람 평가를 더하고, 시간 시스템은 동기화와 표본화를 바꿔 본다. 로봇이나 다른 중요한 제어 과제에서는 평균 과제 성공률과 별도로 복구와 안전을 평가한다. 전체 평균은 요약에 유용할 수 있지만 과제별, 조건별 결과를 대신할 수 없다. 쉬운 완전한 예시에서 이득을 보고 중요한 센서 고장 한 가지에서 실패하는 모델은 평균이 높아도 적합하지 않을 수 있다.

아키텍처 논문은 보고된 아키텍처와 실험에 대해서만 주장을 뒷받침한다. 같은 이름이 붙은 모든 구현이 같은 구성 요소로 이뤄졌다고 입증하지는 않는다. 벤치마크는 표본 항목과 명시된 프로토콜 아래의 성능을 뒷받침하며, 일반적인 지각, 추론, 안전을 증명하지 않는다. 상용 인터페이스는 드러난 행동을 보여 줄 뿐 공개되지 않은 내부 구조를 보여 주지 않는다. 문서 유형 자체가 알려진 정도를 말해 준다. 가중치와 함께 나온 기술 보고서는 목표, 융합 지점, 학습 데이터에 관한 주장을 뒷받침한다. 모델 카드는 적힌 내용만 뒷받침하며, 최근 최전선 모델에서는 아키텍처 설명이 한 문장뿐이고 매개변수 수가 없는 경우가 많았다. 안전 범위의 시스템 카드는 완화 장치와 측정된 위험을 뒷받침할 뿐 구조는 말하지 않는다. 제품 블로그 글은 행동과 가용성에 관한 주장만 뒷받침하며, 2026년의 여러 중요한 출시물은 그 이상을 공개하지 않았다. 경쟁사 논문에서 구조를 추론하는 것보다 '공개되지 않음'이라고 쓰는 편이 정확하며, 이 표현은 추론이 틀렸을 때에도 여전히 맞는다. 변화가 빠른 분야에서는 이런 태도가 특히 중요하다. 오래 가는 설명은 출시 연대기보다 메커니즘, 데이터 가정, 실패 양상, 재현 가능한 프로토콜에 초점을 둔다.^28,29,33,34