Google이 텍스트, 이미지, 오디오, 영상, 그리고 이들을 섞은 입력을 하나의 공간에 표현하는 오픈 멀티모달 임베딩 모델 EmbeddingGemma 2를 공개했다. 논문은 2026-10-27 arXiv에 올라왔고, 연구를 촉진하려고 모델을 공개한다고 밝혔다.
연구진은 모든 입력 형태를 아우르는 종합 임베딩 벤치마크에서 이 모델이 새로운 파레토 경계를 세웠다고 주장했다. 전문 모델은 물론 자기보다 2배에서 12배 큰 모델도 앞선다는 설명이다.
학습 방식과 설계
연구진은 층별 임베딩을 단순화하고, 입력 형태와 학습 목표를 단계적으로 늘려 가는 다단계 커리큘럼을 도입했다고 밝혔다. 이런 개선으로 한 가지 입력만 쓰는 평가, 서로 다른 형태를 오가는 평가, 여러 형태를 섞은 평가 모두에서 품질을 유지했다는 것이다. 핵심 설계 결정이 얼마나 효과가 있었는지는 제거 실험(ablation)으로 분석해 논문에 실었다.
자원이 제한된 환경을 위한 선택지도 있다. 필요한 입력 형태의 인코더만 골라 불러올 수 있고, 이미지에 쓰는 토큰 예산을 조절할 수 있다. 임베딩 차원은 잘라 줄일 수 있으며, 양자화한 가중치도 지원한다.
텍스트, 이미지, 오디오, 영상을 하나의 임베딩 공간에 표현한다는 것이 이 모델의 설계다. 앞선 성능은 연구진이 논문에서 제시한 주장이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.