Google Gemma 4 12B 공개, 인코더 없이 텍스트·이미지·오디오·영상 처리

Google DeepMind의 오픈 모델 Gemma 4 가운데 12B Unified 모델의 저장소가 Hugging Face에서 새로 관측됐다. 저장소 이름은 google/gemma-4-12B이며, 라이선스는 Apache 2.0이다. 저장소는 2026년 5월 23일(UTC)에 만들어졌고 마지막 수정은 10월 30일(UTC)이다. 관측 시스템이 처음 확인한 시각은 10월 31일 00시 55분(한국 시각)으로, 저장소 생성일과는 5개월 가까운 간격이 있다. 이 시각이 공식 발표 시점과 같다고 볼 수는 없다.

모델 카드에 따르면 12B Unified는 Gemma 4 계열의 다섯 가지 크기(E2B, E4B, 12B, 26B A4B, 31B) 중 하나다. 텍스트, 이미지, 오디오, 영상을 입력으로 받고 출력은 텍스트다. 별도 인코더 없이 소비자용 기기와 로컬 환경에서 돌리도록 설계했다고 Google DeepMind는 설명했다. 사전 학습과 지시 학습을 거친 오픈 가중치 모델이며, 사용 예제 코드는 지시 학습 버전인 google/gemma-4-12B-it를 불러온다.

이름의 Unified는 인코더가 없는 구조를 가리킨다. 다른 Gemma 4 모델은 이미지와 음성을 전용 인코더로 먼저 처리한 뒤 언어 모델에 넘기지만, 12B Unified는 이미지 패치와 오디오 파형을 가벼운 선형 층으로 언어 모델의 임베딩 공간에 바로 투영한다. 모든 입력이 하나의 디코더 전용 트랜스포머로 흘러가므로 지연 시간이 줄고 모델 전체를 한 번에 미세 조정할 수 있다고 모델 카드는 밝혔다. 표에서 12B Unified의 비전·오디오 인코더 매개변수는 '-'로 표시돼 있다.

Gemma 4 전체에는 슬라이딩 윈도 어텐션과 전역 어텐션을 번갈아 쌓는 혼합 구조가 쓰인다. 마지막 층은 항상 전역 층이다. Google DeepMind는 모델 카드에서 전역 층이 키와 값을 통합하고 Proportional RoPE(p-RoPE)를 적용해 긴 문맥의 메모리를 최적화한다고 설명했다.

컨텍스트 창은 E2B와 E4B가 128K 토큰, 12B Unified와 26B A4B, 31B가 256K 토큰이다. 140개 이상 언어로 사전 학습했고, 바로 쓸 수 있는 지원 언어는 35개 이상이라고 밝혔다. 학습 데이터는 웹 문서, 코드, 수학, 이미지, 오디오를 포함하며 기준 시점은 2025년 1월이다.

아래 수치는 지시 학습 모델 기준으로 Google이 모델 카드에 실은 것이다. 12B Unified는 GPQA Diamond 78.8%, MMLU Pro 77.2%, AIME 2026(도구 없음) 77.5%, LiveCodeBench v6 72.0%, Codeforces ELO 1659를 기록했다. 비교 대상인 Gemma 3 27B(추론 끄기)는 각각 42.4%, 67.6%, 20.8%, 29.1%, 110이다. 다만 12B Unified의 추론 설정은 모델 카드에 명시돼 있지 않아 같은 조건의 비교인지는 불분명하다. Tau2는 12B Unified가 69.0%, Gemma 3 27B가 16.2%이고, MMMLU는 83.4%와 70.7%, 비전 평가 MMMU Pro는 69.1%와 49.7%다.

위 표에서 12B Unified가 26B A4B보다 높은 항목은 Tau2(69.0% 대 68.2%) 하나뿐이고, Tau2를 제외한 표의 항목은 모두 26B A4B가 앞선다. 표에 없는 항목도 12B Unified가 뒤진다. Humanity’s Last Exam(도구 없음)은 5.2%(26B A4B 8.7%), BigBench Extra Hard는 53.0%(64.8%), 긴 문맥 평가인 MRCR v2 8 needle 128k는 43.4%(44.1%)다. 문서 인식 평가 OmniDocBench 1.5의 평균 편집 거리는 0.164로, 낮을수록 좋은 지표인데 31B(0.131)와 26B A4B(0.149)보다 나쁘다. 음성 평가는 CoVoST 38.5, FLEURS 0.069(낮을수록 좋음)이며, 두 수치는 중국어를 제외한 결과다.

Transformers 최신 버전으로 모델을 불러올 수 있으며, 오디오나 영상을 쓰려면 librosa 등 추가 패키지가 필요하다. 권장 샘플링 설정은 온도 1.0, top_p 0.95, top_k 64다.

추론 모드는 시스템 프롬프트 맨 앞에 전용 토큰을 넣으면 켜지고, 빼면 꺼진다. 여러 차례 대화할 때는 이전 턴의 사고 내용을 기록에 넣지 않으며, 도구 호출 턴만 예외다. 입력 순서는 이미지를 텍스트 앞에, 오디오를 텍스트 뒤에 두라고 권한다.

이미지는 시각 토큰 예산을 70, 140, 280, 560, 1120 중에서 고른다. 예산이 높을수록 세부 정보를 더 많이 살리지만 연산이 더 들고, 낮으면 처리가 빨라진다. 분류·캡션·영상 이해에는 낮은 예산을, OCR·문서 파싱·작은 글씨 읽기에는 높은 예산을 쓰라는 안내다. 오디오는 최대 30초, 영상은 프레임 단위로 처리하며 초당 1프레임 기준 최대 60초까지 다룬다. 오디오 기능은 E2B, E4B, 12B Unified에만 있으며, 음성 인식과 음성 번역 프롬프트 형식도 모델 카드에 나와 있다.

안전 면에서 Google은 자체 시험에서 Gemma 4가 Gemma 3와 3n보다 모든 콘텐츠 안전 범주에서 크게 나아졌고 불필요한 거부는 낮게 유지했다고 밝혔다. 이 시험은 안전 필터 없이 진행했다. 한계로는 학습 데이터의 편향과 공백, 열린 질문이나 매우 복잡한 작업에서의 어려움, 비유와 뉘앙스 이해 부족, 부정확하거나 오래된 사실 생성 가능성, 상식 추론의 약점을 들었다. 개발자에게는 제품 정책에 맞는 콘텐츠 안전장치를 두라고 권고했다.