Gemma

쉽게 말하면, Gemma는 Google DeepMind가 Gemini 시스템에 쓰인 연구를 바탕으로 만든 공개 가중치 모델 계열이다. 2024년 2월 텍스트 모델로 시작해 이미지, 오디오, 긴 문맥, 기기용 모델 등으로 넓어졌다. Gemma 1부터 Gemma 3n까지는 Google의 맞춤형 약관을, Gemma 4는 Apache License 2.0을 따른다.

1. 개요

Gemma는 Google DeepMind가 개발한 공개 가중치 모델 계열이다. 이 계열은 2024년 2월 Google의 Gemini 시스템에 쓰인 연구에서 파생된 텍스트 전용 디코더 모델로 시작했다. 이후 비전, 오디오, 긴 문맥, 기기 실행, 전문가 혼합, 임베딩, 번역, 의료, 안전, 해석 가능성 모델로 넓어졌다. Gemma는 하나의 구조나 하나의 라이선스가 아니라 계열을 가리키는 이름이다.^2,3

2026년 7월 28일 기준 핵심 세대는 Gemma 1, Gemma 2, Gemma 3, Gemma 3n, Gemma 4다. Gemma 1부터 Gemma 3n까지와 그 목록에 있는 파생 모델은 Google의 맞춤형 Gemma 이용 약관과 금지 사용 정책을 따른다. Gemma 4는 Apache License 2.0으로 배포된다. 모든 Gemma 릴리스를 하나의 오픈소스 정의 아래 같은 것으로 취급하기보다, 계열 전체를 '공개 가중치'라고 부르는 편이 더 정확하다.^4,5,6,7

2. 출시 기록과 범위

Google의 출시 기록은 가중치를 내려받을 수 있게 된 날짜와 출시 발표 날짜를 구분해 적는다. 일부 세대는 처음 공개된 뒤 모델 구성이 늘어났다. 특히 Gemma 2 2B 모델은 9B, 27B 모델보다 약 한 달 뒤에 나왔고, Gemma 4 12B Unified는 최초 Gemma 4 세트 뒤에 나왔다.²

모델 이름의 문자와 반올림한 숫자가 항상 전체 매개변수 수를 뜻하지는 않는다. Gemma 3n의 E2B와 E4B는 전체가 약 5B, 8B 매개변수지만 핵심 트랜스포머 연산은 약 2B, 4B 수준이다. Gemma 4도 E2B와 E4B에 같은 '실효(effective)' 표기를 쓴다. 26B-A4B 모델은 언어 모델 전체 매개변수가 약 25.2B이고, 토큰마다 활성화되는 매개변수는 3.8B다. 기술 보고서의 상세 표는 모달리티 인코더와 추측 디코딩용 드래프터를 따로 계산하므로, 홍보용 크기를 배포되는 모든 구성 요소의 정확한 합으로 쓰면 안 된다.^8,9

3. Gemma 1

Gemma 1은 사전 학습 모델과 지시 튜닝 모델을 2B와 7B 텍스트 모델로 선보였다. 두 모델 모두 디코더 전용 트랜스포머로, 8,192토큰 컨텍스트 창, 256,128개 항목의 SentencePiece 어휘 집합, 회전 위치 임베딩(rotary position embedding), GeGLU 피드포워드 블록, RMSNorm을 쓴다. 2B 모델은 18개 레이어와 키-값 헤드 1개를 쓰는 멀티 쿼리 어텐션을, 7B 모델은 28개 레이어와 헤드 16개의 멀티헤드 어텐션을 쓴다.¹⁰

기술 보고서는 사전 학습 데이터 구성을 범주 수준으로만 밝힌다. 주로 영어 웹 문서, 수학, 코드이며, 모델이 멀티모달이 아니고 다국어 성능을 특별히 겨냥해 학습되지 않았다고 설명한다. Google은 안전하지 않거나 민감한 자료를 걸러냈고, 평가 세트 오염을 제거했으며, 학습 자료를 그대로 옮겨 출력하는 현상(recitation)을 줄이는 조치를 했다고 밝혔다. 다만 학습 코퍼스 전체는 공개하지 않았다.

지시 튜닝 체크포인트는 지도 미세 조정(supervised fine-tuning)과 인간 피드백 강화 학습(reinforcement learning from human feedback)으로 만들어졌다. 안전성 평가는 여러 범주를 다뤘지만, 보고서는 시험으로 모든 응용과 배포 상황을 포괄할 수는 없다고 명시적으로 경고한다.¹⁰

4. Gemma 2

Gemma 2는 디코더 전용 텍스트 구조와 8,192토큰 컨텍스트를 유지하면서 어텐션과 정규화 설계를 바꿨다. 세 크기 모두 그룹 쿼리 어텐션을 쓴다. 레이어는 4,096토큰 지역 슬라이딩 윈도우와 8,192토큰 범위의 전역 어텐션을 번갈아 쓴다. 사전(pre)과 사후(post) RMSNorm을 함께 쓰고, 스케일된 쌍곡탄젠트로 어텐션 로짓과 출력 로짓의 상한을 둔다.¹¹

2B와 9B 모델은 더 큰 교사 모델에서 지식 증류(knowledge distillation)로 학습했고, 27B 모델은 처음부터 학습했다. 보고서는 증류를 한 개의 다음 토큰 정답만 배우는 것이 아니라, 교사 모델의 토큰 확률 분포를 맞추는 방식으로 설명한다. 또 작은 모델들은 논문이 쓴 연산 최적 계산이 예측한 토큰 수의 50배 이상으로 학습됐다고 밝힌다. 이는 그 스케일링 분석에 관한 진술이며, 과잉 학습(overtraining)에 대한 일반적 정의는 아니다.¹¹

Gemma 2의 데이터는 여전히 주로 영어였고 웹 문서, 코드, 과학 기사를 포함했다. 지시 튜닝 파이프라인은 지도 예시, 선호 데이터, 인간 피드백 강화 학습, 모델 병합을 사용했다. Google은 6월 27일 출시 글에서 9B와 27B 가중치를 소개했고, 출시 기록에서 2B 공개일은 7월 31일이다.^2,11,12

5. Gemma 3

Gemma 3는 이미지 입력과 더 긴 문맥을 추가했다. 1B 모델은 32K 문맥의 텍스트 전용이다. 4B, 12B, 27B 모델은 언어 모델에 약 400M 매개변수 규모의 SigLIP 비전 인코더를 결합하고 128K 문맥을 지원한다. 인코더는 이미지를 896×896 픽셀로 처리한다. 선택 사항인 추론 시점의 Pan and Scan 절차는 가로세로 비율이 까다롭거나 세부가 많은 이미지를 추가 조각으로 나눈다.^13,14

언어 구조는 그룹 쿼리 어텐션, RMSNorm, 쿼리-키 정규화를 쓴다. 전역 어텐션 레이어 하나마다 지역 어텐션 레이어 다섯 개를 끼워 넣는다. 지역 어텐션은 1,024토큰 범위를 보고, 전역 레이어는 긴 문맥 전체를 다룬다. 전역 레이어는 지역 레이어보다 높은 RoPE 기저 주파수를 쓴다. 이 배치는 모든 레이어에서 전역 어텐션을 쓰는 방식에 비해 키-값 캐시 메모리가 커지는 속도를 줄인다.¹⁴

Gemma 3 기술 보고서는 사전 학습 혼합에 텍스트와 이미지가 포함됐고, 다국어 데이터를 늘렸으며, 지식 증류를 사용했다고 밝힌다. Google은 사전 학습 언어를 140개 이상, 추가 설정 없이 바로 쓸 수 있는 언어를 35개 이상 지원한다고 설명했다. 다만 두 표현은 서로 다른 기준을 가리키므로 같은 품질 보장으로 볼 수는 없다. 공개된 어휘 집합은 약 262,000개 항목으로, Gemma 1과 Gemma 2가 쓴 256,128개 항목 토크나이저를 대체한다.^13,14

원시 체크포인트와 함께 양자화 인식 학습을 거친 체크포인트가 공개됐다. 보고서는 여러 가중치 표현을 평가하고, 지정한 형식과 컨텍스트 길이에서의 메모리 수치를 제시한다. 실제 메모리 사용량은 체크포인트 형식, 실행 환경, 컨텍스트, 캐시 정밀도, 가속기, 주변 소프트웨어에 따라 달라진다. 따라서 이 수치는 특정 프로토콜에서 잰 측정값이지 모든 기기에 공통으로 필요한 사양이 아니다.¹⁴

5.1. Gemma 3n

Gemma 3n은 E2B와 E4B 모델로 이루어진 기기 중심 갈래다. MatFormer 설계는 E4B 모델 안에 더 작은 E2B 하위 모델을 함께 학습시키며, 레이어별 임베딩(Per-Layer Embeddings)은 매개변수 저장과 연산 일부를 가속기에 상주하는 트랜스포머 핵심부 바깥으로 옮긴다. Google은 전체 매개변수가 약 5B, 8B이지만 가속기에서 실제 쓰이는 실효 크기는 약 2B, 4B라고 밝힌다.⁸

이 모델은 텍스트, 이미지, 비디오 프레임, 단일 채널 오디오를 입력받아 텍스트를 출력한다. 모델 카드는 총 입력 문맥을 32K로, 이미지는 256, 512, 768픽셀로, 오디오는 초당 6.25 토큰으로 인코딩한다고 명시한다. 학습 토큰은 약 11조 개이고, 지식 기준 시점은 2024년 6월이며, 140개 이상 언어의 콘텐츠를 담았다고 밝힌다.¹⁵

Gemma 3n은 MobileNet-V5 기반 비전 인코더와 Universal Speech Model 기반 오디오 인코더를 쓴다. Google 자체 측정 결과에서는 E2B가 최소 약 2GB, E4B가 최소 약 3GB 메모리로 동작했고, 키-값 캐시 공유로 프리필 성능이 Gemma 3 4B의 약 두 배였다. 이 수치는 Google이 특정 구현에서 직접 얻은 결과이므로, 임의의 휴대폰이나 실행 환경에서도 같다고 보장하는 값으로 읽으면 안 된다.⁸

5.2. Gemma 3 270M과 FunctionGemma

Gemma 3 270M은 좁은 과업별 미세 조정을 위해 공개된 텍스트 모델이다. Google은 2억 7천만 매개변수를 약 1억 7천만 개의 임베딩 매개변수와 1억 개의 트랜스포머 블록 매개변수로 나눴다. 사전 학습, 지시 튜닝, 양자화 인식 학습 체크포인트를 함께 공개했다. Google은 Pixel 9 Pro 시험에서 INT4 체크포인트가 대화 25회 동안 배터리 용량의 0.75%를 썼다고 밝혔다. 다만 발표 내용만으로는 이 결과가 다른 프롬프트, 기기, 실행 환경에서도 성립한다고 말할 수 없다.¹⁶

FunctionGemma는 2025년 12월 공개된 270M 지시 튜닝 파생 모델로, 함수 호출의 출발점으로 쓰도록 만들어졌다. 자연어 요청을 도구나 API 동작 형식으로 바꾸며, 정해진 동작 범위에 맞춰 추가로 미세 조정하도록 설계됐다. Google이 든 예시에서는 도메인별 미세 조정 후 성능이 좋아졌다. 이는 그 시험 세트에 대한 근거일 뿐, 기본 체크포인트가 임의의 소프트웨어를 안정적으로 제어한다는 주장은 아니다.¹⁷

6. Gemma 4

Google 출시 기록은 Gemma 4 최초 가중치 공개일을 2026년 3월 31일로 적는다. 출시 글과 Apache 2.0 발표는 4월 2일자다. 첫 구성은 밀집(dense) 모델 E2B, E4B, 31B와 희소 활성화 방식의 전문가 혼합 모델 26B-A4B였다. Gemma 4 12B Unified는 6월 3일 추가됐다.^2,4,18

Gemma 4는 기본적으로 멀티모달이다. '사고(thinking)' 모드를 추가했으며, 이 모드에서는 지시 튜닝 체크포인트가 답을 내기 전에 추론 과정을 출력할 수 있다. E2B와 E4B는 이미지 인코더와 오디오 인코더를 따로 쓴다. 26B-A4B와 31B 모델은 이미지 인코더를 쓰지만, 기기용 모델에서 설명된 오디오 인코더는 포함하지 않는다. 12B 모델은 별도의 사전 학습 비전 또는 오디오 인코더 없이 원시 이미지 패치와 40밀리초 단위 오디오 조각을 언어 모델의 임베딩 공간에 직접 투영한다.⁹

작은 모델은 전역 블록 하나마다 지역 어텐션 블록 4개를, 나머지 크기는 5개를 쓴다. Gemma 4는 또 전역 어텐션에 부분 RoPE를 쓰고, 여러 크기에서 키-값 캐시 재사용 또는 공유를 적용하며, 양자화 인식 학습을 거쳤다. 추측 디코딩용 다중 토큰 예측 드래프터가 별도로 공개됐다. 기술 보고서는 웹 문서, 코드, 이미지, 그리고 오디오 지원 크기의 오디오로 된 사전 학습 데이터를 설명하며, 데이터 기준 시점은 2025년 1월이다.⁹

Google은 2026년 4월 출시 때 누적 다운로드 4억 건 이상, 커뮤니티 변형 모델 10만 개 이상을 밝혔다. 이 수치는 Google이 자체 집계한 누적값이며, 집계 방식, 고유 사용자 수, 중복 다운로드 처리 방식은 밝히지 않았다.¹⁸

7. 학습과 평가

구글은 여러 세대에 걸쳐 학습 데이터의 넓은 출처 범주, 많은 체크포인트의 토큰 총량, 필터링 목표, 학습 인프라는 공개했다. 그러나 항목별로 나열한 완전한 학습 데이터셋은 공개하지 않았다. 보고서는 일부 개인정보나 안전하지 않은 자료를 제거하고, 벤치마크 오염을 제거하며, 학습 자료를 그대로 옮겨 출력하는 현상을 줄이려 한 시도를 설명한다. 이 조치들은 측정된 특정 위험을 낮추지만, 모든 학습 항목이 합법적으로 수집됐다거나 평가 오염이 없다거나 출력이 민감한 자료를 재현할 수 없다는 것을 증명하지는 않는다.

사전 학습 체크포인트는 다음에 이어질 내용을 예측하고, 지시 튜닝 체크포인트는 사후 학습으로 지도 학습과 선호 기반 학습을 추가로 받는다. 정확한 사후 학습 방식은 세대마다 달랐다. Gemma 1과 Gemma 2는 지도 미세 조정과 인간 피드백 강화 학습을 썼다. Gemma 3은 더 큰 지시 튜닝 교사 모델에서의 증류와 강화 학습 단계를 더했다. Gemma 4는 사고 모드와 함수 호출 형식을 추가했다.^9,10,11,14

기술 보고서의 벤치마크 점수는 모델 제공사가 직접 돌린 결과이며, 제시된 프롬프트, 샷 수, 정규화 방식, 모델 개정판, 추론 실행 설정에 따라 달라진다. Chatbot Arena는 사용자가 모델을 가리고 고른 쌍대 선호를 모아 비교 결과를 레이팅으로 바꾸며, 투표와 모델 풀이 바뀌면 점수도 바뀐다. 따라서 특정 Gemma 모델이 특정 순위였다는 주장은 날짜와 측정 방법이 함께 있어야 의미가 있다.¹⁹

독립 결과도 매개변수 표기만으로는 배포 선택을 하기에 부족하다는 점을 보여 준다. 2026년 프리프린트는 Gemma 4, Phi-4, Qwen3의 체크포인트 7개를 과업 4개와 프롬프트 전략 3개에서 비교하며 정확도, 지연 시간, 최대 GPU 메모리를 함께 쟀다. 이 설정에서 Gemma 4 E4B는 한 프롬프트 조건에서 가중 결과가 가장 좋았다. 반면 Gemma 4 26B-A4B는 활성화하는 매개변수가 더 적었지만 메모리를 훨씬 많이 썼다. 저자들은 희소 활성화만으로는 최적의 운영점이 정해지지 않는다고 결론지었다. 이 결과는 저자들이 쓴 하드웨어, 과업, 체크포인트, 프롬프트에 한정된다.²⁰

8. 특화 모델과 연구 도구

Gemma라는 이름은 과업 특화 모델과 연구용 산출물에도 붙는다. 이들은 모두 서로 바꿔 쓸 수 있는 채팅 모델이 아니며, 여러 개는 서로 다른 핵심 세대에서 파생됐다.

CodeGemma 보고서는 2B 코드 완성 모델과 7B 사전 학습 및 지시 튜닝 체크포인트를 설명한다. RecurrentGemma는 Griffin의 게이팅된 선형 순환과 지역 어텐션으로 대부분의 전역 트랜스포머 어텐션을 대체한다. 그 덕분에 추론 실행 메모리가 표준 전역 키-값 캐시처럼 전체 시퀀스 길이에 맞춰 같은 방식으로 커지지 않는다. PaliGemma는 SigLIP 이미지 인코더와 Gemma 2B 언어 모델을 결합했으며, 일반 대화 비서가 아니라 비전-언어 과업으로 전이하기 위한 기반 모델로 설계됐다.^21,22,23

ShieldGemma의 첫 출시는 Gemma 2 체크포인트를 텍스트 안전 분류기로 썼다. 별도로 출시된 ShieldGemma 2는 Gemma 3 4B 기반 이미지 안전 분류기다. Gemma Scope도 세대별로 나뉜다. 원래 출시는 Gemma 2를 대상으로 했고, Gemma Scope 2는 Gemma 3을 대상으로 했다. Scope 2를 Gemma 2로 확장한 것이라 부르면 시간 순서가 뒤바뀐다.^13,24,25,31

이후 연구 갈래는 Gemma를 다른 모델 형태와 분야에 적응시켰다. T5Gemma는 Gemma 2에서 인코더-디코더 적응을 탐구했다. EmbeddingGemma는 Gemma 3을 기반으로 소형 텍스트 임베딩 모델을 만들었다. TranslateGemma는 Gemma 3의 크기들을 번역용으로 적응시켰다. MedGemma는 Gemma 3 4B와 27B에 의료 텍스트와 이미지 특화를 더했다. VaultGemma는 Gemma 2 데이터 혼합을 써서 차등 프라이버시로 1B 체크포인트를 학습했다. 각 모델은 고유한 평가 프로토콜과 용도가 있으므로, 과업별 검증 없이 임상, 프라이버시, 번역 적합성에 대한 일반적 주장을 그대로 받아들이면 안 된다.^{26,27,28,29,30}

9. 배포와 실행

구글은 공식 Gemma 구현, 예제, 가중치 링크를 GitHub 저장소와 문서에 공개한다. 가중치는 Kaggle과 Hugging Face로 배포됐다. 구글 문서는 Keras, JAX, PyTorch 기반 Transformers, Gemma.cpp, LiteRT-LM과 여러 제3자 실행 환경과의 연동을 설명한다. 지원 범위는 세대, 양자화 방식, 모달리티, 모델 크기에 따라 다르다.^2,32

로컬 실행이 고정된 하드웨어 요구 사양을 뜻하지는 않는다. 저장된 가중치, 임시 활성값, 키-값 캐시, 이미지나 오디오 인코더, 런타임 오버헤드, 배치 크기, 프롬프트 길이, 양자화가 모두 메모리와 처리량에 영향을 준다. '단일 GPU에서 실행된다'나 '최소 2GB면 된다'는 제공사의 설명은 특정 구성을 말하며, 광고된 크기의 모든 체크포인트에 해당하지는 않는다.^8,9,14

모델을 기기 안에서 실행하면, 애플리케이션이 네트워크 전송을 하지 않는 한 입력을 기기 안에 둘 수 있다. 이 성질은 모델 가중치 자체가 아니라 배포 구조에서 나온다. 애플리케이션은 개인정보 보호를 주장하기 전에 로깅, 원격 측정(텔레메트리), 도구 호출, 검색된 데이터, 운영체제 서비스를 평가해야 한다.

10. 라이선스와 공개 모델 용어

Gemma 이용 약관은 나열된 Gemma 1, Gemma 2, Gemma 3, Gemma 3n과 관련 모델 파생물에 적용된다. 약관은 사용, 복제, 수정, 배포, 파생물 제작 권리를 조건부로 허용하며, 그 조건에는 필요한 제한을 수령인에게 넘기는 것이 포함된다. 별도의 금지 사용 정책은 명시된 유해한 용도를 제한한다. 약관 페이지는 Gemma 4 사용자를 Gemma 4 라이선스로 직접 안내한다.^5,7

Gemma 4는 Apache License 2.0으로 라이선스된다. 이 라이선스는 저작권과 특허에 관한 허용을 주되, 고지, 귀속 표시와 라이선스 본문의 그 밖의 조건을 따르도록 한다. 이는 이전 Gemma 세대와 비교해 중요한 라이선스 변경이므로, 하위 제품은 어떤 체크포인트와 어떤 라이선스를 쓰는지 밝혀야 한다. 이 문서는 설명을 목적으로 하며 법률 자문이 아니다.^4,6

Open Source Initiative의 오픈소스 AI 정의(Open Source AI Definition)는 오픈소스 AI를 가중치를 내려받을 수 있는지만으로 판단하지 않는다. 사용, 연구, 수정, 공유의 자유와 함께 수정에 쓰는 바람직한 형태를 요구하며, 여기에는 충분한 데이터 정보, 학습 코드, 매개변수가 포함된다. 이전 Gemma 릴리스에는 사용 제한이 붙어 있었고, 구글은 어떤 핵심 세대에 대해서도 완전한 학습 코퍼스를 공개하지 않는다. 따라서 구글과 다른 곳에서 'open model'이라 부르고 Gemma 4의 Apache 라이선스를 오픈소스라고 설명하더라도, 계열 전체에 가장 덜 모호한 표현은 여전히 '공개 가중치'다.³³

11. 안전성과 한계

Gemma 체크포인트는 거짓이거나, 오래됐거나, 편향됐거나, 안전하지 않거나, 지어낸 내용을 생성할 수 있다. 사실이 아닌 내용을 지어내는 환각이 여기에 해당한다. 지식은 학습 데이터와 기준 시점에 묶여 있고, 멀티모달 입력이 신뢰할 수 있는 지각을 보장하지는 않는다. 광고된 긴 컨텍스트 창도 모든 세부 사항을 정확히 찾아내거나 정확히 추론함을 보장하지 않는다. 더 작거나 양자화된 체크포인트는 정확도를 내주고 메모리, 지연 시간, 에너지 사용을 줄이는 경우가 있다.

구글은 필터링, 레드팀 평가, 자동 시험, 사람 평가를 보고하지만, 모든 핵심 기술 보고서는 시험이 불완전하다고 경고한다. 한 시험에서 정책 위반률이 낮게 측정된 모델도 미세 조정, 양자화, 시스템 통합, 프롬프트 변경, 도구 접근 뒤에는 다르게 행동할 수 있다. 오류가 피해를 일으킬 수 있는 곳에서는 개발자가 사용 사례별 평가, 접근 통제, 모니터링, 사람의 검토를 갖춰야 한다.^9,10,11,14

이 계열은 재현성에도 한계가 있다. 넓은 데이터 범주와 전체 토큰 합계만으로는 독립 연구자가 사전 학습 코퍼스를 재구성할 수 없다. 제공사 벤치마크 표는 공개된 프로토콜과 대조할 수 있지만, 비공개 학습 데이터, 교사 모델, 선호 데이터셋, 사후 학습 파이프라인 일부 때문에 완전한 재현은 불가능하다.