AI 모델 · Google
Gemini 3.1 Flash-Lite
Google 모델 · 2026년 3월 3일 공개. 독립 벤치마크 점수, 종합 지수, 사람 투표 순위와 개발사 발표 점수를 그래프로 정리했습니다.
- 개발
- 공개일
- 이용 방식
- API 제공
- 종합 능력 지수(ECI)
- 144.5신뢰구간 142.4~146.0
- Arena 점수(사람 투표)
- 1416129위 · 투표 64,257표
영역별 강점
같은 시험을 치른 모델 가운데 어디쯤인지(백분위)를 영역별로 평균했습니다. 바깥일수록 상위권이고, 점수가 없는 영역은 가운데 빈 점으로 표시합니다.
Google 모델 흐름
큰 점이 이 모델입니다. 선은 그때까지의 최고 기록입니다.
독립 벤치마크 점수
- GPQA Diamond과학81.8%
94개 모델 중 45위. 대학원 수준의 생물·물리·화학 객관식 문제 198개. 검색으로 답을 찾기 어렵게 만든 문항이다. 오차 ±2.8%.
- OTIS 모의 AIME수학80%
91개 모델 중 47위. OTIS의 경시대회형 수학 문제 45개. MATH Level 5보다 어렵고 FrontierMath보다 쉽다. 오차 ±6%.
- FrontierMath 1~3단계수학27.7%
57개 모델 중 43위. 연구 수준의 매우 어려운 수학 문제(비공개) 2026년 판의 1~3단계. 오차 ±2.7%.
- 체스 퍼즐추론25%
60개 모델 중 36위. 체스 엔진으로 새로 만든 퍼즐 100개. 퍼즐마다 최선의 다음 수가 하나 있다. 오차 ±4.3%.
세로선은 무작위로 찍었을 때 기대되는 점수입니다. 같은 벤치마크라도 평가 방식과 설정에 따라 점수가 달라지므로 개발사 발표 수치와 다를 수 있습니다.
개발사 발표 점수
개발사가 공식 페이지나 논문에 직접 밝힌 수치입니다. 평가 조건이 서로 달라 다른 모델과 바로 비교하기는 어렵습니다. 항목마다 원문에서 확인할 수 있습니다.
| 항목 | 발표 값 | 원문 |
|---|---|---|
| SWE-Bench Pro (Public) Diverse agentic coding tasks | 38.3% | deepmind.google |
| Terminal-bench 2.1 Agentic terminal coding | 31% | deepmind.google |
| MLE-Bench Machine Learning Engineering | 22% | deepmind.google |
| OSWorld-Verified Agentic computer use | 54.3% | deepmind.google |
| CharXiv Reasoning Information synthesis from complex charts | 73.2% | deepmind.google |
| GDM-MRCR v2 (8-needle) Long context performance | 60.1% | deepmind.google |
| Humanity’s Last Exam Academic reasoning (full set, text + MM)high | 16% | deepmind.google |
| GPQA Diamond Scientific knowledgehigh | 86.9% | deepmind.google |
| MMMU-Pro Multimodal understanding and reasoninghigh | 76.8% | deepmind.google |
| Video-MMMU Knowledge acquisition from videoshigh | 84.8% | deepmind.google |
| SimpleQA Verified Parametric knowledgehigh | 43.3% | deepmind.google |
| FACTS Benchmark Suite Factuality benchmark across grounding, parametric, search,high | 40.6% | deepmind.google |
| MMMLU Multilingual Q&Ahigh | 88.9% | deepmind.google |
| LiveCodeBench Code generation (UI: 1/1/2025-5/1/2025)high | 72% | deepmind.google |
| MRCR v2 (8-needle) Long context performancehigh | 60.1% | deepmind.google |
함께 볼 모델
- Gemini 3.1 Pro Google · 2026-02-19
- Gemini 3 Flash Google · 2025-12-17
- GPT-5.4 Pro OpenAI · 2026-03-05
- GPT-5.4 OpenAI · 2026-03-05