Gemini 3.1 Pro
Google 모델 · 2026년 2월 19일 공개. 독립 벤치마크 점수, 종합 지수, 사람 투표 순위와 개발사 발표 점수를 그래프로 정리했습니다.
- 개발
- Google DeepMind
- 공개일
- 이용 방식
- API 제공
- 종합 능력 지수(ECI)
- 154.8신뢰구간 152.4~157.3
- Arena 점수(사람 투표)
- 148118위 · 투표 124,675표
주요 반응
Gemini 3.1 Pro는 ARC-AGI-2 77.1% 등 추론 성능 도약과 경쟁 모델보다 낮은 비용으로 호평받았다. 하지만 개발자 커뮤니티에서는 에이전트형 코딩의 신뢰성을 의심하며 Claude를 선호한다는 반응이 많았고, 출시 당일에는 지연 문제도 보고됐다.
- 호평Google은 3.1 Pro가 ARC-AGI-2에서 검증 점수 77.1%를 기록해 3 Pro보다 추론 성능이 두 배 넘게 올랐다고 발표했다. 정식 출시 전 프리뷰 형태로 개발자, 기업, 소비자에게 제공됐다.[1]
- 엇갈림Artificial Analysis 지수에서 57점으로 Claude Opus 4.6(53), GPT-5.2(51)를 앞섰고 실행 비용은 절반 이하였으며 환각률도 3 Pro보다 38%p 낮아졌다. 다만 실제 에이전트 과제에서는 이들보다 뒤처졌다.[2]
- 엇갈림개발자 커뮤니티에서는 추론·지식·가격(Opus의 절반 수준)은 높이 평가했지만, 에이전트형 코딩에서는 루프에 빠지거나 작업을 일찍 끝내는 등 신뢰성이 낮아 Claude를 기본으로 쓴다는 의견이 많았다.[3]
- 비판한 개발자는 처음엔 디자인·애니메이션 성능을 호평했으나, 이후 GPT-5.3-Codex와 Opus 4.6이 코딩에서 훨씬 낫고 3.1 Pro는 버그가 많고 도구 호출도 약하다고 평가를 바꿨다.[4]
- 비판출시 당일에는 심한 지연과 타임아웃, 수요 폭주 오류가 보고돼 초기 개발자 접근에 차질이 있었다.[5]
반응 출처 5개
- Gemini 3.1 Pro: A smarter model for your most complex tasks · blog.google
- Google's Gemini 3.1 Pro Preview tops Artificial Analysis Intelligence Index at less than half the cost of its rivals · the-decoder.com
- Gemini 3.1 Pro · news.ycombinator.com
- Gemini 3.1 Pro – just launched by Google · deepakness.com
- Google Releases Gemini 3.1 Pro Models · letsdatascience.com
출시 기사·리뷰·전문가 평가·개발자 커뮤니티 토론을 LUCAS AI News가 읽고 요약했습니다(2026-10-11 기준). 원문 표현은 옮기지 않았으니 자세한 내용은 출처에서 확인하세요.
영역별 강점
같은 시험을 치른 모델 가운데 어디쯤인지(백분위)를 영역별로 평균했습니다. 바깥일수록 상위권이고, 점수가 없는 영역은 가운데 빈 점으로 표시합니다.
Google 모델 흐름
큰 점이 이 모델입니다. 선은 그때까지의 최고 기록입니다.
독립 벤치마크 점수
- GPQA Diamond과학94.4%
94개 모델 중 7위. 대학원 수준의 생물·물리·화학 객관식 문제 198개. 검색으로 답을 찾기 어렵게 만든 문항이다. 오차 ±1.6%.
- OTIS 모의 AIME수학95.6%
91개 모델 중 25위. OTIS의 경시대회형 수학 문제 45개. MATH Level 5보다 어렵고 FrontierMath보다 쉽다. 오차 ±3.1%.
- FrontierMath(2025판)수학36.9%
46개 모델 중 11위. 연구 수준의 매우 어려운 수학 문제(비공개). 2026년 6월 새 판으로 바뀌기 전 기록이다. 오차 ±2.8%.
- FrontierMath 1~3단계수학59.7%
57개 모델 중 28위. 연구 수준의 매우 어려운 수학 문제(비공개) 2026년 판의 1~3단계. 오차 ±2.9%.
- FrontierMath 4단계수학26.8%
48개 모델 중 25위. FrontierMath 2026년 판에서 가장 어려운 4단계 문제(비공개). 오차 ±7%.
- SWE-bench Verified코딩75.6%
23개 모델 중 7위. 실제 오픈소스 저장소의 이슈를 고치는 과제. 사람이 검증한 500개 문항이다. 오차 ±1.9%.
- MirrorCode코딩8.9%
9개 모델 중 9위. 원본 소스 코드 없이 프로그램 전체를 처음부터 다시 구현하는 장기 코딩 과제. 오차 ±4.6%.
- SimpleQA Verified지식73.5%
52개 모델 중 3위. 정치·과학·예술·스포츠·지리 등 짧은 사실 질문 1,000개에 검색 없이 답한 정확도. 오차 ±1.4%.
- 체스 퍼즐추론55%
60개 모델 중 7위. 체스 엔진으로 새로 만든 퍼즐 100개. 퍼즐마다 최선의 다음 수가 하나 있다. 오차 ±5%.
- 미공개 게임 퍼즐추론34%
47개 모델 중 17위. 잘 알려진 게임을 퍼즐용으로 바꾼 변형판의 100개 국면. 어떤 게임인지는 일부러 밝히지 않았다. 오차 ±4.8%.
- 가구 조립 검사공간·학습26.7%
27개 모델 중 23위. 가구 조립 사진을 보고 조립이 맞는지, 틀렸다면 어느 단계가 틀렸는지 찾는 공간 추론 시험. 오차 ±5.6%.
- EBR-bench공간·학습14.3%
21개 모델 중 15위. 덜 알려진 게임 Earthborne Rangers를 반복해서 할수록 점수가 오르는지 보는 학습 능력 시험.
세로선은 무작위로 찍었을 때 기대되는 점수입니다. 같은 벤치마크라도 평가 방식과 설정에 따라 점수가 달라지므로 개발사 발표 수치와 다를 수 있습니다.
개발사 발표 점수
개발사가 공식 페이지나 논문에 직접 밝힌 수치입니다. 평가 조건이 서로 달라 다른 모델과 바로 비교하기는 어렵습니다. 항목마다 원문에서 확인할 수 있습니다.
| 항목 | 발표 값 | 원문 |
|---|---|---|
| SWE-Bench Pro (Public) Diverse agentic coding tasks | 54.2% | deepmind.google |
| DeepSWE v1.1 Long-horizon software engineering | 12% | deepmind.google |
| Terminal-bench 2.1 Agentic terminal coding | 73.8% | deepmind.google |
| MLE-Bench Machine Learning Engineering | 42.6% | deepmind.google |
| OSWorld-Verified Agentic computer use | 76.2% | deepmind.google |
| CharXiv Reasoning Information synthesis from complex charts | 83.3% | deepmind.google |
| GDM-MRCR v2 (8-needle) Long context performance | 84.9% | deepmind.google |
| MCP Atlas Multi-step workflows using MCP | 78.2% | deepmind.google |
| Finance Agent v2 Financial analysis and decision-making | 43% | deepmind.google |
| MMMU-Pro Multimodal understanding and reasoning | 80.5% | deepmind.google |
| Blueprint-Bench 2 Agentic spatial reasoning | 26.5% | deepmind.google |
| MRCR v2 (8-needle) Long context performance | 84.9% | deepmind.google |
| Humanity’s Last Exam Academic reasoning (full set, text + MM) | 44.4% | deepmind.google |
| ARC-AGI-2 Abstract reasoning puzzles | 77.1% | deepmind.google |
| Humanity's Last Exam Academic reasoning (full set, text + MM)high | 44.4% | deepmind.google |
| GPQA Diamond Scientific knowledgehigh | 94.3% | deepmind.google |
함께 볼 모델
- Gemini 3.1 Flash-Lite Google · 2026-03-03
- Gemini 3 Flash Google · 2025-12-17
- Grok 4.20 xAI · 2026-02-17
- Claude Sonnet 4.6 Anthropic · 2026-02-17