Gemini 3 Pro
Google 모델 · 2025년 11월 18일 공개. 독립 벤치마크 점수, 종합 지수, 사람 투표 순위와 개발사 발표 점수를 그래프로 정리했습니다.
- 개발
- Google DeepMind
- 공개일
- 이용 방식
- API 제공
- 종합 능력 지수(ECI)
- 152.9신뢰구간 150.9~155.1
- Arena 점수(사람 투표)
- 147919위 · 투표 42,078표
주요 반응
Gemini 3 Pro는 독립 평가에서 지능 지수 1위에 오르고 프런트엔드·원샷 앱 제작에서 호평받았다. 반면 높은 환각률, 복잡한 로직과 긴 컨텍스트에서의 한계, 벤치마크 최적화 의혹 등 신중론도 함께 나왔다.
- 엇갈림Artificial Analysis는 Gemini 3 Pro가 지능 지수에서 GPT-5.1보다 3점 앞선 1위이며 10개 평가 중 5개에서 선두라고 밝혔다. 다만 환각률이 88%로 높고 지수 실행 비용은 2.5 Pro보다 약 12% 늘었다.[1]
- 엇갈림한 AI 전문 뉴스레터 팀은 프런트엔드 UI와 원샷 앱 제작이 뛰어나고 코드가 덜 비대하다고 평가했다. 반면 요청하지 않은 작업까지 벌이는 과욕이 있었고, 복잡한 로직은 GPT-5.1 Codex가 더 잘 풀었다.[2]
- 엇갈림개발자 커뮤니티에서는 모델 카드 기준 Humanity's Last Exam 37.5%, ARC-AGI-2 31.1%로 GPT-5.1을 크게 앞선 점이 화제였다. 한편 벤치마크 최적화 가능성과 일부 코딩 지표의 비교 조건을 의심하는 반응도 많았다.[3]
- 엇갈림Simon Willison은 Gemini 2.5를 선두 모델 수준으로 끌어올린 모델이라고 봤다. 복잡한 차트 이미지 설명은 정확했지만, 3시간 넘는 회의 녹음 전사에서는 타임스탬프가 어긋나고 스페인어 발언은 전사 대신 요약했다.[4]
- 비판출시 후 일부 사용자는 개선이 점진적이고 환각과 얕은 추론, 약 30만 토큰 부근 긴 컨텍스트에서의 성능 저하가 있다고 지적했다.[5]
반응 출처 5개
- Gemini 3 Pro - Everything you need to know · artificialanalysis.ai
- Vibe Check: Gemini 3 Pro, A Reliable Workhorse With Surprising Flair · every.to
- Gemini 3 Pro Model Card [pdf] · news.ycombinator.com
- Trying out Gemini 3 Pro with audio transcription and a new pelican benchmark · simonwillison.net
- Gemini 3 Pro徹底レビュー:ベンチマークと実使用感から見る実力 · smartscope.blog
출시 기사·리뷰·전문가 평가·개발자 커뮤니티 토론을 LUCAS AI News가 읽고 요약했습니다(2026-10-11 기준). 원문 표현은 옮기지 않았으니 자세한 내용은 출처에서 확인하세요.
영역별 강점
같은 시험을 치른 모델 가운데 어디쯤인지(백분위)를 영역별로 평균했습니다. 바깥일수록 상위권이고, 점수가 없는 영역은 가운데 빈 점으로 표시합니다.
Google 모델 흐름
큰 점이 이 모델입니다. 선은 그때까지의 최고 기록입니다.
독립 벤치마크 점수
- GPQA Diamond과학92.6%
94개 모델 중 20위. 대학원 수준의 생물·물리·화학 객관식 문제 198개. 검색으로 답을 찾기 어렵게 만든 문항이다. 오차 ±1.7%.
- OTIS 모의 AIME수학91.4%
91개 모델 중 33위. OTIS의 경시대회형 수학 문제 45개. MATH Level 5보다 어렵고 FrontierMath보다 쉽다. 오차 ±3.7%.
- FrontierMath(2025판)수학37.6%
46개 모델 중 10위. 연구 수준의 매우 어려운 수학 문제(비공개). 2026년 6월 새 판으로 바뀌기 전 기록이다. 오차 ±2.8%.
- SWE-bench Verified코딩72.9%
23개 모델 중 14위. 실제 오픈소스 저장소의 이슈를 고치는 과제. 사람이 검증한 500개 문항이다. 오차 ±2%.
- 체스 퍼즐추론31%
60개 모델 중 28위. 체스 엔진으로 새로 만든 퍼즐 100개. 퍼즐마다 최선의 다음 수가 하나 있다. 오차 ±4.7%.
세로선은 무작위로 찍었을 때 기대되는 점수입니다. 같은 벤치마크라도 평가 방식과 설정에 따라 점수가 달라지므로 개발사 발표 수치와 다를 수 있습니다.
개발사 발표 점수
개발사가 공식 페이지나 논문에 직접 밝힌 수치입니다. 평가 조건이 서로 달라 다른 모델과 바로 비교하기는 어렵습니다. 항목마다 원문에서 확인할 수 있습니다.
| 항목 | 발표 값 | 원문 |
|---|---|---|
| Humanity's Last Exam Academic reasoning (full set, text + MM)high | 37.5% | deepmind.google |
| ARC-AGI-2 Abstract reasoning puzzleshigh | 31.1% | deepmind.google |
| GPQA Diamond Scientific knowledgehigh | 91.9% | deepmind.google |
| Terminal-Bench 2.0 Agentic terminal codinghigh | 56.9% | deepmind.google |
| SWE-Bench Verified Agentic codinghigh | 76.2% | deepmind.google |
| SWE-Bench Pro (Public) Diverse agentic coding taskshigh | 43.3% | deepmind.google |
| SciCode Scientific research codinghigh | 56% | deepmind.google |
| APEX-Agents Long horizon professional taskshigh | 18.4% | deepmind.google |
| τ2-bench Agentic and tool usehigh | 85.3% | deepmind.google |
| MCP Atlas Multi-step workflows using MCPhigh | 54.1% | deepmind.google |
| BrowseComp Agentic searchhigh | 59.2% | deepmind.google |
| MMMU-Pro Multimodal understanding and reasoninghigh | 81% | deepmind.google |
| MMMLU Multilingual Q&Ahigh | 91.8% | deepmind.google |
| MRCR v2 (8-needle) Long context performancehigh | 77% | deepmind.google |
함께 볼 모델
- Gemini 3 Flash Google · 2025-12-17
- Gemini 2.5 Flash (Sep 2025) Google · 2025-09-25
- GPT-5.1 OpenAI · 2025-11-13
- Claude Opus 4.5 Anthropic · 2025-11-24