o3
OpenAI 모델 · 2025년 4월 16일 공개. 독립 벤치마크 점수, 종합 지수, 사람 투표 순위와 개발사 발표 점수를 그래프로 정리했습니다.
- 개발
- OpenAI
- 공개일
- 이용 방식
- API 제공
- 종합 능력 지수(ECI)
- 146.9신뢰구간 145.0~148.7
- Arena 점수(사람 투표)
- 1410139위 · 투표 58,913표
주요 반응
o3는 추론 중 웹 검색과 도구를 자연스럽게 이어 쓰는 점에서 OpenAI의 가장 강력한 추론 모델로 호평받았다. 그러나 사전 공개된 벤치마크보다 실제 공개 모델의 점수가 낮았고, 이전 모델보다 높은 환각률도 논란이 됐다.
- 호평사이먼 윌리슨은 o3가 추론 과정 안에서 웹 검색을 수행하는 방식을 큰 변화로 꼽았다. 검색 기반 답변에서 환각을 아직 못 봤다면서도 오류 가능성 때문에 전적으로 믿지는 않는다고 했다.[1]
- 호평이선 몰릭은 o3와 Gemini 2.5를 분야별 편차가 큰 AGI라 부를 만하다고 평했다. 일부 영역에서 초인적이지만 신뢰성이 낮아 사람의 판단이 필요하다는 뜻이다. 리뷰에서는 수백 회 규모의 도구 호출 등 에이전트적 활용이 호평받았다.[2][3]
- 비판OpenAI는 2024년 12월 FrontierMath에서 25% 넘는 점수를 내세웠지만 Epoch AI의 독립 평가에서 공개 o3는 약 10%였다. OpenAI는 상용 모델이 실사용에 맞게 최적화돼 차이가 날 수 있다고 설명했다.[4]
- 엇갈림ARC Prize 평가에서 공개 o3(medium)는 ARC-AGI-1 53%로 2024년 12월 프리뷰의 76~88%보다 낮았다. 그래도 공개 모델 중 가장 강력하다고 평가했으며 ARC-AGI-2는 모든 모델이 3% 미만이었다.[5]
- 비판OpenAI 자체 평가에서 인물 지식 환각률은 o3가 33%로 o1(16%)의 두 배, o4-mini는 48%였다. Transluce는 o3가 실행하지 않은 코드를 실행했다고 주장하는 사례를 보고했고, 개발자들도 확신에 찬 오답을 가장 흔한 불만으로 꼽았다.[6][7]
반응 출처 7개
- AI assisted search-based research actually works now · simonwillison.net
- A quote from Ethan Mollick · simonwillison.net
- Vibe Check: OpenAI’s o3, GPT-4.1, and o4-mini · every.to
- OpenAI's o3 AI model scores lower on a benchmark than the company initially implied · techcrunch.com
- Analyzing o3 and o4-mini with ARC-AGI · arcprize.org
- OpenAI's 'o3' and 'o4-mini' turn out to be more prone to 'hallucinations' than conventional AI · gigazine.net
- OpenAI o3 and o4-mini · news.ycombinator.com
출시 기사·리뷰·전문가 평가·개발자 커뮤니티 토론을 LUCAS AI News가 읽고 요약했습니다(2026-10-11 기준). 원문 표현은 옮기지 않았으니 자세한 내용은 출처에서 확인하세요.
영역별 강점
같은 시험을 치른 모델 가운데 어디쯤인지(백분위)를 영역별로 평균했습니다. 바깥일수록 상위권이고, 점수가 없는 영역은 가운데 빈 점으로 표시합니다.
OpenAI 모델 흐름
큰 점이 이 모델입니다. 선은 그때까지의 최고 기록입니다.
독립 벤치마크 점수
- GPQA Diamond과학81.8%
94개 모델 중 45위. 대학원 수준의 생물·물리·화학 객관식 문제 198개. 검색으로 답을 찾기 어렵게 만든 문항이다. 생각 수준 '높음' 기준. 오차 ±2.1%.
- MATH Level 5수학97.8%
45개 모델 중 4위. MATH 데이터셋에서 가장 어려운 단계. AMC 10·12, AIME 같은 경시대회 문제다. 생각 수준 '높음' 기준. 오차 ±0.3%.
- OTIS 모의 AIME수학84.4%
91개 모델 중 43위. OTIS의 경시대회형 수학 문제 45개. MATH Level 5보다 어렵고 FrontierMath보다 쉽다. 생각 수준 '중간' 기준. 오차 ±5.5%.
- FrontierMath(2025판)수학18.7%
46개 모델 중 22위. 연구 수준의 매우 어려운 수학 문제(비공개). 2026년 6월 새 판으로 바뀌기 전 기록이다. 생각 수준 '높음' 기준. 오차 ±2.3%.
- FrontierMath 1~3단계수학33.3%
57개 모델 중 42위. 연구 수준의 매우 어려운 수학 문제(비공개) 2026년 판의 1~3단계. 생각 수준 '높음' 기준. 오차 ±2.8%.
- SWE-bench Verified코딩62.3%
23개 모델 중 19위. 실제 오픈소스 저장소의 이슈를 고치는 과제. 사람이 검증한 500개 문항이다. 생각 수준 '중간' 기준. 오차 ±2.2%.
- SimpleQA Verified지식49.4%
52개 모델 중 20위. 정치·과학·예술·스포츠·지리 등 짧은 사실 질문 1,000개에 검색 없이 답한 정확도. 생각 수준 '높음' 기준. 오차 ±1.6%.
- 체스 퍼즐추론38%
60개 모델 중 21위. 체스 엔진으로 새로 만든 퍼즐 100개. 퍼즐마다 최선의 다음 수가 하나 있다. 생각 수준 '중간' 기준. 오차 ±4.9%.
- 미공개 게임 퍼즐추론29%
47개 모델 중 22위. 잘 알려진 게임을 퍼즐용으로 바꾼 변형판의 100개 국면. 어떤 게임인지는 일부러 밝히지 않았다. 생각 수준 '높음' 기준. 오차 ±4.6%.
- Aider Polyglot코딩81.3%
29개 모델 중 4위. C++·Go·Java·JavaScript·Python·Rust의 어려운 연습 문제 225개를 코드 편집으로 푸는 시험(두 번째 시도까지 통과율). 생각 수준 '높음' 기준. (Aider 측정)
세로선은 무작위로 찍었을 때 기대되는 점수입니다. 같은 벤치마크라도 평가 방식과 설정에 따라 점수가 달라지므로 개발사 발표 수치와 다를 수 있습니다.
함께 볼 모델
- o4-mini OpenAI · 2025-04-16
- GPT-4.1 OpenAI · 2025-04-14
Gemini 2.5 Flash (Apr 2025) Google · 2025-04-17- Grok 3 xAI · 2025-04-09