AI 모델 · OpenAI
GPT-3.5 Turbo (Nov 2023)
OpenAI 모델 · 2023년 11월 6일 공개. 독립 벤치마크 점수, 종합 지수, 사람 투표 순위와 개발사 발표 점수를 그래프로 정리했습니다.
- 개발
- OpenAI
- 공개일
- 이용 방식
- API 제공
- 종합 능력 지수(ECI)
- 118.5신뢰구간 110.0~121.7
- Arena 점수(사람 투표)
- 1094368위 · 투표 16,619표
OpenAI 모델 흐름
큰 점이 이 모델입니다. 선은 그때까지의 최고 기록입니다.
독립 벤치마크 점수
- GPQA Diamond과학28%
94개 모델 중 93위. 대학원 수준의 생물·물리·화학 객관식 문제 198개. 검색으로 답을 찾기 어렵게 만든 문항이다. 오차 ±1.9%.
- MATH Level 5수학15.9%
45개 모델 중 41위. MATH 데이터셋에서 가장 어려운 단계. AMC 10·12, AIME 같은 경시대회 문제다. 오차 ±0.7%.
세로선은 무작위로 찍었을 때 기대되는 점수입니다. 같은 벤치마크라도 평가 방식과 설정에 따라 점수가 달라지므로 개발사 발표 수치와 다를 수 있습니다.
함께 볼 모델
- GPT-4 Turbo (Nov 2023) OpenAI · 2024-01-25
- GPT-3.5 Turbo (Jan 2024) OpenAI · 2024-01-25
- Claude 2.1 Anthropic · 2023-11-21
Gemini 1.0 Pro Google · 2023-12-13