AI 모델 · OpenAI
GPT-1
OpenAI 모델 · 2018년 6월 1일 공개. 독립 벤치마크 점수, 종합 지수, 사람 투표 순위와 개발사 발표 점수를 그래프로 정리했습니다.
- 개발
- OpenAI
- 공개일
- 이용 방식
- 공개 가중치
- 매개변수(공개·추정치)
- 1억 1,700만 개
- 학습 연산량
- 1.8×10¹⁹ FLOPEpoch AI 추정치
- 종합 능력 지수(ECI)
- 아직 없음
- Arena 점수(사람 투표)
- 아직 없음
독립 벤치마크 점수
독립 평가 기관이 아직 이 모델의 점수를 발표하지 않았습니다. 점수가 나오면 반영합니다.
개발사 발표 점수
개발사가 공식 페이지나 논문에 직접 밝힌 수치입니다. 평가 조건이 서로 달라 다른 모델과 바로 비교하기는 어렵습니다. 항목마다 원문에서 확인할 수 있습니다.
| 항목 | 발표 값 | 원문 |
|---|---|---|
| MNLI-m | 82.1% | cdn.openai.com |
| MNLI-mm | 81.4% | cdn.openai.com |
| SNLI | 89.9% | cdn.openai.com |
| SciTail | 88.3% | cdn.openai.com |
| QNLI | 88.1% | cdn.openai.com |
| RTE | 56% | cdn.openai.com |
| Story Cloze | 86.5% | cdn.openai.com |
| RACE-m | 62.9% | cdn.openai.com |
| RACE-h | 57.4% | cdn.openai.com |
| RACE | 59% | cdn.openai.com |
함께 볼 모델
- GPT-2 (1.5B) OpenAI · 2019-11-05
- GPT-3 175B (davinci) OpenAI · 2020-05-28
- Claude 2 Anthropic · 2023-07-11
- Claude Instant Anthropic · 2023-08-09