AI 모델 · Google
Gemini 1.5 Flash 8B
Google 모델 · 2024년 10월 3일 공개. 독립 벤치마크 점수, 종합 지수, 사람 투표 순위와 개발사 발표 점수를 그래프로 정리했습니다.
- 개발
- Google DeepMind
- 공개일
- 이용 방식
- API 제공
- 매개변수(공개·추정치)
- 80억 개
- 종합 능력 지수(ECI)
- 아직 없음
- Arena 점수(사람 투표)
- 1226305위 · 투표 35,558표
독립 벤치마크 점수
- GPQA Diamond과학33%
94개 모델 중 90위. 대학원 수준의 생물·물리·화학 객관식 문제 198개. 검색으로 답을 찾기 어렵게 만든 문항이다. 오차 ±2.4%.
- OTIS 모의 AIME수학4.6%
91개 모델 중 81위. OTIS의 경시대회형 수학 문제 45개. MATH Level 5보다 어렵고 FrontierMath보다 쉽다. 오차 ±2%.
세로선은 무작위로 찍었을 때 기대되는 점수입니다. 같은 벤치마크라도 평가 방식과 설정에 따라 점수가 달라지므로 개발사 발표 수치와 다를 수 있습니다.
함께 볼 모델
- Gemini 1.5 Pro (Sept 2024) Google · 2024-09-24
- Gemini 1.5 Flash (Sep 2024) Google · 2024-09-24
- Claude 3.5 Sonnet (October 2024) Anthropic · 2024-10-22
- Claude 3.5 Haiku Anthropic · 2024-10-22