한국어 파운데이션 모델을 평가하는 벤치마크 모음 KBS(Korean Benchmark Suite)가 논문으로 공개됐다. Ko-ARC, Ko-GSM8K, Ko-EQ-Bench, Ko-WinoGrande, Ko-LAMBADA, Ko-IFEval로 구성되며, 6개 능력을 측정하는 문항은 전체 합계 9,396개다. 논문은 2026년 10월 15일 arXiv에 올라왔다.
연구진은 영어 벤치마크를 번역하는 데 그치지 않았다고 밝혔다. 문항을 검토하고, 한국어에 맞게 현지화하고, 한국어로 직접 만들고, 한국어에 맞춰 다시 설계하는 방식을 함께 썼다.
평가 대상은 국내에서 개발한 모델, 다국어 오픈 모델, 폐쇄형 API 모델이다. 모델마다 접근 방식, 프롬프트 형식, 채점 방식이 달라서 연구진은 이 차이를 감안한 평가 절차를 적용했다.
연구진은 한국어 벤치마크 점수가 과제를 구성한 방식, 채점 규칙, 프롬프트, 모델의 사후 학습에 좌우된다는 결과를 얻었다. 이에 따라 한국어 평가에서는 최종 점수와 함께 그 점수를 얻은 설정도 보고해야 한다고 제안했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.