SkillEval, LLM 능력을 기술별로 진단하는 평가 틀 제안

연구진이 LLM을 벤치마크 평균 점수 하나로 평가하는 방식 대신, 기술별 능력을 추정하는 평가 틀 SkillEval을 arXiv에 제안했다. 문제에서 해석 가능한 기술을 자동으로 찾아내고, 심리측정학의 인지 진단 모델(CDM)로 모델마다 기술별 능력치를 계산하는 방식이다. 논문은 2026년 10월 20일 게재됐다.

연구진은 LLM을 예제별 성적의 평균 하나로 평가하면 지나치게 거칠고, 벤치마크 데이터셋이 다루는 다양한 기술이 가려진다고 지적했다. 실험은 MATH, BBH, GPQA, MuSR, IFEval 등 영역이 다른 다섯 벤치마크에서 9,523개 문항으로 3,811개 모델을 평가해 진행했다.

SkillEval은 두 가지를 결합한다. LLM의 메타인지 능력으로 문제에서 해석 가능한 기술을 자동으로 찾아내고, 심리측정학의 CDM을 적용해 모델별 기술 능력을 추정한다.

연구진은 기존 평균 기반 평가보다 신뢰할 수 있고 보정이 잘 되었으며 정보량이 풍부하면서도 간결한 모델 프로파일을 얻었고, 처음 보는 문항에서 모델의 행동을 더 정확히 예측했다고 밝혔다.

LLM 라우팅에서는 질의마다 처리 능력이 있으면서 효율적인 모델을 동적으로 배정한다. 연구진은 이 방식으로 추론 비용을 60% 넘게 줄이면서 성능도 높였다고 밝혔다. 절감폭과 성능 향상의 비교 대상은 초록에 공개되지 않았다.

컴퓨터 적응형 테스트(CAT)에서는 학습된 CDM으로 처음 보는 모델을 효율적으로 평가할 수 있다. 기술 프로파일을 분석하면 벤치마크들이 기술을 얼마나 공유하는지, 지시 튜닝 모델이 기반 모델과 어떻게 다른지도 파악된다고 연구진은 설명했다.