Epoch AI, ECI 산정 방식을 베이지안 모델로 바꿔 모델 간 비교 가능

Epoch AI가 AI 모델의 역량을 벤치마크 결과로 측정하는 Epoch Capabilities Index(ECI)의 산정 방식을 2026년 11월 4일 베이지안 모델로 바꿨다. 이제 불확실성 구간이 데이터 전체에서 직접 계산되고, 한 모델이 다른 모델보다 더 뛰어날 확률도 구할 수 있다.

지수의 구조와 기준점은 그대로다. 모델마다 역량 점수 하나를, 벤치마크마다 난이도와 기울기를 두며, Claude 3.5 Sonnet을 130, GPT-5를 150으로 고정한다. 바뀐 것은 모델을 맞추는 방식과 불확실성을 계산하는 방식이다. 새 ECI와 데이터, 코드는 Epoch AI 웹사이트에서 볼 수 있고, 연구 내용은 Emilia Álvarez와 Alexander Barry가 정리했다.

ECI 상위권(125 이상) 176개 모델은 거의 달라지지 않았다. 새 값과 이전 값의 R²는 0.995, 평균 제곱근 오차는 1.1점이다. 모든 모델의 새 값이 이전 90% 신뢰구간 안에 들어왔고, 구간 폭은 평균 13% 좁아졌다. 이 그룹의 평균 변화는 −0.1점이고 가장 크게 내려간 모델은 4.1점 내려갔다. 150을 넘는 모델의 87%는 평균 0.7점, 최대 2.3점 올랐다. 반면 125 미만 76개 모델은 모두 내려갔다. 평균 하락폭은 13.7점, 가장 큰 하락폭은 39.2점이며, 기존 100 미만이던 21개 모델은 평균 27점 내려갔다. 125 미만 76개 모델 전체의 구간 폭은 평균 33% 넓어졌다.

기존 방식의 문제와 새 모델

ECI는 교육 평가에서 쓰는 문항반응이론(IRT)을 바탕으로 한다. 서로 다른 시험을 본 학생들을 비교하듯, 서로 다른 벤치마크를 치른 모델들을 한 척도에 놓는다. 0~100%로 채점되는 벤치마크만 쓰며, 점수를 연속값으로 보고 모델이 맞히는 문항의 기대 비율로 취급한다. 벤치마크의 무작위 추측 점수는 0, 최고 점수는 1로 맞춘 뒤, 모델 역량과 벤치마크 난이도의 차이에 기울기를 곱해 로지스틱 함수에 넣어 점수를 예측한다.

이전에는 예측과 실제 점수의 제곱 오차를 최소화하는 빈도주의 방식으로 맞추고, 신뢰구간은 부트스트랩 500회로 구했다. Epoch AI는 이 구간이 근거가 약했다고 평가했다. 모델당 점수가 중앙값 10개, 적게는 4개뿐이어서, 재표본을 뽑으면 한 모델의 ECI가 크게 흔들리고 그 흩어짐이 실제 불확실성을 반영하지 못한다는 이유다. 모델끼리 직접 비교하도록 설계되지도 않았다.

새 모델은 규제 항 없이, 사후분포에서 마르코프 체인 몬테카를로(MCMC)로 표본을 뽑는다. 표본 하나가 모든 모델의 역량과 모든 벤치마크의 난이도·기울기·잡음을 담은 가능한 조합 하나이며, 표본 평균을 ECI로, 5~95번째 백분위 구간을 90% 크레더블 구간으로 보고한다.

• 우도 함수: 정규분포 대신 베타분포를 쓴다. 점수가 0%와 100% 사이를 벗어나지 않고, 0이나 1에 가까울수록 잡음이 줄어든다. 관측 점수는 0.001~0.999로 잘라 쓴다.
• 벤치마크별 잡음: 벤치마크마다 잡음 수준을 따로 학습한다. 예를 들어 예측 점수가 50%인 모델은 METR Time Horizons에서 보통 46~54%, VPCT에서는 32~68%에 놓인다.
• 척도 고정: 단일 벤치마크(WinoGrande) 기울기를 1로 두던 방식 대신, 기울기의 기하평균을 1로, 난이도 합을 0으로 맞춰 전체 벤치마크로 척도를 정한다. 기준점인 Claude 3.5 Sonnet과 GPT-5 자체에는 불확실성이 없다.
• 사전분포: 역량과 난이도는 균등분포(−50~50)로 두어 모델 발전 속도를 사전분포가 제한하지 않게 했다. 기울기와 잡음에는 데이터에서 학습하는 느슨한 계층 사전분포를 쓴다.

달라진 수치

기준선은 GPT-4다. 가장 약한 최전선 모델인 GPT-4는 ECI가 126에서 122로 내려갔다. 상위 20개 모델은 모두 이전 구간 안에 있고, 18개가 평균 0.7점 올랐으며, 20개 모두 구간이 좁아졌다. 가장 약한 20개 모델은 평균 27점 내려갔고 구간도 모두 넓어졌다.

약한 모델이 내려간 이유의 일부는 이전 모델의 규제 항과 매개변수 범위 제한을 없앤 데 있다. 이 항은 모든 역량을 0 쪽으로 당겼고, 점수가 적고 대부분 포화된 벤치마크로만 측정된 아주 약한 모델을 위로 붙잡고 있었다. 이전 방식에서 규제와 범위 제한만 빼고 다시 맞추면 100 미만 모델은 10.5점, 100~125 모델은 3.6점 내려간다. 나머지 하락은 새 모델 자체에서 나온다. Epoch AI는 점수가 적다는 이유만으로 모델을 평균으로 끌어당기는 규제를 정당화하기 어렵다고 보았다. 또 이 모델들은 최전선과 한참 떨어져 있어 ECI의 일반적인 용도에는 영향이 없다고 설명했다.

최전선 추세선은 연 1~2점 가팔라졌다. GPT-4부터 GPT-4.5까지의 추론 이전 시기는 연 6.2점(90% 구간 2.8~7.8)에서 8.0점(5.4~9.7)으로, o1-mini 이후 추론 시기는 15.7점(13.8~19.2)에서 16.6점(14.6~18.7)으로 바뀌었다. Epoch AI는 불확실성에 비하면 작은 변화이며, 주로 척도 변화 때문일 가능성이 높다고 밝혔다. 새 방식은 두 기준 모델을 역량 면에서 더 가깝게 놓지만 둘의 격차는 여전히 20점으로 고정하므로 척도가 늘어난다. GPT-4와 Claude Opus 5.5의 ECI 격차가 43.0점에서 46.9점으로 커진 것이 그 예다.

모델 간 비교와 정확도

모든 역량을 함께 추정하므로 두 모델의 격차 분포를 직접 볼 수 있다. GPT-6 Astra의 90% 구간은 166.2~172.7, Claude Opus 5.5는 165.8~172.0으로 크게 겹친다. 그러나 두 기준 모델 사이 격차에서 오는 불확실성은 모델들이 함께 공유한다. 가까운 모델끼리는 같이 움직이므로 둘의 격차는 각자의 ECI보다 덜 불확실하다. GPT-6 Astra와 Claude Opus 5.5의 격차 구간은 −0.9~+2.1로, 각 모델 구간의 절반 폭이다. GPT-6 Astra가 Claude Opus 5.5보다 더 뛰어날 확률은 72%, Claude Fable 5.1보다 뛰어날 확률은 99%다.

예측 정확도는 비슷하다. 학습에 쓴 점수로 검증하면 빈도주의 방식의 RMSE가 0.076, 베이지안이 0.079로 기존 쪽이 약간 낮다. 하나씩 빼고 검증하면 각각 0.094와 0.092로 베이지안이 약간 앞선다. 하나씩 빼고 검증했을 때 90% 구간이 실제 점수를 포함한 비율은 베이지안이 89.6%, 기존 방식이 84.2%다. 학습에 쓴 점수로 보면 베이지안 94.4%, 기존 방식 90.5%로 비교 결과가 달라진다. 다만 하나씩 빼고 검증했을 때 점수가 5% 이하인 구간에서는 베이지안이 80.5%로 목표인 90%에 못 미쳤다. 기존 방식은 불가능한 0 미만, 1 초과 값까지 구간이 뻗어 이 영역의 포함 비율이 높게 나온다.

Epoch AI는 부록에서 검토했으나 채택하지 않은 대안도 밝혔다. 0과 1에 확률 질량을 두는 검열 정규분포 등 다섯 가지 우도를 비교했는데, 예측과 순위는 거의 같았다. 이 방식은 가장 약한 모델 근처의 구간은 개선했지만 다른 곳에서는 구간이 너무 넓어졌다. 균등 사전분포에서 안정적으로 표본이 뽑히는 우도는 베타뿐이었다. 학습한 분포가 평균 쪽으로 끌어당기는 정규 사전분포 대신 균등 사전분포를 택한 이유로는, 점수가 아닌 사전분포가 약한 모델의 위치를 정하게 하지 않으려는 것과, 앞으로 평균에서 더 멀어질 최전선 모델이 끌려 내려가는 일을 막으려는 것을 들었다.

분석에는 2026년 10월 26일 기준 데이터가 쓰였다. 벤치마크 59개, 모델 252개, 점수 2,810개다. 모델은 점수가 있는 벤치마크가 4개 이상이고 그중 4개 이상이 0.1~0.9 사이여야 포함된다. PyMC의 NUTS 표집기로 맞췄고, 발산 0건, 최고 R̂ 1.005 등 수렴 기준을 통과했다. 표집은 M5 MacBook Pro에서 약 1분 걸린다.