LLM 5종, ML 실험 결과 예측 평가에서 최고 R² 0.49 그쳐

최신 대규모 언어 모델(LLM) 5종은 머신러닝 실험 결과를 어느 정도 맞히지만 정확하지는 않았다. 연구진이 LLM이 낸 실험 아이디어 288개를 모델에 보여 주고 결과를 예측하게 한 뒤 실제 학습 결과와 견주었더니, 가장 나은 Claude Opus 5.5도 결과 변동의 절반가량(R^2 = 0.49)만 설명했다.

평가 대상은 GPT-6 Astra, Claude Opus 5.5, Claude Fable 5.1, Kimi K3, GLM-5.3이다. 아이디어는 MLE-bench 과제 8개에서 나왔고, 연구진은 이를 데이터셋으로 공개해 후속 연구를 지원한다고 밝혔다.

연구진은 LLM이 실험을 제안하고 고르고 실행하는 수준에 이르러 재귀적 자기 개선(RSI)이 점점 현실성을 얻고 있다고 설명했다. 다만 머신러닝의 설계 선택지는 방대하고 학습에 시간이 오래 걸리므로, 실험을 제안하는 LLM에는 돌릴 가치가 있는지 가늠하는 믿을 만한 직관이 필요하다는 것이다. 이번 연구는 그 직관을 측정하려는 시도다.

연구진이 정리한 결과는 네 가지다. 모든 모델이 변화의 크기를 체계적으로 낮게 예측했고, 과제에 따라 예측 품질이 크게 달랐다. 아이디어를 실제로 구현하는 코딩 하네스의 선택은 결과에 거의 영향을 주지 않았으며, 모델이 자기가 낸 아이디어를 더 후하게 보는 자기 선호의 증거도 찾지 못했다.

더 높은 추론 설정과 추가 맥락을 주면 소폭 나아졌다. 연구진은 현재 LLM이 어떤 머신러닝 아이디어가 통할지에 대해 쓸모 있지만 제한적인 직관을 지녔다고 결론지었다.