응집물질 실험에서 얻은 분광 데이터를 대규모 언어 모델이 얼마나 정확히 분석하는지 재는 벤치마크 CME-SpectrumBench가 2026년 10월 16일 arXiv에 공개됐다. 전문가가 설계한 190개 문항으로 구성되며, 최전선(frontier) 모델이 연구 수준의 분광 데이터를 얼마나 믿을 만하게 분석하는지 측정한다. 분석 대상 데이터는 시뮬레이션으로 만든 응집물질 실험 분광 데이터다.
연구진은 코드와 데이터를 공개했다.
시뮬레이션 데이터로 구조를 찾게 한다
모델은 프롬프트로 받은 2차원 강도 배열에서 노이즈와 제한된 기기 분해능을 감안해 구조를 찾아야 한다. 연구진은 이를 밀집한 맥락을 추론하는 시험이라고 설명했다. 채점은 모델이 낸 수치 답이 정답에 얼마나 가까운지로 한다.
LLM은 현재 수학과 물리 전문가 수준 벤치마크로 잘 평가되고 있지만, 이들 벤치마크는 이론과 기호 추론에 초점을 둔다고 연구진은 지적했다. 최전선 연구 문제에서 데이터 분석 능력을 보는 실험형 벤치마크는 부족하며, 앞으로 나올 분야 특화 파운데이션 모델에 이 능력이 필요하다는 것이 연구진의 판단이다.
직접 질문하면 손으로 짠 코드에 못 미친다
연구진에 따르면 모델에 직접 물었을 때 점수는 대체로 손으로 작성한 코드에 크게 못 미쳤다. 뚜렷한 실패 양상이 있었는데, 모델은 단순한 특징은 찾았지만 패턴을 따라가거나 파생량을 계산하는 데 어려움을 겪었다. 데이터 해상도가 높아지고 노이즈나 합성곱 수준이 커질수록 성능도 대개 떨어졌다.
파이썬 인터프리터를 쓰는 도구 사용을 허용하자 성능은 손으로 짠 코드에 견줄 만해졌다. ReAct 프롬프트를 쓸 때와 쓰지 않을 때 모두 그랬다. 연구진은 도구 사용이 질문을 사실상 에이전트형 코드 생성 문제로 대응시킨다고 설명했다.
연구진은 최신 모델이 코드로 데이터를 다루면 연구 보조자 역할을 할 수 있다고 결론지었다. 다만 큰 데이터셋에서 정보를 직접 처리하는 데는 여전히 어려움이 있고, 이것이 앞으로 나올 파운데이션 모델이 넘어야 할 핵심 장벽이라고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.