연구 아이디어를 생성하는 AI 에이전트를 실행 가능성까지 따져 평가하는 벤치마크 AlphaIdeaBench가 2026년 10월 24일 arXiv에 공개됐다. 연구 계획은 쓸 수 있는 컴퓨팅, API 비용, 시간 안에 들어와야 하는데, 기존 평가는 제약 없는 참신성이나 기존 논문과의 겹침만 점수화하는 경우가 많았다는 것이 논문의 문제의식이다.
벤치마크는 아이디어 생성 과제 100개로 이뤄진다. 워크숍 논문 공모에서 50개, 서베이 논문이 제시한 미해결 문제에서 50개를 가져왔고, 과제마다 명시적 자원 예산과 공통 제안서 양식이 붙는다. 과제, 평가 기준표, 점수는 모두 공개됐다.
평가 모델과 심사 의견 대조
LLM 평가자는 제안서 하나를 타당성, 참신성, 실행 가능성에 걸친 12개 항목으로 채점한다. 연구진은 이 평가자를 검증하려고 문제, 방법, 시나리오, 통찰의 네 가지 참신성 축 점수를 ICLR 2026, NeurIPS 2025, ICML 2025 논문 600편의 심사 의견에서 뽑은 점수와 비교했다.
Gemini 3.7 Flash는 문제 참신성과 방법 참신성에서 논문의 94~97%가 심사 기반 점수와 1점 이내로 일치했다. 시나리오 참신성은 일치도가 상대적으로 낮았다.
하네스와 백본 모델 비교 결과
연구진은 공개된 하네스 8종을 같은 백본 모델에서 비교하고, 한 하네스에서 백본 LLM 8종도 바꿔 가며 평가했다. 종합 점수 1위는 CoI-Agent였고, 방법과 통찰 참신성에서 앞선 SciMON이 근소한 차이로 뒤를 이었다. 모든 하네스가 시나리오 참신성 점수는 낮았고 문제 설정을 바꾸는 일도 드물었다.
제안서가 어떤 미해결 문제를 겨냥하는지는 주로 백본이 정하고, 한 문제를 다룰지 여러 문제를 묶을지는 하네스가 정했다. Llama 4 Scout 같은 약한 백본은 하네스의 전략을 수행하지 못해 예산 실행 가능성 점수가 낮았다.
세 주제에서 예산만 바꾼 실험에서는 컴퓨팅이 많이 드는 주제일수록 예산을 늘릴 때 실험 설정 자체가 달라졌다. 비용이 적게 드는 주제는 같은 조건에서 검증 항목만 늘었다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
