연구진이 피싱 표시나 사람에게 에스컬레이션(상향 전달) 같은 이산적 결정을 AI에 어디까지 맡길 수 있는지 재는 벤치마크 System1-Arena를 arXiv에 공개했다. 논문은 2026-10-15자로 올라왔다. 평가 대상은 상용 LLM 7개, 답변 토큰에서 확률을 읽은 오픈 LLM 13개, System-1 모델 10개로 모두 30개다.
논문 초록에 따르면 가장 큰 System-1 모델은 에이전트가 아닌 과제의 정확도에서 빠른 상용 LLM과 같거나 더 높았다. 같은 비교에서 확률 보정도 더 나았고 지연 시간은 4분의 1 수준이었다. 연구진은 추론을 하는 LLM 하나가 가장 정확했지만 비용은 빠른 LLM의 약 70배였다고 밝혔다.
System-1 모델은 Jev나 OpenAI Decisions API처럼 한 번의 순전파로 선택지별 확률을 내놓는 모델이다. System-2 방식은 추론 단계를 생성한다. System1-Arena는 모든 모델에 같은 결정 요청을 주고 출력 확률을 채점한다.
질문 9만 2천 개는 공개 출처 268곳에서 가져온 과제 105개에 걸쳐 있다. 텍스트 분류와 지식, 응용 결정, 평가와 제어, 에이전트와 행동의 네 묶음이다. 벤치마크에는 이와 별도로 웹 쇼핑, SWE-bench 코딩 제어, 로보틱스, 게임, 운전을 아우르는 폐루프 환경 138개도 들어 있다. 실시간 모드에서는 모델이 결정하는 동안 환경이 계속 변한다.
폐루프 환경에서는 큰 오픈 LLM이 가장 자주 성공했고 성공률은 최대 32.9%였다. 작은 System-1 모델은 성공하는 일이 드물었다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.