최신 언어 모델이 자신의 하네스를 스스로 만들고 고칠 수 있는지 따져 본 통제 실험 논문이 arXiv에 공개됐다. 논문은 2026년 10월 21일 공개됐다. 27개 계통 전체에서 하네스를 두 번 수정하자, 개발 과정에 쓰이지 않은 게임에서 잰 평균 RHAE는 2.80점 올랐다.
하네스는 모델 호출을 조율하는 기호 프로그램이다. 모델을 대신해 지각, 기억, 도구 사용, 오류 복구, 추론 자원 배분을 맡는다. 실험 무대인 ARC-AGI-3는 에이전트가 낯선 환경을 탐색하며 목표를 스스로 알아내고 계속 배워 가야 하는 상호작용형 벤치마크다. 논문에 따르면 사람이 설계를 이끈(human-steered) 시스템은 공개 게임 전반에서 이미 천장 점수를 보고했다.
실험 방식
각 모델은 고정된 코딩 부트스트랩으로 과제용 하네스를 처음부터 만든다. 이 하네스로 개발용 게임 5개를 플레이한 뒤 코드 전체를 두 차례 수정한다. 모든 버전은 적응 과정에 영향을 주지 않은 게임 20개에서 평가한다. 성능은 레벨 완료와 사람 기준 대비 행동 효율을 합친 RHAE(Relative Human Action Efficiency)로 재고, 추론 비용은 달러로 따로 기록했다.
결과
27개 계통을 비교한 결과 하네스 성능은 0점부터 최고 수준에 가까운 점수까지 크게 갈렸다. 개발용 게임에서 본 향상은 처음 보는 게임에서의 향상보다 컸고, 추론 비용을 줄이면 과제 성능이 희생되는 경우도 있었다. 연구진은 사람이 이끄는 시스템이 더 높은 점수가 가능함을 보여 준다고 밝혔다.
2.80점 상승은 27개 계통 전체를 기준으로 한 값이며, 95% 구간은 -1.44에서 7.35다.
연구진은 이 결과를 하네스를 자율적으로 만드는 일과 믿을 만하게 적응하는 일 사이의 간극으로 해석했다. 과제 성능이 높아도 이후 수정이 다른 게임에 통하거나 기존 능력을 지킨다는 보장은 없다는 것이다. 다만 이는 수정을 두 번만 허용한 조건에서 얻은 결론이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.