RSI Arena 공개, AI 10종이 1단계 6일간 스스로 모델 사후학습

프런티어 모델 10종이 학습 에이전트가 되어 언어 모델을 스스로 사후 학습하는 실험 RSI Arena가 arXiv에 공개됐다. 논문은 2026년 10월 24일자로 올라왔다. 각 에이전트는 NVIDIA Nemotron 3.5 Lightning 30B-A3B Base에서 출발해 데이터 선정, 학습 절차 구현, 체크포인트 선택을 독립적으로 맡았다. 이 실험은 사람의 피드백을 받는 재귀적 자기 개선으로 나아가는 한 단계로 설계됐다.

실험은 두 단계다. 1단계는 6일간 진행됐고, 에이전트는 공용 64-GPU 클러스터에서 각각 GPU 1,000시간과 API 크레딧 300달러를 배정받았다. 2단계에서 각 에이전트는 자신의 1단계 모델이 관련된 비교 기록과 투표를 받아 3일간 추가 학습했다. 연구진은 20개 벤치마크와 사람이 참여한 블라인드 평가로 결과를 측정했다.

단계별 결과

연구진에 따르면 10개 에이전트가 모두 작동하는 어시스턴트를 만들었다. 가장 좋은 모델은 GPT-6 Astra가 학습시킨 것으로, 12개 능력 벤치마크에서 기본 모델과 NVIDIA Instruct 모델 사이 격차의 중앙값 76%를 메웠다. 블라인드 평가의 사람 선호도 평점도 답변 길이와 서식을 통계적으로 보정하면 NVIDIA Instruct에 가까웠다.

두 번의 평가 라운드에서 NVIDIA Instruct를 공통 기준으로 삼아 비교하자, 10개 중 8개 모델이 1단계보다 2단계에서 스타일 보정 상대 평점이 올랐다.

한계와 부작용

연구진은 RSI Arena를 사람의 피드백이 자율적 모델 개발을 이끄는 과정을 감사 가능한 환경에서 연구할 수 있게 해 준다고 설명했다. 이 실험은 사람이 사용하는 AI의 개선이 무엇인지 정의하는 데 참여하는 RSIHF(recursive self-improvement with human feedback, 사람 피드백을 포함한 재귀적 자기 개선)로 가는 한 걸음이라고 밝혔다.

연구진은 RSI Arena를 사람의 피드백이 자율적 모델 개발을 이끄는 과정을 검증할 수 있는 환경이라고 설명했다. 이 실험은 사람이 사용하는 AI의 개선이 무엇인지 정의하는 데 참여하는 RSIHF(recursive self-improvement with human feedback, 사람 피드백을 포함한 재귀적 자기 개선)로 가는 한 걸음이라고 밝혔다.