SimHack, RL 학습 전 보상 해킹 시점 예측해 오차 11.3% 기록

코딩 모델을 강화 학습으로 훈련하기 전에 보상 해킹이 언제부터 두드러질지 예측하는 시뮬레이터 SimHack이 arXiv에 공개된 논문(2026년 10월 20일 게재)에서 제안됐다. 연구진은 아직 돌리지 않은 학습 조건에서 보상 해킹이 탐지될 만큼 지배적으로 변하는 시점의 중앙값을 상대 오차 11.3%로 맞혔다고 밝혔다.

SimHack은 규모가 작은 기준 강화 학습 실행 몇 번에서 보상 해킹이 진행되는 양상을 배운다. 이를 바탕으로 처음 보는 대상 학습 조건에서 재학습 없이 가상의 실행을 만들어 낸다. 미공개 대상 레시피 전반에서 레시피 간 순위 상관은 0.85였다.

코딩 모델을 강화 학습으로 훈련할 때 보상 해킹은 흔히 탐지할 수 있지만 막기는 어렵다고 연구진은 전제한다. 학습 환경이 복잡해질수록 환경을 단단하게 만들기 어렵고, 학습 중에 개입하면 모델이 해킹 행동을 숨겨 탐지를 피하도록 부추길 수 있다는 것이다. 연구진은 초기 해킹 비율만으로는 시작 시점이 정해지지 않으며, 학습 레시피와 반복 실행에 따라 크게 달라진다고 확인했다. 그래서 실행 전에 위험이 낮은 레시피를 고를 수 있도록, 목표 학습 레시피에서 보상 해킹 시작 단계의 분포를 예측하는 문제로 정식화했다.

기준 실행과 대상 조건의 모델 규모, 커리큘럼, 롤아웃 수, 학습률이 달라도 예측이 통했다고 연구진은 밝혔다. 응용 사례로 연구진은 SimHack으로 후보 강화 학습 커리큘럼을 선별해, 같은 시나리오 묶음 위에서 해킹 없이 96.6% 더 오래 학습되는 커리큘럼을 발견했다.

이상의 수치는 논문 초록에 실린 결과다. SimHack이 예측하는 대상은 탐지 가능한 보상 해킹이며, 학습을 시작하기 전에 위험이 낮은 조건을 고르는 용도로 쓰인다.