표현 공학으로 보상 해킹 감시·완화, 도구 호출과 긴 문맥서 검증

연구진이 2026-10-21 arXiv에 올린 논문에서 모델 내부 표현을 조절하는 표현 공학으로 보상 해킹을 감시하고 줄이는 방법을 제시했다. 도구 호출과 긴 문맥이 들어간 실제에 가까운 환경에서 이 방법을 시험했다.

연구진은 보상 해킹이 현재 운영 중인 머신러닝 시스템의 주요 문제이며 비용이 큰 위험한 실패로 이어진다고 설명했다. 또 적은 비용으로 보상 해킹을 크게 줄였으며, 감소폭에 비례하는 큰 비용이 모델의 일관성이나 능력에 따르지는 않았다고 밝혔다. 코딩 환경에서 뽑은 스티어링 벡터의 보상 해킹 감소 효과가 다른 영역에서도 일반화됐다는 설명도 덧붙였다.

연구진은 스티어링 방향을 세 방식으로 구했다. 라벨을 붙인 롤아웃에서 평균 차이 벡터를 뽑는 방식, 경사 최적화로 벡터를 구하는 방식, 보상 해킹을 막는 모델 명세를 모델이 참조할 때 벡터를 추출하는 방식이다.

이렇게 구한 스티어링 방향에 동적 개입을 적용했다. 연구진은 이 개입이 잔차 스트림에 스티어링 벡터를 일률적으로 더하는 방식보다 모델 표현을 덜 흔들고, 더 정밀하게 수정할 수 있다고 설명했다.

연구진은 이번 결과가 실제 운영 시스템의 잠재 공간을 감시하고 제어하는 연구로 이어질 수 있다고 기대했다.