온라인 강화 학습에서 학습 데이터 하나가 이후 여러 차례 업데이트를 거치며 모델에 끼치는 영향을 추정하는 방법 RL-IF가 논문으로 제안됐다. 연구진은 이 추정치로 학습 데이터를 걸러 내는 기법 RINSE도 함께 만들었다. 논문은 2026년 10월 20일 arXiv에 게시됐다.
연구진은 표준 제어 벤치마크와 인간 피드백 강화 학습(RLHF) 방식의 독성 완화 환경에서 실험했다고 밝혔다. RINSE는 표준 PPO와 국소 기여도 기반 기준선보다 학습 효율과 최종 성능이 좋았다고 한다. 초록에는 개선 폭을 보여 주는 수치가 실려 있지 않다.
영향을 추적하는 방식
온라인 강화 학습은 의사결정 과제에서 큰 성과를 냈지만, 학습에 쓰는 경험의 질에 크게 좌우된다고 연구진은 설명했다. 기존 데이터 기여도 방법은 한 번의 학습 라운드 안에서 나타나는 국소적 영향에 집중해, 여러 라운드에 걸친 비국소적 영향을 놓친다는 것이 연구진의 지적이다.
연구진은 먼저 궤적 단위의 leave-one-out 지표 RL-LOO를 정의했다. 이는 샘플 하나가 이후 온라인 업데이트가 이뤄진 뒤 하류 목표에 미치는 영향을 잰다. RL-IF는 이를 1차 근사로 추정하는 방법으로, 최적화 효과와 정책이 바뀌며 생기는 샘플링 효과를 모두 따라 영향을 전파한다. 매끄러움 가정 아래 근사 정확도에 대한 이론적 보장도 제시했다.
두 효과를 분리해 분석한 결과, 이론과 실험 모두에서 RL-IF 전체 추정치를 최적화 효과만으로도 종종 잘 근사할 수 있었다. RINSE는 이 관찰을 바탕으로 만든 실용적 데이터 필터링 방법이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.