ReFlow, 경험 재사용으로 LLM 강화학습 처리량 최대 2.06배

ReFlow는 대규모 언어 모델의 강화 학습 후학습 속도를 높이기 위해 제안된 시스템·알고리즘 공동 설계 프레임워크다. 논문은 대표적인 단일 턴 추론 과제와 다중 턴 에이전트 과제 실험에서 최신 동기·비동기 강화 학습 시스템보다 학습 처리량이 최대 2.06배 높았다고 밝혔다. 모델 성능은 비슷하거나 더 좋았다고 한다.

논문은 2026년 10월 15일 arXiv에 올라왔다.

비동기 방식의 한계

강화 학습은 LLM의 추론과 에이전트 능력을 높이는 핵심 방법이지만 효율이 병목으로 꼽힌다. 기존 시스템은 롤아웃 생성과 정책 최적화를 겹쳐 실행하는 비동기 방식을 흔히 쓴다. 논문은 이 방식에 한계가 있다고 지적한다. 정책이 경미하게 낡은 수준에서는 학습 효율 이득이 제한적이고, 비동기를 과하게 키우면 모델 품질을 떨어뜨릴 수 있으며 효율 이득도 체감한다는 것이다.

다중 턴 에이전트 작업은 시간에 따라 자원 수요가 달라지기 때문에, 자원을 고정 배분하고 생성 전략을 정해 두는 방식은 비효율적이라고 논문은 설명한다.

재사용과 세 가지 설계

ReFlow의 출발점은 궤적을 한 번만 쓰는 기존 프레임워크와 달리 최근 궤적을 리플레이해 다시 쓰는 것이다. 논문은 이렇게 하면 정책이 과도하게 낡는 문제를 일으키지 않으면서 비싼 롤아웃 생성 비용을 여러 번의 학습에 나눠 부담시킬 수 있다고 밝혔다.

• 이중 리플레이 데이터 순환: 경험을 효율적으로 재사용하면서 학습 처리량과 최적화 안정성의 균형을 맞춘다.
• 탄력적 자원 풀: 변하는 강화 학습 작업량에 맞춰 자원 배치를 동적으로 바꾼다.
• 적응형 스케줄러: 생성 전략과 자원 배분을 조율해 자원 활용도와 생성 처리량을 높인다.