ConCal, 에이전트 강화학습 행동 가치 보정해 WebShop 성공률 5.86%p 향상

장기 과제를 수행하는 에이전트의 강화학습에서 행동 가치를 더 안정적으로 추정하는 기법 ConCal(Continuation Calibration)이 arXiv에 공개됐다. 같은 롤아웃 묶음에 이미 들어 있는 후속 경로 정보를 공유해 추정값을 보정하는 방식이며, 추가 롤아웃은 필요 없다고 연구진은 밝혔다.¹

연구진은 Qwen2.5-1.5B-Instruct 모델로 기존 기법 GiGPO와 비교했다. 성공률은 ALFWorld에서 3.39%p, WebShop에서 5.86%p 높아졌다. 코드는 GitHub에 공개돼 있고, ALFWorld용과 WebShop용 학습 스크립트가 따로 있다.^1,2

단일 경로 추정의 문제와 ConCal의 방식

장기 과제 에이전트는 여러 단계의 상호작용이 끝난 뒤에야 피드백을 받는다. 그래서 개별 행동에 공을 얼마나 돌릴지 정하기가 어렵다. GiGPO는 같은 상태에서 취한 행동끼리 비교해 상대적 이점을 계산하지만, 각 행동의 가치를 샘플링된 후속 경로 하나로 추정한다. 이렇게 얻은 국소적 기여도는 경로 뒤쪽의 결정에 따라 흔들린다.¹

ConCal은 같은 과제의 방문(visit)을 해당 방문으로 들어오는 상태-행동-상태 전이 기준으로 매칭해 후속 경로 증거를 공유한다. 공유한 증거를 각 방문의 자체 전이 추정과 합친 뒤, 보정한 값을 뒤에서 앞으로 재귀적으로 전파해 앞선 행동의 가치 추정을 다듬는다. 연구진은 이 방식이 개별 후속 경로에 대한 의존을 줄이고 국소 기여도의 왜곡을 완화한다고 설명했다.^1,2

별도로 떼어 둔 데이터의 반환값 진단에서는 그룹 내 가치 차이의 오차가 낮았고, 기준 행동 순서와의 일치도는 높았다. 비교 대상은 개별 후속 경로로 추정한 값이다.¹

결과와 재현 환경

저장소 표에서 Qwen2.5-7B-Instruct 항목은 아직 진행 중으로 표시돼 있다. 공개된 구현은 verl-agent와 GiGPO 위에 만들어졌고, ALFWorld와 WebShop 환경을 쓴다.

재현하려면 ALFWorld와 WebShop에 각각 별도의 Conda 환경이 필요하다. ALFWorld 쪽은 Python 3.12와 vLLM 0.11.0, WebShop 쪽은 Python 3.10과 vLLM 0.8.4를 쓴다. 학습 스크립트는 기본값으로 GPU 4개와 시드 123을 쓰며, SEED 환경 변수로 시드를 바꿀 수 있다. 학습 전에는 wandb 로그인을 하거나 WANDB_MODE=offline으로 설정해야 한다. 기반 모델인 Qwen2.5-1.5B-Instruct는 Hugging Face에서 내려받는다. WebShop은 상품 1,000개의 작은 데이터셋으로 설치한다.²