연구진이 에이전트의 정책과 실행 하네스를 강화 학습 중에 함께 진화시키는 기법 CoHARL을 arXiv에 공개했다. CoHARL은 SWE-rebench에서 평균 해결률 27.6%를 기록했고, 하네스만 탐색한 방식보다 6.4%포인트 높았다.
연구진은 SWE-bench Verified와 Terminal-Bench 2.0 실험에서도 소프트웨어 엔지니어링과 터미널 기반 작업에서 성능이 올랐다고 밝혔다. 같은 학습 예산으로 맞춰 비교하면, 강화 학습 전에 하네스를 한 번만 탐색하는 방식과 활성 하네스 하나를 두고 정책 갱신과 수정을 번갈아 하는 방식보다 CoHARL이 앞섰다.
작동 방식
대규모 언어 모델(LLM) 에이전트는 도구 사용과 피드백을 관리하는 실행 하네스를 거쳐 환경과 상호작용한다. 연구진은 정책을 고정한 채 하네스만 최적화하면 학습이 진행되며 하네스 동작이 달라지는 것을 놓치고, 하네스를 고정한 채 정책만 학습하면 학습 경험을 만드는 인터페이스가 바뀌지 않는다고 짚었다.
CoHARL은 하나의 공유 정책과 실행 가능한 하네스 집단을 함께 진화시키는 집단 기반 강화 학습 틀이다. 정책은 집단 전체에서 얻은 롤아웃으로 배우고, 제안기가 실행 기록을 바탕으로 학습 도중 하네스 코드를 고친다.
정책과 하네스 중 한쪽만 최적화하던 기존 접근과 달리, 학습 내내 둘을 함께 조정한다는 것이 이 기법의 차이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.