에이전트 강화 학습을 하나의 고정된 하네스가 아니라 여러 실행 구성에서 진행하는 방법을 담은 논문 「Harness Scaling for Generalizable Agentic Reinforcement Learning」이 2026년 10월 21일 arXiv에 올라왔다. 연구진은 이 방식을 Harness Scaling이라 부르며, 에이전트 강화 학습의 새로운 확장 차원이라고 주장했다.
논문에 따르면 하네스는 모델이 도구를 쓰고 맥락을 관리하며 긴 상호작용을 조율하는 방식을 정한다. 하네스의 이점을 얻으려면 모델이 이를 잘 활용해야 하므로 하네스를 거쳐 직접 강화 학습을 하는 접근이 나왔다. 연구진은 기존 방식이 대체로 하나의 고정 하네스로 학습하기 때문에, 특정 구성에 치우칠 수 있고 다른 하네스로 옮겨 갈 때 성능이 제한될 수 있다고 지적했다.
Harness Scaling은 세 단계로 이뤄진다. 먼저 하네스 구성을 요소별로 나눈 공간을 만들고, 요소 조합이 고르게 포함되도록 작은 학습용 부분집합을 고른다. 그다음 같은 과제를 여러 하네스에서 풀게 하는 방식으로 교차 학습을 짜서, 전체 범위를 훑는 효과와 통제된 변화를 함께 얻는다.
연구진은 여러 벤치마크, 모델 규모, 강화 학습 알고리즘에서 이 방법이 처음 보는 화이트박스 구성에 대한 일반화를 일관되게 높였다고 밝혔다. 구조적으로 변화를 준 화이트박스 하네스에서 학습한 모델은 외부의 처음 보는 블랙박스 하네스에서도 성능이 잘 옮겨 갔고, 복잡한 블랙박스 하네스 하나로 학습한 모델보다 나은 결과를 냈다고 한다.
이 결과로 연구진은 하네스의 다양성이 의미 있는 확장 차원이며, 그 다양성을 어떻게 조직하느냐가 하네스 간 일반화에 중요하다고 결론지었다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.