RoleFlow는 여러 역할로 나뉜 LLM 에이전트가 과제에 맞춰 협업 구조를 스스로 바꾸도록 한 방법이다. 논문은 2026년 10월 21일 arXiv에 올라왔다. 연구진은 4개 영역의 7개 벤치마크 평균에서 가장 강한 경쟁 방법보다 4.7점 높은 성능을 냈다고 밝혔다.
기존 멀티 에이전트 시스템은 협업 구조를 미리 정해 두는 경우가 많아 과제 요구가 달라지면 적응하기 어렵다. 최근에는 구조를 동적으로 조율하는 방식이 나왔지만, 결과 전체에 보상 하나를 주는 방식이어서 개별 구조 변경이 얼마나 기여했는지 가려내기 힘들었다고 연구진은 지적했다.
RoleFlow는 피드백을 바탕으로 협업 구조를 원자적 수정(atomic edit) 단위로 고치고, 필요한 시점에 새 역할을 합성하는 방식(on-demand role synthesis)으로 구조를 다듬는다. 이 적응 과정을 학습할 수 있도록 연구진은 SECPO(Single-Edit Counterfactual Policy Optimization)를 도입했다. SECPO는 같은 체인 상태에서 수정을 한 경우와 하지 않은 경우를 견줘 평가하고, 그 수정에 해당하는 토큰에 보상을 배분한다.
세 가지 멀티홉 질의응답 벤치마크에서는 모두 1위였고, F1 점수로 3.2~7.5점 앞섰다. 수학 추론, 웹 상호작용, 코드 생성에서도 우위를 보였다고 연구진은 밝혔지만, 이 세 영역은 구체적인 점수 차를 제시하지 않았다. 연구진은 추가 분석에서 벤치마크 간 전이, 학습 데이터 효율, 실행 모델이 바뀌어도 통하는 일반화도 확인했다고 설명했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.