검색 에이전트 SARL, 강화 학습으로 탐색 상태 파악해 기존 최고 대비 24.3% 향상

연구진이 검색 에이전트가 무엇을 찾았고 무엇이 아직 빠졌는지 스스로 판단하도록 가르치는 강화 학습 기법 Self-Assessment Reinforcement Learning(SARL)을 arXiv에 제안했다. 논문은 2026년 10월 21일 게재됐다.

연구진에 따르면 SARL은 가장 강한 기존 방법보다 상대 성능이 24.3% 높다. 벤치마크별 최고 기준선과 비교하면 멀티홉 추론에서 평균 35.9%, 딥 리서치에서 평균 27.9% 향상됐다고 밝혔다. 모델은 학습 중에만 자기 평가를 익히고, 실제 사용할 때는 별도 평가 단계가 필요 없다.

연구진은 기존 검색 에이전트가 확보한 정보와 부족한 정보를 구분하는 능력, 곧 탐색 상태 인식이 약하다고 지적했다. 이 때문에 근거 없는 추론을 하거나 검색을 너무 일찍 끝내는 문제가 생긴다는 설명이다.

SARL은 보상을 두 갈래로 설계했다. 하나는 각 자기 평가가 검색 행동을 바로잡은 효과를 반영하고, 다른 하나는 평가에 지나치게 기대는 행동에 벌점을 준다. 연구진은 이 구조가 효과적이면서 효율적인 검색 경로를 함께 유도한다고 밝혔다.

연구진은 SARL이 보조 지도 신호나 멀티 에이전트 협업에 기반한 방법도 앞섰다고 밝혔다. SARL은 단독 강화 학습 틀로 동작하며 추론 시점에 덧붙이는 보조 구조가 없다.

검색 구간이 길어지면 기존 방법은 학습 안정성이 계속 떨어지는데, SARL은 이런 조건에서도 학습 안정성을 유지한다고 연구진은 밝혔다. 연구진은 이 덕분에 과제가 복잡해질수록 성능 향상이 이어진다고 설명했다.