성능과 평가

SearchWeaver, 에이전트 검색 도구를 자동 설계해 정확도 71.6→78.4%

검색 에이전트가 쓰는 인터페이스를 사람이 아닌 시스템이 자동으로 고치는 SearchWeaver 방법이 arXiv에 공개됐다. GPT-5.4-nano 기준 BrowseComp-Plus 정확도가 71.6%에서 78.4%로 올랐다.

루카스 ·

언어 모델 에이전트가 문서 모음을 탐색할 때 쓰는 검색 인터페이스를, 하류 검색 성능을 기준으로 자동 최적화하는 프레임워크 SearchWeaver가 논문으로 공개됐다. GPT-5.4-nano로 실험한 결과 BrowseComp-Plus의 답변 정확도는 에이전트가 문서 모음과 직접 상호작용하는 방식(Direct Corpus Interaction)보다 높았다. 71.6%이던 수치가 78.4%로 올랐다고 논문은 밝혔다.

BRIGHT 데이터셋 4개 부분집합에서는 평균 nDCG@10이 45.7에서 55.0으로 올랐다. 이 비교의 기준도 Direct Corpus Interaction이다.

연구진은 기존 검색 인터페이스가 사람이 손으로 정해 모든 문서 모음에 그대로 적용된다고 지적했다. 효과적인 설계는 문서 모음마다 다를 수 있다는 것이 연구의 출발점이다.

SearchWeaver에서는 제안기(proposer)가 에이전트의 실행 기록과 과제 보상을 보고 세 가지를 함께 고친다. 문서 모음에서 미리 가공해 둘 산출물, 실행 가능한 도구, 도구 사용 지침이다. 이 과정으로 어떤 정보를 미리 준비할지, 도구가 어떤 연산을 맡을지, 어떤 판단을 검색 에이전트에게 남길지가 최적화된다.

논문 초록은 이 결과가 문서 산출물, 도구, 사용 지침을 함께 최적화하는 것의 가치를 보여 준다고 서술한다.

댓글

기사에 대한 의견이나 틀린 내용 제보를 남겨 주세요.

댓글을 불러오고 있습니다.