LiveSearch, 금융 검색 에이전트를 매일 새 정답으로 채점하는 벤치마크 공개

금융 검색 에이전트를 매일 바뀌는 최신 정보로 채점하는 벤치마크 LiveSearch가 공개됐다. 논문은 2026년 10월 27일 arXiv에 올라왔다. 질문을 실행 가능한 검증 코드로 저장하고, 평가할 때마다 전문 금융 데이터 서비스에서 정답을 새로 계산하는 방식이다.

연구진은 금융에서 중요한 답이 대개 현재 시점의 답이라고 지적했다. 가격, 금리, 공시는 특정 날짜 기준으로만 맞기 때문이다. 기존 금융 벤치마크 대부분은 주석을 달 때 정답을 고정해 시장이 움직이면 정답이 낡고, 학습 데이터로 새어 들어가면 검색과 분석 대신 암기를 보상한다는 것이다.

질문은 고정하고 정답은 매일 다시 계산

LiveSearch의 각 질문은 전문 금융 데이터 서비스를 호출하는 형식화된 프로그램과, 결과에서 값을 뽑는 선언형 추출기로 이뤄진다. 질문은 그대로 두고 평가 시점에 프로그램을 실행해 정답을 정한다. 매일 도는 작업이 사람이나 언어 모델 없이 이를 다시 실행한다. 외워 둔 답은 낡았을 가능성이 높아, 모델은 도구와 분석으로 현재 값에 도달해야 한다.

문제 생성도 자동이다. 언어 모델은 실제 도구 응답에서 열거한 프로그램을 문장으로 풀어 쓰기만 하고, 정답을 고르지 않는다고 연구진은 밝혔다.

측정 결과

논문 초록에 따르면 일반 웹 검색 조건에서 도구 호출이 가능한 최신 모델 6종의 정답 정확도는 70.9%에서 76.7%였다. 사흘 연속 측정하자 출제된 질문의 70%에서 정답 값이 바뀌었다. 허용 오차를 반영한 채점에서도 이전 스냅샷을 그대로 재사용하면 하루 안에 과반수 질문에서 틀렸다.

질문별로 추적하자 전체 정확도에 가려진 정답 여부의 변동도 드러났다고 연구진은 밝혔다.