Parlant 4.0용으로 개발된 Signals and Queries(S&Q)가 2026년 10월 21일 arXiv 논문으로 공개됐다. 에이전트가 대화 한 턴마다 적용할 행동 정책을 고를 때, 본 평가에 앞서 후보 정책을 30% 이상 걷어내는 가벼운 1단계 필터다. 연구진은 이때 높은 재현율을 유지한다고 밝혔다.
사용자와 직접 대화하는 LLM 에이전트는 매 턴 어떤 정책이 해당되는지 판단해야 한다. 정책마다 LLM으로 평가하면 비용이 커진다고 논문은 지적한다. S&Q는 이 평가를 더 작은 후보 집합에만 하도록 바꾼다.
작동 방식은 두 단계다. 먼저 정책마다 LLM이 그 정책을 발동시키는 예시와 헷갈리기 쉬운 부정 예시를 오프라인에서 미리 만든다. 이 예시들의 임베딩으로 정책별 로지스틱 분류기를 독립적으로 학습시키고, 실제 대화에서는 임베딩과 벡터 내적만으로 관련성을 예측한다. 턴마다 LLM을 호출하지 않으며, 정책별 분류기를 따로 갱신할 수 있다.
평가에는 LLM이 판정한 관련성 라벨 9,144개를 썼다. 대상은 τ²-bench 대화 접두부 254개와 항공 정책 36개다. S&Q는 평가한 모든 재현율 구간에서 Top-k 검색과 코사인 유사도 임계값 방식보다 정밀도가 높았고, 두 임베딩 제공자에서 결과가 일관됐다고 연구진은 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.