SAG2, 임베딩 없이 BM25로 다중 홉 검색 HotpotQA Recall@10 99%

임베딩 계산 없이 BM25 어휘 검색과 JEV의 문맥 기반 증거 판정만으로 다중 홉 검색을 하는 구조 SAG2가 arXiv에 제안됐다. 논문은 비싼 말뭉치 준비나 복잡한 데이터베이스 인프라 없이도 배포할 수 있는 다중 홉 검색을 목표로 내세웠다. SAG2는 SQLite 데이터베이스 하나로 구성되며, 오프라인 임베딩 계산, LLM 기반 이벤트·엔터티 추출, 별도 데이터베이스 서버가 필요 없다고 논문은 밝혔다.

연구진은 MuSiQue, 2WikiMultiHopQA, HotpotQA에서 각각 1,000문항을 뽑아 평가했다. 비교한 방법 가운데 SAG2의 Recall@5와 Recall@10이 가장 높았고, Recall@10은 순서대로 86.62%, 97.43%, 99.00%였다고 논문은 밝혔다.

작동 방식

SAG2는 질의 시점에 관련 정보를 연결하는 SAG(SQL-Retrieval Augmented Generation)의 원리를 따르되, 이벤트·엔터티 인덱스와 밀집 인덱스를 원문 문단에 대한 어휘 인덱스로 바꿨다. 선택된 문단이 다음 검색에 쓸 용어를 제공하고, 새로 찾은 증거가 이후 판단을 이끈다. 의미에 따른 증거 선택이 질의 시점으로 옮겨졌다는 것이 논문의 설명이다.

사전 준비 부담도 작다. MuSiQue 문단 11,656개를 모두 색인하는 데 2.36초가 걸렸고, 결과 데이터베이스는 25.87 MiB였으며 모델 호출은 필요 없었다. 문서 511,962개로 이뤄진 EnterpriseRAG-Bench 말뭉치에서는 문서 Recall@10이 81.10%였다.

이 수치는 모두 논문 저자들이 보고한 결과다. 오프라인 임베딩 계산을 없앴다는 점이 이 구조의 색인 방식을 가른다.