검색과 검색기

쉽게 말하면, 정보 검색은 사용자가 찾는 내용과 맞을 가능성이 높은 자료를 골라 순서대로 보여 주는 기술이다. 질문이 짧아도 시스템은 자료 묶음에서 후보를 빠르게 찾고, 관련도를 계산해 위쪽에 올린 뒤, 그 결과가 실제로 쓸모 있었는지 측정한다. 검색 증강 생성처럼 언어 모델과 결합하는 응용도 이 검색 단계에 기대어 작동한다.

1. 개요

정보 검색(IR)은 정보 요구를 충족할 가능성이 높은 자료를 찾아내는 시스템을 연구하고 만드는 분야다. 자료는 문서, 문단, 이미지, 기록 또는 그 밖의 검색 가능한 단위일 수 있다. 사용자는 대개 짧은 질의로 필요를 표현하지만, 질의는 쓸모 있는 것을 불완전하게 설명할 뿐이다. 그래서 IR 시스템은 컬렉션과 질의를 표현하고, 후보를 효율적으로 만들고, 관련성을 추정하고, 결과를 순위화하고, 순위가 목적한 과제에 맞는지 평가해야 한다. 교과서가 흔히 구분하는 것은 비교적 비정형인 자료 모음에서 항목을 찾는 일과, 스키마와 질의 언어로 정답이 정의된 형식적 데이터베이스 질의에 답하는 일이다.

IR은 검색 엔진, 문서 탐색, 기업 검색, 질의응답, 검색 증강 생성에 핵심 방법을 제공한다. 자연어 처리 및 머신러닝과 겹치지만 어느 한쪽으로 환원되지는 않는다. 인코더나 언어 모델은 검색 시스템의 한 구성 요소일 뿐이다. 컬렉션 설계, 색인, 후보 생성, 관련성 평가, 랭킹 목표, 지연 시간 제약, 결과 표시도 모두 결과에 영향을 준다.

보편적으로 가장 좋은 검색기는 없다. 효과는 정보 요구의 집합, 컬렉션, 판정 정책, 지표, 절단 깊이(cutoff), 학습 데이터, 자원 예산에 따라 달라진다. 정확한 식별자는 어휘 일치 방식에 유리할 수 있고, 바꿔 쓴 질문은 학습된 표현에 유리할 수 있다. 한 벤치마크에서 앞선 방법도 도메인이나 언어가 바뀌면 실패할 수 있다. 그래서 어떤 구조가 본질적으로 더 정확하다고 하기보다, 명명된 시스템을 특정 절차 아래 비교하는 주장이 방어 가능하다.²

2. 역사적 기반

벡터 공간 모델은 문서와 질의를 가중치가 붙은 용어 벡터로 표현하고, 유사도 함수로 문서를 순위화한다. Gerard Salton, Anita Wong, Chung-Shu Yang은 1975년 논문에서 SMART 실험을 이용해 이 틀을 설명했다. 이들의 정식화는 문서 표현과 비교 함수를 분리해, 하나의 검색 틀 안에서 여러 용어 가중치와 유사도 측정을 실험할 수 있게 했다.³

카렌 스파크 존스(Karen Sparck Jones)는 1972년 연구에서 용어 특이성을 통계적으로 설명했다. 적은 수의 문서에 나타나는 용어는 컬렉션 전체에 고르게 퍼진 용어보다 변별력이 크다고 보았다. 이 문서 빈도 신호는 많은 용어 가중 방식에서 쓰이는 역문서 빈도(IDF) 요소가 되었다. 다만 이 논문은 여러 변형을 실험으로 검증했을 뿐, 이후의 모든 시스템이 따라야 하는 고정된 공식을 정의하지는 않았다.⁶

확률적 검색 모델은 관련성에 대한 증거로 랭킹을 설명한다. Robertson과 Zaragoza의 검토는 이진 독립 모델, 관련성 가중치, BM25를 낳은 Okapi 계열의 흐름을 추적한다. BM25는 질의어 가중치, 문서 내 용어 빈도의 포화 효과, 문서 길이 정규화를 결합한다. 매개변수와 역문서 빈도 변형은 구현과 컬렉션에 따라 고르는 값이다. k1 = 1.2, b = 0.75는 흔한 출발값일 뿐 보편적 기본값이나 보장이 아니다.⁴

웹 검색은 문서 본문 이외의 신호를 더했다. 브린과 페이지(Brin and Page)는 초기 Google 시스템을 설명하며, 크롤링, 앵커 텍스트, 역색인, 그리고 웹의 링크 그래프를 하나의 랭킹 신호로 쓰는 PageRank를 제시했다. 현대 웹 랭킹을 PageRank만으로 설명할 수는 없다. 이 역사적 논문은 현재 상업 엔진이 신호를 어떻게 가중하는지는 밝히지 않는다.⁷

이 흐름들은 현대 시스템에도 남아 있다. 통계적 용어 가중, 확률적 랭킹, 링크나 그래프 증거, 지도 학습으로 만든 특징, 학습된 텍스트 표현이 모두 점수에 기여할 수 있다. 이 공존이 중요하다. IR의 역사는 밀집 검색이 어휘 색인을 쓸모없게 만든 단순 교체의 순서가 아니다.^2,4

3. 검색 과제와 관련성

IR 과제는 컬렉션, 검색 가능한 단위의 정의, 정보 요구의 집합으로 시작한다. 단위는 문서 전체, 문단, 상품, 또는 미리 나눈 청크일 수 있다. 단위를 바꾸면 색인과 관련성의 의미가 모두 바뀐다. 부모 문서에 무관한 내용이 많아도 문단은 질문에 직접 답할 수 있지만, 문서 단위 법률 검색은 전체 기록을 요구할 수 있다.

사용자의 질의는 정보 요구에 대한 증거이지 그 요구의 완전한 명세가 아니다. 질의는 모호하거나 불충분하거나, 철자가 틀리거나, 여러 언어로 되어 있거나, 시간과 맥락에 따라 달라질 수 있다. 시스템은 텍스트를 정규화하고, 철자를 고치고, 구를 인식하고, 용어를 확장하고, 필터를 적용하고, 상호작용 이력을 쓸 수 있다. 각 조치는 어떤 질의 부류를 돕고 다른 부류를 해칠 수 있으므로, 질의 처리도 종단 간 시스템의 일부로 평가해야 한다.

관련성은 판정 정책을 통해 조작적으로 정의된다. 연구는 평가자에게 결과가 주제와 관련 있는지, 답을 포함하는지, 과제 완수에 유용할지를 물을 수 있다. 판정은 이진이거나 등급형일 수 있다. 평가자마다, 그리고 평가자에게 제공된 정보에 따라 달라질 수도 있다. 따라서 보고된 지표는 그것을 만든 컬렉션, 주제 진술, 판정 척도, 평가자 절차에 상대적이다.²

검색은 흔히 랭킹으로 모델링된다. 질의 q와 후보 d에 대해 점수 함수가 s(q,d)를 부여하고, 결과는 그 값으로 정렬된다. 서로 다른 모델의 점수가 확률이거나 시스템 사이에서 비교 가능할 필요는 없다. BM25 점수, 벡터 내적, 교차 인코더의 로짓은 모두 값이 클수록 더 강한 일치를 뜻하더라도 척도가 전혀 다를 수 있다.⁴

어떤 응용은 짧은 순위 목록이 아니라 집합 검색을 요구한다. 체계적 문헌 검토, 특허 검색, 법적 증거개시, 안전 조사는 높은 재현율과 감사 가능한 질의 논리를 강조할 수 있다. 내비게이션 검색이나 사실형 질의응답은 첫 번째 유용한 결과를 강조할 수 있다. 이 목표들은 서로 다른 지표와 운영점을 정당화하므로, 한 가지를 최적화하는 것을 모든 검색 사용 사례의 최적화로 제시해서는 안 된다.²

4. 수집 준비와 색인

컬렉션 준비가 시스템이 무엇을 반환할 수 있는지 결정한다. 수집 단계는 파일을 가져오고, 형식을 해석하고, 보일러플레이트를 제거하고, 언어를 식별하고, 메타데이터를 추출하고, 내용을 검색 가능한 단위로 나눌 수 있다. 표나 스캔 텍스트를 조용히 빠뜨리는 파서는 랭킹이 시작되기도 전에 재현율 실패를 만든다. 따라서 컬렉션 스냅샷과 파서 버전은 부수적인 인프라가 아니라 실험의 일부다.

안정적인 문서 식별자는 판정, 갱신, 삭제에 필수다. 중복 제거는 바이트 단위로 같은 사본, 거의 같은 사본, 정당하게 반복된 문단을 구별해야 한다. 학습 컬렉션과 시험 컬렉션이 중복을 공유하면 측정된 효과가 부풀려질 수 있다. 운영 색인이 낡은 사본을 남겨 두면, 랭커가 설계대로 동작해도 사용자는 오래되거나 서로 충돌하는 결과를 볼 수 있다.

역색인은 어휘와, 각 용어가 나타나는 문서를 가리키는 포스팅을 저장한다. 위치 정보는 구와 근접 질의를 지원하고, 필드 식별자는 제목과 본문을 다르게 다루게 하며, 저장된 컬렉션 통계는 점수 계산을 돕는다. 밀집 검색은 대신 학습된 벡터(임베딩)와 선택한 거리 또는 유사도 척도의 인덱스를 저장한다. 두 표현은 서로 다른 증거를 담기 때문에 많은 시스템이 둘 다 유지한다.

텍스트 분석은 언어와 도메인에 따라 달라진다. 토큰 경계, 유니코드 정규화, 대소문자, 발음 구별 기호, 복합어, 어간 추출, 불용어가 모두 일치 방식을 바꿀 수 있다. 문자나 하위 단어 표현은 일부 어휘 문제를 줄이지만 없애지는 못한다. 올바른 분석기는 의도한 문서와 질의에 대해 검증된 것이며, 정규화로 지워지면 안 되는 정확한 문자열도 고려해야 한다.

색인은 갱신 방식도 정해야 한다. 응용은 새 원천이나 바뀐 원천이 언제 검색 가능해지는지, 삭제가 어떻게 전파되는지, 문서 통계가 즉시 갱신되는지, 인코더를 바꾼 뒤 이전 임베딩이 남는지를 명시해야 한다. 버전이 붙은 컬렉션과 색인 식별자가 없으면 랭킹 코드가 그대로여도 결과의 재현성을 보장할 수 없다.²

5. 테스트 컬렉션과 실험 평가

텍스트 검색 학회(TREC)는 1992년 TIPSTER 프로그램의 일부로 시작되었으며, 미국 국립표준기술원(NIST)이 공유 검색 실험의 기반 시설을 제공했다. TREC은 주최 측이 과제와 컬렉션을 정하고, 참가자가 실행 결과를 제출하면, 공통 판정에 따라 평가하는 반복 모델을 세웠다. 이런 벤치마크 체계의 트랙은 시간에 따라 바뀌어 왔으므로, 「TREC 성능」은 하나의 변하지 않는 과제나 지표가 아니다.⁸

많은 TREC 컬렉션에서 관련성 판정은 qrels로 배포된다. qrels는 주제와 문서 식별자를 평가자의 라벨에 연결한다. NIST는 평가가 이 판정으로 제출된 결과 파일을 채점한다고 설명한다. qrels 파일은 판정되지 않은 문서가 모두 비관련이라는 선언이 아니다. 그 컬렉션의 절차에 따라 평가된 문서를 기록할 뿐이다.⁹

모든 주제에 대해 모든 문서를 판정하는 것은 보통 불가능하다. 풀링(pooling)은 참여 시스템이 낸 문서를 골라 평가하고 나머지는 판정하지 않은 채 둔다. Buckley 등은 대규모 컬렉션에 비해 풀이 너무 작으면 주제 제목의 단어를 포함한 문서가 유리해질 수 있다고 보였다. 이 발견은 컬렉션 구축에 대한 경고이며, 풀링된 모든 시험 컬렉션이 쓸모없다는 증명은 아니다.¹⁰

이진 판정은 유용성의 정도를 표현하지 못한다. Järvelin과 Kekäläinen은 등급형 관련성과 순위 할인을 위한 누적 이득 측정을 개발했다. 정규화된 할인 누적 이득(NDCG)은 시스템의 할인 이득을 같은 판정 결과의 이상적 순서와 비교한다. 이 값은 이득 매핑, 할인 함수, 절단 깊이, 판정되지 않은 항목의 처리 방식에 따라 달라지므로, 보고할 때 이 조건을 함께 밝혀야 한다.⁵

판정이 불완전하면 지표마다 영향이 다르다. Buckley와 Voorhees는 판정이 상당히 불완전할 때 기존 측정이 신뢰하기 어려워질 수 있음을 밝히고, 판정된 관련 문서와 판정된 비관련 문서를 비교하는 bpref를 도입했다. bpref는 평균 정밀도의 보편적 대체물이 아니다. 특정 평가 문제를 다루며, 여전히 가용한 판정에 의존한다.¹¹

2019년 TREC 딥러닝 트랙은 프로토콜 세부 사항이 왜 중요한지 보여 준다. 이 트랙은 MS MARCO에서 유래한 문서 과제와 문단 과제, 대규모 학습 세트, 블라인드 TREC 방식의 시험 평가를 썼고, 과제마다 판정된 시험 질의 43개를 사용했다. 그 해에는 신경 언어 모델 실행 결과가 전통 방식보다 유의하게 우수했다. 다만 주최 측은 풍부한 학습 데이터와 판정 풀에 신경 실행 결과가 포함된 점을 가능한 설명으로 명시했다. 이 결과를 모든 컬렉션이나 질의 분포로 일반화해서는 안 된다.¹²

5.1. 공통 지표

지표는 정의에서 달리 정하지 않는 한 집계 전에 질의별로 계산해야 한다. 평균은 희귀한 질의 부류나 언어의 퇴보를 가릴 수 있다. 신뢰 구간, 대응 표본 유의성 검정, 조각별 결과는 안정적인 개선과 잡음을 구별하는 데 도움이 된다. 공개 리더보드에 대해 반복해서 튜닝하면, 모델이 라벨로 직접 학습하지 않더라도 시험 분포에 과적합될 수 있다.^2,5

오프라인 관련성 판정이 사용자 결과를 모두 포착하지는 못한다. 지연 시간, 결과 다양성, 신선도, 이해도, 과제 완수가 중요할 수 있다. 행동 지표는 실험 설계가 필요하며, 오프라인 판정과 바꿔 쓸 수 있는 것으로 취급하지 말고 함께 해석해야 한다.²

6. 학습 기반 랭킹과 상호작용 데이터

학습 기반 랭킹(learning to rank)은 라벨이 붙은 데이터나 행동 데이터에서 랭킹 함수를 추정한다. 점별(pointwise) 방식은 질의-문서 쌍마다 라벨이나 점수를 예측한다. 쌍별(pairwise) 방식은 두 문서 사이의 선호를 학습한다. 목록별(listwise) 방식은 순위 목록 전체에 정의된 목적 함수를 최적화한다. 이 구분은 학습 목적에 관한 것이며, 배포된 시스템은 후보를 하나씩 또는 묶음 단위로 점수화할 수 있다.

RankNet은 영향력 있는 쌍별 방식이다. Burges 등은 한 항목이 다른 항목보다 위에 와야 할 확률을 모델링하고, 쌍별 선호에 대한 교차 엔트로피 손실 함수를 최소화했다. 이들의 실험은 저자들이 사용할 수 있었던 랭킹 데이터셋에 한정된다. 쌍별 손실이 모든 IR 지표나 현대 신경망 구조에 최적이라는 뜻은 아니다.¹³

행동 로그는 규모를 주지만 선택 편향을 낳는다. 결과는 클릭되기 전에 노출되고 검토되어야 하며, 기존 랭커가 그 노출의 많은 부분을 정한다. Joachims 등은 특정 검토 가정 아래에서 클릭 관찰이 상대적 선호 추론을 뒷받침할 수 있음을 실험으로 보였다. 그렇다고 모든 클릭이 편향되지 않은 관련성 라벨이 되는 것은 아니다.¹⁴

이후 연구는 편향된 클릭 관찰에서 학습하는 역확률 가중(inverse-propensity) 접근을 개발했다. 이 보정에는 노출 확률(propensity)을 기록하거나 추정해야 하며, 모든 교란 요인을 없애지는 못한다. 이전 시스템이 만든 클릭으로 학습한 모델은 비슷한 방식으로 수집된 데이터에서는 정확해 보이면서도, 그 시스템의 노출 편향을 그대로 재현할 수 있다.¹⁵

지도 학습형 랭커는 어휘 점수, 필드 일치, 신선도, 권위, 신경망 점수, 문맥을 결합할 수 있다. 서빙 시점의 특징 가용성, 학습과 시험 기간 사이의 평가 데이터 누출, 피드백 루프를 감사해야 한다. 학습과 서빙 파이프라인이 같은 정의로 특징을 계산하지 않으면, 오프라인에서 보인 이득이 배포 후 사라질 수 있다.^13,15

여러 시스템이 각자 목록을 낼 때 순위 융합(rank fusion)은 비지도 대안이다. 상호 순위 융합(RRF)은 입력 순위마다 1 / (k + rank)를 더해 각 문서의 점수를 만든다. Cormack, Clarke, Buettcher는 특정 TREC 및 LETOR 실험에서 이 방법을 평가했다. 흔히 재사용되는 k = 60은 그들의 예비 실험에서 나온 값이며 이론적 상수가 아니다. RRF가 임의의 입력을 항상 개선한다는 보장도 없다.

점수 융합과 순위 융합은 서로 다른 보정 문제에 답한다. 가중 점수 합은 크기 정보를 쓸 수 있지만 비교 가능하거나 정규화된 점수가 필요하다. RRF는 크기를 버리고 순위 위치만 쓰므로 이질적인 목록을 합치기 쉽지만, 상관된 시스템끼리의 일치를 과대하게 반영할 수 있다. 재현성을 위해 융합 깊이, 중복 처리, 누락 문서 처리, 가중치를 기록해야 한다.¹⁶

7. 역색인과 확률 모델

역색인(inverted index)은 용어를 문서의 포스팅 목록에 대응시키며, 흔히 용어 빈도, 위치, 필드 또는 기타 페이로드를 함께 담는다. 색인 구축은 보통 파싱, 토큰화, 그리고 대소문자 접기, 어간 추출, 불용어 처리 같은 선택적 정규화를 포함한다. 이 선택이 무엇이 일치할 수 있는지를 정한다. 식별자, 소스 코드, 화학물질 이름, 형태론적으로 풍부한 언어에서는 일반 영어 산문용 분석기가 유용한 구별을 지워 버릴 수 있다.²

불리언 시스템은 포스팅 목록을 AND, OR, NOT 같은 연산으로 결합한다. 순위형 어휘 검색은 대신 용어 기여도를 누적한다. 벡터 공간 구현에서는 문서와 질의의 용어 가중치를 코사인 유사도나 다른 함수로 비교할 수 있다. 정해진 「TF-IDF 알고리즘」은 하나가 아니다. 원시 또는 변환된 용어 빈도, 평활된 역문서 빈도, 정규화, 필드 가중치 등 선택지가 있다.^2,3,6

BM25는 반복 출현의 효과를 점점 줄이고, 문서 길이가 컬렉션 평균에 비해 얼마나 긴지에 따라 용어 기여도를 조정한다. 표준 검토는 여러 필드 변형을 포함한 관련 모델군을 제시한다. 점수는 고정된 질의와 구현 안에서만 순위에 대해 동등하다. 이를 관련성의 보정된 확률로 취급하는 것은 대개 잘못이다.⁴

어휘 방법은 인명, 모델 번호, 오류 코드, 인용, 따옴표로 묶은 구처럼 정확한 문자열이 의미를 가질 때 특히 유용하다. 한계는 어휘 불일치와 바꿔 쓴 표현에 대한 약한 처리다. 질의 확장과 적합성 피드백은 불일치를 줄일 수 있지만, 확장어가 원래 요구에서 질의를 멀리 옮길 수도 있다.^2,4

효율은 관련 포스팅만 순회하고, 현재 상위 결과에 들어갈 수 없는 문서를 건너뛰는 데서 나온다. 압축은 메모리와 입출력을 줄이고, 블록 메타데이터는 동적 가지치기를 지원할 수 있다. 색인 배치, 압축, 캐싱, 질의 분포는 추상적인 점수 공식만큼 지연 시간에 영향을 준다.²

8. 신경 검색 구조

신경 IR은 학습된 표현이나 상호작용 함수로 질의-문서 관련성을 추정한다. 「신경 검색」이라는 말은 서빙 비용이 매우 다른 구조를 함께 가리킨다. 방법은 표현, 상호작용 함수, 용어 가중치 중 하나 또는 여럿을 학습할 수 있으므로, 구조와 서빙 프로토콜을 함께 명시해야 한다.²

이중 인코더(dual encoder)는 질의와 문서를 따로 인코딩한다. 문서 벡터는 질의가 도착하기 전에 계산해 둘 수 있고, 벡터 색인이 유사도로 후보를 찾을 수 있다. Sentence-BERT는 의미 유사도에서 이 효율 차이를 보여 주었다. 독립적으로 만든 임베딩은 쌍마다 트랜스포머를 함께 돌리지 않고도 비교를 가능하게 한다. 압축된 벡터는 검색에 유용하지만 정보 병목이며, 그 동작은 학습 예시와 네거티브 샘플에 의존한다.¹⁷

교차 인코더(cross-encoder)는 질의와 후보를 함께 처리해 두 시퀀스 사이의 어텐션을 허용한다. Nogueira와 Cho는 BERT를 1단계 시스템이 반환한 문단의 재순위화에 적용했고, 그들의 TREC CAR 및 MS MARCO 실험에서 이득을 보고했다. 문서 표현이 질의에 의존하므로 교차 인코더 점수는 보통 전체 코퍼스에 대해 미리 계산할 수 없다. 따라서 교차 인코더는 보통 제한된 후보 집합에 쓰며, 전수 1단계 검색에도 쓸 수 있다고 가정하지 않는다.¹⁸

Dense Passage Retrieval(DPR)은 오픈 도메인 질의응답을 위해 대조 예시로 질문 인코더와 문단 인코더를 따로 학습했다. 논문이 시험한 QA 데이터셋에서 DPR은 Lucene-BM25 기준선보다 상위 20개 문단 정확도를 절대값 기준 9~19%p 높였다. 이 결과는 해당 데이터셋, 코퍼스 구성, 학습 과정, 검색 정확도 지표에 한정되며, 밀집 검색이 항상 BM25보다 낫다는 근거가 아니다.¹⁹

후기 상호작용(late interaction)은 오프라인 문서 인코딩을 유지하면서 토큰 단위 정보를 더 많이 보존한다. ColBERT는 질의와 문서의 토큰을 따로 인코딩하고, 질의 토큰마다 어떤 문서 토큰과의 최대 유사도를 구해 모두 더한다. 논문은 실험 설정에서 비교 대상인 BERT 재순위기보다 경쟁력 있는 효과와 낮은 질의 시점 계산량을 보고했다. 문서 하나를 여러 벡터로 표현하므로 단일 벡터보다 저장과 색인 비용이 크다.²⁰

ColBERTv2는 잔차 압축과 잡음을 줄인 감독 신호를 도입했다. 저자들은 후기 상호작용 표현에 쓰는 공간이 6~10배 줄었다고 보고했고, 도메인 내 검색과 도메인 외 검색을 모두 평가했다. 이는 논문의 구현과 압축 설정에 대한 결과이며, 모든 토크나이저, 컬렉션, 색인에 적용되는 고정된 저장 비율은 아니다.²¹

학습된 희소 검색(learned sparse retrieval)은 역색인으로 서빙할 수 있는 어휘 크기 공간에서 가중치를 예측한다. SPLADE는 마스크 언어 모델 헤드, 풀링, 희소성 정규화를 써서 가중치와 확장을 함께 학습한다. 예측된 용어는 문서 본문에 없을 수 있어 어휘 불일치를 메울 수 있지만, 일반적인 용어 횟수보다 어느 근거에서 나왔는지 직접 설명하기 어렵다.²²

8.1. 구조 비교

어떤 행도 고정된 품질 순서를 갖지 않는다. 1단계 검색기는 검색된 후보만 다음 단계로 넘길 수 있으므로, 재순위화가 후보 생성 단계에서 빠진 관련 항목을 되살릴 수는 없다. 반대로 후보 깊이를 늘리면 재현율은 오르지만 지연 시간과 재순위 비용도 늘어난다. 종단 간 평가는 후보 깊이와 최종 표시 절단 지점을 함께 바꿔 가며 해야 한다.^18,20

9. 근사 최근접 이웃 검색

모든 문서 벡터와 질의 벡터를 전부 비교하는 방식은 정확하지만 큰 컬렉션에서는 비용이 크다. 근사 최근접 이웃(ANN) 방법은 지연 시간이나 메모리를 얻는 대가로 일부 재현율을 포기한다. 여기서 재현율은 정확한 벡터 이웃 대비 ANN 재현율을 뜻하며, 사람의 판정 대비 관련성 재현율과는 다르다.²

HNSW(Hierarchical Navigable Small World)는 다층 근접 그래프를 만들고, 희소한 상위 층에서 밀집한 기저 층 쪽으로 탐색한다. Malkov와 Yashunin은 실험에서 로그 규모의 확장 특성을 보고했고, 메모리, 구축 비용, 질의 작업, 이웃 재현율 사이의 절충을 정하는 구축 및 탐색 매개변수를 노출했다. HNSW는 전수 탐색과 같은 결과를 보장하지 않는다.²³

Faiss는 밀집 벡터 유사도 검색과 군집화 라이브러리다. Johnson, Douze, Jegou는 GPU 구현과, 역파일(inverted file)과 곱 양자화를 포함한 색인 방식을 설명했다. Faiss는 벡터 데이터베이스가 아니라 라이브러리이므로, 영속성, 필터 의미, 복제, 접근 제어, 응용 수준의 일관성은 필요할 때 주변 시스템이 제공해야 한다.²⁴

ANN-Benchmarks는 재현율 대 질의 시간으로 여러 데이터셋에서 알고리즘을 비교했고, 방법론에 구축 시간과 색인 크기를 포함했다. 핵심 교훈은 방법론에 있다. 결과는 하드웨어, 데이터셋의 기하 구조, 거리 함수, 매개변수 튜닝, 재현율-속도 곡선에서 고른 지점에 따라 달라진다. 이런 조건 없이 제시된 벤더의 지연 시간 수치는 옮겨 쓸 수 있는 성능 보장이 아니다.²⁵

벡터를 양자화하면 왜곡을 감수하는 대가로 메모리를 줄이고 캐시 동작을 개선할 수 있다. 곱 양자화(product quantization)는 학습된 코드북으로 벡터를 표현한다. 낮은 정밀도나 이진 표현은 다른 절충을 만든다. 필터링도 ANN 동작을 바꾼다. 그래프 탐색 전, 중, 후에 메타데이터 제약을 적용하면 작업량과 도달 가능한 후보가 모두 달라진다.^24,25

10. 벤치마크와 일반화

MS MARCO는 익명화된 Bing 질의와 사람이 만든 답변으로 구성된 기계 독해 데이터셋으로 시작했다. 원 논문은 질의 1,010,916개와, 3,563,535개 웹 문서에서 추출한 문단 8,841,823개를 보고한다. 이 수치는 그 배포본에 대한 것이다. 이후 문단 랭킹과 문서 랭킹 과제는 각자의 파일, 분할, 라벨 분포를 가진다.²⁶

MS MARCO 공식 문서는 질의응답 데이터셋과 랭킹 데이터셋을 구분하고, 과제별 다운로드와 평가 안내를 공개한다. 이 구분은 흔한 오류를 막아 준다. 100만 개가 넘는 질의를 모두 문단 랭킹 학습 라벨로 설명하는 오류다. 랭킹 데이터의 판정이 희소하면, 평가에서 비관련으로 취급한 문단도 실제로는 유용할 수 있다.²⁷

BEIR은 아홉 가지 검색 과제에 걸친 공개 데이터셋 18개를 모아, 제로샷 설정에서 검색 시스템 10종을 비교했다. 이 논문은 BM25가 견고한 기준선임을 확인했다. 또한 후기 상호작용과 재순위화 접근이 고비용을 대가로 시험한 방법 중 가장 높은 평균 제로샷 효과를 냈다고 보고했다. 데이터셋별 결과는 다양했으므로, 평균 하나로 모든 도메인의 우승자를 정할 수는 없다.²⁸

Massive Text Embedding Benchmark(MTEB)는 검색을 넘어 평가 범위를 넓혔다. EACL 논문은 임베딩 과제 8종, 데이터셋 58개, 언어 112개를 다룬다. 종합 리더보드 순위는 과제 유형과 데이터셋 규모를 뒤섞으므로, 검색 응용에서는 전체 평균보다 검색 하위 집합과 대상 도메인 결과가 더 유익하다.²⁹

다국어 확장판 MMTEB는 논문에서 250개 넘는 언어에 걸친 500개 넘는 과제를 보고한다. 언어 범위는 매우 고르지 않으며, 데이터셋이 포함되었다고 해서 모든 언어에서 동등한 품질이나 충분한 검정력이 보장되지는 않는다. 지원을 주장할 때는 벤치마크 전체의 언어 수를 빌려 쓰지 말고, 평가한 언어, 문자 체계, 도메인, 과제를 명시해야 한다.³⁰

Mr. TyDi는 유형론적으로 다양한 11개 언어에서 단일 언어 검색을 평가한다. 실험에서 BM25 기준선이 평가된 다국어 밀집 검색기를 앞섰다. 희소-밀집 혼합 방식은 튜닝된 BM25보다 평균 MRR@100과 recall@100이 높았고, MRR 개선은 짝지은 검정에서 11개 언어 중 9개 언어에서 통계적으로 유의했다. 이 결과는 해당 벤치마크에서 보완 신호를 시험할 근거이며, 혼합 검색이 보편적으로 최선이라는 증명은 아니다.³¹

MIRACL은 18개 언어의 검색 데이터를 제공하며, 주제와 관련성 판정은 원어민이 만들었다. 논문은 이질적인 코퍼스, 언어별 자원, 기준선을 기록한다. 언어 전체 평균은 코퍼스 크기, 문자 체계, 토큰화, 학습 데이터 가용성의 큰 차이를 가릴 수 있으므로 언어별 보고가 필수다.³²

벤치마크의 무결성을 지키려면 정확한 코퍼스와 qrels 버전, 질의 필드, 텍스트 전처리, 허용된 학습 데이터, 모델 체크포인트, 후보 깊이, ANN 설정, 재순위기 깊이, 지표 구현, 난수 시드를 기록해야 한다. 프로토콜이 금지하는 경우에는 평가 질의나 문서가 학습 데이터와 겹치지 않도록 평가 데이터 누출도 막아야 한다. 이런 출처 정보 없이 나온 리더보드 점수는 재현하거나 해석하기 어렵다.^12,27,28

11. 다단계 및 하이브리드 검색

규모가 큰 시스템은 흔히 단계식(cascade) 구조를 쓴다. 비용이 낮은 단계가 후보를 만들고, 뒤 단계가 더 비싼 특징을 계산하며, 최종 정책이 결과를 다양화하거나 거르거나 묶을 수 있다. 단계식 구조는 지연 시간을 조절하게 해 주지만 오류를 분산시킨다. 후보 생성이 뒤쪽 재현율의 상한을 정하고, 뒤 단계가 어떤 후보가 남을지 정한다.¹⁸

하이브리드 검색은 BM25와 밀집 유사도 같은 신호를 결합한다. 시스템들이 상보적인 오류를 낼 때는 병렬 검색이 커버리지를 높일 수 있다. 한쪽 입력이 약하거나 상관되어 있거나 가중치가 부적절하면 오히려 결과가 나빠질 수 있다. 하이브리드 검색이 도움이 되는지는 아키텍처만으로 정할 기본값이 아니라, 대상 질의 집합에서 확인해야 할 경험적 문제다.^16,28,31

원점수를 보간하려면 어휘 점수와 벡터 점수의 범위와 분포가 다르므로 보정 규칙이 필요하다. RRF 같은 순위 융합은 직접적인 척도 비교를 피하지만, 결과는 여전히 목록 깊이와 융합 상수에 달려 있다. 학습된 결합기는 대표성 있는 라벨이 필요하며, 드리프트와 노출 편향을 평가해야 한다.^15,16

재순위 깊이는 자원 배분 결정이다. 교차 인코더는 후보 100개 사이의 순서를 개선하지만 꼬리 지연 시간을 늘릴 수 있다. 깊이를 줄이면 빨라지지만, 재순위기가 올렸을 항목을 빠뜨릴 수 있다. 배치 처리, 시퀀스 절단, 캐싱, 하드웨어가 실제 절충을 바꾼다. 모델 파라미터 수만으로는 충분한 지연 시간 추정이 되지 않는다.¹⁸

질의에 여러 의도가 있으면 다양화가 필요할 수 있다. 거의 중복된 문단으로 채운 목록은 일부 관련성 지표에서 점수가 높아도 추가 정보는 거의 주지 못한다. 다양성 목표는 명시해야 한다. 주제 중복과 포괄성을 맞바꿀 수 있고, 일반적인 qrels 파일에 없는 하위 주제 판정이 필요할 수 있기 때문이다.²

12. 질의응답과 검색 증강 생성

검색 증강 생성(RAG)은 검색기와 시퀀스 생성기를 결합한다. Lewis 등은 검색된 문단을 잠재 증거로 쓰는 변형을 평가했고, 지식 집약 NLP 과제에서 오픈 도메인 QA 과제 세 개의 최고 수준(state-of-the-art) 결과를 보고했다. 이 논문은 RAG의 보편적 구조를 확정하지 않으며, 검색된 문맥이 생성된 모든 주장을 사실로 만든다고 보장하지도 않는다.³³

응용 RAG 파이프라인에서는 문서를 선택하고, 파싱하고, 나누고, 표현하고, 색인한다. 질의 시점에는 질의를 다시 쓰고, 후보를 검색하고, 재순위화하고, 문맥을 조립한 뒤 생성기에게 답을 요청할 수 있다. 각 경계에서 실패가 날 수 있다. 파싱은 텍스트를 빠뜨리고, 분할은 증거를 나누고, 메타데이터 필터는 정답 출처를 제외하고, 검색은 놓치고, 절단은 떨어뜨리고, 생성기는 무시하거나 잘못 옮길 수 있다.^19,33

검색 평가와 답변 평가는 분리해야 한다. 선택한 깊이에서 알려진 근거 문단이 후보 집합에 들어왔는지는 패시지 재현율이 묻고, 순위 지표는 그것이 어디에 나타났는지를 묻는다. 답변 정확성, 출처 표시, 인용 함의, 거부 행동, 지연 시간은 서로 다른 하위 속성을 측정한다. 하나를 개선해도 다른 것이 수학적으로 개선되지는 않는다.^5,33

청킹에서 검색 단위는 사용 사례에 맞아야 한다. 작은 문단은 답을 분리할 수 있지만 문맥을 잃고, 큰 청크는 문맥을 지키지만 생성기 입력을 더 많이 차지하고 일치 신호를 희석할 수 있다. 겹침은 경계에 걸친 증거를 보호하지만 거의 중복된 항목을 만든다. 청크 크기는 보편적인 글자 수로 복사하지 말고, 주석이 달린 질문과 원천 문서로 시험해야 한다.^2,33

접근 제어도 검색 정확성의 일부다. 권한 없는 사용자에게 관련 문단을 찾아 주는 시스템은 랭킹 지표가 높아도 실패한 것이다. 권한은 ANN 근사, 캐시, 이후 생성 단계로 우회할 수 없는 방식으로 강제해야 한다. 민감한 질의 로그와 클릭 로그에는 보존, 접근, 감사 정책이 필요하다.^14,24

13. 공정성, 견고성, 실패 분석

랭킹은 노출을 배분한다. Singh과 Joachims는 위치 편향이 있는 랭킹의 노출 공정성을 정식화하고, 제약 조건으로 기대 노출을 관련성 기반 가치(merit) 개념과 연결하는 방법을 보였다. 이 틀은 명시적인 공정성 정의와 관련성 추정을 요구하며, 모든 사회적 또는 법적 맥락에 맞는 하나의 공정성 기준을 정해 주지는 않는다.³⁴

전체 효과는 언어, 방언, 도메인, 질의 의도별 불평등을 가릴 수 있다. 유용한 감사는 결과를 층화하고 불확실성을 보고하며, 조각 사이에서 판정 깊이와 평가자 전문성이 다른지도 확인한다. 한 언어의 주제 수가 적으면 큰 겉보기 이득이 통계적으로 불안정할 수 있다.^30,32,34

견고성 검사에는 철자 오류, 드문 식별자, 부정, 시간 한정어, 키워드 과다 나열, 중복, 분포 밖 주제가 포함되어야 한다. 어휘 검색과 밀집 검색은 서로 다르게 실패한다. 밀집 유사도는 주제는 가깝지만 질문에 답하지 않는 문단을 반환할 수 있다. 어휘 랭킹은 반복된 정확한 용어를 과대평가할 수 있다. 교차 인코더는 절단과 후보 순서에 민감할 수 있다.^4,18

학습 데이터는 거짓 네거티브를 만들 수 있다. ANCE는 밀집 검색기를 학습하는 동안 비동기로 갱신되는 ANN 색인으로 코퍼스에서 네거티브를 채굴했다. 이는 무작위 네거티브와 어려운 검색 후보 사이의 불일치를 다루기 위해서다. 라벨이 불완전하면 채굴된 「네거티브」도 여전히 관련 있을 수 있으므로, 네거티브 선택과 잡음 제거는 방법의 실질적인 부분이다.³⁵

신경 모델은 벤치마크 특유의 패턴을 외우거나 데이터의 아티팩트를 활용할 수 있다. 넓은 신경 IR 문헌은 표현 학습, 상호작용 모델, 약한 감독, 여러 과제 정의를 포함하므로, 결과는 학습과 평가 프로토콜과 함께 읽어야 한다. 「의미 검색」이라는 말이 의미 이해, 사실성, 인과 추론을 보장하지는 않는다.³⁶

오류 분석은 성공한 질의와 실패한 질의를 모두 표집하고, 거짓 양성과 거짓 음성을 검토하며, 색인, 검색, 재순위, 표시 실패를 구별해야 한다. 점수가 낮은 질의만 살피면 조용한 체계적 오류를 놓치고, 목록 맨 위 결과만 보면 목록 깊은 곳의 재현율 실패를 놓친다.^2,12

14. 효율과 운영

검색 지연 시간은 하나의 평균이 아니라 분포다. 보고되는 서비스 특성에는 백분위 지연 시간, 동시 부하, 컬렉션 크기, 색인의 메모리 상주, 결과 깊이, 필터, 갱신 빈도, 하드웨어가 포함되어야 한다. 격리된 빠른 ANN 호출은 질의 인코딩, 네트워크 전송, 권한 확인, 재순위화, 문서 조회를 포함하지 않는다.^24,25

희소 색인은 포스팅이 식별자, 빈도, 위치, 건너뛰기 데이터를 저장하므로 클 수 있다. Pibiri와 Venturini는 역색인 압축 기법을 조사하고, 압축률, 디코딩 속도, 질의 처리 사이의 상호작용을 다룬다. 압축 선택은 작업 부하에 따라 달라진다. 가장 작은 표현이 가장 낮은 종단 간 지연 시간을 보장하지는 않는다.³⁷

밀집 시스템에는 고유한 용량 계산이 있다. 벡터 수, 차원, 성분당 바이트, 그래프나 파티션 오버헤드, 복제본, 메타데이터가 그것이다. 후기 상호작용 시스템은 벡터 수에 문서당 보존 토큰 수를 곱한다. 양자화와 가지치기는 비용을 줄이지만, 변환 후에는 효과와 ANN 재현율을 감사해야 한다.^20,21,24

신선도는 또 다른 절충을 만든다. 배치로 만든 색인은 전역적으로 최적화할 수 있지만 새 문서가 늦게 노출된다. 증분 갱신은 신선도를 높이는 대신 구조를 쪼개거나 코퍼스 통계를 바꾸고, 인코더가 바뀌면 낡은 벡터를 남길 수 있다. 삭제는 복제본, 캐시, 파생 색인을 거쳐 검증 가능하게 전파되어야 한다.^2,24

관측성은 빈 결과, 시간 초과, 필터 거부, ANN 누락, 재순위기 실패, 하위 생성 오류를 구분해야 한다. 질의 로그에는 개인정보 통제가 필요하며, 표본 내용에 비밀 정보나 개인 정보가 들어 있을 수 있다. 집계 카운터나 보호된 표본 추출로 운영상 질문에 답할 수 있다면, 민감한 질의 본문은 기록하지 않아야 한다.¹⁴

15. 재현 가능한 시스템 설계

검색 실험은 문서로 쓴 과제 정의에서 시작해야 한다. 대상 사용자, 코퍼스 스냅샷, 검색 단위, 질의 출처, 관련성 정책, 절단, 지표, 자원 제약을 적는다. 시험 집합은 튜닝 전에 따로 떼어 두어야 한다. 판정이 풀링되었거나 불완전하다면 그 한계와 판정되지 않은 문서의 처리 방식을 명시해야 한다.^9,10,11

어휘 검색에서는 분석기 버전, 토큰화, 정규화, 필드 가중치, BM25 공식과 매개변수, 질의 연산자, 확장 규칙을 기록한다. 밀집 검색에서는 정확한 체크포인트, 풀링과 정규화, 임베딩 정밀도, 거리 함수, ANN 구현과 매개변수, 색인 구축 절차를 기록한다.^4,23,24

단계식 구조에서는 모든 단계의 후보 출처와 깊이, 융합 공식, 점수 정규화, 절단, 재순위기 체크포인트, 최종 필터링을 기록한다. 최종 순위 품질과 함께 1단계 재현율도 평가해야 한다. 이렇게 해야 회귀가 후보 생성에서 왔는지 뒤쪽 순서에서 왔는지 드러난다.^16,18

믿을 만한 기준선과 비교한다. 문서화된 분석기를 쓴 BM25는 튜닝하지 않은 어휘 자리표시자보다 유익하다. 관리 가능한 부분집합에서의 정확한 벡터 검색은 ANN 손실을 정량화하는 데 도움이 된다. 재순위기가 없는 실행은 재순위화의 가치와 비용을 분리한다. 평균 하나만 보고하지 말고 데이터셋별, 조각별 결과를 보고한다.^25,28,31

배포 전에는 권한 강제, 삭제 전파, 낡은 색인, 과부하 동작, 롤백을 시험한다. 배포 후에는 시스템 지표와 안정적인 관련성 표본을 함께 모니터링한다. 온라인 실험은 사용자 행동을 측정할 수 있지만, 클릭 지표는 위치를 고려해 해석해야 하며 해로운 변화나 배제를 낳는 변화에는 안전장치(가드레일)이 필요하다.^14,15,34

핵심 엔지니어링 원칙은 주장 사이의 경계를 지키는 것이다. 벤치마크 결과는 그 프로토콜에 대한 결론을 뒷받침하고, ANN 벤치마크는 명시된 하드웨어에서의 속도-재현율 지점을 뒷받침한다. 관련성 판정은 정의된 정보 요구를, 클릭은 특정 표시 정책 아래에서 관찰된 상호작용을 뒷받침한다. 이 중 어느 것이든 보편적 진리로 취급하면 깨지기 쉬운 검색 시스템과 오해를 부르는 문서가 나온다.^10,15,25