RAG 청킹, 문서 수정 시 재임베딩 비용 최대 68%… 검색 품질은 비슷

문서가 수정될 때 RAG(검색 증강 생성) 시스템이 임베딩을 얼마나 다시 계산해야 하는지 청킹 방식별로 비교한 논문이 arXiv에 올라왔다. 중국어·영어 위키백과의 연이은 개정판 120쌍을 대상으로 겹침 없는 고정 길이, 재귀, 내용 정의(content-defined) 세 방식을 측정했다. 길이를 보정한 고정 매개변수와 2048토큰 검색 예산 조건에서는 언어별 근거 재현율 차이가 방식 간 2%p 미만이었지만, 재계산 비용은 크게 갈렸다.

기존 청킹 평가는 대부분 고정된 문서 스냅숏에서 이뤄졌다. 하지만 청크는 따로 임베딩되므로 수정 뒤 경계가 움직이면 바뀌지 않은 텍스트도 다시 임베딩해야 한다. 연구는 이 비용을 측정 대상으로 삼았다.

비교한 방식은 겹침 없는 고정 길이 청킹, 문단을 우선하는 재귀 청킹, 내용 정의 방식(content-defined chunking)이다. 모두 이전 상태를 저장하지 않는 방식이며, 바이트가 완전히 같을 때만 기존 임베딩을 재사용하는 엄격한 규칙과 고정된 밀집 인코더를 썼다.

내용 정의 방식은 중국어 문서 62건 중 4건에서 실패했다. 이 실패분을 빼고 세 방식이 모두 성공한 116개 문서(120쌍 중)를 공통 비교 대상으로 삼았다. 길이를 보정한 고정 매개변수로 측정한 결과, 새 버전 전체를 임베딩할 때 필요한 작업량 대비 재계산 비중은 고정 길이 57~68%, 재귀 38~56%, 내용 정의 43~54%였다.

같은 설정에서 검색 예산을 2048토큰으로 고정했을 때 근거 재현율 평균은 각 언어 안에서 방식 간 차이가 2%p 미만이었다. 비용만 따진 매개변수 격자 실험에서는 청크 길이 설정에 따라 재귀와 내용 정의 두 방식의 순위가 바뀌었다. 겹침 없는 고정 길이 방식은 길이를 맞춘 모든 조건에서 재계산 비용이 가장 높았다.

통제한 편집 실험과 원문 존재 진단 결과, 이전 버전에 이미 있던 텍스트가 다시 계산되는 데 경계 이동이 한 요인으로 작용했다. 연구진은 갱신 비용이 매개변수에 민감한 중요한 지표이며 정적 검색 평가에서는 드러나지 않으므로 검색 품질과 함께 보고해야 한다고 주장했다.