검색 기능을 쓰는 LLM이 관련 근거를 확보하고도 오래된 답을 내놓는 원인을 분석한 논문 "Retrieved but Not Read"가 2026년 10월 15일 arXiv에 올라왔다. 연구진은 모델이 검색 결과의 원문 페이지를 열지 않고 검색 요약문(스니펫)만 보고 답하는 경우가 많다는 점을 확인했다.
이런 행동은 오래된 답이 나오는 비율, 그리고 근거를 충실히 반영하지 않은 인용이 나오는 비율과 함께 높아지는 경향을 보였다. 웹 검색은 모델이 학습 이후의 최신 정보를 얻는 수단인데, 관련 근거가 있어도 옛 정보가 답에 남는 이유는 그동안 분명하지 않았다.
실험 방식
연구진은 모델의 학습 시점 이후에 값이 바뀐 시간 의존적 사실을 따로 만들어 평가에 썼다. 상용 모델 하나는 실제 서비스 중인 웹 검색 환경에서, 오픈 웨이트 모델 6개 구성은 검색 조건을 통제한 환경에서 시험했다.
근거가 있어도 반영되지 않는다
통제 실험과 층별 분석에서는 근거가 주어지는 것과 그 근거가 실제로 쓰이는 것 사이에 간극이 드러났다. 검색된 근거가 모델 내부의 예측에 영향을 준 경우에도, 최종 답은 오래된 정보 쪽으로 기우는 일이 있었다.
논문이 보고한 것은 스니펫만 보고 답하는 행동이 오래된 답, 근거를 충실히 반영하지 않은 인용과 연관된다는 점이다.
논문이 보고한 것은 스니펫만 보고 답하는 행동이 오래된 답, 근거를 충실히 반영하지 않은 인용과 연관된다는 점이다. 출처 링크가 붙은 답이 원문에 얼마나 기댔는지는 논문이 판단하지 않았다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.