의료 지침이 개정됐을 때 대규모 언어 모델(LLM)이 바뀐 내용을 실제 권고에 반영하는지 측정한 벤치마크 ChronoEvo가 공개됐다. 연구진은 주요 모델 기준으로 응답의 90.8%가 개정을 인식했고 80.2%가 임상적으로 맞았지만, 개정 지침을 완전히 반영한 응답은 58.5%에 그쳤다고 밝혔다. 인식률과 반영률의 차이는 32.3%포인트다.
ChronoEvo는 12개 유형의 의료 지식 변화에서 뽑은 권고 단위 개정 1,709건으로 구성된다. 개정된 지침을 알아보는 것과 그 내용을 임상 권고에 녹여 내는 것을 따로 가려내도록 설계했다. 논문은 2026년 10월 22일자로 arXiv에 올라왔다.
인식과 반영 사이의 이런 간극은 모델 14개에 걸쳐 지속됐다. 임상의 2명이 판정을 조정해 확정한 응답 300건의 검증 표본에서는 격차가 40.3%포인트로 나타났다. 권고 강도와 환자 적격 기준이 바뀐 경우는 낡은 지침이 응답에 남는 현상과 연관됐다.
연구진은 개정된 부분을 눈에 띄게 알려 주는 개입도 시험했다. 이 방법은 낡은 내용이 남는 비율을 줄이고 임상적 정확성을 높였지만, 완전 반영은 통계적으로 유의하게 개선되지 않았다. 연구진은 최신 지침 근거가 주어져도 변화를 충실히 반영하는 일이 임상용 LLM 신뢰성의 별개 과제라고 지적했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.