노트북에서 로컬로 실행되는 공개 의료 의사결정 모델 MedJev의 제로샷 평가 논문이 2026년 10월 26일 arXiv에 올라왔다. 연구진은 MedJev를 의학 지식, 진단, 환자 단위 예측에 걸친 벤치마크 10종으로 평가했고, 코드와 평가 하네스도 함께 공개했다.
MedJev는 'System One' 방식 모델이다. Jev 같은 System One 의사결정 모델은 글을 생성하지 않고 한 번의 순전파로 구조화된 질문에 답한다. 연구진은 이 방식이 빠르고 계산 비용이 낮은 임상 의사결정 지원에 쓸 수 있다고 설명했다.
연구진은 MedJev를 제로샷 대규모 언어 모델 기준선, 발표된 GPT 결과, 지도학습 모델과 비교했다. 정확도는 MedQA 72.5%, USMLE 75.4%, NEJM 80.1%였고, 연구진은 발표된 GPT-4 성능에 근접한 수준이라고 밝혔다. 예측 확신도를 나타내는 보정 오차(ECE)는 0.028~0.063으로 잘 맞았다고 했다.
환자 단위 과제는 MIMIC IV와 MIMIC IV ED 데이터로 평가했다. 입원 중 사망 예측의 AUROC는 0.926으로 XGBoost의 0.902를 넘었다. 반면 응급실 triage(환자 분류) 입원 예측은 0.745로 지도학습 모델의 0.809에 못 미쳤다.
환자 단위 예측에서는 보정 오차가 크게 나타났다. 입원 중 사망 예측의 ECE는 0.286이었다. 연구진은 이를 줄이려고 라벨이 붙은 사례 50~200건으로 지역 환자 집단에 맞추는 매개변수 2개짜리 재보정 방식을 제안했고, 이 방식으로 ECE를 0.007까지 낮췄다고 밝혔다.
연구진은 공개 System One 모델이 경쟁력 있는 예측 성능, 낮은 계산 비용, 효율적인 로컬 보정을 함께 갖춰 의료 AI의 유망한 제로샷 기준선이라고 결론지었다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.