연구진이 거대 언어 모델(LLM)의 불확실성을 출력이 아니라 모델 내부의 안정성으로 재는 방법을 arXiv에 공개했다. 논문 제목은 'Measuring Mechanistic Uncertainty in Large Language Models via Causal Robustness'로, 2026년 10월 15일자로 게재됐다.
논문은 모델의 응답을 떠받치는 내부 메커니즘이 얼마나 안정적인지로 불확실성을 설명하는 개념을 '기계론적 불확실성'이라 부른다. 이를 재는 지표가 인과적 강건성 마진이다. 모델의 출력이 달라지게 하려면 내부에 가해야 하는 최소한의 개입 크기를 뜻한다.
연구진은 이 마진을 Jacobian Lens(Jlens)의 개념 조향 벡터로 구현했다. 오픈소스 모델 3종과 질의응답 데이터셋 5종으로 실험한 결과, 틀린 응답과 불확실한 응답에서 마진이 더 작았다고 밝혔다. 작은 마진은 내부 개입에 더 민감하다는 뜻이다.
연구진은 이 마진이 기존의 출력 기반 불확실성 측정법을 보완한다고 주장했다. 통제된 지식 주입 실험에서는 올바르게 학습된 사실의 마진이 학습 뒤에 커졌다. 연구진은 이를 근거로 인과적 강건성이 메커니즘에 뿌리를 둔 불확실성 신호를 제공함을 시사한다고 밝혰다.
연구진은 중요한 분야에서 LLM이 쓰이는데 환각 문제가 있어, 믿을 만하고 해석 가능한 불확실성 측정이 필요하다고 배경을 설명했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.