LLM 내부에 지식·추론 구분 흔적 없다, 7B~31B 모델 5종 검증

지식형·추론형 벤치마크가 거대언어모델 내부에 안정적인 표현 흔적을 남기는지 따져 본 해석 연구가 arXiv에 2026년 10월 16일 공개됐다. 7B에서 31B 규모의 최신 모델 5종을 대상으로 한 실험에서 연구진은 지식과 추론 라벨을 다른 과제에도 쓸 수 있는 내부 신호는 찾지 못했다고 밝혔다.

내부 신호가 있다면 모델 감시, 상황에 맞춘 계산량 조절, 작동 원리 분석에 쓸 수 있다. 다만 벤치마크 프롬프트는 계산 방식에 공통된 차이가 없어도 글만으로 구분될 수 있어, 연구진은 미리 정해 둔 지식/추론 라벨이 재사용 가능한 신호를 정의하는지 검증했다.

검증 방식

연구진은 개별 프롬프트가 아니라 과제 하나를 추론의 단위로 삼았다. 탐침(probe)은 과제 전체를 평가에서 떼어 놓고 검증했고, 과제 간에 라벨을 무작위로 섞는 순열 검정을 했다. 순열마다 가장 좋은 층과 스트림도 새로 골랐다.

실험 결과

MMLU의 8개 대 8개 과목 구분은 원시 탐침으로 5개 모델 모두에서 복원됐다. 매크로 F1 점수는 0.78~0.81이다. 그러나 프롬프트 텍스트만으로도 거의 비슷하게 예측됐다. 같은 탐침 설정에서 내부 활성값이 더한 이점은 매크로 F1 기준 0.017~0.070에 그쳤다.

사전에 정한 0.01 유의수준에서는 어휘 요인을 보정하자 유의성이 사라졌다. 보정한 활성값으로도 개별 과목은 여전히 구분됐지만, 신호가 잡히는 지점은 과제 패널과 선택 규칙에 따라 달라졌다. 공개된 기초 학습 궤적 2개에서도 공통된 방향은 나타나지 않았다.

연구진은 층별 측정을 합산한 이 방식으로는 과제 라벨은 복원되지만 검증한 감도 수준에서 전이 가능한 지식/추론 신호는 확인되지 않는다고 결론지었다. 중간 크기의 효과까지 배제할 수는 없다고 덧붙였다. 연구진은 이 절차를 앞으로 내부 감시 도구나 개입 연구가 통과해야 할 일련의 검사로 제안했다.

이 결과는 탐침 정확도가 높다는 사실만으로 모델 내부에 해당 개념의 표현이 있다고 보기 어렵다는 점을 보여 준다. 벤치마크 과제가 문체와 어휘에서 이미 갈린다면, 활성값 기반 분류기는 그 표면 차이를 읽었을 가능성이 있다. 추론 모델의 내부 동작을 분석하거나 추론 때 계산량을 조절하려는 시도는 텍스트 기준선을 먼저 비교해야 한다.