LLM 내부에서 법적 요인 26개 모두 선형 판독, 단일 특징 희소 판독은 최고 성능 층 AUC 0.86~1.00

대규모 언어 모델(LLM) 내부에서 법적 쟁점을 나타내는 요인이 어디에 표현되는지 분석한 연구가 arXiv에 공개됐다. 연구진은 Qwen3-1.7B, Qwen3-8B, Gemma-2 2B 등 공개 모델 세 개를 실험해, 판례 추론에 쓰이는 CATO 요인 26개가 모두 세 모델의 내부 활성값에서 선형으로 읽힌다고 보고했다.

희소 오토인코더로 단일 특징만 읽는 희소 판독은 요인 목록 전체를 포괄했고, 가장 성능이 좋은 층에서 테스트 AUC(수신자 조작 특성 곡선 아래 면적)는 0.86~1.00이었다. 이 수치는 선형 판독이 아니라 단일 특징 희소 판독의 결과다. 선별한 특징 다섯 개만으로도 전체 벡터를 읽을 때의 성능에 근접했다. 연구진은 모델 3개와 요인 26개를 곱한 78개의 층·특징 좌표를 제시했으며, 각 요인마다 모델별로 좌표가 하나씩 있다.

판례 기반 법적 추론에서 법률가는 새 분쟁에서 법적으로 의미 있는 사실 패턴을 찾아 이미 판결이 난 사건과 비교한다. AI와 법 분야의 HYPO 차원과 CATO 요인은 이런 법적 사실 패턴을 기호로 나타낸 개념이다. 사건 서술에서 추린 전문가 지식을 명시적이고 구조화된 개념과 관계로 정리해 사건 비교와 법적 논증, 선례 추론을 뒷받침한다.

LLM이 법률 업무에 점점 쓰이지만, 법률 지식이 모델 내부에 어떻게 짜여 있는지는 추적하기 어렵다. 연구진은 LLM이 CATO 요인 26개에 해당하는 내부 표현을 만드는지 두 가지 질문으로 검증했다. 하나는 선형 판독이 가능한지, 다른 하나는 희소 오토인코더로 특징 위치를 좁힐 수 있는지다.

실험은 통제된 자연어 문단을 대상으로 했고, 교차 모델 비교와 사람의 검수(human audit)가 이를 뒷받침했다. 따라서 이 결과가 실제 법률 서술 전반으로 일반화된다고 단정하기는 어렵다. 연구진은 전문가가 정의한 법적 요인에 해당하는 정보를, 법률 서술을 처리하는 LLM의 내부 활성값에서 읽어낼 수 있다고 밝혔다.