연구진이 대규모 언어 모델의 내부 표현에서 환각 신호를 뽑아내는 기법 LOTUS(Low-rank Order-statistic TUcker-based Subspace learning)를 제안하는 논문을 arXiv에 공개했다. 발행일은 2026년 10월 26일이다. LOTUS는 은닉 상태에서 압축 표현을 추출하는 다중선형 저랭크 분해 틀이며, 라벨 데이터에 대한 의존을 줄이는 것을 목표로 한다.
연구진은 여러 모델과 질의응답 벤치마크로 실험했고, 최근의 최고 수준 기준 기법보다 환각 탐지 성능이 개선됐다고 밝혔다.
작동 방식
LOTUS는 길이가 제각각인 토큰 표현을 먼저 통계 기술량으로 요약한다. 이 기술량은 활성값의 최댓값, 활성값 분포, 층 사이의 변화를 각각 담는다. 이렇게 요약한 값에 저랭크 다중선형 분해를 적용해 은닉 상태의 구조를 보여 주는 압축 표현을 얻고, 이 표현으로 가벼운 분류기를 학습시킨다.
기존 방식과의 차이
연구진에 따르면 최근 환각 탐지기는 내부 표현을 활용하는 경우가 늘고 있지만, 고차원 은닉 상태에서 쓸모 있는 신호를 뽑는 일이 어렵다. 기존 방법은 흔히 일부 활성값을 고르거나 풀링 기반으로 압축하는 방식에 기대며, 트랜스포머의 층, 특징 축, 토큰에 흩어진 구별 정보를 놓칠 가능성이 있다고 연구진은 지적했다.
LOTUS는 토큰 표현을 통계 기술량으로 먼저 요약하고, 그 값에 저랭크 다중선형 분해를 적용한다는 점에서 활성값 일부를 고르거나 풀링으로 압축하는 방식과 접근이 다르다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.