LLM 어텐션 신호로 감정 추론 최대 10.3점 높이는 SIAB 제안

대화형 언어 모델이 감정 상태를 추론할 때 모델 내부의 어텐션 신호를 끌어 쓰는 방법 SIAB(Self-targeted Internal Attention Boosting)가 논문으로 제안됐다. 논문은 2026년 10월 15일 arXiv에 공개됐다. 연구진은 ECC와 GoEmotions 두 데이터셋에서 LLM 3종과 여러 프롬프트 설정으로 평가했다.

연구진에 따르면 프롬프트 조건을 맞춘 기준 모델보다 매크로 F1 점수가 ECC에서 최대 10.3점, GoEmotions에서 최대 5.5점 올랐다. SIAB를 PASTA 방식의 외부 감독과 결합하면 정확도는 최대 13.84점, 매크로 F1은 최대 12.51점 올랐다고 밝혔다. 이 결합 수치가 어떤 기준과 비교한 향상폭인지는 초록에 명시돼 있지 않다.

연구는 감정을 대화에서 드러나지 않게 이어지는 잠재 상태로 본다. 모델은 흩어진 단서로 사용자의 감정을 짐작해야 하고, 이 단서는 화제가 바뀐 뒤에도 의미가 남는다. 연구진은 추론 시점에 모델이 이런 근거를 찾아 쓰도록 하는 내부 어텐션 신호가 있는지 물었다.

SIAB는 합성한 최소 쌍 데이터에 활성화 패칭이라는 인과 위치 추적을 적용해 감정과 관련된 희소한 어텐션 헤드를 찾는다. 그다음 답을 내는 위치에서 이 헤드들이 이미 주목하던 내용 토큰의 비중을 키운다. 수정할 헤드와 대상 토큰을 모두 모델 자체의 동작에서 얻기 때문에 같은 헤드 집합을 여러 환경에서 다시 쓸 수 있다고 연구진은 설명했다.

기존 어텐션 개입 방식은 라벨이 붙은 같은 영역의 헤드 프로파일과 외부에서 지정한 대상 구간에 의존해, 감정 근거의 분포가 다른 데이터로 옮기기 어려웠다고 논문은 지적했다. 기전 분석에서는 성능 향상이 감정 정보가 풍부한 희소한 헤드에서 나왔고, 층 근접성이 효과의 가산성(additivity)에 영향을 준다고 했다.