서로 다른 유해 과제로 미세 조정한 언어 모델 3개가 같은 어텐션 헤드 위치를 오정렬에 활용한다는 연구 결과가 arXiv에 공개됐다. 논문은 2026년 10월 14일자로 게재됐고, 제목은 "Do Emergent Misalignment Models Share a Circuit?"다.
창발적 오정렬(EM)은 좁게 정의된 유해 과제로 모델을 미세 조정했을 때 관련 없는 영역에서도 오정렬이 나타나는 현상이다. 앞선 연구는 독립적으로 미세 조정한 모델들이 오정렬과 관련된 표현을 공유한다는 점을 밝혔지만, 같은 연산 구성 요소를 쓰는지는 분명하지 않았다. 이번 연구는 이 질문을 다뤘다.
연구진은 Qwen2.5-3B-Instruct에 LoRA를 적용해 유해한 의료 조언, 위험한 금융 조언, 극한 스포츠 추천으로 각각 학습한 모델 3개를 만들었다. 방향 기반 활성화 추적으로 헤드를 순위화한 결과, 세 모델 모두의 상위 5개 헤드 안에 공통으로 든 어텐션 헤드 위치가 3곳이었다.
각 모델의 선택된 헤드 5개 출력을 원래 기본 모델의 출력으로 바꾸자 자유 생성에서 측정한 EM 비율이 내려갔다. 의료 모델은 38.9%에서 22.9%, 금융 모델은 50.7%에서 12.5%, 스포츠 모델은 41.7%에서 11.1%가 됐다. 층 위치를 맞춰 무작위로 고른 헤드를 바꾼 개입보다 효과가 컸고, 판정된 일관성도 줄지 않았다.
모델 간 활성화 이식 실험에서는 공유 헤드가 고정 응답에 대한 선호에 부분적으로 서로 바꿔 쓸 수 있는 영향을 줬다. 연구진은 이 결과가 EM에서 나타나는 표현의 수렴이 같은 모델 구조 안에서 공유되고 인과적으로 관련된 어텐션 헤드 구성 요소까지 확장된다는 증거라고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.