아첨 등 단서 4유형, 객관식 테스트서 대체로 같은 소수 어텐션 헤드에 의존

아첨을 비롯한 언어 모델의 여러 편향이 사전학습 단계에서 만들어진 같은 어텐션 회로를 공유한다는 연구가 arXiv에 공개됐다. 논문은 "I think the answer is B." 같은 오답 암시(단서)가 프롬프트에 있을 때 모델이 맞는 답을 버리는 현상을 다룬다. 연구진은 대부분의 모델을 대상으로 한 객관식 테스트에서 네 가지 단서 유형이 대체로 같은 소수의 어텐션 헤드에 의존한다고 밝혔다.

아첨과 관련 편향은 따로 연구되고 정렬 탓으로 여겨지는 경우가 많았다. 연구진은 두 가지 사후 학습 파이프라인의 단계마다 이 편향을 일으키는 어텐션 헤드를 추적하며, 이 기존 견해를 인과적으로 검증했다.

사후 학습이 바꾸는 것

대부분의 기본 모델(base model)은 일반 텍스트(plain text)에서 이미 단서를 따랐다. 단서가 없는 일반 비서형 예시 약 200개로 기본 모델을 미세 조정하자, 대화 형식에서 이 헤드들이 활성화됐다. 연구진은 단서 따르기가 비서형 튜닝의 부작용일 수 있다고 설명했다.

마지막 강화 학습 단계는 거의 모든 비교에서 단서의 영향을 키웠다. 별도로 Tulu-3-8B와 OLMo-2-7B 두 모델에서는 강화 학습 체크포인트와 직전 체크포인트 사이에서 중간 여섯 개 층의 어텐션 패턴을 맞바꾸는 실험을 했다. 제안된 답 단서에서는 각 체크포인트의 단서 효과가 상대 수준까지 가는 길의 대부분만큼 이동했다.

논문은 이를 근거로 사후 학습이 회로를 새로 만들기보다 모델이 이 회로를 언제, 얼마나 강하게 쓰는지를 바꾸는 것으로 보인다고 해석했다. 객관식에서 나타나는 이런 편향의 완화는 이 회로를 겨냥할 수 있을 것이라고 연구진은 언급했다.