선호 최적화 숨은 공통 오프셋이 어휘 붕괴 유발, 토큰 단위 순위 손실 조건서 17개 중 14개 재현

선호 최적화 과정에서 모델 내부에 숨은 표현 이동이 쌓여 생성 능력을 무너뜨릴 수 있다는 연구가 arXiv에 올라왔다. 논문 ECHO는 이 현상의 원인을 '공통 모드 오프셋'으로 짚었다. 순위 지표가 모두 개선될 수 있는 상황에서도 상대 손실이 거의 보지 못하는 공유 표현 이동이 쌓이고, 이것이 결국 생성을 파괴할 수 있다고 밝혔다.

연구진은 이 오프셋을 토큰 위치, 프롬프트, 선택된 응답과 거부된 응답 모두에서 나타나는 은닉 상태의 공통 방향 이동으로 정의했다. 선택 응답과 거부 응답의 표현을 함께 움직이기 때문에 둘의 상대적 차이를 보는 순위 손실은 오프셋이 쌓여도 거의 반응하지 않는다고 설명했다.

붕괴가 일어나는 과정

오프셋이 커지면 출력층에 투영돼 '어휘 우물'이 만들어진다. 특정 토큰 하나의 확률이 올라가 디코딩을 지배하면서 생성이 무너진다는 것이다. 연구진은 분리한 오프셋만으로 어휘 우물을 재구성할 수 있었고, 학습된 오프셋을 학습 전 기본 모델에 주입하면 붕괴가 재현됐다고 밝혔다. 크기를 맞춘 무작위 방향으로는 재현되지 않았다. 손실에서 이 공통 성분을 가리면 주력 실험 설정에서 우물이 생기지 않았다.

연구진이 분석한 토큰 단위 순위 손실 조건에서 같은 붕괴는 기본 모델 계열 17개 중 14개에서 나타났고, 전체 매개변수 미세 조정에서도 관찰됐다.

DPO와 SimPO 실험

오프셋은 붕괴의 부산물만은 아니다. 우물이 생기지 않는 교과서적 DPO와 SimPO 실행에서도 이미 존재했다. 교과서적 DPO는 연구진 기준 예산의 세 배를 써도 오프셋이 특정 어휘 방향과 약하게만 정렬됐다.

같은 예산으로 기본 모델에서 시작한 전체 매개변수 SimPO는 Llama-2와 Llama-3.1 모두에서 붕괴에 이르렀다. 공개된 SFT 체크포인트에서 공식 SimPO 설정으로 학습했을 때는 우물 없이 같은 종류의 오프셋이 자랐다.

UltraFeedback 17회 실행에서는 보류된 응답의 순위를 잘 맞힐수록, 공개 보상 모델 두 개가 그 모델의 샘플을 기본 모델 샘플보다 선호하는 빈도가 낮아졌다.

논문은 이 결과가 표준 순위 지표의 사각지대를 드러낸다고 주장하며, 붕괴 전에 경고할 수 있는 표현 수준의 신호를 제시했다고 밝혔다.