직접 선호 최적화(DPO)가 모델의 매개변수를 극히 일부만 바꾸는 현상을 이론으로 설명하려는 논문이 2026년 10월 27일 arXiv에 올라왔다. 논문은 신경 탄젠트 커널(NTK) 선형화 아래에서 DPO의 최적화 과정을 분석했다. DPO 손실의 로지스틱 구조가 최대 마진을 선호하는 암묵적 편향을 만든다는 것이 출발점이다.
연구진은 GPT-2 실험에서 DPO가 지도 미세 조정보다 과제 간 간섭을 최대 35배 줄였다고 보고했다. 이와 별도로 연구진은 이중 희소성과 가중치 분리를 잇는 분석 틀을 제시했다. 가중치 분리는 여러 모델을 합치는 모델 병합에 유리한 조건이다.
이중 희소성이라는 설명
논문은 이 구조를 이중 희소성(dual sparsity)이라 부른다. DPO의 업데이트 방향은 희소한 기울기 특징 벡터들의 희소한 선형 결합이라는 것이다. 결합 계수가 드문 데이터 수준의 희소성은 서포트 벡터에서 나오고, 기울기 벡터 자체가 드문 매개변수 수준의 희소성은 선호 응답과 비선호 응답의 기울기가 서로 상쇄되면서 생긴다.
연구진은 이 구조를 주 정리로 정식화했다. 업데이트에 기여하는 서포트 쌍의 수는 마진에 따라 정해지는 스펙트럼 양으로 상한을 잡았다. 이중 희소성을 가중치 분리와 잇는 분석 틀도 함께 제시했다.
실험 범위
실험은 GPT-2 Small과 Medium, 그리고 70억~90억 매개변수급 지시 튜닝 모델인 Llama-3-8B, Mistral-7B, Gemma-2-9B에서 했다. 데이터는 Anthropic의 HH-RLHF와 UltraFeedback을 썼다. 연구진은 데이터 수준의 희소성과 매개변수 수준의 희소성이 모두 실험에서 확인됐다고 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.