DPO 학습 계산 그래프 가지치기, 속도 1.426배에 시간 30% 단축

연구진이 직접 선호 최적화(DPO) 학습에서 계산 일부를 확률적으로 건너뛰는 방법을 arXiv에 공개했다. 이 중 선호 가지(branch) 가지치기는 이어 붙인 방식의 DPO 기준 구현보다 단계 시간이 1.426배 빨랐다. 기존(stock) DPO와 비교하면 학습 시간이 약 30% 줄었고, 이 결과는 두 모델 계열에 걸쳐 나왔다.

대가도 있다. 평균 정확도가 약간 낮아졌고, 자유 응답형 평가 점수는 벤치마크에 따라 오르내렸다. 위치 가지치기와 시퀀스 가지치기는 속도보다 최대 메모리를 줄이는 데 주로 효과가 있었다.

세 단계를 따로 줄이는 방식

연구진에 따르면 DPO의 학습 비용은 출력 점수 계산, 시퀀스 실행, 역전파에서 발생한다. 지도 신호만 줄이면 계산이 꼭 줄어드는 것도 아니다. 논문은 점수를 매길 응답 위치, 실행할 응답 앞부분, 역전파할 선호 가지를 각각 독립적으로 뽑는 틀을 제안했다. 해당 연산 전에 선택을 끝내므로 학습 단계마다 계산을 실제로 건너뛴다.

논문은 위치와 시퀀스 가지치기가 목적 함수를 어떻게 바꾸는지 분석했다. 또 확률의 역수로 가중치를 주는 방식으로, 뽑힌 목적 함수에 대해 조건부 불편 추정이 되는 단일 가지 기울기 추정기를 얻었다고 설명했다.

메모리 절감과 한계

통제된 측정에서 출력 메모리 절감의 대부분은 응답 전체의 지도를 유지하는 구현에 기인하는 것으로 분석됐다. 연구진은 자원 절감 효과가 생략한 계산의 양과 그에 따른 목적 함수 변화에 연동된다고 정리했다.