연구진이 언어 모델의 명령 따르기 능력을 평가하고 학습시키는 새 틀 LIFT를 arXiv에 공개했다. 평가용 벤치마크 Lift-Bench와 학습용 데이터셋 Lift-Train으로 이뤄지며, Lift-Bench와 Lift-Train, 데이터 생성 파이프라인은 모두 공개돼 있다.
Lift-Bench는 모델에 주제와 구조화된 개요를 주고 문서 초안을 쓰게 한다. 제약은 문서의 특정 구획에만 적용되는 방식(scoped)이어서 제약이 얼마나 촘촘한지 더 세밀하게 조절할 수 있다. 프로그램으로 검증하는 제약과 판정자가 평가하는 제약이 함께 들어 있다.
기존 방식의 문제
IFEval 같은 기존 명령 따르기 벤치마크는 프로그램으로 쉽게 검증되는 단순한 제약으로 모델을 평가한다. 같은 제약이 강화 학습의 보상 신호로도 쓰이는데, 연구진은 이 설계가 제약에 대한 보상 해킹을 낳고 모델을 본래 과제에서 멀어지게 할 수 있다고 지적했다.
제약을 더 풍부하게 만든 최근 벤치마크도 있었지만, 전문가의 노동이 필요했고 비공개였으며 쉽게 확장할 수 없었다고 연구진은 설명했다.
실험 결과
Lift-Bench는 본래 과제와 명령 따르기 제약을 모두 제공해 표면적인 보상 해킹을 완화하도록 설계됐다. 연구진이 여러 모델로 실험한 결과, 최신(frontier) 모델도 벤치마크의 어려운 부분집합에서 고전했다. 연구진은 모델 성능을 여러 축으로 나눠 분석했다.
학습 실험에서는 Lift-Train으로 훈련한 모델이 흔히 쓰이는 IFTrain으로 훈련한 모델보다 보상 해킹에 훨씬 덜 취약했다고 연구진은 밝혔다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.