개인화 보상 모델의 학습 데이터 부족을 줄이려는 연구가 나왔다. 연구진은 사용자별 선호 라벨이 없는 응답을 학습 신호로 바꾸는 PerSPL(Personalized Semi-supervised Preference Learning)을 제안했다. 논문은 2026년 10월 21일 arXiv에 공개됐다.
연구진은 PersonalLLM, HelpSteer2, Reddit TLDR, Chatbot Arena 등 벤치마크 4종에서 대표적인 기존 방법 7종과 비교했다고 밝혔다. PerSPL은 이미 학습에 쓰인 사용자와 처음 보는 사용자 모두에서 평가 대상 방법 중 가장 높은 평균 정확도를 기록했다고 한다. Reddit TLDR과 Chatbot Arena는 각각 요약과 개방형 챗봇 대화에서 실제 사용자의 선호 비교를 담고 있다.
개인화 보상 모델을 만들려면 사용자별 선호 비교가 필요하다. 이런 피드백은 모으는 비용이 크고 사용자 한 명당 얻을 수 있는 양도 제한적이다. 반면 사용자 정보나 선호 라벨이 없는 응답은 대량으로 만들 수 있는데, 기존 개인화 보상 모델은 이 데이터를 쓰지 않았다고 연구진은 지적했다.
이 응답은 곧바로 학습에 쓰기 어렵다. 쌍별 비교 목적함수는 하나의 프롬프트 안에서 응답 사이의 상대 점수만 제약한다. 반면 응답 하나하나에 가짜 라벨을 붙이려면 같은 사용자 기준으로 프롬프트가 달라도 비교할 수 있는 점수가 필요하다.
PerSPL은 특정 백본 모델에 매이지 않는 프레임워크다. 쌍 평균 점수 중심화(pair-mean score centering)로 프롬프트 간 점수 기준을 안정시킨 뒤, 라벨 없는 응답을 사용자별 학습 신호로 반복해서 바꾼다.
연구진은 사용자별 선호 라벨이 적을 때 라벨 없는 응답이 개인화 보상 모델 학습에 추가 지도 신호가 될 수 있다고 해석했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.