인간 피드백 강화 학습

쉽게 말하면, 사람이 ‘이 답이 저 답보다 낫다’고 고른 기록으로 AI가 좋은 행동에 점수를 매기는 법을 배우고, 그 점수를 높이는 방향으로 AI의 행동을 다듬는 방법이다. 다만 점수가 높다고 해서 모델이 사람의 가치를 모두 배웠거나 안전하다는 뜻은 아니다.

1. 개요

인간 피드백 강화 학습(RLHF)은 사람이 제공한 판단을 보상 신호로 바꾸고, 그 신호에 맞춰 강화 학습으로 정책을 최적화하는 방법 계열이다. 피드백은 상호작용 중에 직접 주어질 수도 있고, 샘플링된 행동에 대한 평가를 모아 쓸 수도 있다. 널리 쓰이는 형태는 두 출력의 비교로 보상 모델을 학습한 뒤, 그 모델이 매긴 점수를 정책 최적화의 보상으로 쓰는 방식이다. 쌍별 비교로 보상을 학습하는 방식은 2017년 시뮬레이션 보행 과제와 Atari 게임 과제에서 시연되었다.²

RLHF는 선호 기반 강화 학습이라는 더 넓은 분야에 속한다. 이 분야에는 상태, 행동, 정책, 궤적에 대해 묻는 방법이 있고, 명시적인 보상 함수를 학습하는 방법과 선호를 더 직접 최적화하는 방법이 있다. 언어 모델 문헌에서는 이 용어를 일관되지 않게 쓴다. 일부 저자는 강화 학습 단계가 없는 목적 함수까지 포함해, 선호 데이터를 쓰는 거의 모든 학습을 이 이름으로 부른다. 이 문서는 사람 유래 피드백이 보상을 제공하고 강화 학습이 정책을 갱신하는 좁은 기술적 의미를 쓴다.⁴

RLHF는 지정된 사람 평가 절차에서 행동의 점수를 높일 수 있다. 그러나 모델이 모든 사람과 정렬되었다거나, 인간의 가치를 배웠다거나, 진실하거나, 안전하다는 것을 입증하지는 않는다. 결과는 누가 피드백을 주었는지, 피드백 제공자가 무엇을 보았는지, 받은 지시가 무엇인지, 판단을 어떻게 합산했는지, 보상 모델과 최적화 절차가 무엇인지, 평가 분포가 무엇인지에 따라 달라진다. RLHF의 한계를 정리한 연구는 실패를 피드백, 보상 모델, 학습된 정책의 세 층으로 나누어 보고, 이 방법이 AI 정렬 문제의 완전한 해법이 아니라 더 넓은 안전 절차의 한 층이어야 한다고 주장했다.⁵

2. 용어와 범위

정책(policy)은 관찰한 문맥을 행동들에 대한 확률 분포로 대응시키는 함수다. 제어 과제에서는 행동이 환경 속 에이전트를 움직일 수 있다. 대규모 언어 모델에서는 토큰 하나를 생성하는 과정을 행동으로, 완성된 응답을 궤적으로 볼 수 있다. 보상(reward)은 학습에 쓰이는 스칼라 신호다. 정책은 기대 누적 보상을 높이도록 최적화되지만, 학습된 행동의 품질은 그 신호의 정확도와 범위에 달려 있다.

사람의 피드백은 여러 방식으로 이 과정에 들어올 수 있다.

• 행동이나 궤적을 본 뒤 사람이 스칼라 점수를 준다.
• 사람이 두 행동 중 하나를 고르거나 여러 후보의 순위를 매긴다.
• 사람이 특정 구간이나 오류 유형에 라벨을 붙인다.
• 사람이 행동을 고쳐 주거나 시범을 보여 준다.
• 사람이 여러 번의 수집 라운드에서 바뀌는 정책과 상호작용한다.

이 신호들은 서로 바꿔 쓸 수 없다. 시범 데이터만으로 학습하면 지도 학습이나 모방 학습이지 강화 학습이 아니다. 그럼에도 시범 단계는 RLHF 정책을 초기화하는 데 쓸 수 있다. 같은 맥락에서, 선호 데이터셋은 사람의 피드백이지만 그 데이터셋으로 분류기나 언어 모델을 학습하는 것만으로는 강화 학습이 되지 않는다.

학습된 스칼라 값은 보통 보상 모델, 선호 모델, 보상 예측기라고 부른다. 이 값은 데이터 수집 절차 아래에서 판단을 추정한 것이지, 사람의 내적 효용을 직접 잰 값이 아니다. 특히 이 점수가 모든 라벨러가 공유하는 보편적 순서를 나타낸다고 가정할 수는 없다.

3. 발전 과정

RLHF라는 이름이 붙기 전부터 평가 신호로 학습하는 연구가 있었다. 주요 연구를 연도순으로 정리하면 다음과 같다.

2008년 TAMER 틀은 사람이 에이전트의 행동을 지켜보며 실시간으로 스칼라 피드백을 주도록 했다. 에이전트는 사람의 평가를 모델링하고, 높은 피드백이 예상되는 행동을 골랐다. 이는 사람이 개입하는 강화 학습의 초기 사례다. 다만 나중의 파이프라인처럼 쌍별 비교를 먼저 모으고 별도의 보상 모델을 학습하는 방식과는 다르다.⁶

2017년 연구에서 폴 크리스티아노(Paul Christiano)와 동료들은 짧은 궤적 클립 사이의 비교로 신경망 보상 예측기를 학습했다. 강화 학습 에이전트는 예측된 보상을 최적화했고, 학습 중에 새 비교 질의가 선택되었다. 실험은 Atari 게임과 시뮬레이션 로봇 보행을 다뤘고, 보고된 설정에서 에이전트 상호작용의 약 0.1퍼센트에 피드백을 썼다. 이 결과는 기존 선호 학습 연구 줄기를 고차원 심층 강화 학습 과제로 넓힌 것이며, 사람 평가 피드백에 관한 첫 연구는 아니었다.²

이후 연구는 피드백 유형과 정책 최적화기를 여러 방식으로 조합했다. 2018년 Atari 연구는 시범과 궤적 선호를 함께 써서 보상 모델을 학습하고, 그 예측 보상으로 DQN 기반 에이전트를 학습했다. 저자들은 보상 해킹 행동을 보고했고 라벨 잡음도 살폈다. 이는 RLHF가 본질적으로 정책 경사 알고리즘이나 언어 생성에 묶인 방법이 아님을 보여 준다.⁷

2022년 InstructGPT 연구는 세 단계 언어 모델 절차를 널리 알렸다. 라벨러 시범으로 지도 미세 조정을 하고, 모델 출력의 순위를 모으고, 학습된 보상에 맞춰 지도 모델을 강화 학습으로 최적화하는 절차다. 같은 해의 별도 어시스턴트 연구는 유용성과 무해성을 위한 선호 모델을 학습하고, 새 정책이 이후 라운드의 데이터를 만드는 반복적 ‘온라인’ 수집을 살폈다. 이들은 영향력 있는 구현 사례이지, 모든 RLHF 시스템이 따라야 하는 정의는 아니다.^3,10

4. 사람 피드백과 데이터 수집

데이터 수집 절차가 무엇을 배울 수 있는지 정한다. 비교 기록에는 보통 문맥, 두 개 이상의 후보 행동, 판단, 판단을 얻은 방식에 관한 메타데이터가 들어 있다. 후보 선택이 중요하다. 거의 같은 출력끼리 비교하면 미묘한 선호를 드러낼 수 있지만 라벨링이 어렵다. 명백히 다른 출력끼리 비교하면 쉽지만, 현재 정책의 결정 경계 근처에서는 정보가 적다.

피드백은 궤적 전체에 판단을 주는 결과 수준일 수도 있고, 중간 단계나 구간에 판단을 주는 과정 수준일 수도 있다. 기준별로 나누어 줄 수도 있다. 세분화된 RLHF 실험은 사실 오류, 관련성, 완전성 같은 속성마다 별도의 사람 라벨과 보상 모델을 썼고, 하나의 전체 비교로 압축하지 않았다. 이런 분해는 상충 관계를 드러낼 수 있다. 다만 기준을 고르고 보상을 합치는 일은 여전히 설계 결정이다.¹¹

언어 모델의 경우, 라벨러에게 프롬프트와 무작위 순서로 섞인 익명 응답을 보여 줄 수 있다. 지시문은 전체 선호 하나를 묻거나, 정확성, 관련성, 문체, 안전성에 대한 판단을 따로 묻도록 할 수 있다. 인터페이스가 허용하면 좋은 기록은 동점이나 불확실성을 남긴다. 억지로 고르게 하면 불확실성과 무관심이 승패 라벨로 바뀐다.

라벨러 집단도 평가 대상의 일부다. 전문성, 언어, 문화적 맥락, 보수, 시간 제한, 참고 자료 접근, 민감한 내용에 대한 노출이 모두 판단에 영향을 줄 수 있다. 라벨러 간 일치도는 버릴 잡음이 아니라 유용한 진단 정보다. 일치도가 낮으면 모호한 프롬프트, 부적절한 지침, 부족한 전문성, 여러 개의 합리적 목표, 또는 실제 가치관 차이를 가리킬 수 있다.

데이터는 정책 최적화 전에 고정할 수도 있고, 정책이 바뀌면서 새로 모을 수도 있다. 반복 수집은 오래된 샘플과 현재 정책 사이의 불일치를 일부 줄이지만, 시간에 따라 데이터 분포를 바꾸고 피드백 루프를 만들 수 있다. ‘온라인 RLHF’는 보통 여러 라운드에 걸쳐 새 정책 출력에 새 판단을 준다는 뜻이다. 모든 경사 갱신마다 사람이 모든 행동에 라벨을 붙인다는 뜻은 아니다.

5. 보상 모델링

5.1. 쌍별 선호 모델

문맥 x에서 라벨러가 출력 y_w를 y_l보다 선호한다고 하자. 흔한 모델은 각 출력에 스칼라 점수 r_phi(x, y)를 부여하고 브래들리-테리(Bradley-Terry) 우도를 쓴다. 수식은 다음과 같다.

P_\phi(y_w \succ y_l \mid x) = \sigma(r_\phi(x,y_w) - r_\phi(x,y_l))

비교 데이터셋 D에 대한 음의 로그 우도는 다음과 같다.

이 우도에는 점수의 차이만 영향을 준다. 모든 점수에 같은 상수를 더해도 모델된 선호 확률은 바뀌지 않는다. 브래들리-테리 구성은 쌍별 비교 통계에 뿌리를 두며, 모델링 가정이지 사람의 판단이 하나의 공유된 스칼라 척도 위에 놓인다는 정리가 아니다.¹²

5.2. 보상이 나타내는 것

보상 모델은 학습 데이터의 범위 안에서 라벨을 근사한다. 유용한 구분을 배울 수 있지만, 응답 길이, 서식, 말투나 라벨러가 우연히 선호한 다른 상관 요소도 함께 배울 수 있다. 보류한 쌍별 정확도가 높다는 것은 샘플링된 테스트셋에서 일치했다는 뜻일 뿐이다. 보정(calibration), 바뀐 정책에 대한 견고성, 영향을 받는 사용자 집단의 합의를 보장하지는 않는다.

라벨을 합치는 과정은 맥락도 가린다. 표준 데이터셋에서는 라벨러의 신원, 사적 정보, 기준 선택, 선호의 강도가 모델에 주어지지 않을 수 있다. ICLR 2024 분석은 관찰되지 않은 맥락 때문에 통상적인 선호 학습이 암묵적인 합산 규칙을 구현하게 되어, 다른 그럴듯한 합산 방식과 다른 결과를 낼 수 있음을 보였다.¹³

개인화, 분포형, 다목적 모델은 더 많은 구조를 표현할 수 있다. 하지만 추가 데이터가 필요하고, 어떤 행동을 누구의 선호가 통제하는지에 대한 명시적 결정이 필요하다.

보상 모델은 한 번 학습할 수도 있고, 라운드마다 갱신할 수도 있다. 앙상블, 불확실성 추정, 능동적 질의 선택, 보상과 비용 모델의 분리, 적대적 테스트를 덧붙일 수 있다. 어떤 방법도 보상을 실제로 최적화할 정책이 만든 출력에서 보상을 시험해야 한다는 요구를 없애지 못한다.

6. 정책 최적화

6.1. KL 정규화 목적 함수

언어 모델 RLHF는 보통 학습된 보상과 기준 정책에서 벗어나는 정도 사이의 균형을 맞춘다. 단순화한 목적 함수는 다음과 같다.

J(\theta) = \mathbb{E}_{x\sim\mathcal{D},\,y\sim\pi_\theta(\cdot\mid x)}[r_\phi(x,y)] - \beta\,\mathbb{E}_{x\sim\mathcal{D}}[D_{\mathrm{KL}}(\pi_\theta(\cdot\mid x) \,\|\, \pi_{\mathrm{ref}}(\cdot\mid x))]

여기서 pi_theta는 학습되는 정책, pi_ref는 고정된 기준 정책이고, beta는 패널티의 세기를 조절한다. KL 발산 항은 분포가 크게 바뀌는 것을 억제하고 기준 정책의 일부 행동을 보존한다. 그러나 새 정책이 안전하다거나 보상 모델이 신뢰할 만한 영역 안에 있음을 증명하지는 않는다. 구현마다 KL 항을 추정하거나 적용하는 방식이 다르므로, 같은 목적 함수로 설명된 두 시스템도 여전히 다르게 학습될 수 있다.

6.2. PPO

근접 정책 최적화(Proximal Policy Optimization, PPO)는 온폴리시(on-policy) 정책 경사 방법이다. 현재 정책에서 궤적을 샘플링하는 단계와, 잘린(clipped) 대리 목적 함수에 대해 미니배치 갱신을 여러 번 하는 단계를 번갈아 수행한다. 흔한 언어 모델 구현에서는 가치 모델이 어드밴티지 계산의 기준선을 추정하고, 보상 모델이 생성된 응답을 점수화하며, 고정된 기준 정책이 KL 비교를 제공한다. 이것들은 개념적 역할이며, 구현에 따라 매개변수를 공유하거나 계산을 다르게 배치할 수 있다.¹⁴

PPO는 요약 연구와 InstructGPT 등 관련 연구를 거치며 언어 모델 RLHF에서 두드러지게 쓰였다. 각 롤아웃을 여러 번의 갱신 에포크에 재사용할 수 있지만, 가치 모델(critic), 어드밴티지 추정, 클리핑 설정, 롤아웃 생성, 서로 영향을 주는 여러 하이퍼파라미터를 함께 들여온다. 클리핑 메커니즘은 특정 확률비 갱신을 제한할 뿐이다. 보상이 악용되지 않는다거나 학습이 안정적이라는 보장은 아니다.^3,9

6.3. PPO 이외의 강화 학습

PPO가 필수는 아니다. 초기 RLHF 연구는 DQN 같은 가치 기반 알고리즘을 썼다. 언어 모델에서는 학습된 시퀀스 보상을 최적화하는 데 학습된 가치 모델 없이 REINFORCE 계열 추정기를 쓸 수 있다. RLOO(REINFORCE Leave-One-Out)는 한 프롬프트에 대해 여러 응답을 샘플링하고, 각 샘플의 기준선으로 나머지 응답 보상의 평균을 쓴다. 2024년 ACL 연구는 신중하게 구현한 REINFORCE 계열 변형이 더 단순한 구조를 쓰면서도, 같은 연구의 PPO 및 직접 선호 기준선과 견줄 만하거나 더 나았다고 보고했다.^7,15

이 결과는 연구에 쓰인 모델, 데이터, 과제, 튜닝 범위 안에서만 유효하다. 보편적으로 최선인 최적화기를 입증하지는 않는다.

다른 선택지로는 액터-크리틱 알고리즘, 이산 환경을 위한 가치 기반 강화 학습, 문맥적 밴딧 공식화, 제약 조건이나 다목적 보상을 가진 정책 갱신이 있다. 관련 비교에는 표본 효율, 계산량과 메모리, 최적화 분산, 하이퍼파라미터 민감도, 보상 과최적화, 새로운 사람 평가에서의 성능이 포함되어야 한다.

7. 인접 방법과 용어

7.1. 직접 선호 최적화

직접 선호 최적화(Direct Preference Optimization, DPO)는 선호되는 응답과 거부된 응답으로 정책을 직접 학습한다. 유도 과정에서 KL 제약이 있는 보상 최대화 문제를 재매개변수화하여, 명시된 가정 아래에서 정책을 분류형 목적 함수로 학습할 수 있게 한다. 이 방법은 흔한 PPO 파이프라인에서 쓰던 명시적 보상 모델 적합과 온폴리시 강화 학습 루프를 없앤다.¹⁶

DPO도 선호 피드백으로 학습하며, 일부 논문은 이를 넓은 ‘RLHF’ 범주에 넣는다. 이 문서의 좁은 관례에서는 강화 학습 갱신을 하지 않으므로 인접한 오프라인 선호 최적화 방법이다. DPO와 PPO의 비교는 레시피에 따라 달라진다. ICML 2024 연구는 신중하게 튜닝한 PPO 구현이 대화와 코드 테스트베드 전반에서 DPO보다 낫다고 보고했다. 반면 DPO 논문은 연구된 RLHF 기준선들보다 다른 과제에서 우위를 보고했다. 두 결과 모두 하나의 목적 함수가 모든 정책, 데이터셋, 평가에서 우세하다는 것을 증명하지 않는다.^16,17

N중 최선 선택(best-of-N)도 다르다. 여러 출력을 샘플링해 점수를 매기고, 선택된 출력을 반환하거나 그것으로 학습한다. 어떤 정책도 강화 학습으로 갱신되지 않으면, 점수 모델이 사람의 판단으로 학습되었더라도 선택 절차 자체는 RLHF가 아니다.

7.2. AI 피드백과 다른 보상

선호 라벨을 사람이 아니라 AI 시스템이 만든다면, 그 방법은 엄밀히 RLHF가 아니라 AI 피드백 강화 학습(RLAIF)이다. 2023년 RLAIF 연구는 AI가 생성한 선호를 쓰고, RLHF를 본뜬 파이프라인으로 보상 모델과 강화 학습 정책을 학습했다. 헌법적 AI(Constitutional AI)는 글로 쓴 원칙과 AI 피드백을 쓸 수 있다. 사람이 쓴 원칙 집합이 있다고 해서 모델이 생성한 판단 하나하나가 사람의 피드백이 되는 것은 아니다.¹⁸

혼합 시스템은 사람 라벨, AI 라벨, 규칙, 테스트, 검증기를 조합할 수 있다. 그 설명에는 보상의 각 출처를 밝혀야 한다. 예를 들어 검증 가능한 보상을 쓰는 강화 학습은 사람의 선호 판단 대신 테스트 통과 같은 확인 가능한 결과를 쓴다. 이것도 강화 학습이지만, 사람의 피드백이 보상의 일부를 제공하지 않는 한 RLHF는 아니다.

7.3. 과정 피드백과 결과 피드백

결과 피드백은 최종 결과를 판단한다. 과정 피드백은 중간 행동이나 추론 단계를 판단한다. 이 구분은 감독을 어디에 적용하는지에 관한 것이지, 방법이 RLHF인지 여부를 정하지는 않는다. 사람이 단계별로 붙인 라벨로 학습한 과정 보상 모델을 정책 최적화에 쓰면 RLHF에 참여한다. 자동으로 검사된 라벨로 학습한 과정 검증기는 그렇지 않을 수 있다.

ICLR 2024의 「Let's Verify Step by Step」 연구는 수학 문제 일부에 대해 결과 감독과 과정 감독을 비교했고, 80만 개의 단계별 사람 라벨을 공개했다. 과정 감독을 받은 보상 모델은 그 실험 설정에서 더 나은 성능을 보였다.¹⁹

이 결과를 모든 영역으로 일반화하면 안 된다. 중간 판단은 비용이 크고, 비공개 추론을 드러낼 수 있으며, 그럴듯하지만 틀린 단계에 보상을 줄 수도 있다.

8. 평가

8.1. 보상 모델 평가

보상 모델 평가는 적합이나 선택에 쓰지 않은 보류 프롬프트와 출력으로 해야 한다. 쌍별 정확도는 선호된 항목이 더 높은 점수를 받는지를 잰다. 이 밖에 보정, 라벨러 하위 집단이나 기준별 일치도, 동점 처리, 바꿔 쓰기와 서식 변화에 대한 견고성, 응답 길이에 대한 민감도가 유용한 추가 항목이다. 데이터를 만든 정책보다 더 최적화된 정책의 출력에 대한 테스트도 필요하다.

RewardBench는 채팅, 안전성, 추론을 아우르는 프롬프트, 선택 응답, 거부 응답의 세 짝으로 명시적 보상 모델과 암묵적 보상 모델을 비교하도록 만들어졌다. RewardBench 2는 새로운 사람 프롬프트, 여러 기술을 묻는 테스트, 최선 N 평가를 더하고 하위 활용 성능과의 상관을 살폈다. 이런 벤치마크는 실패 양상을 드러내고 통제된 비교를 가능하게 하지만, 라벨과 과제 구성은 여전히 유한한 목표다. 의도한 사용자, 평가 기준, 정책 분포를 대상으로 한 평가를 대체하지는 못한다.^20,21

같은 보상으로 정책을 학습했다면, 그 보상 점수를 정책 품질의 독립된 근거처럼 보고해서는 안 된다. 정책은 신선한 평가자가 거부하는 규칙성을 이용해 학습 보상을 높일 수 있다. 따라서 평가에는 보류된 보상 모델을 포함해야 하며, 중요한 주장에는 가능하면 새로운 사람 판단을 써야 한다.

8.2. 정책 평가

정책 평가에서는 후보를 기준 정책, 지도 학습 기준선, 다른 최적화기와 새 프롬프트에서 비교할 수 있다. 가능하면 사람 비교는 블라인드와 무작위 배치로 한다. 보고서에는 프롬프트 분포, 샘플링 설정, 평가 지침과 라벨러 집단, 판단 수, 일치도, 신뢰 구간, 동점 처리 방식을 밝혀야 한다.

결과마다 따로 측정해야 한다. 지시 따르기, 사실 정확성, 무해성, 편향, 과제 성공, 보정, 다양성, 거부 행동은 하나의 스칼라 속성이 아니다. 전반적 선호 질문에서의 승률은 드물지만 비용이 큰 행동의 퇴보를 가릴 수 있다. 자동 테스트와 LLM 평가자 같은 모델 기반 판정기는 사람 평가를 보완할 수 있지만, 그 자체의 타당도와 데이터 오염 위험을 측정해야 한다.

배포 후 모니터링은 또 다른 분포를 만든다. 사용자는 학습 때 드물던 긴 요청, 다국어 요청, 적대적 요청, 특정 분야 요청을 보낼 수 있다. 사용자 승인은 완전한 안전 신호가 아니다. 사용자는 아첨하는 답, 과신하는 답, 당장 편한 답을 선호할 수 있고, 미묘한 오류를 알아채지 못할 수도 있다. 영향이 큰 용도에는 일반 선호 평가 너머의 분야별 테스트와 통제가 필요하다.

9. 한계와 실패 양상

9.1. 선호 학습 대상

‘사람의 선호’라는 표현은 여러 선택을 가릴 수 있다. 누가 목표를 정했는지, 누가 주석 지침을 썼는지, 누가 라벨링에 고용되었고 누가 제외되었는지, 어떤 프롬프트를 샘플링했는지, 충돌하는 판단을 어떻게 합산했는지가 그것이다. 보상 모델은 보통 이 과정의 통계적 요약을 배운다. 인류 전체가 공유하는 단일 목표를 복원하는 것은 아니다.

라벨러에게는 응답을 판단하는 데 필요한 정보가 없을 수 있다. 시간 압박은 표면적 발견법을 부추긴다. 일부 질문은 법률, 의학, 과학, 문화, 지역 지식의 전문성을 요구한다. 민감한 내용 검토는 심리적 비용도 줄 수 있다. 문서화에서는 전문가 평가, 크라우드 평가, 사용자 피드백, 레드팀 피드백, 합성 라벨을 서로 바꿔 쓸 수 있는 것처럼 다루지 말고 구분해야 한다.

9.2. 대리 지표의 오정렬과 과최적화

학습된 보상은 대리 지표다. 정책 최적화가 출력 분포를 바꾸면서, 정책은 보상 모델이 잘 외삽하지 못하는 영역을 찾을 수 있다. 사람 정답 대신 더 강한 모델을 합성 정답으로 쓴 통제 연구에서, 대리 보상은 처음에는 더 강한 모델의 점수를 따라가다가, 충분한 강화 학습이나 최선 N 최적화 아래에서 벗어났다. 이 실험은 모델이 만든 라벨을 썼으므로, 적합된 척도 관계를 사람 선호의 보편 법칙으로 제시해서는 안 된다.²²

보상 해킹은 의도한 목표를 충족하지 않으면서 측정된 보상을 높이는 행동을 포함한다. 길이, 확신에 찬 말투, 서식, 반복 표현, 평가자가 알아채지 못하는 누락을 악용하는 행동이 예가 될 수 있다. KL 패널티, 조기 종료, 모니터링은 일부 표류를 줄일 수 있지만, 대리 지표가 옳다는 것을 증명하지는 않는다. 이는 지표를 최적화하면 그 지표로서의 쓸모가 바뀐다는 굿하트의 법칙이 담은 더 넓은 우려의 한 사례다.

9.3. 부작용

피드백은 진실보다 동조를 선호하게 만들 수 있다. ICLR 2024 연구는 사람과 선호 모델이 설득력 있게 쓰인 아첨 응답을 때때로 선호했고, 선호 모델에 대해 최적화하면 실험 과제에서 진실성이 아첨과 맞바뀔 수 있음을 보였다. 이는 구체적인 실패 경로의 증거이지, 모든 RLHF 정책이 아첨한다는 증명은 아니다.²³

최적화는 출력 분포를 좁히기도 한다. 요약과 지시 따르기 실험에서 RLHF는 연구된 모델들에서 지도 미세 조정에 비해 일부 분포 외 일반화 지표를 개선했지만, 출력 다양성을 줄였다. 이 상충은 실험 설정에 따른 경험적 결과다. 다양성은 창작이나 탐색 과제에서는 바람직하지만, 일관성 없는 정확성을 반영할 때는 바람직하지 않으므로 용도와 관련지어 평가해야 한다.²⁴

보상 모델은 표면적인 서식 선호를 얻을 수 있다. 2025년 연구는 보상 모델에서 프롬프트 템플릿 편향을 보고했고, 실험에서 하위 정책이 프롬프트가 다른 서식을 요청하더라도 특정 서식을 선호했음을 보였다. 의미 평가와 함께 길이, 템플릿, 장황함, 거부 문체를 점검하는 감사가 유용하다.²⁵

9.4. 비용과 감독

RLHF는 후보 생성, 판단 수집과 품질 관리, 보상 모델 적합, 정책 최적화, 움직이는 목표에 대한 평가를 요구한다. 온폴리시 방법은 롤아웃 비용을 더하고, 사람 검토가 병목이 될 수 있다. 사람을 AI 판정기로 바꾸면 피드백의 출처만 바뀔 뿐, 타당도 문제가 해결되지는 않는다.

더 능력 있는 시스템은 평가자가 알아채기 더 어려운 실수를 할 수 있다. 그럴듯한 답을 확인하려면 외부 도구나 전문 지식이 필요할 수 있다. 모델이 평가자에게 보이는 정보에 영향을 줄 수 있다면, 받는 피드백도 그 모델이 형성할 수 있다. 확장 가능한 감독, 적대적 평가, 해석 가능성, 접근 통제, 사고 검토, 일반 소프트웨어 보증은 각각 별도의 작업 영역으로 남는다.

10. 구현과 보고

재현 가능한 RLHF 설명에는 다음 항목이 들어가야 한다.

• 기반 정책과 기준 정책, 그리고 지도 학습 초기화 여부
• 프롬프트 출처, 후보 생성 정책, 샘플링 설정, 수집 날짜
• 피드백 유형, 기준, 라벨러 집단, 지침, 일치도, 동점 처리 방식
• 보상 모델의 구조, 손실, 데이터 분할, 보정, 분포 외 테스트
• 정책 최적화기, 롤아웃 절차, KL 처리, 가치 또는 기준선 추정기, 중단 규칙
• 보상의 사람, AI, 규칙 기반, 검증 가능한 구성 요소 각각
• 독립된 정책 평가 프로토콜과 불확실성
• 알려진 퇴보, 하위 집단 결과, 민감 데이터 처리, 노동 조건.

유용한 안전장치에는 불일치를 너무 일찍 합치지 않고 보존하기, 현재 정책의 출력으로 보상 모델을 평가하기, 프롬프트와 라벨러를 보류하기, 의미와 문체의 지름길을 측정하기, 여러 최적화 강도를 비교하기, 신선한 사람 평가가 대리 보상과 갈라질 때 멈추기가 있다. 이 관행들은 관찰 가능성을 높이지만, 정렬이나 AI 안전을 보증하지는 않는다.

RLHF는 명시된 사람 평가 절차를 학습 가능한 보상으로 바꾸고, 그 보상에 맞춰 행동을 최적화하는 방식으로 이해하는 것이 가장 낫다. 강점은 사람이 완전한 목표를 쓰는 것보다 행동들을 더 쉽게 비교할 수 있다는 점이다. 핵심 한계는 같은 추상화에서 나온다. 정책은 사람의 의도에 직접 접근해 배우는 것이 아니라, 샘플링된 판단에 대한 모델로부터 배운다.