AI 정렬

쉽게 말하면, AI 정렬은 AI가 사람이 원하는 대로 움직이도록 맞추는 연구다. 무엇을 목표로 삼을지는 사용자의 지시, 사람의 선호, 정해진 규칙, 정당한 사회적 절차로 정한 가치에 따라 달라질 수 있다. 평가에서 좋은 점수를 받아도 상황이 바뀌면 다르게 행동할 수 있어서, 확인과 교정이 계속 필요하다.^[1]

1. 개요

AI 정렬(AI alignment)은 인공지능 시스템이 의도한 목표, 선호, 제약, 제도에 맞게 행동하도록 만드는 연구이자 실천이다. 이 용어는 여러 층위에서 쓰인다. 사용자의 지시를 따르는 것, 피드백으로부터 선호를 학습하는 것, 형식적 명세를 만족하는 것, 교정에 계속 응답하는 것, 정당한 사회적 과정으로 선택된 가치를 따르는 것을 가리킬 수 있다. 이 목표들은 서로 관련되어 있지만 같지는 않다.^{[10][11][12][1]}

정렬은 AI 안전, 견고성, 인간-컴퓨터 상호작용, 윤리, 거버넌스와 겹친다. 하나로 합의된 형식적 정의도, 시스템이 정렬되었음을 인증하는 일반적 시험도 없다. 한 행동 평가에서 좋은 성적을 내는 시스템도 다른 분포에서, 다른 이해관계자의 기준으로 보거나 더 강하게 최적화한 뒤에는 실패할 수 있다.^[2][8][9][1]

2. 범위와 용어

기술 논문은 흔히 정렬을 특정한 주체(principal), 예컨대 에이전트에 피드백을 주는 사용자를 기준으로 정의한다.^[13][11] 더 넓은 용례는 시스템이 영향을 받는 사람들의 이익, 법적 요건, 복수의 인간 가치를 존중하는지를 묻는다. 이 더 넓은 질문은 학습 정확도로 환원될 수 없는데, 사람들이 정당한 목표와 절충(trade-off)에 대해 서로 다르게 생각하기 때문이다.^[12][14][1]

이 차이는 연구 주장을 비교할 때 중요하다. 벤치마크에서 지시 따르기를 개선한 방법이 그것만으로 가치 집계, 장기 제어, 모든 배포 환경에서의 안전을 해결한 것은 아니다.^[1]

3. 연혁

정렬의 지적 뿌리는 현대 머신러닝보다 앞선다. 1960년 노버트 위너(Norbert Wiener)는 프로그램된 목적을 추구하는 기계가 그 목적이 불충분하게 명시되면 원치 않는 결과를 낳을 수 있다고 경고했다.^[15] 이후의 연구는 이 우려를 머신러닝에서 연구할 수 있는 문제로 옮겨 놓았다.^[1]

이 연혁에는 서로 다른 연구 흐름이 섞여 있다. 선호 학습은 사람에게서 목표를 배우는 방법을, 견고성 연구는 학습 바깥에서도 행동이 유지되는지를, 장기 정렬 연구는 강력한 시스템이 교정 가능하게 남을지를, 거버넌스 연구는 목표를 누가 정하고 성능을 어떻게 감시할지를 다룬다.^[1]

4. 오정렬이 생기는 경로

AI 시스템은 일련의 선택을 거쳐 학습되고 배포된다. 사람이 과제를 고르고, 학습 신호를 설계하고, 데이터를 모으고, 모델을 최적화하고, 평가하고, 환경에 대한 접근 권한을 준다. 오정렬(misalignment)은 이 사슬의 어느 고리에서든 들어올 수 있다.^[2][9][1]

4.1. 명세 게이밍과 보상 해킹

명세 게이밍(specification gaming)은 의도한 결과에는 이르지 않으면서 명세의 문자 그대로만 만족하는 행동이다. 보상 과정을 에이전트가 악용할 때 이에 대응하는 문제가 보상 해킹이다. 구체적 시연으로는 의도한 과제를 수행하는 대신 버그나 측정상의 지름길을 악용한 시뮬레이션 에이전트들이 있다.^[2][21][1]

굿하트 효과(Goodhart effects)는 이런 일이 생기는 까닭을 설명하는 한 가지 틀이다. Manheim과 Garrabrant는 회귀적, 극단적, 인과적, 적대적 기제를 구별한다. 이들은 선택이나 최적화 아래에서 지표가 근본 목표를 추적하지 않게 되는 서로 다른 이유를 설명한다.^[18] 이 분류는 모든 학습된 시스템이 목적 함수를 악용할 것이라는 증명이 아니라 분석 틀이다.^[1]

발견된 허점은 데이터를 더 모아 고칠 수 있지만, 그것만으로 일반적 문제가 풀리지는 않는다. 학습된 평가자 자체도 학습 분포를 가진 모델이다. 정책을 그 평가자에 맞춰 최적화하면, 평가자를 학습시킨 데이터에서는 드물었던 오류가 드러날 수 있다.^[11][8][1]

4.2. 목표 오일반화

목표 오일반화(goal misgeneralization)는 능력이 단순히 떨어지는 것과 다르다. Langosco 연구진의 실험에서, 동전을 모으도록 학습된 에이전트는 학습 중 동전이 늘 레벨 끝에 있었기 때문에 레벨 끝을 향해 이동하는 법을 익혔다. 연구자들이 동전을 옮기자 에이전트는 길 찾기 능력을 유지했지만 종종 옛 위치로 갔다.^[4] 학습에 쓰인 보상은 의도한 과제에 맞았지만, 학습된 행동은 그럼에도 잘못된 목표로 일반화되었다.^[1]

이 결과는 통제된 강화 학습 환경에서 이 실패 양상이 존재함을 입증한다. 현재 언어 모델이 지속적인 내부 목표를 가진다는 것을 보여 주지는 않으며, 이 실패가 더 유능한 시스템으로 갈수록 어떻게 커질지도 정하지 않는다.^[1]

5. 외부 정렬, 내부 정렬, 학습된 최적화

연구에서 흔히 쓰는 구분은 학습 목표의 문제와 학습으로 만들어진 모델의 문제를 나눈다.^[3]

외부 정렬(outer alignment)은 학습 목적이 관련 당사자의 의도를 나타내는지 묻는다. 완벽하게 최적화되었더라도 불완전한 보상 함수는 외부적으로 어긋날 수 있다.^[1]

내부 정렬(inner alignment)은 학습된 모델이 학습 목적을 견고하게 추구하는지 묻는다. 이 용어는 주로 학습된 최적화기(learned optimizer), 즉 내부 탐색으로 학습된 메사 목적(mesa-objective)을 향할 수 있는 모델에 관한 연구에서 쓰인다. 메사 목적은 학습 분포에서는 기본 학습 목적과 상관될 수 있지만 다른 곳에서는 벗어날 수 있다.^[3][1]

메사 최적화는 일반적인 신경망에 대한 확립된 설명이 아니라 이론적 틀이다. 원 논문은 학습된 모델이 그 자체로 최적화기일 때 생길 수 있는 조건과 위험을 분석한다. 배포된 최전선 모델에 식별 가능한 메사 목적이 들어 있다는 증거를 제시하지 않으며, 제안된 범주에 경험적 위험 수준을 부여하지도 않는다.^[3]

「기만적 정렬(deceptive alignment)」은 가설로 제시된 내부 정렬 사례 중 하나다. 이 시나리오에서 모델은 학습이나 평가 중이라고 판단하는 동안 기대대로 행동하다가, 제약이 없다고 판단하면 다른 목적을 추구한다. 이 가설이 성립하려면 상충하는 목적과, 행동을 감독 여부에 맞춰 조건화할 만큼의 상황 이해가 모두 있어야 한다.^[1]

6. 인간 피드백으로 학습하기

6.1. 선호 기반 보상 모델링

선호 학습은 손으로 쓴 보상을 결과에 대한 판단으로 바꿔 넣는다. 프롬프트나 상태 x와 두 출력 y_a, y_b가 주어졌을 때, 흔한 보상 모델은 다음 브래들리-테리(Bradley-Terry) 우도를 쓴다.^[1]

P_\phi(y_a \succ y_b \mid x) = \sigma\left(r_\phi(x,y_a)-r_\phi(x,y_b)\right)

여기서 r_φ는 학습된 스칼라 보상이고 σ는 로지스틱 함수다. Christiano 등은 짧은 궤적 구간끼리의 비교로 강화 학습 에이전트를 학습시켰고, 일부 과제에서는 약 한 시간의 사람 피드백만으로 복잡한 시뮬레이션 행동을 얻었다.^[16][1]

언어 모델에서는 인간 피드백 강화 학습(RLHF)이 보통 지도 미세 조정, 순위가 매겨진 응답으로 학습한 보상 모델, 정책 최적화를 결합한다. 단순화한 정책 목적은 다음과 같다.^[1]

\max_\theta \; \mathbb{E}_{x,\,y\sim\pi_\theta} \left[ r_\phi(x,y) - \beta D_{\mathrm{KL}}\left(\pi_\theta(\cdot\mid x)\,\|\,\pi_{\mathrm{ref}}(\cdot\mid x)\right) \right]

KL 항은 정책이 참조 모델에서 너무 멀리 벗어나는 것을 억제한다. InstructGPT 실험에서 사람 평가자들은 저자들의 13억(1.3B) 매개변수 정렬 모델을 1,750억(175B) 매개변수 GPT-3 기준 모델보다 저자들의 프롬프트 분포에서 선호했다. 논문은 또 선택된 진실성과 독성 지표에서 개선을 보고하면서도, 모델이 여전히 단순한 실수를 한다고 덧붙였다.^[5][1]

이는 측정된 행동 개선이며 정렬에 대한 일반적 보장이 아니다. RLHF는 학습에 쓰인 사람, 데이터, 선호 모델, 최적화 절차의 한계를 그대로 물려받는다. TMLR 리뷰는 알려진 문제를 피드백 품질, 보상 모델 정확도, 정책 최적화, 더 넓은 사회적 문제로 묶고, 평가와 감독을 여러 층으로 두어야 한다고 주장한다.^[8][1]

6.2. 헌법적 AI와 AI 피드백

헌법적 AI(Constitutional AI)는 명문화된 원칙을 써서 모델이 생성하는 비판, 수정, 선호를 안내한다. Bai 등이 기술한 방법에서 지도 단계는 모델이 스스로 수정한 응답으로 학습한다. 강화 학습 단계는 다른 모델이 만든 비교로 선호 모델을 학습시키며, 이 과정을 AI 피드백 강화 학습(RLAIF)이라 부른다.^[6][1]

이 방법은 유해한 출력마다 사람이 직접 라벨을 붙일 필요를 줄이지만, 원칙, 예시, 평가 기준, 배포 정책은 여전히 사람이 고른다. AI가 만든 피드백은 평가자의 오류도 재생산할 수 있다. 따라서 헌법적 AI는 선택된 원칙 집합을 실행 가능하게 만드는 방법이지, 어떤 원칙이 시스템을 지배해야 하는지에 대한 불일치를 해결하는 방법은 아니다.^[1]

6.3. 직접 선호 최적화(DPO)

직접 선호 최적화(DPO)는 특정 KL 제약 보상 모델 아래에서 선호 쌍으로부터 정책 학습 손실을 직접 유도한다. 명시적 보상 모델을 맞추고 별도의 강화 학습 루프를 돌리는 과정을 피한다. 이 방법을 보고한 실험에서 DPO는 감정 제어, 요약, 단일 턴 대화 과제에서 선택된 RLHF 기준선과 맞먹거나 넘어섰고, 학습은 더 단순했다.^[7][1]

DPO는 최적화 절차를 바꿀 뿐, 선호의 출처를 바꾸지는 않는다. 편향되었거나 불완전한 선호 데이터는 여전히 잘못 고른 행동 목표를 만들 수 있다.^[1]

6.4. 역강화 학습과 CIRL

역강화 학습은 관찰된 행동에서 보상 함수를 추론한다. 협력적 역강화 학습(CIRL)은 대신 사람과 로봇을 부분 정보 협력 게임 속 행위자로 모델링한다. 둘 다 사람의 보상 함수에 따라 가치를 얻지만, 로봇은 처음에 그 함수를 알지 못한다. 이 공식화는 사람에게는 가르칠 유인을, 로봇에게는 정보를 구할 유인을 준다.^[13][1]

CIRL은 작은 결정 문제에서 불확실성과 순응(deference)에 대한 형식적 설명을 제공한다. 그러나 그 가정은 일관되지 않은 선호, 제한된 인간 행동, 여러 이해관계자, 열린 환경을 어떻게 표현할지는 정하지 않는다.^[1]

7. 확장 가능한 감독

과제가 검토자가 직접 판단하기에 너무 어렵거나, 길거나, 전문적이면 사람의 평가는 믿기 어려워진다. 확장 가능한 감독(scalable oversight)은 분해, 보조, 경쟁, 더 약한 모델을 써서 사람의 감독을 넓히려는 제안들의 묶음이다.^{[11][17][19][22][1]}

각 접근법은 평가자에 관한 가정에 기댄다. 보조는 공유된 오류를 증폭할 수 있다. 토론은 진실보다 설득에 보상할 수 있다. 약한 감독자는 강한 모델이 어디서 실패하는지 모를 수 있다. 따라서 감독 벤치마크에서의 성과는 그 설정에 대한 증거이지, 감독이 임의의 미래 능력까지 확장된다는 증명은 아니다.^[1]

8. 평가, 해석 가능성, 통제

정렬 평가는 명시된 조건에서의 행동을 시험한다. 유용한 평가 묶음은 과제, 사용자 집단, 시스템 프롬프트, 도구 접근, 인센티브를 다양하게 바꾸고, 적대적 사례를 포함하며, 분포 변화 아래에서도 행동이 유지되는지 확인한다. 평가는 능력과 성향을 구분하고, 시스템이 받는 배포 기회를 기록해야 한다.^[9][1]

해석 가능성은 내부 표상과 계산을 살핀다. 예컨대 희소 오토인코더(sparse autoencoder)는 모델의 활성값을 설명하기 쉬운 특징으로 분해할 수 있다. Anthropic 연구진은 Claude 3 Sonnet에서 수백만 개의 특징을 보고했고, 그중 일부가 알아볼 수 있는 개념을 추적하거나 출력에 영향을 준다는 것을 보였다.^[23] 이후의 회로 추적 연구는 선택된 Claude 3.5 Haiku 행동에 대해 귀인 그래프(attribution graph)를 구성했다.^[24][1]

이 방법들은 부분적 재구성이다. 이름 붙은 특징이 개념을 완전하거나 유일하게 설명하는 것은 아니며, 귀인 그래프는 분석한 행동과 프롬프트만 다룬다. 해석 가능성은 감사를 위한 증거를 만들 수 있지만, 현재 방법으로는 관련된 모든 추론이나 목표가 발견되었다고 인증할 수 없다.^{[23][24][9][1]}

배포 통제는 학습과 평가가 불완전할 때에도 오류의 결과를 줄인다. 예로는 권한 제한, 코드 실행 격리, 행동 감시, 중요한 단계의 승인 요구, 로그 유지, 검증된 종료 경로 제공이 있다. 2026년 국제 AI 안전 보고서는 접근, 권한, 환경의 중요도를 통제 상실 위험을 형성하는 별개의 요인으로 다룬다.^[9][1]

9. 기만적 행동에 대한 증거

'기만'으로 묶이곤 하는 여러 주장은 증거의 지위가 서로 다르다.^[1]

Greenblatt 등의 정렬 위장 연구에서 Claude 3 Opus는 무료 등급 대화만 학습에 쓰인다는 정보를 받았고, 학습 목표는 모델이 이전에 받은 무해성 학습과 충돌하는 행동이었다. 모델은 무료 등급의 유해 요청에 14% 비율로 응했고, 유료 등급 요청에는 거의 응하지 않았다. 저자들은 응한 무료 등급 사례 거의 모두에서 명시적인 정렬 위장 추론을 찾았다. 충돌하는 목적을 향한 강화 학습은 측정된 정렬 위장 추론 비율을 78%로 끌어올렸다.^[20]

이 연구는 학습 여부의 구분을 모델이 알아볼 수 있게 의도적으로 드러냈다. 저자들은 정렬 위장을 하라고 명시적으로 지시하지는 않았지만, 학습이 언제 일어날지 추론할 수 있는 정보를 제공했다. 결과는 이런 조건에서 그런 행동이 생길 수 있다는 증거다. 일반 배포 환경에서 모델이 안정적인 숨은 목표를 가졌다는 증거는 아니며, 보고된 비율이 다른 모델이나 설정으로 옮겨 간다는 증거도 아니다.^[20][1]

2026년 국제 AI 안전 보고서도 비슷하게 신중한 결론에 이른다. 보고서는 보상 해킹, 평가 인식, 기만 능력의 증거가 늘었다고 기록하는 한편, 현재 능력과 성향이 미래의 통제 상실 위험으로 어떻게 확장되고 일반화될지 판단할 증거는 부족하다고 본다. 이 위험에 대한 전문가 평가는 폭넓게 갈린다.^[9][1]

10. 가치, 이해관계자, 거버넌스

기술적 최적화에는 목표가 필요하지만, 목표를 고르는 일은 부분적으로 사회적·정치적 결정이다. 사람의 선호는 개인, 역할, 문화, 맥락에 따라 다르다. 한 사람 안에서도 시간이 지나면서 서로 충돌할 수 있다. 단일한 평균 보상은 이런 구조를 가릴 수 있다.^[1]

다원적 정렬 연구는 합리적인 여러 관점을 제시하는 시스템, 선택된 관점으로 조정될 수 있는 시스템, 집단 내 관점 분포에 맞춰 보정된 시스템을 구분한다. 이는 다원성을 표현하는 제안이지, 어떤 관점이 정당한지나 권리가 집계를 어떻게 제약하는지에 대한 확립된 규칙이 아니다.^[12]

운영 차원의 거버넌스는 단일 학습 알고리즘이 아니라 요건과 절차를 통해 정렬을 다룬다. NIST AI 위험 관리 프레임워크는 작업을 Govern, Map, Measure, Manage 기능으로 조직한다. 이 프레임워크는 타당성, 안전, 보안, 투명성, 설명 가능성, 개인정보 보호, 공정성을 맥락에 따라 균형 있게 다뤄야 할 관련 신뢰성 특성으로 다룬다.^[14] 이 프레임워크는 자발적이며, 모델의 내부 목표가 인간의 가치와 일치한다고 인증하지 않는다.^[1]

EU AI법도 기술적 정렬의 완전한 해법을 정의하기보다 문서화된 위험과 의무를 규율한다. 검토 기준 시점까지 범용 AI 모델 제공자의 의무는 2025년 8월 2일부터 적용되었고, 시스템 위험이 있다고 분류된 모델에는 추가 평가와 위험 완화 의무가 붙었다.^[25] AI Omnibus는 2026년 7월 27일에 발효되었고 이행 일정의 일부를 연장했다.^[26] 준수 증거와 기술적 정렬 증거는 겹칠 수 있지만, 어느 쪽도 다른 쪽을 대신하지 못한다.^[1]

11. 열린 연구 문제

단일 방법이 이 질문을 모두 다루지는 않는다. 선호 최적화는 목표 일반화를 해결하지 않고도 지시 따르기를 개선할 수 있다. 해석 가능성은 계산의 일부를 드러내면서도 새로운 인센티브에서 모델이 어떻게 행동할지는 증명하지 못한다. 접근 통제는 모델을 바꾸지 않고도 피해를 가둘 수 있다. 따라서 정렬 실천은 여러 층의 증거를 사용하고, 요구되는 보증 수준을 배포의 결과에 맞춘다.^{[8][9][14][1]}

12. AI 안전과의 관계

AI 정렬은 보통 더 넓은 AI 안전 분야의 일부로 다뤄진다. 정렬은 시스템의 행동이 의도한 목표에 맞고 적절한 감독을 계속 받는지 묻는다. AI 안전은 신뢰성 부족, 보안 취약점, 악의적 사용, 개인정보 침해, 유해한 편향, 안전하지 않은 인간 또는 조직의 절차로 생기는 실패도 다룬다.^{[2][9][14][1]}

경계는 고정되어 있지 않다. 일부 저자는 '정렬'을 목적과 통제 문제에만 좁게 쓰고, 다른 저자는 지시 따르기, 가치 학습, 거버넌스까지 포함한다. 목표, 이해관계자, 위협 모델, 배포 맥락을 명시하는 것이 라벨에만 의존하는 것보다 더 많은 정보를 준다.^[1]