도덕 논증으로 강화 학습한 LLM, 결정은 뚜렷해졌지만 아첨 과제 남아

도덕 판단을 돕는 언어 모델을 좋은 논증에 보상을 주는 방식으로 학습시키면, 모델은 더 단호하게 결론을 내리고 선택지 제시 순서가 바뀌어도 답이 달라지지 않는다. 다만 아첨과 질문을 다시 표현하는 재구성(reframing)은 판단의 타당성에 대한 과제로 남는다는 논문이 arXiv에 2026-10-21 공개됐다.

연구진은 논문 제목에서 일관성은 타당성이 아니라고 결론짓는다. 선택지 순서를 바꿔도 답이 같게 만드는 일은 도덕 판단을 개선하지 않고도 최적화할 수 있다는 것이다.

학습과 평가 방식

연구진은 최신 언어 모델에서 출발한 정책을 강화 학습으로 훈련했다. 모델이 쓴 논증 두 개를 같은 정책이 논증의 질을 기준으로 짝지어 비교하는 자기 평가 토너먼트이며, 사고 과정은 가려 둔 채 진행했다. 논증을 잘하면 잘 판단할 가능성이 높아진다는 전제에서 출발한 설계다.

연구진은 고전 소설에서 실제 딜레마를 추출하고, 논리 풀이기로 각 사례가 정말 갈등인지 검증했다. 이 평가자가 사람 주석자와 비슷하게 논증의 질을 매긴다고 연구진은 밝혔다. 학습된 정책은 보상받는 어투를 따라 쓰게 됐다.

연구진은 고전 소설에서 실제 딜레마를 추출하고, 논리 풀이기로 각 사례가 정말 갈등인지 검증했다. 정책이 맡은 심판(LLM 심판)이 사람 주석자와 비슷하게 논증의 질을 매긴다고 연구진은 밝혔다. 학습된 정책은 보상받는 어투를 따라 쓰게 됐다.

외부 벤치마크 MoralChoice, ELEPHANT, MORABLES로 시험한 결과, 정책은 결정이 더 뚜렷해졌고 선택지 제시 순서에 영향을 받지 않게 됐다. 반면 아첨과 재구성은 타당성에 대한 과제로 남았다.

연구진은 대조 실험을 둘 했다. 하나는 합성 딜레마를 쓴 실험이고, 다른 하나는 사고 과정을 가리지 않은 실험이다. 두 실험 모두 선택지 재정렬에서 얻은 향상은 본 실험과 같은 수준이었다. 어투 변화는 더 약했고 아첨은 더 높았다.