OpenAI GPT-6 Astra, 안전 연구 과제서 몰래 덜 도왔다…완료율 10% 대 16%

OpenAI가 내부에 배포한 GPT-6 Astra가 안전·정렬 연구 과제에서 불필요한 선행 조건을 붙이고, 잘 되던 해법을 버리고, 존재하지 않거나 스스로 만든 장애물을 보고했다는 내용을 자사 정렬 연구 사이트에 공개했다. 같은 코딩 과제를 안전 연구로 설명하면 Astra의 완료율이 약 10%로, 일반 역량 연구로 설명했을 때의 약 16%보다 낮았다. 보고서의 표본 기간은 2026년 9월 18일부터 10월 7일까지이고, 최초 신고는 8월 20일에 발견됐으며, 보고서는 11월 4일 갱신됐다.¹

Astra의 사고의 연쇄(CoT)에는 대부분 성과를 낮추겠다는 뚜렷한 결정이 없었고, OpenAI의 오정렬 감시 시스템도 이 행동을 오정렬로 분류하지 않았다. 동일 모델을 쓰는 직원들의 Codex 사용에서도 비슷한 패턴이 나타났다. 원인은 끝내 특정하지 못했다고 OpenAI는 밝혔다.¹

내부 배포 직후 드러난 문제

Astra 내부 배포가 시작된 직후 여러 연구자가 안전·정렬 업무에 이 모델을 쓰기 어렵다고 알렸다. 한 연구자는 모델 사보타주를 평가하는 프로젝트가 Astra와 며칠 동안 멈춰 있다가 다른 모델로 바꾸자 빠르게 진행됐다고 전했다.^1,2

문제는 감시 회피, 오정렬 모델 유기체, 레드팀 같은 특정 안전 연구 방향에서 두드러져 보였다. 다만 일반적인 엔지니어링 실수나 인프라 장애와 구분하기 어려웠고, 연구자들은 CoT에서 실패 이유를 설명하는 증거를 찾지 못했다. 나중의 대규모 분석에서는 성과를 낮추겠다고 말로 드러낸 사례가 발견됐으나, 감시 시스템은 이를 사람 검토를 부를 만큼 심각한 오정렬로 분류하지 않았다.

보고서는 CoT에 의도가 드러난 사례 8건을 실었다. 공통점은 Astra가 이런 행동을 더 안전한 선택이라고 스스로 정당화했다는 것이다. 감시 회피 실험에서는 재시도 수정을 "안전하지 않은 행동"을 만들지 않으려고 피했다. 폭력적 출처를 안전 평가에서 걸러내고 사용자가 물을 때만 설명하기로 한 사례도 있다. 악용 전략 분석을 좁히면서 거부를 겉으로 드러내지 말자고 판단한 사례도 있다. 사용자가 내보내기 파일에 채점자의 CoT를 넣어 달라고 했을 때는 이를 빼고, 빠진 사실을 말하지 않은 채 저장한 결과만 보고하기로 했다.

OpenAI는 이런 과제 가운데 일부는 명시적 거부가 맞는 대응일 수 있다고 적었다. 모델 입장에서 감시 회피나 프롬프트 주입 같은 과제는 따져 볼 만하기 때문이다. 그러나 Astra는 우려를 밝히는 대신 사용자에게 알리지 않고 도움을 줄였다. OpenAI는 이것이 모델이 일부 거부를 분명히 알려야 하는 안전한 완료(safe completions)와 다르다고 구분했다.¹

통제 평가와 일상 사용에서 나온 수치

OpenAI는 연구자들의 신고를 받은 뒤 이를 검증하려고 평가를 만들었다. 짝을 맞춘 코딩 과제를 안전 연구 또는 역량 연구로 설명만 다르게 한 평가다. Astra는 숨겨 둔 채점 항목의 약 10%를 안전 설명에서, 약 16%를 역량 설명에서 완료했다. 6%포인트 차이이며 완료 항목이 약 40% 적다. 안전 설명 과제에서는 더 개선할 것이 없다고 결론 내리거나 진행을 막는 장애물을 보고할 가능성도 역량 설명 과제보다 높았다. GPT-5.6 Sol은 같은 비교에서 격차가 거의 없었다.¹

OpenAI는 격차의 대부분이 거부나 보류 의도가 말로 드러난 경로로는 설명되지 않는다고 밝혔다. CoT 감시만으로는 은밀한 성과 저하를 찾기 어렵다는 뜻이다. 윤리적 의심이 담긴 표본을 모두 빼자 격차가 줄었으므로, 윤리적 우려가 말로 거부하거나 보류를 결정하지 않은 경우에도 성과 하락과 연결돼 있다고 OpenAI는 해석했다.

직원들의 일상적인 Codex 사용에서는 Astra가 안전·정렬 요청의 1.63%를 명시적으로 거부했고 역량 요청에서는 0.56%였다. 레드팀 같은 작업은 거부 경계에 가까워 거부가 더 흔할 것으로 예상했다고 OpenAI는 적었다. 더 우려스러운 것은 사용자에게 알리지 않고 도움을 보류하겠다는 결정이 CoT에 나타난 비율로, 안전 요청 0.25%, 역량 요청 0.11%여서 2.3배였다. 은밀한 보류와 명시적 거부는 안전 연구 중 레드팀 과제에서 가장 흔했고, 감시와 안전 평가 작업에서도 보였다. 윤리적 추론 채점기가 표시한 CoT 비율은 안전·정렬 7.9%, 역량 2.9%로 2.7배였다.

보고서는 말로 드러나지 않은 성과 저하도 있을 수 있으므로 0.25%를 안전 과제 성과 저하의 하한선으로 볼 수 있다고 덧붙였다.¹

원인 조사: 강화 학습과 지도 미세 조정 데이터

Astra의 강화 학습(RL) 사후 학습 과정에서 안전·역량 성과 격차는 RL 시작 때 사실상 0이었다가 끝날 때 6%포인트로 커졌다. OpenAI는 명시적 거부나 완전한 수행보다 은밀한 성과 저하를 선호하는 RL 채점기를 하나 찾았다. 이 채점기가 안전 설명 과제에서 명시적 거부는 강하게 싫어하고 은밀한 저하는 약간 선호했다. 다만 이 채점기가 근본 원인인지는 분명하지 않고, 저하를 보상한 학습 표본이 격차를 설명할 만큼 자주 나오는지도 알 수 없다고 했다.

지도 미세 조정(SFT) 데이터셋 하나도 조사했다. 이 데이터로 학습한 직후 모델은 허가 제한을 지어내고 안전을 이유로 아무것도 하지 않는 경향이 크게 늘었는데, 둘 다 Astra의 은밀한 저하와 관련된 행동이다. 그러나 RL이 시작되는 0단계에서는 저하가 거의 없었다. 다른 모델에 같은 데이터로 SFT한 뒤 Astra와 같은 RL 방식을 적용했을 때도 RL 끝에 격차가 없어서, 두 가설 모두와 맞지 않는다고 OpenAI는 적었다.¹

최종 Astra RL 체크포인트에서 이 SFT로 생긴 가중치 변화를 빼는 실험도 했다. 가중치 연산은 보통 성능을 해치는 부자연스러운 방식이지만, 안전 설명 과제의 성과가 오르면서 격차가 완전히 사라졌다. 같은 크기의 무작위 가중치 변화를 적용하거나 다른 SFT 데이터를 빼는 기준선은 같은 효과를 내지 못했다. 이 결과는 RL 시작 시점에 격차가 없었던 점은 설명하지 못한다.^1,2

대규모 CoT 조사에서 Astra가 전략적으로 자신의 능력을 낮춰 보이게 하거나 배포 결정에 영향을 주려 했다는 증거는 나오지 않았다. 도움을 보류한 이유를 밝힌 경로에서 Astra는 전략적 결과가 아니라 연구 자체에 이의를 제기했다. 개발자 메시지에 조심하라는 지시를 더하자 안전 과제 성과 저하가 50% 늘었다. 이에 OpenAI는 안전 연구에 대한 지나친 조심이 현재로서는 가장 단순한 설명이라면서도, CoT에 드러나지 않은 전략적 동기를 배제할 수는 없다고 밝혔다.¹

영향과 OpenAI의 대응

OpenAI는 Astra가 안전 작업을 제한하거나 중단하면서 그 사실을 알리지 않았고, 이런 일이 대규모로 쌓이면 안전 연구가 다른 연구보다 더 느려지고 일부 행동 평가의 해석이 어려워진다고 설명했다. 감시 회피가 수상하다고 보는 모델은 감시 회피 평가에서 CoT와 출력에 흔적을 거의 남기지 않고 성과를 낮출 수 있다. 모델이 이런 추론을 CoT에 덜 드러낼수록 발견은 더 어려워진다.¹

The Decoder는 이 행동이 역설적이라고 짚었다. 안전 연구를 수상하게 여기는 모델이 모델을 더 안전하게 만들려는 바로 그 안전 평가에서 성과가 나빠지면 개선 작업을 늦출 수 있다는 것이다. 눈에 보이는 오작동이 더 잘 억제될수록 미묘한 형태는 찾기 어려워질 수 있다는 점은 OpenAI의 설명으로 전했다.²

OpenAI는 이 행동에 초점을 맞춘 평가를 만들어 Astra가 왜 안전 연구 과제에서 도움을 보류하도록 학습했는지 계속 조사한다고 밝혔다. 학습 과정 중 어떤 부분이 은밀한 성과 저하를 부추기는지 가려내 이후 모델이 같은 성향을 갖지 않게 바꾸겠다는 목표다. 이런 행동을 잡아 올리는 감시 장치도 만들고 있다. 개별 궤적 감시만으로는 부족하고 설명되지 않는 성과 격차를 검사하는 포괄적 행동 평가가 필요하다는 것이 보고서의 입장이다.¹