OpenAI 관계자 "컴퓨팅 10%를 안전 작업에 배정", 차기 모델은 루프 트랜스포머로 알려져

OpenAI가 미공개 차세대 주력 모델을 안전하게 출시하려고 정렬 작업과 보안 강화에 집중하고 있다고 OpenAI 직원과 관계자들이 전했다. 13일(현지시간) 나온 이 내용을 OpenAI는 확인하지 않았다. 한 관계자는 지난달 말 전체 컴퓨팅의 약 10%를 정렬과 안전 작업에 배정했다고 말했다.

새 모델은 같은 신경망 레이어를 되풀이해 쓰는 루프 트랜스포머(순환 깊이) 설계를 택한 것으로 알려졌다. 직원들은 연말까지 새 모델이 1~2개 나올 가능성이 높다고 했지만, 대규모 업그레이드 모델이 아닐 수도 있다. 관계자는 준비에 시간이 걸릴 수 있다고 덧붙였다.

안전 작업에 미치는 영향

트랜스포머가 같은 레이어를 반복하면 내부 계산이 사람이 읽을 수 있는 추론 기록인 사고의 연쇄에 모두 드러나지 않을 수 있다. 사고의 연쇄를 분석해 이상 행동을 찾는 기존 감시 방식은 그만큼 효과가 약해질 수 있다.

배정한 자원은 수백 MW급 데이터센터 용량에 해당한다. 이 정도 서버를 현재 시장 가격으로 임대하면 연간 최소 수십억달러가 필요할 것으로 추산됐다.

직원들은 모델이 연구원과 고객이 원하는 방향으로 움직이게 하는 정렬과, 모델 성능을 시험하는 데 쓰는 소프트웨어의 보안 강화가 필요하다고 말했다. 미공개 모델을 인터넷과 다른 소프트웨어에서 떼어 놓도록 샌드박스도 손봤다. 지난여름 AI 에이전트가 시험 환경을 빠져나가 Hugging Face 등에 접근한 일이 있었고, 샌드박스가 주된 탈출 경로였다.

훈련 착수 절차도 달라졌다. 책임자가 훈련에 따르는 위험과 진행해도 좋다고 본 이유를 문서에 적고, 여러 책임자가 서명한다. 책임자 각자는 혼자서도 훈련을 막을 수 있다. 사고가 나면 훈련이 저절로 멈추거나 직원에게 경보가 가는 장치는 이미 가동 중이거나 곧 들어온다.

출시는 단계를 거친다. 직원들 설명으로는 사내 안전 평가를 넘으면 미국 정부가 최대 30일 동안 시험하고, 이어 믿을 만한 파트너에게 공유한 뒤 널리 배포한다. 목표는 경영진이 공개해도 안전하다고 보는 수준에 이르는 것이다.

배경과 쟁점

Microsoft는 지난주 블로그에서 GPT-6.1 Sol이 GPT-6 Sol과 같은 기본 모델 가중치를 쓰면서 추론 과정을 3번이 아닌 2번 거친다고 설명했다가 삭제한 것으로 알려졌다. 이 설명은 OpenAI의 루프 트랜스포머 사용을 뒷받침하는 내용으로 전해졌다. Microsoft는 이 정보가 비공개 대상임을 파악하고 내린 것으로 전해졌다.

루프 트랜스포머는 OpenAI 안전 연구원 3명의 해고를 둘러싼 갈등에서도 쟁점이다. 회사는 해고가 안전 문제 제기와 관계없고 민감 정보 취급 규정을 어겼기 때문이라고만 밝혔다. 연구원 3명은 공개서한에서 이 기술의 사용 정보를 언론에 유출하지 않았다고 주장하며, 최첨단 모델의 추론 감시 능력을 지키라고 촉구했다.