OpenAI가 연구 인프라에서 돌아가는 모델 작업을 한곳에서 추적하고, 안전·보안 문제가 생기면 중단시키는 시스템 Control Room을 공개했다. 중단 결정이 내려지면 35초 안에 해당 작업의 모델 출력이 멈춘다고 회사는 밝혔다.
Control Room은 모델 학습과 평가를 위한 에이전트 샘플링, 데이터 처리 등 연구용 추론 작업을 모두 연결한다. 오정렬 모니터링 시스템과 함께 작동하며, 필요성이 가장 큰 연구 인프라에 이미 배치돼 있다고 OpenAI는 설명했다. 외부에 제공하는 모델 서빙 스택은 원래 훨씬 중앙집중적이고, 필요하면 모델 배포를 신속히 내릴 운영 능력도 갖췄다고 회사는 밝혔다.
작동 방식
구성은 세 부분이다. 작업(워크로드)은 강화 학습 실험, 평가, 대량 샘플링, 데이터 처리처럼 실제 돌아가는 일이다. 추론 엔진은 GPU에서 직접 실행되는 모델 자체로, 회사는 모델의 두뇌에 비유했다. 한 작업이 여러 엔진의 모델을 쓸 수 있고, 한 엔진을 여러 작업이 함께 쓸 수도 있다. 세 번째인 Control Room 서비스는 작업을 추적하며 계속 출력해도 되는지를 통제한다. 엔진은 요청을 처리하기 전에 이 서비스에 확인하고, 중단된 작업이면 서비스가 요청을 거부해 추가 출력을 막는다. OpenAI는 에이전트 추론을 하는 모든 연구 작업에 승인된 안전 사례(safety case) 연결을 요구한다.
- 작업 코드가 시작할 때 Control Room에서 job_id를 받는다.
- 모델에서 토큰을 샘플링할 때마다 job_id를 담아 추론 엔진에 요청하고, 엔진은 요청을 처리하기 전에 Control Room에 허가를 묻는다.
- 해당 작업이 종료 처리됐으면 Control Room이 요청을 거부하고, 엔진은 작업에 거절 응답을 보내 추가 출력을 막는다.
모니터링과도 이어진다. OpenAI의 최첨단 강화 학습 작업은 모두 모니터와 함께 실행된다. 모니터는 학습 중인 모델의 행동을 살피다 문제를 발견하면 경고를 내는 또 다른 모델이다. 회사는 최근 DNS 관련 사고도 모니터가 잡아냈다고 밝혔다. 모니터가 문제의 정도에 따라 중단을 결정하면 job_id와 함께 Control Room에 알리고, 이후 그 작업이 어느 엔진에서든 토큰 샘플링을 요청하면 거부된다.
속도와 안정성
Control Room이 중단 지시를 받은 시점부터 해당 작업이 더는 진행되지 못하게 되는 시점까지 최대 35초가 걸린다. 대량 요청을 감당하려고 추론 허가를 캐시하는 계층을 두었기 때문이며, OpenAI는 이 지연을 0으로 줄여 즉시 끝내는 것을 목표로 작업 중이라고 밝혔다.
연구 작업 코드는 연구자나 팀이 맡아 자주 바뀌므로 핵심 안전장치를 두기에 적합하지 않다고 회사는 설명했다. 그래서 중단 기능을 추론 계층에 넣었다. OpenAI 연구 전체에서 쓰는 추론 코드 경로는 극소수이고 배포도 균일해서, 모든 추론 요청이 Control Room의 허가 검사를 거치게 만들 수 있다는 것이다. 회사는 Control Room을 빼거나 끈 채 임의의 엔진을 띄우는 일이 없는지 에이전트와 프로그램으로 계속 점검한다고 밝혔다.
시스템은 '페일 클로즈드(fails closed)' 방식이다. 오류나 악의적 조작 등으로 Control Room 서비스가 멈추면 복구될 때까지 모든 추론 요청이 거부된다. 이 방식은 최첨단 모델 연구 작업 전체에 이미 적용됐고, 나머지 연구 작업 전체에는 앞으로 며칠에 걸쳐 적용을 마칠 예정이라고 회사는 밝혔다. OpenAI는 앞으로 몇 달에 걸쳐 시스템을 보강·확장하고, 오정렬 행동과 보안 침해를 감시하는 투자도 이어가겠다고 했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.