OpenAI가 Apollo Research, METR, Transluce, Goodfire 등 독립 평가 기관 4곳과 '내장형 평가' 1단계 계약을 맺었다. 평가 기관은 OpenAI 내부 모델과 시스템에 깊이 접근해 모델의 정렬 상태와 안전장치가 실제로 작동하는지를 장기간 평가하고, 결과를 공개 보고서로 낸다. OpenAI는 2026년 11월 16일(현지시간) 이를 발표했다.
평가 기관은 평가에 필요한 범위에서 OpenAI 연구진이 쓰는 내부 자원을 함께 쓴다. 모델 체크포인트, 소스 코드, 학습·평가 데이터, 모니터링 시스템, 기술 문서가 해당하고, 담당 연구자·엔지니어와도 대화할 수 있다. OpenAI는 이 접근으로 자사가 예상하지 못한 실패를 평가 기관이 찾아낼 수 있다고 밝혔다.
1단계 평가는 학습 중이거나 내부에서 쓰는 모델의 정렬과 안전장치에 초점을 맞추며, OpenAI의 안전 사례(safety cases)를 보완한다. 내부 모니터링 시스템 시범 평가와 Hugging Face 사고 조사 등 그동안의 외부 협업을 토대로 하며, 백악관의 초지능 합의(White House Accord on Super Intelligence)에서 약속한 안전 통제 독립 평가 이행에도 도움이 된다고 OpenAI는 밝혔다.
기관별 평가 내용
Apollo Research는 모델이 개발자의 의도를 몰래 거스를 수 있는지, OpenAI의 안전장치가 그런 행동을 잡아낼지를 본다. 학습·안전 테스트·내부 사용에서 나온 증거로 네 가지 주장을 두 단계에 걸쳐 검증한다. 학습이 방해 행위를 유도하지 않았다는 것, 강한 평가와 레드팀 평가가 방해 행위를 끌어내지 못한다는 것, 내부 사용 중 모델이 방해를 시도하지 않았다는 것, 방해 뒤의 추론을 탐지할 수 있다는 것이다. 1단계에는 공개·미공개 모델과 학습 체크포인트, 학습 데이터와 평가 결과, 학습 개입 기록, 모니터링 시스템과 걸러낸 행동 기록, 독립 테스트용 도구와 컴퓨트를 제공한다.
Goodfire는 해석 가능성 연구자를 OpenAI에 파견하고 자사 플랫폼으로 모델 내부를 분석한다. 학습 실행의 모니터링, 디버깅, 정렬이 주목적이며 결과는 주로 OpenAI 내부 연구자가 안전 개선에 쓴다. Goodfire는 협업이 진행되는 대로 배운 점과 결과도 공개한다.
METR와는 두 건을 추진한다. 정렬 평가의 1단계는 OpenAI의 가장 큰 프런티어 강화 학습 실행에 집중하며, 이 실행에서 오정렬 행동을 찾는다. 기존 테스트와 모니터가 놓쳤을 실패도 대상이다. 선택된 실행 안에서 합의된 접근·자원·안전 조건에 따라 METR가 평가 우선순위를 독립적으로 정하고 탐색, 분석, 유도 실험을 반복한다. 관련 체크포인트 샘플링, 학습·평가 롤아웃, 오정렬 모니터링 기록을 볼 수 있다. 모니터 평가는 최근 함께한 모니터 스트레스 테스트에 이어, OpenAI가 또 다른 모니터 평가를 하기로 METR와 잠정 합의한 것이다. OpenAI는 이를 더 넓게 하려는 의도이며, 범위는 양측의 합의를 기다리고 있다.
Transluce는 사후 학습 단계의 정렬 평가가 얼마나 품질이 좋고 범위를 충분히 덮는지를 먼저 평가한다. 공개·미공개 모델, 정렬 평가와 결과, 모델 행동 데이터, 안전 사례 문서, 담당 연구자와 테스트 도구·컴퓨트를 제공받는다. 양측은 2027년 초 약 8주짜리 후속 평가도 할 뜻이 있다. 후속 평가에서는 더 많은 모델과 정렬 평가에 대한 더 깊은 접근, 평가 결과가 출시 결정에 반영되는 방식에 대한 정보가 제공된다.
접근과 감독 방식
OpenAI는 평가 기관의 의견을 받아 보안, 기밀, 감독, 평가의 독립성을 맞추는 절차를 만들어 공개했다. 내장형 평가의 규범은 아직 표준화되지 않았다고 설명했다. 평가마다 범위와 접근·자원·안전 조건을 합의하고 시작한다. 특정 안전 주장을 검증하는 평가도 있고, 정해진 시스템이나 학습 실행에서 예상 밖 실패를 찾는 평가도 있다. 평가 기관은 증거를 따라 방법을 고치고 추가 평가를 제안할 수 있다. 모델 가중치나 아키텍처처럼 민감한 지식재산이 노출될 수 있으면 OpenAI 연구자와 짝을 이뤄 분석을 돌리는 식의 대안을 검토한다.
민감한 기밀 정보가 필요한 평가 기관은 OpenAI 사무실에서 OpenAI 기기로 일한다. 정보 보안이 주된 이유이고, 전담 직원에게 접근 방법과 맥락을 물을 수 있는 장점도 있다. 실험과 평가에서는 최소한 OpenAI 직원과 같은 보안 기준을 따라야 한다.
OpenAI 재단 이사회 산하 독립 감독 위원회인 안전보안위원회(SSC)는 평가 전, 중, 후에 감독 권한을 행사할 수 있고 가림 처리하지 않은 보고서를 받는다. 평가 기관과 SSC는 비공개 대화를 포함해 서로 대화할 수 있다. OpenAI와 평가 기관이 이견을 보이면 안전자문그룹과 경영진이 정해진 기간 안에 풀어야 하고, 그래도 남으면 SSC가 결정한다. 이견이 상부로 올라가면 SSC에 바로 통보된다.
직원 대화는 비공개(오프 더 레코드)여서 평가에 참고할 수는 있어도 발표하거나 직원 개인 발언으로 귀속할 수 없다. 별도 확인 절차로 평가 기관은 직원과 나눈 내용을 확인·정정·보충하는 OpenAI 보증 진술을 요청할 수 있다. 평가 기관은 OpenAI가 보증한 진술을 공개하거나, OpenAI가 보증을 거부했다는 사실을 공개할 수 있다. 이해 충돌과 다른 연구소와 일할 때 필요한 냉각 기간은 평가 기관과 함께 절차를 만들고 있다.
발표의 독립성은 평가 기관에 있지만 OpenAI는 기밀 정보를 가릴 권리를 유지한다. 보안·안전 위험이 있는 발견은 조치할 시간을 벌기 위해 책임 있는 공개 유예를 요청할 수 있다. 공개 보고서는 결과와 한계를 알리고, 더 상세한 기밀 보고서는 감독 기구에 전달된다.
OpenAI는 앞으로 몇 달 동안 더 다양한 안전 문제로 외부 평가를 넓히겠다고 밝혔다. 안전 프레임워크 준수와 조직 문화·절차를 보는 내장형 평가도 검토한다. 접근상의 기술 문제, 공간 제약, 바뀌는 보안 규정 등이 초기에 생길 것으로 보고 평가 기관과 해결하며 교훈을 공유하겠다고 했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- Our first phase of embedded assessments openai.com