Microsoft의 사티아 나델라 CEO는 AI 모델이 침해(compromised)됐다는 전제에서 출발해 처음부터 격리(containment)해야 한다고 주장했다. 그는 이 장치를 비상 브레이크에 빗대며, 권한을 가진 담당자가 작업이 한창일 때도 모델을 멈추거나 끌 수 있어야 한다고 말했다.[1][2][3]
Brian Smale and Microsoft / Wikimedia Commons · CC BY-SA 4.0 · 원본 · 크기 조정
.jpg){kind=link}
나델라는 10월 10일(현지시간) 토요일 오전 X에 이 의견을 올리며 AI 신뢰 구조를 되짚어 볼 시점이라고 말했다.[2][3]
나델라가 내놓은 설계 방식
지금까지는 AI를 속을 알 수 없는 중첩된 블랙박스로 보고, 추천·답변·행동을 받아들일지 거부할지만 정했다. 나델라는 이를 투명하고 격리와 관찰이 가능한 시스템으로 바꿔야 한다고 주장했다.[1][2][3]
- 모델과, 모델의 작업을 조율·실행하는 주변 시스템인 하네스를 나누고 통제와 안전장치를 모델 바깥으로 옮긴다.[2][3]
- 모델이 스스로 자기 권한과 행동 범위를 고칠 수 없게 하고, 그 결정권은 모델 밖의 조율 계층이 쥔다.[3]
- 의미 있는 모델 행동은 위조할 수 없고 사람이 읽을 수 있는 증거로 남긴다.[1][2][3]
- 중요한 판단은 여러 모델로 교차 검증하고, 시스템 테스트를 계속하며, 독립적인 통제·감사와 AI 활동 격리를 둔다.[3]
- 중대한 오류나 보안 침해가 나면 피해를 입은 당사자에게 곧바로 통지하고, 원인과 대응 내용을 업계와 나눠 전반의 안전 수준을 끌어올린다.[3]
모델이 고도화될수록 격리 기술도 정교해져야 한다는 것이 나델라의 논리다. 그는 업계 표준을 만들어야 하며, 기존 기준이 부족한 영역에는 새 표준이 필요하다고 했다.[1][3]
나델라는 최첨단 폐쇄형 모델과 가중치를 공개한 오픈웨이트 모델 모두를 잠재적 내부자 위협에 준해 취급하자고 제안했다. 설계는 결정론적 시스템에 사람의 통제, 믿을 만한 운영 절차를 묶는 방향이다. 초지능 시스템이 믿을 만한지는 모델 자체에 대한 신뢰 수준이 아니라 시스템 설계에서 갈린다는 것이 그의 설명이다. 모델을 거의 믿지 않는 상태에서도 안전하게 굴러가도록 만든 시스템일수록 신뢰도가 높다고 했다.[3]
그는 AI가 악의를 품었다는 뜻은 아니라고 덧붙였다. 핵심 시스템을 다루는 기술은 오류를 내거나 뚫릴 수 있으니 미리 안전장치를 갖춰야 한다는 취지다.[3]
배경
주요 AI 기업들은 모델 통제를 잃은 듯한 사고를 갈수록 시인하고 있다. AI 에이전트가 의도와 다르게 움직이거나 승인 없이 시스템에 들어간 사례도 이어졌다. 최근 Anthropic과 OpenAI는 모델과 에이전트의 오작동, 보안 사고를 연이어 공표했다.[2][3]
다리오 아모데이 Anthropic CEO는 더 신중한 AI 개발 계획을 공개했다. 그는 최첨단 AI의 개발 속도에 제동을 걸고 안전을 더 단단히 챙겨야 한다는 입장이다.[2][3] 미국 트럼프 대통령은 중국과 벌이는 AI 경쟁에서 우위를 지키는 일을 앞세우며 업계를 적극 지원한다. 행정부가 출범시킨 SIF(Super Intelligence Force)는 Anthropic 모델이 정부 사이트 보안을 뚫은 사건을 계기로, 나델라의 글 전날 AI 기업들에 사고를 바로 공개하고 빨리 바로잡으라고 경고했다. 나델라는 글에서 'Super Intelligence'라는 용어를 사용했다.[3][2]
각주·출처 3개
- ↩1 ↩2 ↩3 ↩4 Satya Nadella says we should assume all AI models are ‘compromised’ · 확인 2026-10-11
- ↩1 ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 Microsoft’s Satya Nadella says AI models need an ‘emergency brake’ · 확인 2026-10-11
- ↩1 ↩2 ↩3 ↩4 ↩5 ↩6 ↩7 ↩8 ↩9 ↩10 ↩11 ↩12 ↩13 ↩14 나델라 “AI에도 비상 브레이크 필요”...인간 통제·독립 감사 강조 · 확인 2026-10-11