Anthropic, OpenAI 등 주요 AI 기업이 참사급 사고가 벌어진 뒤 여론이 들끓고 정치권이 등을 돌리는 상황을 상정해 비공개 대응 시나리오를 점검하고 있다는 보도가 나왔다. 국방부가 하는 전쟁 게임처럼 최악의 사태를 놓고 벌이는 모의 훈련이다.[1] 이 내용은 9일(현지시간) 처음 알려졌으며, 해당 기업들이 직접 확인한 사항은 아니다.[1]
Anthropic · 보도용 제공 · 원본 · 배경 추가
기업들은 앞으로 6개월~1년 사이에 실제로 치명적인 사고가 일어날 수 있다고 보고, 위기 직후의 대응 전략을 다듬고 있다. 사고 직후 정치인들이 AI 개발 전면 금지에 나서는 일을 막을 정책 틀을 미리 준비해 두는 것이 목표다.[1] OpenAI 대변인은 여러 잠재 시나리오를 놓고 토론하고 살펴보는 대비 훈련을 하고 있으며, 시나리오는 반드시 닥칠 일로 보고 만든 것이 아니라 다양한 상황에 대비하려는 것이라고 밝혔다. Anthropic은 공식 논평을 거부했다.[1]
예상 피해와 정치 지형
기획에 관여한 핵심 관계자들이 떠올리는 사고는 금융 서비스 중단, 인터넷 접속 불능, 전력·상수도 시설 차단 등 인프라 전반의 마비다.[1] 원인으로는 내부 테스트 환경을 빠져나온 '악성 에이전트 무리(rogue-agent swarm)'가 통제를 벗어나는 경우와, 악의를 품은 공격자가 기존 모델을 설계자의 예상과 다르게 쓰는 경우가 꼽힌다.[1]
보안 장치가 충분하지 않은 AI가 실제로 큰 피해를 일으키는 첫 사례가 나오면, 대중의 반감은 샘 알트먼 OpenAI CEO, 다리오 아모데이 Anthropic CEO 같은 업계 리더와, 규제에 소극적 태도를 보여 온 트럼프 대통령에게 향할 것으로 예상된다.[1] 올해 11월에는 미국 중간선거가 열린다. 업계 최고 경영진은 선거가 끝나고 의회 주도권이 민주당으로 넘어가면 곧장 AI 이용을 제한하거나 막는 조치에 나설 것으로 내다본다.[1] 반면 한 민주당 보좌관은 치명적인 AI 재앙이 닥친 직후에는 정치적 분열이 풀리고 초당적 협력이 빠르게 진행될 수 있다고 분석했다. 그는 코로나19 팬데믹과 2008년 금융위기 때의 협력 사례를 언급했다.[1]
배경과 한계
상급 AI 연구자와 경영진 대다수는 대규모 사고를 가정이 아닌 "불가피한 현실"이라고 여기는 것으로 전해졌다.[1] 한 개인이 얼마나 큰 위험을 만들 수 있는지 보여준다는 평을 받는 사례로는 최근 한국 금융기관을 노린 사이버 공격이 있다. 중국 출신 해커가 DeepSeek 등 중국산 AI 도구로 수만 명의 고객 정보를 빼냈고, 'Claude 코드' 아이디로 탈취한 데이터의 판매처를 물색했다는 내용이다.[1]
정책 쪽에서는 고성능 AI에 '킬 스위치(kill switch)'를 의무화하자는 안이 오르내린다. 초지능 금지나 고도화 AI 개발 중단은 정파마다 입장이 달라 합의가 어렵다.[1] 모든 AI를 한꺼번에 강제로 정지시키는 방식은 기술적으로 가능한지 전문가들이 크게 의문을 제기한다.[1] 내려받아 쓸 수 있는 오픈웨이트 모델이 여럿 공개돼 있어 악용 소지가 있는 만큼, 사이버 보안 전문가 대다수는 "AI를 활용해 악성 AI와 싸우는 방식" 말고는 마땅한 해법이 없다고 말한다.[1]
업계 경영진은 입법 속도가 기술 발전을 좇기 어렵고, 세계 경제가 AI 인프라 구축에 깊이 얽혀 있어 급브레이크를 밟으면 경제가 크게 흔들릴 수 있다고 경고한다.[1]
OpenAI 대변인은 이 시나리오를 필연적인 상황으로 간주하지 않는다고 밝혔다.[1]