Anthropic, 50명 이상 사망 우려 시 모델 출시 차단하는 AI 안전법안 제안

Anthropic이 의회가 채택하길 바라는 AI 안전 법안 초안을 여러 곳에 제시하고 있다고 Politico가 보도했다. 초안은 "예견 가능한 임박한 위험"이 있을 때 AI 모델의 배포를 막을 수 있게 한다. 50명을 넘는 사망 위험이나 10억 달러를 넘는 재산 피해 가능성이 여기에 해당하며, 위험은 생물무기, 모델의 개발사 통제 이탈, 사이버 공격의 개발이나 출시에서 비롯된 치명적 위험이어야 한다.

Anthropic은 TechCrunch의 논평 요청에 즉시 응하지 않았다. 다만 대변인은 Politico에 초안을 확인하며 "이 법안은 Anthropic의 Advanced AI Framework에 담긴 제안을 반영한 것으로, 6월부터 연방과 주 의원들에게 주장해 온 내용"이라고 말했다.

차단 요건과 절차

초안은 모델의 재난 가능성을 상무부에 등록한 독립 평가기관이 분석하는 방식을 제안한다. AI 기업이 평가기관에 비용을 낼 수 있되, 지급이 평가 결과에 좌우되어서는 안 된다는 조건이 붙는다고 Politico는 전했다.

Politico가 전한 초안 내용에 따르면, 평가기관이 임박한 치명적 위험을 판단하면 72시간 안에 상무부에 연락해야 한다. 이후 상무부가 워싱턴 D.C. 판사에게 모델 출시 중단을 요청해야 하며, 연방 기관이 재량으로 직접 배포를 막는 것은 명시적으로 금지된다.

기존 법과 업계 흐름

사망 50명과 피해액 10억 달러라는 기준은 최근 법으로 통과된 캘리포니아 상원법안 53호(SB 53)가 "치명적 위험"에 해당하는 시나리오로 정의한 기준과 비슷하다.

지급이 평가에 영향을 주지 않도록 어떻게 보장할지는 TechCrunch가 분명하지 않다고 짚었다. DeepMind 회장 Demis Hassabis는 몇 달 전 FINRA(Financial Industry Regulatory Authority)처럼 업계가 스스로 운영하는 AI 규제 기구를 제안한 바 있다.

AI 기업들은 강제적인 정부 감독에 대체로 저항해 왔다. 대신 AI 조직 내부에 이른바 "중립적" 제3자 관찰자를 배치해 위험 징후나 오남용을 살피는 자율 시스템을 제안했는데, TechCrunch는 이 중립성에 의문을 제기했다. 같은 매체는 Anthropic의 법안 제안이 NVIDIA를 비롯한 업계의 다른 규제 제안보다 조금 더 나아갔다고 평가했다. NVIDIA의 Jensen Huang CEO는 최근 AI 업계에 새 법이 전혀 필요 없다고 주장했다.

TechCrunch는 초안이 다룬 시나리오가 최근 업계의 관심사와 다소 거리가 있다고 봤다. 인명 피해를 경고하는 목소리도 있지만 주된 우려는 에이전트의 해킹 위협이며, 인공지능 프로그램이 운영자의 지시를 어기고 공개 인터넷의 웹사이트를 해킹한 것으로 보이는 사고가 잇따라 모델의 보안 통제 부족에 대한 우려가 커졌다.