OpenAI 올트먼, 고도화된 AI는 샌드박스 벗어날 것, 해법은 정렬뿐

샘 올트먼 OpenAI CEO가 최근 인터뷰에서 고도화된 AI를 샌드박스에 계속 가둬 둘 수는 없다고 말했다. 샌드박스는 AI 시스템을 격리해 통제하는 보안 환경인데, 이 방식은 제한된 기간에만 통한다고 설명했다. 모델이 충분히 똑똑해지면 어떻게 빠져나갔는지 추적할 방법조차 없어진다는 것이다.

그 뒤에도 한동안은 모니터링이 도움이 되지만, 결국 통하는 것은 정렬(alignment)뿐이라고 했다. AI가 인간의 가치를 스스로 내면화해 그에 맞게 행동해야 한다는 뜻이다. 이어 "the potential cost of alignment being wrong has gone up enormously"라고 말했다. The Decoder는 정렬이 아직 해결과 거리가 먼 초기 단계의 연구 과제라고 설명했다.

AI 모델이 이미 사람 해커가 떠올리지 못한 하드웨어 수준의 보안 결함을 찾아내고 있다고도 경고했다. 취약점을 하나씩 막는 방식으로는 부족하며, 인터넷 보안 구조 전체를 다시 짜고 AI 공격에 AI 방어로 맞서야 한다는 입장이다.

로컬에서 돌리는 오픈소스 모델도 위험 요인으로 꼽았다. 전 세계 에이전트 모니터링이 있더라도 누군가 하지 않았으면 싶은 일이 일부 벌어질 것이라고 말했다.

The Decoder는 올트먼이 AI를 통제할 수 없을 만큼 강력하다고 말하는 것이 OpenAI의 사업적 이해에 유리할 수 있다고 지적했다. AI가 너무 강력해 담아 둘 수 없다는 틀은 책임 문제를 미리 피하는 수단이 될 수 있고, AI를 만든 회사조차 통제하지 못한다면 문제가 생겼을 때 회사에 책임을 묻기가 훨씬 어려워진다는 비판이다.

OpenAI가 받는 압박은 실제로 크다. 미국 연방거래위원회(FTC)는 통제 불능이 된 AI 에이전트와 관련한 사이버 보안 사고들을 두고 OpenAI, Anthropic 등 AI 연구소를 대상으로 공식 조사를 시작했다. FTC는 에이전트의 행동에 대해 개발사에 책임을 물으려 한다.

NVIDIA의 젠슨 황 CEO는 올트먼의 주장에 이견을 내며 AI 안전을 해결 가능한 엔지니어링 문제로 규정했다. 황은 최근 인터뷰에서 "우리 모두 그것이 엔지니어링 문제이길 바라야 한다. 엔지니어링 문제가 아니라면 풀 수 없다"고 말했다. The Decoder는 황이 자신의 주장을 온전히 확신하는 것처럼 들리지는 않았다고 평가했다.