Anthropic, S-1A에 AI 자기 개선 임박 경고 "곧 내부 기준 충족할 수 있다"

Anthropic이 월요일 공개한 수정 상장신청서(S-1A)의 위험 요인 항목에 새 문구가 추가됐다. 자사의 연구개발에 AI를 쓰는 일이 늘면서, 모델 능력이 안전·정렬·보안 장치를 갖추는 속도보다 빠르게 오를 수 있다는 내용이다. 회사는 내부 추정과 향후 모델에 대한 기대(현재 모델이 아니다)를 근거로, 자체 책임 있는 확장 정책이 정의한 'AI에 따른 극적인 진전 가속'의 기준을 곧 충족할 수 있다고 적었다.

다만 현재 모델 가운데 이 기준을 넘었다고 지정한 것은 없고, 기반 데이터를 계속 평가하고 있다고 밝혔다. 이 신청서에서 재무 수치가 먼저 주목받았지만, TechCrunch는 이 위험 요인 문구도 눈에 띄는 대목이라고 짚었다.

새로 추가된 위험 요인

TechCrunch는 재귀적 자기 개선(RSI)을 AI가 스스로를 학습시키는 능력이 충분히 높아져 AI 능력이 급격히 빨라지는 시점이라고 설명했다. Anthropic은 신청서에서 연구개발에 AI를 쓰고 있다고 밝히면서, 더 유능한 AI를 만드는 데 AI를 쓰면 특히 발전 속도가 크게 빨라질 경우 상당한 안전 위험이 될 수 있다고 적었다. 이는 회사의 책임 있는 확장 정책(Responsible Scaling Policy)이 다루는 영역이며, 회사는 RSI라고 불리는 단계에 가까워지면서 위험을 감시하고 완화할 계획을 이 정책에 담았다고 설명했다.

이번에 더해진 문장에는 두 가지가 담겼다. 하나는 과거에 개발 속도가 상당히 빨라진 것을 일이 일어난 뒤에야 파악했다는 내용으로, TechCrunch는 이를 AI로 개발한 새 모델의 능력 도약을 당시에는 알아차리지 못했다는 뜻으로 요약했다. 다른 하나는 내부 추정과 향후 모델에 대한 기대를 근거로 정책이 정한 가속 기준을 곧 충족할 수 있다는 내용이다. 회사는 앞으로도 개발 속도의 큰 가속을 일어난 뒤에야 알아챌 수 있다고 적었다.

인간 감독 유지 방침

Anthropic은 Claude가 의미 있는 인간의 감독이나 이해 없이 차세대 최첨단 모델을 완전히 자율적으로 설계하고 만드는 일을 안전하게 맡길 수 있으리라 예상하지 않는다고 밝혔다. 기술적으로 가능해지더라도 마찬가지라는 입장이다. 이에 따라 최첨단 모델 개발을 사람이 통제하도록 책임 있는 확장 정책을 고치는 방안을 검토하고 있다고 적었다.

TechCrunch에 따르면 Anthropic은 가까운 장래에 연구개발 과정에 사람을 계속 두겠다고 약속했다.

TechCrunch는 회의론자의 시각도 전했다. 상장신청서는 정보 공개 문서이자 홍보 문서이기도 해서, 스스로 모델을 만들 만큼 강력한 모델에 가까워졌다는 주장은 후자에 해당할 수 있다는 것이다. 같은 매체는 올해 Claude의 코딩·수학·사이버보안 능력이 크게 늘었다는 점은 분명하다고 평가했다.