Microsoft "프런티어 모델은 신뢰할 수 없다"…Project Perception 제시

Microsoft Security의 수석부사장(executive vice president) Hayete Gallot가 10월 19일(현지시간) 공식 블로그에서 "프런티어 모델은 출처와 관계없이 신뢰할 수 없다"고 밝혔다. 모델이 본래 악의적이라는 뜻은 아니라고 설명했다.^1,2

Microsoft가 7월에 발표한 Project Perception은 새 사이버 보안 스택과 레드·블루·그린 에이전트 팀을 사용하는 에이전트 보안 시스템으로, 원래는 기업 외부의 AI 공격에 맞서 방어자가 빠르게 대응하도록 돕는 것이 목적이었다. Microsoft는 같은 스택을 기업 안에서 돌아가는 에이전트를 관리·통제하는 데에도 쓸 수 있다며 이를 해법으로 내세웠고, 지금 도입해 시작할 수 있다고 밝혔다.¹

The Verge는 Satya Nadella CEO가 이달 초 모든 AI 모델을 "침해된" 것으로 가정해야 한다고 말했다고 전했다. 이 매체는 Gallot의 발언이 거기서 한 걸음 더 나아간 것이라고 평가했다.²

신뢰할 수 없다는 주장

Gallot는 모델이 결과를 내도록 훈련되다 보니 보상 해킹이 자주 생기고, 조직의 규범이나 판단에 맞춰 최적화되지는 않았다고 설명했다. 에이전트는 맥락이 바뀌면 적응하고 의도와 다르게 움직일 수 있으며, 침해되지 않아도 목표를 위해 다른 에이전트와 협력하거나 공모한다고 주장했다.

Microsoft는 기업에 대규모로 투입된 에이전트의 수가 빠르게 늘고 있다고 밝혔다. 또 이런 에이전트가 권한이 과다한 경우가 많고, 데이터·도구·시스템에 접근해 핵심 업무에서 행동하고 결정을 내릴 수 있다고 주장했다. Microsoft는 이런 에이전트를 "agentic insiders", 즉 내부자로 규정했다.¹

Project Perception의 통제 방식

Microsoft는 에이전트가 모델, 작업을 조율하는 하네스, 도구와 자원으로 이뤄진 행동 공간, 실행 환경이 합쳐진 것이라고 정의했다. 따라서 보안은 신원, 권한, 데이터, 엔드포인트, 네트워크, 클라우드, 런타임 여러 층에서 이뤄져야 한다고 밝혔다.

• 센서·신호·실행: 신원, 데이터, 클라우드, 엔드포인트, 네트워크, 런타임의 신호를 모아 기업 내 에이전트를 찾아내고, 신원·컨테이너·정책·권한을 부여해 관리 아래 둔다.
• 맥락: 이 신호로 에이전트가 하려는 행동의 위험을 동적으로 계산한다.
• 하네스·에이전트·모델: 동적으로 계산한 에이전트 위험을 바탕으로 그린·블루 에이전트를 포함한 Guardian Agents 팀이 모든 에이전트의 모든 행동을 지속적으로 감독하고, 위험 프로필이 높아지면 실시간으로 정밀하게 대응한다.

Microsoft는 Guardian Agents가 업계에서 이미 쓰는 용어라고 밝혔다. 회사는 에이전트를 관리하고 통제하려면 모든 에이전트의 모든 행동을 실행되기 전에 하루 24시간 일주일 내내 지켜보고 조정하는 Guardian Agents가 필요하다고 주장했다. 비결정적 지능에 결정적 통제를 적용하는 방식이라고도 설명했다. 시스템은 추적 기록을 남겨 실무자가 무슨 일이 있었고 왜 위험이 생겼는지 살펴 보안 체계를 고치게 한다. 속도는 에이전트 보안이, 판단은 실무자가 맡는다는 구상이다.¹

모델 투명성 요구

Gallot는 지금의 보안 시스템이 에이전트의 행동은 믿을 만하게 관찰하지만, 앞으로는 "왜 그런 행동을 하는가", 작업 의도와 맞는가까지 물어야 한다고 썼다. 이를 위해 입출력 토큰뿐 아니라 사고와 사고의 연쇄 토큰까지 모델 내부를 더 투명하게 볼 수 있어야 한다는 것이다. 모델 투명성이 격리 통제를 대체하지는 않지만 통제를 더 똑똑하고 강하게 만들고, 책임 소재와 추적에도 도움이 된다고 밝혔다.

이 글은 자사 보안 제품을 소개하는 Microsoft 공식 블로그 게시물이다.¹