영국 AISI, 의무 없는 기술 지침에 최전선 AI 8개 기술 우선순위 담아

영국 AI 안보연구소(AI Security Institute, AISI)가 최전선 AI 모델의 학습과 평가 과정에서 생기는 공백을 다룬 기술 지침을 발표했다. 상용 배포 전에 시스템을 평가하는 방법을 담았으며, 영국 총리가 2026년 9월 22일 제시한 조치를 이어받은 문서다. 지침은 위험을 관리하기 위한 8개 기술 우선순위를 제시한다.

영국의 최전선 모델 시험을 조율하는 AISI는 "개발사에 요건을 강제하려는 것이 아니라 업계 전반의 노력에 전문성을 보태 기술 표준과 모범 사례를 발전시키려는 것"이라고 밝혔다. AISI는 업계와 협력하고, 기술 표준을 뒷받침하려고 미국 측 기구인 Center for Advancing Innovation and Standards for Super Intelligence를 포함한 국제 기구와 조율한다.

AISI는 지침 발표 시점까지 3년의 시험 경험을 쌓았고, 그동안 출시 전 모델 55개를 넘게 독립적으로 평가했다. 오픈소스 평가 도구 Inspect도 공개했으며, 이 도구는 외부 평가기관의 표준 틀이 됐다. 업계 개발사와 공동 작업하면서 위험 평가를 구체화하고 안전장치 평가 원칙을 개발했다. 에이전트 통제 모니터를 시험했고, 안전성 논거와 시스템 감시 가능성을 함께 다룬 연구도 냈다.

Frontier AI Trends Report 조사에서 표준 벤치마크는 빠르게 포화하는 것으로 나타났다. 평가 현장에서는 멀티 에이전트 구성과 며칠에 걸친 시험을 강화된 보안 통제 아래 돌린다. 평가자는 소프트웨어 보조 구조와 도구에 더해 추론 연산량 확대도 함께 고려해야 한다.

AISI는 모델이 시험받는 상황을 알아채는 능력이 커지면 배포 후 실제 행동을 숨길 수 있다고 우려했다. 통제 평가 방법은 업계에서 아직 초기 단계다. AISI는 AI가 자기 개발에 더 많이 기여하면 진행이 빨라져 이런 문제가 더 일찍, 사람의 직접 감독이 줄어든 채 나타날 수 있다고도 밝혔다. 시스템 위험은 이제 공개 이전 단계에서도 생긴다. 학습 중이나 내부 배포 중에 자율 기능이 실행되면서 사이버 작전 우려가 나온다는 것이다.

8개 기술 우선순위

8개 권고 중 앞의 네 개는 개발사 내부 절차에 관한 것이다. 개발 단계 전반에서 위험 요인을 기록하고, 학습 중인 시스템을 감시하고, 능력이 높아져도 감독 장치를 유지하고, 운영팀이 에이전트 관련 사고를 식별해 보고하라는 내용이다.

나머지 네 개는 평가 방식과 외부 접근, 공개를 다룬다. 개발사 내부에 파견된 평가자와 독립 감사인에게 명확한 범위와 직접 접근 권한을 주도록 권고한다. 보안 관련 영역의 능력은 현실적인 유도 설계로 측정하고, 이해관계가 큰 상황에서는 정렬 상태를 평가하라는 권고도 있다. 개발사에는 재귀적 자기 개선과 관련한 진척 지표를 정부와 대중에 공유하도록 권고한다.

지침은 국가 간 기존 합의인 White House Accord on Super Intelligence에 따른 약속을 인용하고, 기술 기반은 ETSI EN 304 223에서 받아 썼다. ETSI EN 304 223은 국가사이버보안센터(NCSC), 과학혁신기술부, 디지털문화미디어스포츠부가 업계, 해외 파트너와 함께 만든 AI 사이버 보안 실무 규범에서 나온 표준이다. AISI는 Network for Advanced AI Measurement, Evaluation and Science를 조정하며, 미국 국립표준기술연구소(NIST)가 정립한 분류 체계에도 기여했다.