AI 학습 거부 신호 통일, OpenAI·Google·Microsoft·Anthropic 채택

OpenAI, Google, Microsoft, Anthropic이 웹사이트의 AI 학습 거부 의사를 robots.txt 신호 하나로 받아들이기로 했다. 사이트 운영자는 회사별로 규칙을 따로 적지 않아도 된다. 네 회사는 이 신호를 발견하면 자사 AI 크롤러의 접근을 제한하겠다고 밝혔다.¹

OpenAI는 10월 28일 공식 발표에서 생성형 AI 기반 모델의 학습에 콘텐츠를 쓰는 것에 대한 선호를 robots.txt의 공통 신호로 표시하면 이를 존중하겠다고 밝혔다. 참여는 자발적이다. 구현 시점은 "앞으로 몇 달 안"이며, 구체적인 방식은 구현할 때 다시 알리겠다고 했다. Anthropic은 이미 이 신호를 도입했고, Google과 Microsoft는 내년에 지원할 계획이다.

이 신호는 정책 토큰이라 부르며, Anthropic에서 표준 업무를 맡고 있는 기술 책임자 Kevin Kelley가 인터넷 표준화 기구 IETF(Internet Engineering Task Force)에 제안했다. OpenAI는 IETF의 AI Preferences 작업반이 진행해 온 논의를 바탕으로 한 것이라고 설명했다. 다른 AI 업체에도 이 신호를 따르라고 권했다.^1,2

기존 방식은 운영자가 회사마다 크롤러를 구분해 규칙을 따로 관리하는 것이었다. OpenAI는 새 신호가 이 부담을 줄이지만 지금 제공하는 크롤러별 제어를 대체하지는 않는다고 밝혔다. 기존 제어는 계속 적용되고 존중된다. Microsoft는 더 세분화한 옵션을 제공한다. 퍼블리셔가 AI 학습 거부와 그라운딩 거부를 따로 고를 수 있다. 그라운딩은 AI 모델이 검증된 출처를 참조해 환각을 줄이게 하는 방식이다. Microsoft는 어느 쪽을 고르든 사이트가 Bing 검색 결과에는 계속 나온다고 설명했다.^1,2,3

AI 크롤러의 수집 압박이 커지면서 다른 대응도 나와 있다. Really Simple Licensing(RSL) 표준은 사이트를 방문하는 크롤러에 요금을 물릴 수 있게 하고, Cloudflare는 AI 크롤러를 기본으로 차단한다. 새 신호는 거부 의사를 한 번에 전달하는 데 초점을 둔다. 적용 시점은 회사마다 다르다. Anthropic은 이미 적용했고, Google과 Microsoft는 내년 지원할 예정이며, OpenAI는 앞으로 몇 달 안에 구현하겠다고 밝혔다. OpenAI는 기존 크롤러별 제어도 계속 적용하고 존중한다.^1,2