OpenAI가 2026년 10월 30일, 웹사이트가 robots.txt에 적은 공통 신호를 존중하겠다고 발표했다. 이 신호는 콘텐츠를 파운데이션 모델 수준의 생성형 AI 학습에 쓰는 것에 대한 웹사이트의 선호를 알리는 용도로, 운영자는 이 신호 하나로 참여 업체 여러 곳에 같은 뜻을 전달할 수 있다.
OpenAI는 이 신호를 앞으로 수개월 안에 적용하는 것을 목표로 한다고 밝혔다. 적용할 때 구현 방식을 담은 소식을 다시 알리겠다는 입장이다. 이 신호는 업체들이 자발적으로 참여하는 방식이다.
지금까지 웹사이트 운영자는 크롤러를 하나씩 식별해 업체마다 별도 규칙을 관리해야 했다. 공통 신호가 생기면 이 작업이 줄어든다고 OpenAI는 설명했다.
새 신호가 기존 robots.txt 제어를 대체하지는 않는다. 웹 게시자에게 자신의 페이지에 대한 유연성과 통제권을 주는 기존 크롤러 제어도 계속 적용되고 존중된다고 OpenAI는 밝혔다.
이번 발표는 국제인터넷표준화기구(IETF)의 AI Preferences 작업반이 진행해 온 논의를 바탕으로 한다. OpenAI는 같은 작업반 참여자들과 함께 이날 공통 신호를 발표했으며, 이것이 IETF 표준 논의에 계속 참여하는 데 힘이 된다고 보았다. 논의와 환경이 바뀌면 적절한 통제와 공정성을 고려해 관행을 조정하겠다고도 했다. OpenAI는 다른 AI 업체에도 이 신호를 따르라고 권했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.