OpenAI안전·권리·사회

OpenAI, 아동 성착취물 탐지 분류기 공개, ChatGPT는 24시간 계정 정지

OpenAI가 NCMEC와 만든 이미지 분류기를 일부 기업에 API로 무료 제공한다. 파트너와 한 초기 시험에서 같은 수의 학대 이미지를 찾으면서 검토 대상 이미지는 48% 줄었다고 밝혔다.

루카스 ·

OpenAI가 2026년 11월 16일(현지시간) 아동 성착취물(CSAM)을 가려내는 이미지 분류기를 공개하고, ChatGPT에서 아동을 성적으로 다루는 요청을 하면 경고를 띄운 뒤 계정을 24시간 정지하는 조치를 도입했다고 발표했다. 개발자용 지침과 수사기관용 도구도 함께 내놓았다.

분류기는 AI가 만든 이미지를 포함해 CSAM을 탐지한다. 이전에 확인된 적 없는 이미지에서도 학대의 시각적 징후를 찾아 점수를 매기며, 이 점수는 검토자가 이미지를 어떻게 처리할지 가늠하는 참고 지표가 된다. OpenAI는 일부 기업에 API로 이 분류기를 무료로 제공한다.

OpenAI는 미국 실종·착취아동센터(NCMEC)와 함께 분류기를 개발했고, Tech Coalition, ROOST와 협력해 접근 권한을 나눈다고 밝혔다. 파트너와 한 초기 시험에서 같은 수의 학대 이미지를 찾으면서 표시되는 이미지는 48% 적었고, 분류기가 표시한 이미지가 실제 학대 이미지일 가능성은 두 배였다고 회사는 설명했다. 검토자의 작업량이 줄어든다고 회사는 설명했다.

ChatGPT는 아동을 성적으로 다루는 내용을 요청하는 사용자에게 경고 화면을 보여 주고, 해로운 행동을 멈추도록 돕는 전문 지원 기관으로 안내하며, 경고 차원에서 계정을 24시간 정지한다. 위반이 반복되면 계정이 영구 삭제될 수 있다. CSAM 콘텐츠와 관련 요청은 이미 차단해 왔다.

OpenAI는 경고 문구와 지침을 Protect Children, Lucy Faithfull Foundation 등 단체와 연구자들과 함께 만들었다고 밝혔다. 억제 메시지 시험을 독립적으로 평가한 태즈메이니아대학교의 Joel Scanlan도 참여했다.

OpenAI 도구를 쓰는 개발자를 위해 CSAM을 예방·탐지하고 사용자의 신고를 돕는 지침도 공개했다. 초기 시험에서 여러 개발자가 아동 안전 도구를 도입하고 NCMEC에 신고 기관으로 등록하는 데 이 지침이 도움이 됐다고 회사는 전했다. 아동 안전 업무를 맡은 수사기관에는 전용 플러그인, 수사 도구, 복잡한 데이터 분석 기능을 주고 접근 권한은 프로그램 관리자가 관리한다. 수사관 교육과 AI 활용 현장 안내서도 제공한다.

OpenAI는 기술이 이용자, 특히 아동에게 해를 끼쳤다는 소송을 여러 건 안고 있다. 아동 안전 비영리단체 Common Sense Media는 OpenAI 기술을 청소년에게 '용납할 수 없는 위험'으로 분류했다. Grok 등 다른 챗봇은 아동을 포함한 동의 없는 성적 이미지를 만드는 데 쓰였다. OpenAI는 최근 12개월 동안 안전 청사진을 공개하고, 부적절한 콘텐츠를 막도록 지침을 개정하고, 유해 콘텐츠 생성을 막도록 모델을 재조정하고, 청소년용 ChatGPT를 내놓았다.

댓글

기사에 대한 의견이나 틀린 내용 제보를 남겨 주세요.

댓글을 불러오고 있습니다.