OpenAI, ChatGPT 청소년 무기 정보 제한…폭력 징후 땐 대화 종료

OpenAI가 10월 30일(현지시간) ChatGPT의 폭력 관련 안전장치를 강화한다고 발표했다. 18세 미만 청소년에게는 폭력 의도 징후가 없어도 무기와 보안 시스템의 실용 정보를 제한한다. 폭력에 대한 집착이나 타인에게 심각한 해를 끼치려는 생각이 보이면 ChatGPT가 대화를 자동으로 끝낼 수 있는데, 이 장치는 청소년에 한정되지 않고 모든 사용자에게 적용된다.^1,2

새 조치는 앞으로 몇 주 안에 시행에 들어가며, 이후에도 계속 개선된다. 대화 종료가 반복되면 계정이 일시 정지될 수 있고, 청소년 계정이 폭력 대화를 되풀이해 정지되면 부모에게 알리는 방안도 추진 중이다. OpenAI는 이와 함께 커뮤니티 안전 보고서(Community Safety Report)를 새로 내기로 했다.^1,2

청소년 대상 제한

기존 정책은 폭력 계획과 실행을 돕는 일을 금지하고, 청소년이 무기를 찾거나 구하는 것을 돕지 않도록 했다. OpenAI는 이를 보안 시스템 같은 폭력에 악용될 수 있는 실용 정보까지 넓혔다. 폭력 예방이나 긴장 완화, 도움 요청, 신뢰할 성인과의 연결을 위해 ChatGPT를 쓰는 것은 청소년도 계속 할 수 있다.

최근 대화에 폭력 가능성을 보여 주는 징후가 있으면 오용될 수 있는 정보를 더 보수적으로 답한다. OpenAI는 5월에 공개한, 과거 경고 신호의 짧은 사실 요약을 활용하는 방식을 토대로 이 작업을 확장하고 있다. 18세 미만으로 예측되는 사용자에게도 폭력 의도 징후와 관계없이 같은 강화 제한을 적용하는 방안은 추진 중이다.¹

연령 예측은 지난해 도입한 시스템으로, 행동 패턴 등 여러 신호를 합쳐 18세 미만인지 추정한다. OpenAI는 사용 중 나타나는 새 신호를 계속 평가해 적절하면 18세 미만 환경으로 옮기도록 이를 강화했다. 성인 설정 계정이라도 청소년으로 추정되면 이 보호 체계에 들어간다. 18세 미만으로 잘못 분류된 사용자는 연령 인증 파트너 Persona로 성인임을 확인받으면 청소년 보호 조치를 풀 수 있다. OpenAI는 이 절차가 빠르고 프라이버시를 보호한다고 설명했다. 18세 미만용 ChatGPT for Teens에는 연령에 맞는 보호 장치와 민감한 콘텐츠 노출을 줄이는 추가 제한이 적용된다.^1,2

전체 사용자에게 적용되는 변화

과거 대규모 공격에 관한 답변은 다른 온라인 출처에 있는 정보라도 덜 상세하게 하도록 모델에 지시했다. 제한 대상은 사건 재구성, 사용된 무기와 장비 및 입수 경로의 세부, 가해자의 악명을 키울 수 있는 피해 규모의 상세 비교다. 사건 이해, 피해자와 지역사회에 미친 영향, 경고 신호 인식, 재발 방지에 관한 질문은 계속 답한다. 이 제한은 연령이나 질문 이유와 관계없이 모든 사용자에게 적용된다.

OpenAI는 모델이 폭력 계획과 실행을 돕는 지침을 주지 않도록 훈련했다고 설명했다. 경고 신호를 다룰 때는 평범해 보이는 요청도 앞선 대화에 따라 다른 의미를 띨 수 있다는 점을 고려한다. 폭력 활동 정책을 어긴 것으로 판단된 계정은 차단하고, 임박한 폭력 위협은 사법기관에 알린다. 2026년 3분기 사법기관 신고는 200건 이상이었다. 어려운 사례는 정신건강과 행동 전문가의 도움을 받아 평가하며, 이들과 조기 개입을 자동화하는 방안도 개발하고 있다.^1,2

부모 통제와 안전 보고서

기존 부모 통제는 부모와 청소년 계정을 연결해 안전 설정을 함께 관리하는 방식이다. 특별 훈련을 받은 검토자가 심각한 자해 우려나 섭식장애 관련 행동을 확인하면 안전 알림을 보낼 수 있다. 7월에는 청소년 계정이 폭력 관련 이용 정책 위반으로 비활성화되면 부모에게 알리도록 확대했다.¹

첫 커뮤니티 안전 보고서는 2027년 초 나오며 2026년 하반기를 다룬다. 이후 6개월마다 갱신한다. 폭력 예방 등 커뮤니티 안전 쟁점과 안전장치의 효과, 위험을 탐지하고 조사하고 대응하며 배운 점, 익명 처리한 폭력 피해 사례, 새 완화책과 정책 변경, 뒷받침하는 데이터를 담을 예정이다.^1,2

남은 한계

비영리단체 커먼 센스 미디어는 10월 보고서에서 청소년용 ChatGPT의 보호 기능에 한계가 있다고 지적했다. 청소년 계정에서 자살, 자해, 섭식장애와 관련된 대화가 오갔는데도 부모 알림이 늦게 가거나 가지 않은 사례가 있다는 것이다.

한계 지적과는 별개로, OpenAI가 이달 초 처음 공개한 청소년 이용 현황 보고서에는 청소년의 하루 평균 이용 시간이 15분 미만으로 나온다.²

OpenAI도 경고 신호를 신뢰성 있게 인식하고 개입 시점과 방식을 정하는 일은 진행 중인 과제라고 인정했다. 폭력 대응에는 복합 요인이 얽혀 있어 계속 보완해야 한다고 밝혔다. 회사는 AI 기업이 법 집행기관, 가족, 정신건강 전문가, 정책 입안자와 나란히 고유한 역할을 맡고 있다며, 시스템을 강화하고 배운 내용을 공유하며 현실에서 행동할 수 있는 이들과 직접 협력하겠다고 밝혔다.¹