Meta가 청소년이 Facebook에서 자해 관련 용어를 검색하면 부모에게 알림을 보내기 시작했다. 2월 Instagram에 처음 도입한 알림 기능을 넓힌 것으로, 자해를 주제로 한 Meta AI 챗봇 대화에도 적용된다. 챗봇 대화는 Facebook, Messenger, Instagram 모두 해당한다.1
Meta는 7월 16일(미국 태평양시간) 공식 발표에서, Meta AI 대화 알림이 Instagram 보호자 관리 기능을 쓰는 부모에게 미국·영국·호주·캐나다에서 이미 작동한다고 밝혔다. 연말까지 전 세계 보호자에게 제공할 예정이다. 이 알림은 청소년이 짧은 기간에 자살이나 자해 관련 용어를 반복해 검색하면 Instagram 보호자 관리 기능을 쓰는 부모에게 보내던 기존 알림 위에 더해진 것이다.2
알림이 가는 조건과 검토 방식
Meta AI는 청소년이 자살이나 자해를 생각하는 듯한 말을 하면 위기 상담 전화로 안내하고 부모나 상담사 같은 믿을 만한 어른에게 연락하도록 권해 왔다. 이제는 청소년의 Meta AI 대화가 위험 가능성을 시사하면 보호자 관리 기능을 쓰는 부모에게 선제적으로 알린다. 신호는 전문가들과 함께 만든 기준으로 판단하며, 부모가 자녀와 대화를 시작할 때 참고할 전문가 자료도 함께 제공한다.
Meta는 부모, 전문가와 논의해 어떤 대화가 알림 대상인지 정했다고 밝혔다. 청소년이 자신을 해치겠다는 뜻을 분명히 언급한 경우가 해당하며, 표현이 은근한 경우도 포함한다. 이런 대화를 가려내는 전용 AI 시스템도 따로 만들었다.
Meta는 탐지 기능을 계속 개선하는 동안 AI가 표시한 모든 대화를 사람이 직접 검토한 뒤에 알림을 보낸다고 밝혔다. 청소년의 의도가 모호하면 안전 쪽으로 판단해 부모에게 알린다. Meta는 이 때문에 실제 우려가 없는데도 알림이 갈 수 있음을 인정하면서도, 출발점으로 적절하다고 보며 계속 점검하겠다고 밝혔다.
비영리 단체 ConnectSafely의 공동 설립자이자 CEO인 Larry Magid는 청소년의 사생활 권리를 믿지만 자해 위험이 있을 수 있을 때는 부모가 알아야 한다고 보며, 그래서 자신이 이 접근을 옹호했다고 밝혔다. Meta가 신중히 검토한 끝에 알림이 필요하다고 판단한 경우에 부모에게 알리는 결정을 지지한다면서, Meta가 "청소년의 사생활을 지키면서도 부모에게 필요한 정보를 주는 균형"을 잡았다고 평가했다.2
응급 기관 연락과 전문가 검토
Meta는 성인이든 청소년이든 Meta AI와의 대화에서 당장 목숨을 끊을 위험이 있어 보이면 응급 서비스에 연락하는 기능을 개발하고 있다고 밝혔다. Facebook과 Instagram에서는 자살 위험이 분명한 게시물을 알게 되면 이미 응급 기관에 알리고 있으며, 지난해 전 세계에서 이런 신고를 1만 9,000건 넘게 했다고 설명했다. 구조대가 자살 위험이 있을 수 있는 사람의 안부를 확인하는 데 쓰였다는 것이다.
Meta는 AI Wellbeing Expert Council, Suicide and Self-Harm Advisory Group, Youth Advisors와 이어 온 자문에 더해, 청소년 정신건강을 전문으로 하는 임상의 75명 이상에게도 의견을 받았다. 이들은 자살·자해 관련 질문 수백 건에 대한 Meta AI의 답변을 보고 청소년에게 적절한지, 무엇이 좋았는지, 어떻게 고칠지 평가했다. Meta는 이 의견으로 Meta AI가 청소년의 감정을 먼저 인정한 뒤 지원 자료를 안내하고, 대화를 갑자기 끊지 않게 개선하고 있다고 밝혔다.
한국외국어대 상담심리학 교수이자 미국 면허 심리학자인 이지연 박사는 Meta의 임상 검토가 즉각적인 답변뿐 아니라 대화 맥락, 후속 대응, 고위험 상황 안의 위험 수준 차이까지 살폈다고 평가했다.2
제한 콘텐츠 설정이 AI 대화에도 적용
청소년 계정은 기본으로 13+ 콘텐츠 설정이 적용되며, Meta AI 대화도 포함된다. 이 설정에서 Meta AI는 연령에 맞게 답하고 민감한 요청에는 응하지 않도록 설계됐다. 예컨대 청소년과 성적이거나 연애 관련 대화를 하지 않고 술 제조법도 알려주지 않으며, 더 안전한 주제로 안내한다.
Meta가 지난해 10월 Instagram에 내놓은 더 엄격한 설정인 제한 콘텐츠(Limited Content)도 이제 AI 대화에 적용된다. 부모가 자녀를 이 설정에 가입시키면 Meta AI가 거절하는 요청의 범위가 넓어져 부적절한 대화가 생길 가능성이 더 줄어든다.2