13세 학생의 부모가 학교 지급 Chromebook으로 Gemini를 쓰던 딸의 일로 Google을 상대로 손해배상 소송을 냈다. 미국 노스캐롤라이나주에 사는 부모는 딸이 수개월 동안 이 챗봇과 자살 관련 대화를 나눴고 자살을 계획했다는 의혹이 있다며, Google이 위험을 충분히 알리지 않고 충동을 막지도 못했다고 주장한다.
블룸버그와 뉴욕타임스(NYT) 등에 따르면 소송은 지난 2일(현지시간) 캘리포니아주 법원에 제기됐다. 소장에서 학생은 가명 '엠마'로 불린다. 소장에 따르면 학생은 학교 지급 Chromebook으로 Google 검색의 'AI 모드'를 이용했고, Gemini와 수천 건의 메시지를 주고받은 것으로 알려졌다.
부모 측은 대화에 불안, 우울증, 정신질환 증상은 물론 자살 방법과 장례 계획까지 나왔다고 주장한다. 챗봇이 학생에게 부모나 상담사보다 AI를 믿도록 유도했고, 자해 사실을 가족에게 숨기는 방법도 안내했다는 주장도 소장에 담겼다.
Google의 책임을 두고는 교육 시장에서 영향력을 넓히려 Chromebook과 검색에 AI를 적극 넣었다고 주장한다. 그러면서 부모와 학교에는 위험을 충분히 알리지 않았고, 자해와 자살 충동을 걸러 내지도 못했다는 것이다. 소장에 인용된 비영리 연구단체 KORA의 평가에 따르면 학생이 사용한 Gemini 3 Flash가 정신건강 관련 질문에 적절하게 대응한 비율은 7%에 그쳤다. 이 모델의 안전성이 이전 세대 모델보다 크게 떨어졌다는 것은 소장 측의 주장이다.
부모 측 변호인은 Google이 안전한 제품이라고 홍보하던 Chromebook에 Gemini를 사실상 몰래 끼워 넣어 경쟁력을 확보하려 했다고 말했다. 교육 현장에서 쌓은 신뢰를 상업적 이익을 위해 이용했다는 비판이다.
학교 모니터링 시스템이 학생이 Google 문서에 쓰던 자살 계획을 감지하면서 일이 드러났다. 학교가 자해 위험이 임박했다고 경고하자 부모가 학생을 응급 정신과로 데려가 진료를 받게 했다. 학생은 현재 매주 치료를 받는다.
Google은 소송 내용을 검토 중이라고 밝혔다. 대변인 호세 카스타녜다는 청소년이 도움을 구할 때 믿을 만한 지원처를 찾도록 의료 전문가, 학계와 폭넓게 협력해 기능을 만든다고 말했다. 또 정신건강 위기 가능성이 있는 이용자에게 검색에서 상담 전화 정보를 제공해 왔으며, 검색의 AI 기능에도 같은 보호 장치를 적용해 실제 지원 서비스로 연결하고 있다고 설명했다.
Google은 미국 초중고(K-12) 학생 계정에서 검색 등 AI 기능을 기본으로 끄기로 최근 발표했다. 다만 학교가 학생들에게 Google 검색을 다시 허용하려면 AI 요약 등 검색에 통합된 AI 기능도 함께 받아들여야 한다는 조건이 붙었다. 아동 대상 기술 마케팅을 감시하는 비영리단체 Fairplay의 조시 골린 사무총장은 이를 두고 학교가 Google AI를 쓰도록 강요하는 것이라고 비판했다.
전문가들은 챗봇이 직접적인 자살 의사뿐 아니라 대화 과정에서 점진적으로 드러나는 위험 신호에도 대응해야 한다고 지적한다. 위기 상담 서비스 Crisis Text Line의 켈리 주롬스키 연구원은 챗봇이 아이가 다른 사람에게 도움을 요청하는 시점을 늦출 수 있다고 말했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
- 구글, 13세 학생 자살 계획에 피소…학교 지급 노트북서 제미나이 사용 aitimes.com
