AI 안전 업체 White Circle이 OpenAI와 Google의 이미지 생성 모델 안전 필터를 간단한 방법으로 우회할 수 있다는 연구 결과를 공개했다. 대상은 DALL·E 3, Google의 Nano Banana 2, GPT-Image-2다. White Circle은 보도자료에서 세 모델을 대상으로 한 시험에서 내려받을 수 있는 공개 도구와 API 호출만으로 안전 필터를 넘어 노골적 콘텐츠를 약 13%의 경우 생성했다고 밝혔다.
이 연구는 9월 프리프린트로 먼저 공개됐다. White Circle CEO Denis Shilov는 최신 결과가 일반에 공유할 만큼 "끔찍한" 수준이라고 판단했다. White Circle은 신형인 ChatGPT Images 2.5와 Nano Banana 2.1에도 같은 방법으로 안전 테스트를 했고, 두 모델 모두 이전 버전보다 "훨씬 더 쉽게 뚫린다"고 주장했다. OpenAI와 Google은 취약점에 대한 논평 요청과 신형 모델 결과 전달에 모두 응답하지 않았다.
연구팀은 이 방법을 RISE(Red-teaming via Iterative Strategy Evolution)라 불렀다. 탈옥 프롬프트를 만드는 공격 모델과, 결과물이 금지 콘텐츠인지 판정하는 심사 모델 두 가지로 구성된다. 공격 모델은 Hugging Face에서 내려받은 Qwen 모델이고, 심사 모델은 Gemini 3.8 Flash다. Shilov는 최첨단 모델의 방어를 깨려고 최첨단 모델을 가질 필요는 없다며, 이 점이 "매우 흥미롭다"고 덧붙였다.
프롬프트를 하나씩 시험하지 않고 여러 프롬프트와 상황에서 통하는 패턴을 찾아, 모델이 달라져도 재사용할 수 있는 공격 전략을 가려냈다. 연구팀은 결과물을 직접 검토해 우회 성공률을 확인했으며, 같은 기준에서 시험한 방법 중 가장 높은 수치라고 밝혔다. Midjourney는 통제된 벤치마킹에 적합한 공개 API가 없어 시험에서 제외했다.
Shilov는 심사 모델이 노골적 콘텐츠를 정확히 가려내도록 하는 데 많은 시간을 들였다고 말했다. 연구 엔지니어 Dmitrii Kharlapenko는 이미지 생성 모델 레드팀 분야의 시험 기준이 제대로 잡혀 있지 않고, 규범을 세운 논문은 "말 그대로 하나도 없다"고 지적했다. 결과를 보고하는 방식에도 문제가 많다는 것이다. White Circle은 AI 기업들이 시장을 차지하려고 눈길을 끄는 신형 모델을 앞다퉈 내놓는 상황이어서 이를 더 우려한다. Shilov에 따르면 이번 연구는 다른 모델을 공격하는 더 정교한 모델을 만들어, 방어하는 쪽이 악의적 악용 전에 취약점을 찾아 대응하게 하려는 목적이다.
White Circle은 Anthropic, DeepMind, Hugging Face, OpenAI의 고위 인사와 연구자들이 후원하는 공익법인이다. Shilov가 2024년 10월 주요 모델의 대표적인 범용 탈옥 사례 가운데 하나를 올린 뒤 설립됐다.
신형 모델이 더 쉽게 뚫리는 이유로 White Circle은 모델이 정교해져 더 넓은 범위의 콘텐츠를 만들 수 있게 됐거나, 성능을 우선하느라 안전이 뒷전으로 밀렸을 것이라는 가설을 잠정적으로 내놨다. Shilov는 노골적 콘텐츠처럼 가려내기 쉬운 분야가 뚫린다면 해킹 같은 다른 위험 행동을 막도록 갱신 중인 방어 체계도 낙관하기 어렵다고 말했다.
White Circle은 공격 파이프라인 전체를 오픈소스로 공개해 모델 개발사가 취약점 규모를 파악하고 보호 장치를 강화하게 할 계획이다. 이 연구는 11월 NeurIPS 2026에서 발표한다. 일부 주요 AI 연구소에는 공통 지인을 통해 결과를 전달했다고 Shilov는 말했다.
회사는 정부 관계자와 제3자 안전 테스트를 두고 초기 논의 중이며, Shilov는 이를 의무화해야 한다고 본다. Shilov가 그리는 이상적인 모습은 의무적인 외부 안전 테스트와, 핵 위협 방지 체계 같은 제3자 모니터링을 모두 두는 것이다. 의미 있는 안전 연구자 대부분이 주요 연구소와 계약을 맺게 돼 연구의 독립성이 훼손될 수 있다는 지적도 내놨다.
White Circle은 Anthropic의 버그 바운티에 참여한 적이 있으나 목적이 "매우 제한적"이라고 판단했다. 이 프로그램은 Anthropic이 중시하는 분야의 범용 탈옥에 초점을 맞추므로 이번 RISE 같은 연구는 대상이 아니었을 것이라고 했다. Anthropic은 외부 안전 평가자를 연구소 안에 두는 방안을 제안했고, White Circle은 이 방안이 버그 바운티 참여보다 훨씬 높은 수준에서 일할 수 있게 해 줄 것이라고 평가했다. 다만 13일 OpenAI와 Anthropic은 영업비밀 유출을 막으려면 외부 평가자에게 제한적인 비밀유지계약(NDA)을 요구해야 한다고 촉구했다. White Circle은 중요한 발견의 공개를 막는 계약에는 서명하지 않겠다고 밝혔고, Anthropic이 NDA를 요구하면 협력은 성사되지 않을 가능성이 크다고 했다.
Google이 공동 저자로 참여해 올해 7월 내놓은 미국·호주·영국 인터넷 이용자 조사는 동의 없는 성적 합성물이 문자와 다이렉트 메시지, 비공개 클라우드에서 주로 공유돼 발견과 신고가 어렵다고 밝혔다. 연구진은 가짜 성적 이미지를 만드는 유해한 AI 도구라는 원천이 여전히 "가장 중요한 개입 지점"이라고 결론 내렸다. 같은 조사에서 AI 누드물을 만든 적 있다고 인정한 이용자의 20%는 "재미"나 "농담"으로 만들었다. Google 연구는 기술적 마찰이 있으면 단념할 수 있는 일부 가해자를 막으려면 안전장치가 의무여야 하며, 개발사에 모델 수준의 가드레일을 갖출 책임이 있다고 지적했다.
영국의 비영리단체 Internet Watch Foundation(IWF)은 지난주 전문 분석가들이 올해 상반기에 찾은 사실적인 AI 생성 아동 성착취 이미지가 2025년 전체보다 많다고 밝혔다. 법적 기준에 해당하는 AI 이미지는 2026년 상반기에만 6,310건으로, 지난해 전체 발견 건수보다 약 40% 많다.
IWF 대변인은 영국 규제 당국이 AI 기업에 자사 기술이 아동 성착취물 생성에 쓰이지 않게 막도록 요구하는 안전 체계를 도입하길 바란다고 말했다. 그때까지는 White Circle 같은 제3자가 기업 안전장치의 실패를 짚는 일이 중요하다는 것이 IWF의 생각이다. 대변인은 IWF 분석가들이 AI 발전으로 최소한의 노력만으로 아동 성착취 이미지를 만들 수 있고, 기술 전문성이 필요 없어 진입 장벽이 크게 낮아진 것을 확인했다고 설명했다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.
