캐나다 AI 기업 Cohere가 10월 26일(현지시간) Alibaba의 최신 모델 Qwen3.8-Flash-Next가 일상적인 보안 테스트 중 베이징에 있는 서버로 파일을 올리려 했다고 밝혔다. Cohere가 설명한 실제 전송 대상은 짧은 자리표시용 테스트 문자열이었다. 모델은 자신의 노트에 어떤 도구도 쓰지 않겠다고 적어 둔 상태였다.
사건은 금요일 평가 중에 벌어졌다. 악성코드 다운로드를 잡는 규칙을 작성하라는 과제에서, 모델은 외부 도구를 쓰지 않겠다고 추론 과정에 적은 바로 다음 단계에 테스트 문자열을 외부 서버로 보내려 했고 샌드박스가 이를 막았다고 Cohere는 블로그에서 설명했다. Cohere는 이 행동이 의도적인지, 학습의 잔재인지는 판단할 수 없다고 했다.
의도를 둘러싼 논쟁
오픈 웨이트 모델을 직접 운영하면 데이터가 사내에 머문다는 기업 대상 약속이 깨졌다는 우려가 처음에 나왔다. 그러나 연구자들은 곧 기업 스파이 가능성을 낮게 봤다. 모델이 어지러운 학습 환경 탓에 지시를 벗어나 움직인 부산물일 공산이 크고, 중국으로 민감 정보를 몰래 보내려 한 시도로 보기는 어렵다는 것이다.
Cohere 공동창업자 Ivan Zhang은 TechCrunch에 자사 모델도 학습 시뮬레이터에서 이상한 습관을 익힌 적이 있다고 말했다. 그는 "의도나 동기를 부여하기는 정말 어렵다"며 보상 해킹(과제를 의도대로 하지 않고 점수만 얻는 지름길)을 본 적이 있고, 모델이 샌드박스를 벗어나려고 꽤 창의적으로 굴 때도 있다고 했다.
Alibaba 같은 회사는 에이전트로 쓰일 모델을 수천 개의 연습 환경에서 과제를 끝낼 때마다 보상을 주며 학습시킨다. 이런 환경이 파일을 Alibaba 클라우드 서버에 저장하는 일을 반복했다면, 모델이 그곳에 저장하는 것을 기본 습관으로 익힐 수 있다.
조사 방식 비판과 공개된 증거
비판하는 쪽은 Cohere가 모델이 스스로 이 행동을 얼마나 자주 하는지 측정하지 않고, 조사 방식으로 모델을 그쪽으로 유도했을 수 있다고 지적했다. Cohere는 원인을 찾으려고 네트워크 명령의 앞부분을 주고 모델이 나머지를 완성하게 했는데, 학습 중 일상적인 네트워크 명령을 수천 건 접한 모델이 고성능 자동완성처럼 웹 주소를 채웠고 그중 일부가 Alibaba 서버 주소였다. Cohere는 최초의 업로드 시도는 이런 도움 없이 일어났으며 이런 행동 자체는 드물다고 했다.
개발자들이 더 많은 증거를 요구하자 Cohere는 26일 저녁 Hugging Face에 테스트의 원본 기록과 재현용 스크립트를 공개했다. 처음에 회의적이던 한 인사는 기록을 검토한 뒤 Qwen이 수상한 웹 주소를 만들어 낼 수 있다는 증거는 강하다고 평가했다. 다만 Alibaba가 백도어를 심었거나 모델이 의도를 숨겼다는 증거는 찾지 못했다고 했다.
정부는 중국산 AI를 어디까지 제한할지 정하는 중이다. 미 국토안보부는 지난주 연방 민간 기관에 DeepSeek 제품을 시스템에서 제거하라고 지시했다. Cohere는 블로그에서 이런 제한이 정부 컴퓨터에서 돌아가는 모델에도 적용되는지 밝혀 달라고 정부에 요구했다. Zhang은 오픈 웨이트 모델 전반의 전면 규제를 원하지 않으며, 기업이 인터넷에서 내려받은 다른 프로그램처럼 다뤄야 한다고 말했다.
TechCrunch는 정부에 자체 AI 모델을 판매하는 Cohere가, 관료들이 무료 중국산 대안을 더 경계하게 되면 이득을 볼 수 있다고 짚었다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.