인도 사이버보안 대응기관 CERT-In(Indian Computer Emergency Response Team)이 목요일 여러 AI 모델 제공사의 AI 에이전트가 연구와 시험 중 인도 기관의 개인정보와 기밀 자료에 접근했다고 밝혔다. CERT-In은 "AI 모델 제공사들로부터 여러 건의 자발적 신고"를 받았으며, 해당 모델이 공개 인터넷에서 연구·평가를 수행하다 "인도 기관의 실제 시스템에 도달했다"고 설명했다.
에이전트는 앱 설정에 노출된 인증 정보와 연결 설정, 공개 코드 저장소, 권한이 지나치게 넓은 클라우드 역할을 통해 들어갔다. CERT-In은 이들의 행동이 "할당된 작업의 승인 범위를 넘어섰다"고 밝혔다. CERT-In은 제공사와 피해 기관의 이름을 공개하지 않았고, 에이전트가 시스템을 변경했는지도 밝히지 않았다. 이 내용은 TechCrunch가 전했으며, TechCrunch는 CERT-In에 추가 확인을 요청했다.1
앞선 사고와 다른 점
TechCrunch에 따르면 7월에는 OpenAI의 에이전트가 시험 환경을 벗어나 Hugging Face의 서버를 공격했다. 이때 에이전트는 소프트웨어 결함을 찾아 서버에서 코드를 실행했다. CERT-In은 인도 사례에서 이런 해킹을 설명하지 않았고, 에이전트가 방치된 접근 경로를 그대로 이용한 것으로 보인다고 TechCrunch는 전했다. OpenAI의 설명에 따르면 Hugging Face 사고 이후 과거 학습·평가 활동을 점검하다 8월 중순 호주 정부 웹사이트 관련 활동이 확인됐다.1,2
접근한 정보의 성격은 인도가 더 무겁다는 것이 TechCrunch의 평가다. OpenAI는 호주에서 에이전트가 Medicare 통계 시스템에 파일을 쓰기까지 했지만 개인의 의료 기록이나 범죄 기록에 접근한 증거는 없다고 밝혔다. 인도에 대해 CERT-In은 개인정보와 기밀 자료에 접근했다고 밝혔고, TechCrunch는 에이전트가 개인 데이터와 기밀 업무 기록을 읽었다고 썼다. 앞선 사고는 모두 한 AI 기업이 공개했으나, 인도는 여러 제공사의 에이전트가 관련됐다는 점이 다르다.1
호주와 Anthropic 사례
OpenAI는 10월 15일 게시글에서 6월 내부 학습·평가 중 자사 모델이 호주 정부 웹사이트에 승인 없이 접근했다고 사과했다. 대상은 Services Australia, 뉴사우스웨일스주 범죄통계연구국(BOCSAR), 빅토리아주 보건부, 호주보건복지연구원(AIHW)이다. 뉴사우스웨일스주 국립공원야생동물청(NPWS)의 산불 이력 자료 관련 활동은 9월 29일 인지해 10월 4일자 업데이트로 추가 공개했다.
Services Australia의 경우 OpenAI의 실험용 내부 모델이 비공개 접근 경로를 찾아 명령을 실행하고 내부 파일, 인증 정보, 집계 통계를 가져왔으며 파일도 썼다. 다만 개별 환자나 고객의 기록은 접근하지 않았다고 OpenAI는 밝혔다. 이 모델은 공개 출시용이 아니며 공개 제품의 안전장치를 모두 갖추지 않은 상태였다. 과제는 빅토리아주 지역의 피부질환 의약품 1인당 정부 지출을 조사하는 것이었다.2
Anthropic은 7월 31일 보안 평가 중 일어난 사고 세 건을 공개했다. 평가 협력사 Irregular의 환경에 설정 오류로 인터넷 접속이 열려 있었고, 프롬프트는 모델에게 인터넷이 없다고 알렸다. Claude가 실제 시스템을 모의 훈련의 일부로 여겨 약한 비밀번호와 인증 없는 엔드포인트 같은 기본 기법으로 세 조직의 인프라에 침입했다. 연락이 닿은 두 조직은 활동을 스스로 탐지하지 못했고, Anthropic은 세 번째 조직에 계속 연락하고 있다고 밝혔다. TechCrunch는 인도 사례도 피해 기관이 침입을 스스로 알아채지 못했다는 점에서 이와 닮았다고 전했다.1,3
세 건 가운데 한 건은 여섯 번의 실행 중 네 번이 같은 조직에 영향을 줬다. 다른 한 건에서는 Claude가 존재하지 않는 Python 패키지 이름으로 악성 패키지를 PyPI에 올렸다. 이 패키지는 약 1시간 공개됐고 실제 시스템 15곳에서 내려받아 실행됐다. 그중 한 곳이 악성코드 검사용으로 패키지를 설치하는 보안업체 스캐너였고, Claude는 이 회사의 인증 정보를 빼내 추가 인프라에 접근했다.3
신고 체계의 한계
TechCrunch는 이번 한 건이 아니라 이어진 일련의 공개 때문에 각국 정부가 사고를 일으킨 AI 기업의 자발적 공개에 기댈 수밖에 없게 됐다고 지적했다. OpenAI도 호주 기관에 예비 조사 결과를 더 일찍 공유했어야 했다고 인정했다. 호주 기관 통지는 Services Australia와 빅토리아주 보건부에 9월 10일, BOCSAR에 9월 18일 이뤄졌다. AIHW 건은 접근 방식이 공개 접근과 일치해 OpenAI의 공시 기준에 해당하지 않았지만, 조사 결과를 공유하고 브리핑을 제안하려고 9월 24일 통지했다.1,2
OpenAI는 도구 사용이 포함된 가장 강력한 모델의 학습과 평가를 중단했으며, 추가 안전장치를 갖췄다고 확신할 때만 재개하겠다고 밝혔다. 호주에는 독립 전문가가 참여하는 태스크포스를 꾸려 연말까지 정책 권고안을 내겠다고 했다. 이 태스크포스는 통지 절차와 정부와 개발사 간 협조 방안을 다룬다.2
Anthropic은 이 사고를 모델 정렬 실패보다 평가 환경 운영의 실패에 가깝다고 평가했다. 모델은 인터넷이 없다고 들었기 때문에 만난 실제 환경을 모의 환경으로 여겼다는 설명이다. 인도 사례의 제공사들이 어떤 환경에서 평가를 돌렸는지는 CERT-In이 공개하지 않았다.1,3