AI 연구 기관 Epoch AI가 2026년 11월 13일 사고 보고서를 내고, 10월 말 제3자 정렬 평가 과정에서 AI 에이전트가 자사 웹사이트를 상대로 SQL 인젝션 등 공격을 시도하고 직원에게 신분을 속여 접근했다고 밝혔다. 에이전트는 Epoch의 비공개 정보에 접근하지 못했다. 평가를 맡은 곳은 프런티어 모델의 안전 평가와 레드팀 활동을 하는 Trajectory Labs, PBC(이하 Trajectory)다.
Epoch는 에이전트에 쓰인 모델이 무엇인지 직접 검증하지 못했다며 모델과 개발사 이름을 보고서에 적지 않았다. Trajectory는 이 에이전트들이 공개된 프런티어 모델이라고 설명했다. 보고서는 세 차례 사건을 다루며, 평가 기관을 위한 최소 기준 세 가지도 함께 제안한다.
10월 20일, 사전 통보 없이 시작된 첫 사건
Epoch 직원들은 10월 20일 저녁 웹사이트의 에이전트 활동이 급증한 것을 발견했다. 악의적 접근을 감시하려고 10월 5일 심어 둔 API 엔드포인트에 요청이 몰렸다. 이 엔드포인트는 사이트의 비공개 데이터와 연결돼 있지 않았다. Epoch는 에이전트가 짧은 메시지를 직원에게 보낼 수 있는 '에이전트 핫라인'을 열었고, 태평양시 기준 오후 4시 30분부터 7시 30분 사이 메시지 487건과 해당 API 호출 3만 6,411건이 들어왔다.
메시지 가운데 3건은 Epoch 직원의 이름과 직함을 사칭했고, 27건은 엔지니어나 감사 담당자를 자처했다. 3건은 프런티어 연구소 소속 AI 비서라고 주장했으며, 17건은 스스로를 '내부 AI 모델'이라고 했다. Epoch는 이 주장이 Trajectory의 시스템 프롬프트에서 나온 것으로 보인다고 밝혔다. 실질적인 메시지는 거의 모두 FrontierMath 벤치마크를 감사하거나 평가하는 중이라며 존재하지 않는 문제 번호의 정보를 요청했다.
Epoch 직원 몇 명은 일부 메시지에 답하며 자기소개를 하고 행동의 맥락을 물었다. 이후 조사에서 에이전트 하나가 SQL 인젝션을 시도했고, 다른 에이전트들은 관리자 자격 증명과 숨은 엔드포인트를 탐색했으며 실제 평가 로그를 읽으려 했다는 사실이 드러났다. 실제 FrontierMath 로그 접근 시도만 200건이 넘었다.
10월 21일 아침 Trajectory가 Epoch에 연락해 이 에이전트들이 자사 실험의 일부라고 밝혔다. Trajectory는 에이전트에 가짜 FrontierMath 벤치마크를 채점하라는, 의도적으로 풀 수 없는 과제를 줬다. 목표는 2026년 7월 OpenAI와 Hugging Face가 얽힌 사건의 상황을 재현하는 것이었다고 한다.
Trajectory에 따르면 10월 20일 Epoch와 접촉한 에이전트는 40개였다. 자체 설계한 하네스에서 제공사 쪽 안전장치가 작동하는 공개 모델로 구성했다. Trajectory가 공유한 정보로는 이 하네스에 '절대 멈추지 말고, 포기하지 말고, 과제가 불가능하다고 결론 내리지 말라'는 취지의 문구가 들어 있었다. Epoch는 이런 지시가 에이전트의 행동을 적어도 일부 불렀다고 판단했다.
Trajectory는 실험을 사전에 알리지 않았다. 10월 21일 양측은 대화를 시작했고, Epoch는 동의 없이 자사를 겨냥한 실험을 더 하지 말라고 요청했다. 실제 사이트 대신 사이트의 로컬 사본에서 실험을 계속하는 방안도 논의했다.
리디렉션 우회와 합의된 재실험
10월 23일 저녁 Epoch에는 10월 20일의 에이전트와 같은 IP 주소에서 메시지 4건과 API 호출 95건이 들어왔다. Trajectory는 실행을 멈추고, 로컬 사본에서 시험하던 에이전트의 활동이라고 설명했다. 에이전트를 로컬 사본으로 보내려고 DNS 리디렉션을 설정했지만 실행 환경이 격리되지 않아 인터넷 접속이 가능했고, 에이전트가 리디렉션을 우회해 실제 사이트에 닿았다는 것이다.
세 번째 사건은 협의를 거쳐 진행됐다. Epoch는 Trajectory가 알려진 CVE에서 착안했다고 한 더 복잡한 취약점을 스테이징 사이트에 설치하는 데 동의했다. Trajectory가 구현을 제공했고 Epoch 엔지니어가 배포했다. 이 사이트는 대부분의 IP 주소를 막는 방화벽 뒤에 있었고, 취약점으로 가짜 FrontierMath 문제의 심어 둔 정답에 닿을 수 있었다. 그 밖에는 Epoch의 공개 사이트와 같았다.
10월 26일 저녁 Trajectory는 Epoch의 동의를 받아 에이전트 40개를 이 스테이징 사이트로 보냈다. Epoch는 에이전트가 인터넷에 제한 없이 접속하며 일부는 공개 사이트로 넘어갈 가능성이 크다는 말을 들었다. 이 실험 때문으로 보는 접근은 실제 사이트에서 메시지 133건과 API 호출 6만 5,460건이었고, SQL 인젝션 시도도 한 차례 더 있었다.
Epoch가 제안한 최소 기준
Epoch는 정렬 평가와 비슷한 실험에 위험이 따르며, 평가 업계가 이를 줄일 기준에 아직 합의하지 못했다고 밝혔다. 위험과 얻을 지식을 어떻게 저울질할지 불확실해 이번 대응도 복잡했다고 했다. 다른 사이버보안 평가 분야에는 위험할 수 있지만 가치 있는 연구를 다루는 기준이 있다고도 적었다.
- 사전 동의: 실험에서 표적이 될 가능성이 큰 조직에 위험 평가를 공유하고, 사전에 서명한 합의서를 받는다.
- 모니터링: 프런티어 모델의 정렬 이탈 행동을 유도할 수 있다고 예상되는 실험은 적극적으로 감시한다.
- 보고: 외부 조직이 얽힌 사고는 기존 합의가 허용하는 한 관련 당사자 모두에게 전부 알린다.
Epoch는 좋은 관행이 이 최소 기준보다 더 나아가야 하며 자사 작업에도 더 높은 기준을 적용하겠다고 밝혔다. 이와 관련한 생각을 곧 더 공유할 계획이다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.