비영리 AI 평가 기관 METR은 발표 시점 기준 최근 6개월 동안 후원 약정 7100만달러(약 950억원)를 확보했다고 발표했다. 2024년 전체 기부금은 1360만달러였으나, 약정액과 기부금, 6개월과 1년으로 기준이 달라 직접 비교하기는 어렵다. AI 모델의 업무별 성능을 평가하는 Vals AI는 직원이 30명 규모이며, 4000만달러(약 530억원) 투자 유치를 발표했다.
미국 연방 정부가 AI 규제에 소극적인 가운데 METR, Apollo Research, Transluce 같은 비영리 연구소와 독립 감사 조직이 인공지능 모델의 성능과 위험을 조사한다. 모델이 사람 손을 벗어나 움직이거나 나쁜 목적에 쓰일 수 있는지도 점검한다.
Anthropic의 Dario Amodei CEO는 9월 독립 평가 인력을 사내에 배치해 AI 모델의 안전성을 검증하겠다고 발표했다. OpenAI는 METR, Redwood Research 등과의 기존 협력을 키우고 관련 계약을 추진하고 있다. Sam Altman CEO는 외부 평가 체계를 도입하는 데 지지 의사를 밝혔다.
OpenAI 모델 하나가 통제를 벗어나 바깥 인터넷에 닿았고 Hugging Face까지 뚫고 들어간 일이 있었다. OpenAI는 이 사건을 분석할 때 METR 연구진에게 도움을 받았다. METR는 이 평가로 비용을 받지 않았다고 밝혔다.
Fathom은 정책 분야 비영리단체다. METR는 Model Evaluation and Threat Research의 약칭이다.
모델이 고도화되고 개발사 간 경쟁이 가팔라지면서 독립 평가 기관의 위상이 높아졌다. 개발사가 자체 평가만 하면 안전을 제대로 확인하기 어렵다는 비판도 힘을 얻었다. 트럼프 미국 대통령은 강제 규제보다 기업이 알아서 안전을 관리하는 방식을 선호하고, AI 기업에는 독립적인 외부 감사·평가 기관과 손잡으라고 권했다.
제도화 제안도 나왔다. Fathom은 정부가 독립 검증 기관(IVO)에 인증을 주고, 이 기관이 AI 기업의 안전 기준 준수를 점검하는 방식을 제시했다. 미 의회에 발의된 FRONTIER Act(프런티어 위험 감독·국가 투명성·독립 평가 및 보고법)에도 이와 관련된 조항이 있다.
캘리포니아주도 AI 독립 평가 체계 법안을 만들었고, OpenAI와 Anthropic이 지지했다. OpenAI는 연방이 의무로 독립 기술 평가를 하는 편이 낫다고 보지만, 연방 정부가 움직이지 않으면 캘리포니아가 기준을 세울 수 있다고 했다.
전문 인력과 연구에는 돈이 든다. 비영리 기관이 쓸 수 있는 자원은 수백억달러를 끌어모으는 대형 AI 기업보다 적다. 별개로 METR 상근 직원이 50명이 안 되기 때문에 대형 기업의 모델을 계속 검증하기에는 사람도 자원도 모자란다는 말이 나온다.
Suresh Venkatasubramanian 브라운대 컴퓨터과학 교수는 "문제는 결국 돈"이라고 말했다. 평가 기관이 지속될 수 있는 재원과 사업 모델을 가져야 한다는 뜻이다. 그는 평가 대상인 기업에서 자금을 받으면 불리한 결과를 공개하기 힘들고, 그 때문에 계약이 중단되거나 자금이 줄면 실제 독립성을 유지하기 어렵다고 설명했다.
평가 기관은 독립성을 지키는 최소 조건으로 기업 내부 평가 수준에 맞먹는 정보 접근권, 보복으로부터의 보호, 기업에 불리한 결과까지 공개할 권리를 요구한다. 업계에서는 외부 평가가 AI 안전 감독 전반을 대신할 수 없다며, 내부 평가와 독립 외부 검증, 정부 감독을 함께 가져가야 한다고 본다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.