뉴욕주가 첨단 인공지능 시스템을 기업 발표에만 맡기지 않고 주 차원의 연구센터가 직접 시험하는 체제를 11월 10일(현지시간) 가동했다. Kathy Hochul 주지사는 State University of New York(SUNY) Binghamton University에 뉴욕 AI 책임·연구센터(NYCAIRR)를 두겠다고 밝혔다. 미국 주정부가 운영하는 최초의 AI 시험 프로그램이라는 것이 Engadget의 설명이다.
센터는 뉴욕주 대학과 연구기관의 과학자 80명 이상을 모은다. 컴퓨터과학과 보안 분야의 Greg Morrisett(Cornell Tech)와 Jeannette Wing(Columbia University)이 임시 공동 센터장을 맡는다. 연산 자원은 Hochul 주지사의 5억 달러 규모 민관 사업 Empire AI가 댄다. Hochul 주지사는 보도자료에서 "AI 기업의 말만 믿기에는 걸린 것이 너무 크다"고 말했다.1,2
센터가 하는 일
센터는 최첨단 AI 시스템을 독립적으로 시험하고, 기초 과학 연구를 하며, 차세대 AI 안전 전문가를 길러내는 세 가지 일을 맡는다. 오늘의 AI 안전성을 평가하는 데 그치지 않고, 더 강력해질 시스템을 평가할 과학적 도구와 측정법, 표준도 개발하는 것이 목표다.
연구는 AI 시스템이 어떻게 작동하는지 이해하고, 안전성과 보안을 시험하는 방법을 만들고, 시스템이 의도대로 움직이는지 확인하는 데 집중한다. 과학 발견에 AI를 책임 있게 쓰는 방법도 탐구한다. 센터는 첫 과제 가운데 하나로 전국 단위 인재 영입에 나선다. 분야는 기초 한계와 수리 이론, 형식 검증, 에이전트와 복잡계, 하드웨어 보안과 개인정보, 해석 가능성과 정렬, 과학용 AI와 생물보안이다.
센터는 주정부가 요청하면 정책 수립과 감독에 쓸 전문 지식과 평가, 근거 자료를 제공한다. 우선 새로 생긴 DIGIT 사무국과 협력해, 개발사가 공개한 안전 체계를 검토하고 요건을 강화할 방안을 권고한다. 공동 센터장들은 센터의 과학 의제를 이끌고 독립 평가 작업을 감독하며, 소속 기관에 남아 연구하는 전문가의 주 단위 네트워크를 만든다.2
RAISE Act와 개발사 의무
뉴욕주 RAISE Act에 따라 뉴욕에서 활동하는 모든 첨단 AI 개발사는 안전·투명성 요건을 지켜야 하고, 대형 개발사는 의무가 더 붙는다. 디지털 혁신·거버넌스·무결성·신뢰 사무국(DIGIT)은 새 온라인 창구 RAISE Portal을 열었고, 대형 첨단 개발사는 2027년 1월 1일까지 여기서 주에 등록해야 한다.
1월부터 대형 개발사는 자사 웹사이트에 안전 체계를 게시해야 한다. 모든 첨단 개발사는 중대한 안전 사고를 보고하고 모델 투명성 보고서를 공개해야 한다. 중대 안전 사고는 72시간 안에 보고해야 하며, 주정부는 이를 미국에서 가장 강한 요건이라고 설명했다. DIGIT은 개발사 요건을 정리한 웹사이트도 냈다. DIGIT 사무국은 Hochul 주지사가 설치했으며, 뉴욕주 금융서비스국(DFS)이 이 사무국을 통해 RAISE Act 시행을 이끈다. Kaitlin Asrow DFS 직무대행 국장은 센터와 긴밀히 협력하겠다고 밝혔다.2
재원과 한계
센터는 1월에 처음 발표됐다. Bloomberg LP 공동 창업자이자 Binghamton 동문인 Tom Secunda가 이끄는 기부자 모임의 3,000만 달러 기부, SUNY의 초기 연구 투자 2,500만 달러, 주정부의 운영 자금이 재원이다. Secunda는 Empire AI 이사회 의장이기도 하다. 주지사는 앞으로 몇 달간 RAISE Act를 보강할 방안을 계속 살피겠다고 밝혔다.2
Engadget은 이 프로그램이 AI 기업이 공개한 정보만 연구할 수 있다는 점을 약점으로 짚었다. RAISE Act는 아직 출시되지 않은 모델의 빈틈은 메우지 못하지만, 기업이 더 많이 공개하도록 강제하기는 한다는 평가다.1