Google DeepMind, 오디오 넣은 월드 모델 Genie 4 공개, 장면 유지 2분

Google DeepMind가 10월 27일(현지시간) 월드 모델 Genie 4를 발표하고, 신뢰 테스터(trusted testers)를 대상으로 연구 프리뷰 출시를 시작했다. 텍스트 프롬프트로 장면을 실시간으로 바꾸고 주변 소리와 음악, 대사까지 함께 생성하는 모델이다.^1,2,3

일반 사용자는 Google AI Ultra 구독자를 대상으로 Project Genie에서 먼저 쓸 수 있게 된다. 개발자는 Gemini API와 Google AI Studio의 초기 접근 파트너부터 이용한다. Google은 두 경로 모두 "곧" 열린다고만 했고, TechCrunch는 앞으로 몇 주 안에 확대된다고 전했다. Project Genie 대기 명단은 이미 열려 있다.^2,3,4

Ars Technica에 따르면 소비자 접근은 단계적으로 열리며, 가장 비싼 AI Ultra 요금제(월 100달러부터)에서 시작한다. 이 매체는 이후 AI Pro와 AI Plus로 확대될 수도 있다고 썼다. 제공은 Project Genie를 통해 이뤄지므로 이용자가 할 수 있는 범위가 제한된다고 Ars는 전했다. 개발자용 가격은 아직 나오지 않았다.⁵

Genie 4에 추가된 기능

Genie 4는 DeepMind가 처음 내놓는, 오디오를 직접 생성하는 실시간 월드 모델이라고 회사는 밝혔다. 바람 소리나 파도 소리 같은 환경음, 음악, 그리고 사용자의 입력이나 월드 안 사건에 반응하는 대화가 장면과 함께 만들어진다. Ars Technica는 프롬프트로 오디오 요소를 지정할 수 있다고 전했다.^2,5

사용자는 키보드로 이동과 카메라를 조작하면서 자연어로 날씨를 바꾸거나 인물과 사물을 추가한다. Gemini가 입력을 주변 장면에 맞게 조정하고, 입력이 없는 동안에도 장면이 어색하지 않게 진행되도록 살핀다. 공기역학과 충돌 같은 물리 현상의 재현이 나아졌고, 인물은 움직임이 자연스럽고 환경에 반응하며 실시간으로 조종할 수 있다는 것이 DeepMind의 설명이다.²

일관된 장면을 유지하는 시간은 최대 약 2분으로, 이전 모델 Genie 3의 1분보다 두 배 길다.^3,4

Gemini가 장면을 감독하는 구조

Genie 4는 Gemini 계열의 능력을 바탕으로 한다. Gemini Omni가 실제 세계의 외형과 행동에 시뮬레이션을 맞추고, 다른 Gemini 모델이 장면의 일관성과 연속성을 유지하는 데 필요한 추론을 맡는다.

실시간 처리에서는 Gemini 3.8 Flash가 안내 에이전트로 참여한다. Genie 4가 월드를 만드는 동안 Gemini가 장면을 계속 관찰하며 목표를 단계로 쪼개고, 들어오는 프레임을 검토해 각 단계의 성공 여부를 확인한다. 월드가 바뀌거나 사용자가 개입하면 계획을 그 자리에서 고친다.²

DeepMind는 Gemini 4 Argon과 Genie 4를 묶어 Gemini Robotics 연구와 잇는 실험도 하고 있다. Argon이 사용자가 지시한 작업을 단계로 나눠 텍스트 캡션으로 넘기면 Genie 4가 그에 맞춰 시뮬레이션을 그리고, 작업이 끝날 때까지 장면을 조정한다. TechCrunch는 이를 로봇 시나리오를 현실에 옮기기 전에 시뮬레이션에서 시험하는 방법으로 소개했다.

DeepMind는 앞으로의 방향으로 코드와 언어 모델의 구조적 추론에 픽셀 단위 시뮬레이션을 합친 하이브리드 월드 모델을 꼽았다. Gemini가 구조와 서사 흐름을 짜고 Genie가 눈앞의 물리적 현실을 그려 내는 방식이다. Google 연구 디렉터 Tejas Kulkarni는 브리핑에서 Gemini가 코드와 텍스트를 쓰고 Genie가 이를 실시간으로 받아 다양한 추상화 수준에서 현실을 시뮬레이션하는 모델이 늘어날 것이라고 말했다.^2,3

테스터 활용 사례와 한계

DeepMind는 창작, 저널리즘, 교육, 게임, 엔지니어링 분야 테스터와 협업했다. 영화 제작자는 장면 안에 들어가 카메라 각도, 조명, 대사, 동작을 바꿔 가며 여러 테이크를 실시간으로 시도했다. 사진기자는 기록 사진 한 장을 몇 초 만에 해당 공간의 시뮬레이션으로 바꾸는 방법과, 홍수나 산불 같은 단기 환경 사건의 전개를 시각화하는 방법을 시험했다.²

게임 개발자는 엔진 코드를 한 줄도 쓰기 전에 자연어 프롬프트로 시각 스타일과 상호작용 규칙을 시험해 탐색 가능한 프로토타입을 만들었다. 여러 산업의 기업 파트너는 시나리오를 빠르게 처음부터 만들어 내는 도구로 평가하면서 부족한 점을 찾고 있다. DeepMind 엔지니어 Diego Rivas는 아이디어 구상과 스토리보드 단계처럼 창작의 흐름을 유지해야 할 때 실시간성이 가장 값지다고 말했다. 장기적으로는 Gemini Omni로 프로토타입을 창작 자산으로 바꿀 수 있겠지만 아직 먼 이야기라고 덧붙였다.

DeepMind는 Genie 4가 초기 실험 단계의 모델이라고 밝혔다. 시뮬레이션이 오래 이어질수록, 복잡한 프롬프트 수정을 여러 번 거칠수록, 장면 안을 돌아다닐수록 시각적 세부와 사물의 지속성이 흐트러질 수 있다. 복잡한 물리 상호작용, 실시간 오디오 정확도, 읽을 수 있는 글자 렌더링, 공간 정확도, 장기 일관성은 아직 연구 중이다. Rivas는 최종 제품 형태도 정해지지 않았다고 말했다.^2,3

안전 면에서 DeepMind는 다른 모델과 같은 안전 정책에 맞춘 엄격한 가드레일을 적용했고, 프리뷰 공개 전에 내부 안전 평가를 거쳤다고 밝혔다. Genie 4가 만든 모든 영상과 오디오에는 AI 생성물을 식별하는 워터마크 SynthID가 들어간다.²

경쟁 환경

TechCrunch에 따르면 Runway가 두 달쯤 전 오디오 생성을 포함한 두 번째 월드 모델 GWM Worlds 2를 내놓았다. 같은 매체는 Fei-Fei Li의 World Labs를 AMD가 인수하는 중이고, Amazon이 Decart 인수를 협의하며, Rivian이 자율주행 테스트용 시뮬레이션을 내재화하려고 Third Dimension을 인수했다고 전했다.³

Genie 3는 1년 남짓 전 연구 프리뷰로 나왔고, Ars Technica에 따르면 Project Genie 웹 체험 밖으로는 확대되지 않았다. Genie 4는 신뢰 테스터 프리뷰 이후 Project Genie의 Ultra 구독자와 Gemini API·AI Studio의 초기 접근 파트너로 제공 대상이 넓어질 예정이다. The Verge 기자는 아직 직접 써 보지 못했다고 밝혔다.^2,3,4,5