Microsoft, 코드로 영상 장면·움직임 제어하는 코드 비디오 모델 공개

Microsoft 연구진이 영상 속 장면과 물체의 동선, 카메라 경로를 프로그램 코드로 정하는 '코드 비디오 모델(Code Video Model)'을 11일(현지시간) 공개했다.

모델 가중치와 관련 코드는 Hugging Face와 GitHub로 제공된다.

CodeVideoBench 점수

연구진은 자체 벤치마크 CodeVideoBench로 기존 학습 기반 모델 중 최고 성능으로 꼽힌 VACE와 비교했다. MiniMax-H3와 결합한 코드 비디오 모델은 세 평가 모델 모두에서 VACE보다 높은 점수를 받았다.

CodeVideoBench는 게임, 장면 편집, 물리 기반 움직임, 불릿 타임 효과, 3D·4D 재구성 등을 포함한 활용 사례를 평가한다.

영상이 만들어지는 과정

먼저 코딩 에이전트가 입력된 프롬프트를 읽고 영상 엔진 역할을 할 프로그램을 작성한다. 이 코드가 물체의 배치와 이동 순서, 시점, 카메라가 지나갈 길을 정한다. 물체의 동작은 코드 안에서 물리 방정식으로 계산하고, 코드를 실행하면 프록시 비디오와 참조 이미지가 나온다. 프록시 비디오는 완성본이 나오기 전에 구도와 동작을 미리 보는 영상이며, 제작에는 1분 이내가 걸린다.

참조 이미지는 대표 프레임을 골라 스타일을 손봐 만들며, 미리보기 영상의 정보와 함께 생성 초기 단계에 들어간다. 마지막으로 사전 학습된 R2V(Reference-to-Video) 모델이 프록시 비디오에서 구조를, 참조 이미지에서 겉모습을 가져와 세부가 살아 있는 최종 영상을 완성한다.

프록시 비디오를 끝까지 조건으로 걸어 두면 최종 영상이 밋밋하고 단조로워질 수 있다. 연구진은 이 문제를 해결하려고 별도 학습 없이 적용할 수 있는 초기 단계 조건화(early-step conditioning) 기술을 도입했다. 샘플링 초반에만 프록시 비디오를 조건으로 쓰고 이후 단계에서는 빼는 방식이다. 초반에는 장면 구조와 움직임이 유지되고, 후반에는 참조 이미지의 외관과 화질이 살아난다.

기존 방식과의 차이, 연구진의 설명

기존 비디오 확산 모델은 사실적인 영상을 내놓지만 물체 배치와 동작, 카메라 궤적을 모델이 안에서 정해 버려 사용자가 세부를 바꾸기 어렵다. 코드 비디오 모델은 장면 요소가 코드로 드러나 있어 한 물체의 동작이나 카메라 동선만 따로 수정할 수 있다.

연구진은 코드 기반 영상 생성이 3D·4D 재구성, 로봇 시뮬레이션, 월드 모델 학습 데이터 생성 등으로도 확장될 수 있다고 설명했다.