Google이 이끈 연구팀이 사용자가 작업하는 영상을 보다가 도움이 필요한 순간을 스스로 판단해 말을 거는 영상 에이전트 StreamVibe를 공개했다. Google, Stanford, Oxford와 미국 여러 대학 연구진이 참여했다. 요리나 가구 조립 같은 작업을 지켜보다가 "어려움이 생기면 도와줘"처럼 막연한 요청에도 반응하도록 설계했다.1
논문은 arXiv에 올라 있으며, 연구진은 실제 환경이 실험 설정보다 복잡할 가능성이 크다고 인정했다. 앞으로는 사용자 선호와 환경이 시간에 따라 서로 어떻게 영향을 주는지 살필 계획이다. 제품 출시 일정이나 요금은 나오지 않았다.1,2
기존 영상 비서의 한계와 StreamVibe의 구성
논문에 따르면 기존 영상 비서는 "물이 끓기 시작하면 알려줘"처럼 분명한 명령에 맞춰 만들어져 말로 드러나지 않은 의도를 잘 읽지 못한다. 이미 끝낸 단계를 추적하지 못해 같은 조언을 반복하거나 늦게 반응하고, 사용자가 중간에 요청을 바꿔도 처음 지시를 고수하는 경우가 많다.
연구진은 일상 생활과 소프트웨어 사용 장면 183시간 이상에서 뽑은 약 4,100개 예시로 벤치마크를 만들었다. Gemini 2.5 Flash가 도움을 줄 시점과 할 말을 제안하면 사람 평가자 네 명이 전원 일치로 승인한 예시만 남겼다. 명확한 지시, 모호한 목표, 시간에 따라 바뀌는 요청의 세 단계를 다룬다. 한 예시에서는 장난감 굴착기를 분해하던 사용자가 진행 상황을 물어보다 3분 뒤 품질 점검 요청으로 바꾼다.
연구진은 Alibaba의 Qwen3.5-9B를 바탕으로 한 것으로 보이는 StreamVibe-VL을 학습시켰다. 이 모델은 1초마다 가만히 있을지 말할지 정한다. 두 번째 학습 단계에서는 강화 학습으로 모델이 더 신중해지도록 해 끊임없이 끼어들지 않게 했다. 별도 메모리 시스템이 처리 대기 중인 요청과 끝난 단계를 추적하지만, 말할지와 무엇을 말할지는 모델이 정한다.1
성능과 한계
연구진은 StreamVibe-VL이 응답 시점과 품질에서 다른 모델보다 10.7% 앞선다고 밝혔다. 메모리 시스템은 능동적 상호작용을 추가로 12.3% 높이고 불필요한 끼어들기를 줄이도록 설계됐다. 기반 모델과 다른 오픈소스 모델은 큰 차이로 앞섰지만 Google의 비공개 모델 Gemini 3.8 Flash가 여러 테스트에서 더 높은 점수를 냈다. 논문은 특화 학습이 일반 영상 이해 능력을 해치지 않았다고 밝혔다.
모델은 특정 순간마다 개입이 적절한지만 판단할 때는 대체로 잘 맞혔다. 그러나 영상 전체를 처리하며 자신의 이전 응답을 이어 가야 하는 연속 운영에서는 오류가 쌓여 테스트한 모든 시스템의 성능이 급락했다. 자기 응답 기록을 바탕으로 한 핵심 내용 지표는 최대 61.5% 떨어졌다. 5분 넘는 영상에서는 모델들이 알맞은 순간을 거의 고르지 못했고, 바뀐 지시를 오래 따라가는 데 특히 약했다. 메모리 시스템은 주로 불필요한 끼어들기를 줄이는 데 기여했다.
논문과 프로젝트 페이지의 GIMP 사진 흑백 변환 튜토리얼에서 비교 모델 JoyAI는 사용자가 열지도 않은 완성 이미지를 이미 저장했다고 말했다. StreamVibe-VL은 알맞은 때에 "Colors", 이어서 "Desaturate"라는 다음 단계를 안내했다. 롤 토스트 잼 레시피에서도 다른 모델은 빵을 납작하게 누르는 화면을 설명하는 데 그쳤지만, StreamVibe-VL은 먼저 빵 껍질을 자르라고 조언했다.
Google은 9월 모델이 어느 장면을 자세히 볼지 스스로 정하는 Gemini 영상 분석을 선보였고, Gemini 4 Argon으로 로봇 영상 속 긴 동작 순서와 오류를 추적하는 모습도 보여 줬다.1
