실시간 영상 속에서 AI 어시스턴트가 필요한 도움을 미리 내다보고 개입 시점까지 판단하는 능력을 재는 벤치마크 P3IBench가 제안됐다. 관련 논문은 논문 사이트 arXiv에 2026년 10월 15일 게재됐다.
P3IBench는 실생활 스트리밍 시나리오를 대상으로 하며, 일상 장면을 인식하는 능력, 위험을 예측하는 능력, 실제로 개입하는 능력의 세 가지를 평가한다. 연구진은 오픈소스와 상용 영상 이해 모델 12종을 시험했고, 여기에는 스트리밍 방식 시스템과 비스트리밍 모델을 개조한 시스템이 포함됐다.
연구진은 최근 멀티모달 대규모 언어 모델이 영상 이해에서 발전했지만, 기존 벤치마크는 이미 관찰한 시각 내용을 모델이 해석하는지를 주로 평가한다고 지적했다. 실제 환경의 어시스턴트는 어떤 도움이 필요할지 예상하고 언제 줄지도 정해야 한다는 것이다.
평가 결과, 현재 모델은 대응할지 여부를 정하는 결정을 잘 보정하지 못했다고 연구진은 밝혔다.
연구진은 능동적 도움을 위한 학습 데이터를 추가로 만들어 P3I-Assistant-4B 모델도 훈련했다. 이 모델은 여러 과제에서 성능이 향상됐지만, 능력별로 향상 폭은 고르지 않았다. 연구진은 효과적인 능동 지원에 시각 이해뿐 아니라 정확한 대응 시점과 적절한 자제가 필요하다고 결론 내렸다.
출처
이 기사는 아래 자료를 바탕으로 정리했습니다. 제목을 누르면 원문이 새 창으로 열립니다.