腾讯开源视频运动控制器MotionCtrl,可有效控制AI视频中人物运动轨迹
之前给大家介绍过《 腾讯开源视频运动控制器 MotionCtrl》,这是一个可以用于控制 AI 生成视频中物体的运动路径的控制器,近期官方又上架了 MotionCtrl+SVD,让大家可以控制 SVD 生成视频时的镜头移动,支持多种模式组合,不过目前实现的效果只是移动镜头。今天就一起来看看如何使用吧!
GitHub 地址:https://github.com/TencentARC/MotionCtrl
MotionCtrl+VideoCrafter 的 Demo 地址:https://huggingface.co/spaces/TencentARC/MotionCtrl
MotionCtrl+SVD 的 Demo 地址:https://huggingface.co/spaces/TencentARC/MotionCtrl_SVD
如何使用 MotionCtrl+SVD?
其实官方已经给出了教程,如果网络条件许可,大家可以去查看官方教程。
教程地址:https://github.com/TencentARC/MotionCtrl/blob/svd/doc/tutorial.md
第一步. 挑选你的图片
- 上传图片,可通过拖拽或点击“上传图片”;
- 点击
Center Crop To 576x1024(裁剪至 576x1024)
或Keep original spatial ratio(保持原始宽高比)
来选择图片缩放模式。您将得到一张处理过的图片,并进入下一步。
Center Crop To 576x1024(裁剪至 576x1024)
: MotionCtrl 是在尺寸为 576x1024 的图片上进行训练的。选择“中心裁剪至 576x1024”可以获得更优质的生成视频。Keep original spatial ratio(保持原始宽高比)
: 如果您希望生成与输入图片相同宽高比的视频,请选择“保持原始宽高比”。
第 二 步:自定义运动轨迹
- 基础运动轨迹:包括 8 种基本运动轨迹,如向上平移、向下平移、放大和缩小。
- 提供复杂的运动轨迹:从真实视频中提取的复杂运动轨迹。
- 自定义运动轨迹:您可以通过组合或融合八种基本运动轨迹中的任意两种或输入原始 RT 矩阵来自定义复杂运动轨迹。
点击 Proceed
进入下一步
基础运动轨迹
复杂的运动轨迹
自定义运动轨迹
在该模式下提供了 3 个子模式。
- Customized Mode 1: First A then B( 定制模式一:先 A 后 B )
- Customized Mode 2: Both A and B( 定制模式 2:A、B 皆可 )
- Customized Mode 3: RAW Camera Poses( 自定义模式 3:RAW 相机姿势 )
定制模式一:先 A 后 B
-
基于 8 个基本相机姿势,您可以拾取基本姿势 A 和基本姿势 B。然后您可以获得首先作为姿势 A,然后作为姿势 B 的相机运动。
-
例如,如果选择
Pan Left
作为姿势 A,Zoom In
作为姿势 B,您将首先看到相机向左平移,然后看到相机放大。
定制模式 2:A、B 两者
-
基于 8 个基本相机姿势,您可以拾取基本姿势 A 和基本姿势 B。然后您可以获得语义上作为姿势 A 和姿势 B 的相机运动。
-
例如,如果选择
Pan Left
作为姿势 A,选择Zoom In
作为姿势 B,您将看到相机以左平移和放大的组合移动(类似于矢量相加)。
自定义模式 3:RAW 相机姿势
第三步:生成视频
调整 fps
、num
、seed
,然后单击 Start generation
生成视频
效果:
目前也已经有开发者将 MotionCtrl 迁移到 ComfyUI,大家可以在本地的 ComfyUI 上使用 MotionCtrl。