一张图片=一段动画（Stable Diffusion进阶篇：AnimateDiff动画插件3）

在前两篇关于AnimateDiff的笔记中学习了一些简单的操作和参数的相关知识点，而今天的文章作为AnimateDiff部分的最后一篇，则是要学习一些进阶的操作。

不废话直接进入正题。

图片生成视频：

找一张比较喜欢的图片丢进图生图区域：

然后和之前的两篇文章一样在下方进行AnimateDiff的参数设置，为了确保动画风格和原图一致，这里必须选一个风格相近的大模型。

与此同时重绘幅度最好在0.75以上，其他参数可以参考下图：

总帧数16、帧率8、插值次数3、帧插值FILM。

与此同时在提示词中也可以加入一些来描述画面的提示词，尤其是有关画面运动和变化的例如翻动的裙摆fluttering skirts，移动的云层moving clouds,飞舞的花瓣flying petals。

这样一来就完成了一个简单的图生视频操作，其实最简单的可以是先在文生图中生成一个想要绘制的图片，然后再放到图生图中进行上面的操作。

这个要做成动画的图片也不一定是得AI画出来的，也可以用现实拍摄的照片。而且AnimateDiff也不仅可以生成插画风格的图片，真实照片风格的也可以。

不过目前这种图生动画有一个问题，就是生成出来的东西有的时候和原图不太像。

这也是因为导入后的图片会经过一次SD的图生图，然后再到AnimateDiff制作动画。

再者可能有同学发现了动画到最后部分会变得和原图越来越不像，这也是因为AnimateDiff会随着时间推移向图片添加噪声来促使图片“动起来”。

当然这个也有解决方案：

这个Latent power和Latent scale就是用来协助控制动画基于原图变化的幅度：Power越小Scale越大：动画基于原片演化的幅度就越小，反之幅度越大。

因为这个参数对图像的影响和时间（帧数）相关，且这个是指数性的。

如果想让动画和原图更像，那么把重绘幅度调到0.6-0.7，power降低到0.8-0.9，Scale提高到48-64，并且总帧数不要超过16。

但是这么做会让动画受到一定的限制，就是看起来好像没怎么动一样。

‍当然如果只是想要让图片大概动起来对于像不像没太大执念的话，可以去看一下文末的链接，那里面有其他的详细参数。

‍这个时候可能有小伙伴注意到了AnimateDiff不仅能上传图片还能上传视频：

这个就是可以让一个视频生成为动画，一般推荐去文生图中进行操作。

在视频上传后系统会自动同步视频的总帧数和帧率

如果是跟我一样视频比较长的，最好去用个剪辑软件把帧率降低一下，降到15帧左右比较好。

接下来就是照常写提示词的部分，不过有趣的地方在于可以选择是否要开启Lora。与此同时可以打开ControlNet来进一步控制视频中角色的动作、姿势、形象等，只需要打开ControlNet不需要上传图片：

这样一来点击生成就可以制作出动画了

虽然说和之前学习的视频重绘很像，但是AnimateDiff的特性可以让动画更加连贯，基本上不会有闪烁出现。

如果想要更好的还原视频的话就需要把视频导出为帧序列，然后在图生图中进行批量处理，这里的思路和Mov2Mov一致，感兴趣的小伙伴可以翻翻我之前的笔记：

（Stable Diffusion进阶篇:AI动画-Mov2Move）

这种操作在ComfyUI中进行会更加合适一些。

‍当然AnimateDiff还有一个很厉害的地方，就是视频可以无缝演化变化。

这个要归功于一个很厉害的功能：Prompt Travel

‍在之前我们提到过动图的绘制主要基于输入的提示词决定，如果视频足够长的话可以通过特定的语法结果控制AI在特定的帧数内绘制一组提示词，然后在帧数到达一定数值之后自动切换到另一组提示词上。‍‍‍

例如我先生成一个动图：

然后在正面提示词那里换行输入第二段提示词：

这个0:close eyes代表着第0帧是闭上眼睛的，8:open eyes代表着第八帧睁开眼睛。

这样是不是很好理解，当然还可以进行一些进阶操作： 0: close eyes, worried, no_expressions,

8:open eyes, smile,

16: laughing, looking at viewer,

当然AI是具有随机性的，如果结果不满意还可以把种子随机后多试几次。只要总帧数够长，那这个Travel也能更多样化。

可以复制粘贴一段原教程UP给的提示词：

best quality,masterpiece,1girl, upper body,detailed face, looking at viewer, outdoors, upper body, standing, outdoors,

0:(spring:1.2), cherry blossoms, falling petals, pink theme,

16:(summer:1.2), sun flowers, hot summer, green theme,

32:(autumn:1.2), falling leaves, maple leaf, yellow trees, orange theme

48:(winter:1.2), snowing, snowflakes, white theme,

负面：nsfw,(worst quality:2),(low quality:2),(normal quality:2), lowres, watermark,

总帧数改为60且重叠为2

这样就能生成一段一年四季的动画了。

目前还有一些其他的东西可以结合AnimateDiff使用，主要是一些辅助组件例如Motion LoRA。

这个Motion LoRA是AnimateDiff的开发者们额外训练的一系列可以辅助控制镜头运动轨迹的LoRA模型。

https://huggingface.co/conrevo/AnimateDiff-A1111/tree/main/lora

一共有八个motion LoRA，对应不同方向的移动和旋转缩放，用的时候就像用普通的LoRA一样加入提示词即可，下载放置的地方也和普通LoRA一致。

但是有几点也需要注意，如果想要塑造镜头的位移变化，那么闭环里面最好选N

其次这些LoRA是基于V2模型训练的，所以也只能搭配V2的运动模型使用（此前的演示什么的都是V3模型）。

还有一点是Motion LoRA有时可能会出现明显的素材水印，目前作者推荐适当减低LoRA权重可以降低水印出现的概率。

V3版本的运动模型出现的时候作者也更新了一个Domain Adapter的域适配器LoRA，这是一个在视频的“静态帧”上训练的模块，作用于在让生成专注运动部分的建模。

这个模型可以让动画里的动作更加自然，也能消除诸如水印这样的负面特性，不过这个只能搭配V3运动模型使用。高权重下画面会比较稳定，但是也会降低运动的多样性。

---

今天的内容就到这里结束啦！

其实这个AnimateDiff插件的操作并不难，主要是后续自己的不断探索才是最有趣的。

想必现在很多小伙伴学会了如何使用AnimateDiff之后会诞生一些比较不是那么适合说出来的想法。

我首先要说的是互联网不是法外之地。

其次做完请私信我帮你看看，我可以免费帮忙看看有什么需要改进的。

那么大伙就下篇笔记见啦，我自己也要去实践一番了。

best quality,masterpiece,1girl, upper body,detailed face, looking at viewer, outdoors, upper body, standing, outdoors,

Negative prompt: nsfw,(worst quality:2),(low quality:2),(normal quality:2), lowres, watermark,

• Steps: 30
• Sampler: Euler a
• CFG scale: 7
• Seed: 2524737395
• Size: 512x512
• Model hash: e4a30e4607
• Model: majicmixRealistic_v6
• Denoising strength: 0.7
• ENSD: 31337
• Hires upscale: 2
• Hires upscaler: R-ESRGAN 4x+
• Version: v1.7.0

本篇部分参考素材来源

原教程链接(进阶玩法参数)：

https://www.bilibili.com/video/BV1zS421A7PG/?spm_id_from=333.1007.top_right_bar_window_history.content.click&vd_source=f18a24315a35799d8d1912ad50652d90

Motion LoRA下载链接：

https://huggingface.co/conrevo/AnimateDiff-A1111/tree/main/lora