DreamGaussian4D：高效4D动画生成，生成时间从几小时缩短至几分钟

“DreamGaussian4D: Generative 4D Gaussian Splatting”

简介

DreamGaussianHD用于静态生成

DreamGaussian是一个用于图像到3D生成的模型，但是原始版本存在一个问题，就是在生成静态模型的未见区域时会引入显著的模糊，这会对后续的动态优化过程产生不利影响。为了解决这个问题，研究者们设计了一种改进的实现方法，称为DreamGaussianHD，它可以可靠地提高图像到3D生成的质量，虽然会增加一定的优化时间。

多视角优化

DreamGaussian在SDS优化过程中通常只对参考视图进行采样，这导致优化和收敛不平衡。通过增加每次优化步骤中采样的视图数量（批处理大小），可以显著缓解这个问题。例如，采样16个视图可以在3D高斯分布的未见区域生成高质量的几何形状。然而，这种方法会增加SDS计算的内存使用量并延长优化时间。

修复底色

3D图像扩散模型通常使用白色背景渲染训练对象，而黑色背景会引入噪声，导致模糊。为了获得更精细的结果，DreamGaussian在背景颜色上采样白色。

高斯变形用于动态生成

生成驱动视频

本文提出了一种新的图像到4D生成方法，与其他方法不同的是，它使用任何描绘输入图像的视频进行显式监督。该方法不依赖于视频扩散模型，因此可以选择质量更高、具有更好时间一致性和运动的视频，从而实现更好的可控性和多样性。作者使用了现成的稳定扩散视频生成器来生成视频。

静态到动态初始化

为了将静态的3D高斯分布转化为动态的4D高斯分布，使用变形网络来预测每个高斯分布在时间戳下的位置、旋转和缩放的变化。为了避免随机初始化变形网络导致动态和静态模型发散，初始化变形模型以预测零变形。为了实现梯度反向传播，引入跳跃连接到预测头中。

变形场优化

通过优化变形场来实现从参考视角到整个3D模型的运动传播，并利用Zero-1-to-3-XL来预测未见部分的变形。在训练过程中，采样多个视角以保持时序一致性。由于静态模型初始化，可以在较低的噪声水平下开始SDS。

视频到视频纹理优化

本文介绍了一种视频重建方法，通过提取每一帧的网格来实现，但这些网格缺乏时间关联，因此采用了视频到视频的流程来增强UV空间纹理映射并保持时间一致性。该流程包括合成相机轨迹、渲染视频、引入噪声和使用图像到视频扩散模型来转换噪声视频为干净的视频。最后，通过计算MSE损失并反向传播来改善所有时间步骤的纹理映射。