SIGGRAPH 2024：3D生成式AI的新篇章
引言
在计算机图形学的全球学术顶会SIGGRAPH 2024上，我们见证了一系列关于3D生成式AI技术的突破性进展。这些技术不仅推动了学术界的研究，也为产业界带来了新的发展机遇。本文将深入探讨这些技术的发展趋势、相关产品、技术分类、发展方向以及新功能。
SIGGRAPH 2024亮点回顾
上海科技大学MARS实验室的突破
上海科技大学MARS实验室的团队在SIGGRAPH 2024上取得了显著的成就，其研究成果《CLAY: A Controllable Large-scale Generative Model for Creating High-quality 3D Assets》获得了最佳论文荣誉提名。该研究团队使用生成模型的方法，开启了将想象力直接转化为复杂3D模型的新路。
NVIDIA的最新进展
NVIDIA在SIGGRAPH 2024上展示了其在渲染、仿真和生成式AI领域的多项最新进展。其中包括两项获得最佳技术论文奖的研究成果，以及与多家大学和公司合作的创新项目。
浙江大学周昆教授的荣誉
浙江大学计算机科学与技术学院的周昆教授因其2013年的论文《3D Shape Regression for Real-Time Facial Animation》荣获SIGGRAPH 2024的时间检验奖。该论文介绍了一种利用单目RGB摄像头进行实时、精确3D人脸跟踪和表演捕捉的开创性方法。
3D生成式AI的技术分类
2D升维 vs 原生3D
3D生成技术主要分为两类：2D升维和原生3D。2D升维是通过2D扩散模型结合NeRF等方法实现三维重建的过程，而原生3D则是直接从3D数据集训练生成模型。
生成模型的技术细节
CLAY模型采用了定制的数据处理流程和高效的3D表达方式，包括3DShape2VecSet中的神经场设计和多分辨率几何VAE等。此外，CLAY还引入了渐进式训练方案和极简的潜在扩散Transformer（DiT）。
3D生成式AI的应用场景
数字人、虚拟现实和增强现实
3D生成式AI技术在数字人、虚拟现实和增强现实领域有着广泛的应用前景。通过生成高质量的3D模型，可以极大地提升用户体验。
工业设计和制造
在工业设计和制造领域，3D生成式AI可以帮助设计师快速创建复杂的3D模型，并进行高效的仿真和优化。
医学和生物科学
3D生成式AI在医学和生物科学领域的应用也非常广泛，例如在药物发现和蛋白质折叠预测方面，可以提供先进的解决方案。
新功能和发展方向
控制生成内容的复杂性
CLAY模型通过3D ControlNet，可以控制AI生成的形状，仅需提供简单的几何元素作为指导，就可以将其转换为体素，并根据参考图片的语义信息将其转换为所需的3D资产。
支持多种输入模态
CLAY模型支持多种输入模态，包括文本、图像/草图、体素、多视图图像、点云、边界框和带有边界框的部分点云等。
高效的微调能力
CLAY模型还支持在DiT的注意力层上进行Low-Rank Adaptation（LoRA），允许高效的微调，使生成的3D内容能够针对特定风格。
结语
SIGGRAPH 2024展示了3D生成式AI技术的最新进展，这些技术不仅在学术界引起了广泛关注，也为产业界带来了新的发展机遇。随着技术的不断进步，我们有理由相信，未来的3D生成式AI将更加智能化、高效化，并在更多领域发挥重要作用。