三维高斯泼溅进展综述 | CVMJ Spotlight
中国科学院计算技术研究所高林研究员团队、VAST首席科学家曹炎培博士和加利福尼亚大学圣芭芭拉分校闫令琪助理教授在Computational Visual Media上发表综述论文[1]，系统性地介绍了近期三维高斯泼溅领域的研究进展，涵盖了基于三维高斯泼溅表示的三维重建、三维编辑和其他下游应用，并总结了三维高斯泼溅、隐式场和网格等三维表示的优劣。
研究背景
三维高斯泼溅发展进程
图1 研究工作分类图
除此之外，该综述还以时间轴和树状图的形式整理了各个分类的代表性工作（参见图2和图3），以方便研究工作者可以根据自己的研究兴趣和研究方向进行选择性和针对性的阅读，帮助他们更好地了解三维高斯泼溅的研究。
图2 各个分类代表性工作时间轴
图3 各个分类代表性工作树状图
此外，三维高斯泼溅作为一种新的三维表示方式，其与现有的三维表示例如神经辐射场的对比也是一个值得探讨的问题。为此，本综述将不同任务中基于神经辐射场和基于三维高斯泼溅的代表性工作进行了对比，总结它们优缺点。具体量化的对比结果参见表1和表2。
表1 基于神经辐射场和三维高斯泼溅的代表性工作在MipNeRF360[2]数据集的对比表
表2 基于神经辐射场和三维高斯泼溅的代表性工作在D-NeRF[3]数据集的对比表
挑战与未来发展方向
鲁棒且具备泛化能力的新视角合成。尽管三维高斯泼溅在新视角合成方面已经取得了逼真的效果，但在处理诸如稀疏视角输入、复杂阴影效果和大规模场景等具有挑战性的输入时，其重建质量会有所下降。如何提高其在不同输入上的重建鲁棒性是一个重要问题。
几何重建。尽管在渲染质量方面三维高斯泼溅已经达到逼真的效果，但只有较少的方法使用三维高斯泼溅表示进行几何重建。与神经辐射场和隐式场等连续隐式表示相比，三维高斯泼溅的几何质量仍受到其离散几何表示的影响。
独立且高效的三维编辑。已有一些方法探索了三维高斯泼溅几何、纹理和光照的编辑。然而，它们无法准确分解几何、纹理和光照，或者需要重新优化高斯属性。因此，这些方法仍然缺乏独立编辑能力或在编辑过程中缺乏效率。通过更先进的渲染技术提取几何、纹理和光照以促进独立编辑，并建立三维高斯泼溅与基于网格的表示之间的联系以实现高效编辑，是一个很有前景的方向。
逼真的四维生成。在基于扩散模型的SDS损失的帮助下，使用三维高斯泼溅表示的生成模型已经产生了真实的结果。然而，当前方法生成的四维结果仍然缺乏逼真的几何、外观和物理真实的运动。整合视频生成模型和物理定律生成的数据先验可能会提高生成的四维内容的质量。
平台。大多数实现三维高斯泼溅表示的方法和框架都是用支持CUDA的PyTorch框架编写的，这可能会限制其在更广泛平台上的适用性。用Tensorflow和Jittor等深度学习框架重构它，可以促进其在其他平台上的使用。
Tong Wu, Yu-Jie Yuan, Ling-Xiao Zhang, Jie Yang, Yan-Pei Cao, Ling-Qi Yan, Lin Gao, Recent Advances in 3D Gaussian Splatting. Computational Visual Media, Vol.10, 2024.
Jonathan T. Barron, Ben Mildenhall, Dor Verbin, Pratul P. Srinivasan, Peter Hedman, Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields, CVPR, 2022.
Albert Pumarola, Enric Corona, Gerard Pons-Moll, Francesc Moreno-Noguer, D-NeRF: Neural Radiance Fields for Dynamic Scenes, CVPR, 2020.
吴桐，中国科学院计算技术研究所博士生，研究兴趣包括计算机图形学和几何建模。
袁宇杰，中国科学院计算技术研究所博士生，研究兴趣包括计算机图形学和几何建模。
张凌霄，中国科学院计算技术研究所工程师，研究兴趣包括计算机图形学和三维计算机视觉。
杨洁，中国科学院计算技术研究所助理研究员，研究兴趣包括计算机图形学和几何建模。
曹炎培，VAST首席科学家，博士毕业于清华大学，研究兴趣包括计算机图形学和计算机视觉。
闫令琪，加利福尼亚大学圣芭芭拉分校助理教授，研究兴趣包括计算机图形学和实时渲染。
高林，中国科学院计算技术研究所研究员，研究兴趣包括计算机图形学和几何建模。
