近期中国科学院大学的研究团队和腾讯游戏数字内容技术中心合作在NeurIPS 2022上发表论文[1]，提出一种混合符号和距离场（HSDF）的三维隐式场表示，并提出了围绕这种表示的神经网络算法和网格提取等算法，从而最终实现了兼具广泛的形状表示能力，以及便捷的三维网格提取能力，并在Github和GitLink上开源了基于计图Jittor的实现代码。

Part 1

研究问题与背景

相比于传统的三维表示方式，深度隐式场表示基于深度带符号距离场（SDF）实现了更高质量且更灵活的三维建模。但SDF将空间划分为物体内外两个部分，只适合表征封闭的三维模型。现有的一些基于深度神经网络的无符号距离场 (UDF) 的工作[2,3] 不含物体内外划分的定义，从而使得更加广泛的三维表面的表示成为可能，诸如薄片类型的开曲面。

为解决上述问题，研究团队提出了一种新颖的可学习隐式表示，可以表示包含封闭和开放表面的复杂几何，同时兼容已有的经典等值面提取方法。提出方法的结果如图一所示：

图1 HSDF效果展示

在HSDF执行网格表面提取之前，研究团队采用与NDF工作[2]类似的方法从UDF梯度场生成表面点来定位隐式场刻画的潜在目标表面。之后通过将无符号距离场与符号场相乘来创建HSDF场，并通过带掩码的自适应网格划分算法来提取包含封闭和开放表面的复杂网格。

但是由于开曲面的符号在表面不连续的区域会有突变，HSDF场可能在远离表面的区域不连续，因而研究团队提出将HSDF的学习分解为两个更简单的子任务，每个子任务都用神经网络的一个分支学习一个连续函数。依据这种方式研究团队提出了HSDF-Net，它用相同的输入和不同的神经网络分支，分别学习无符号距离和符号场。研究团队还提出了一种融合框架，用以在推理时融合预测距离和符号场。另外，团队还提出了一种基于自适应掩码的Marching Cubes算法，用来从HSDF中提取具有灵活分辨率的高质量网格。

图2 HSDF-Net架构

该方法中的HSDF-Net包含三个组件：共享权重的形状编码器、距离预测器和符号预测器。形状编码器以多尺度方式从输入稀疏点云中提取特征，然后将编码得到的多尺度的形状编码和查询点输入到图二中的符号和距离预测器中，得到符号预测和距离预测。HSDF表达式为

图4 网格提取算法的二维实例

融合的HSDF使我们能够使用高效的网格划分方法。基于融合的HSDF，团队提出了一种带掩码的自适应Marching Cubes算法。该算法先根据距离函数的梯度将网格点分别推到面（绿色轮廓线）上对应的最近点的位置，确定出如图四中红色加粗框的区域用作掩码，然后利用Marching Cubes方法重建出带有开曲面的三维网格模型。

结果展示与计图开源

通过实验，验证了HSDF在从稀疏点云中重建3D形状方面的有效性，并证明HSDF可以重建出与SOTA相当的watertight的形状。然后我们展示了我们的方法在重建带有内部结构的复杂形状（如汽车）方面。在质量和速度方面均优于SOTA技术，如表1所示，相比于NDF, HSDF能够更快地重建单层的网格，并且消耗的存储更少。团队的方法实现了比NDF更高的表面重建质量和更一致的表面法线朝向。所有结果都以等效的分辨率重建。

表1 和NDF在存储和计算效率上的对比

图5则展示了多种方法的复杂形状的形状重建比较，深褐色区域代表背面。(b)是通过DISN[4]预处理的封闭曲面版本，这会擦除内部结构并封闭开放表面，这是一个比较大的限制；而在NDF[2]上使用BPA算法重建网格(c)，因为BPA对参数敏感，导致结果质量不好且非常耗时；研究团队的HSDF(d)重建保留了薄片结构，效果最好，证明了方法的有效性。

图5 重建效果对比展示

计图（Jittor）是清华大学开源的自主深度学习框架[5]，完全基于动态编译，采用元算子融合和统一计算图的新技术，并支持国产硬件。元算子易于使用，便于算子的开发和优化，而统一计算图则是融合了静态计算图和动态计算图的诸多优点，在易于使用的同时提供高性能的优化。该方法基于计图实现代码已在Github和Gitlink上开源：

https://github.com/IGLICT/HSDF-Net

https://gitlink.org.cn/IGLICT/HSDF-Net

http://geometrylearning.com/hsdf

2) Julian Chibane, Aymen Mir, and Gerard Pons-Moll. Neural unsigned distance fields for implicit function learning. NeurIPS, 2020.

3) Rahul Venkatesh, Sarthak Sharma, Aurobrata Ghosh, Laszlo Jeni, and Maneesh Singh. Dude: Deep unsigned distance embeddings for hi-fidelity representation of complex 3d surfaces. arXiv preprint arXiv:2011.02570, 2020.

4) Qiangeng Xu, Weiyue ‍Wang, Duygu Ceylan, Radomír Mech, and Ulrich Neumann. DISN:‍‍deep implicit surface network for high-quality single-view 3d‍‍‍reconstruction. NeurIPS, 2019.

5) Shi-Min Hu, Dun Liang, Guo-Ye Yang, Guo-Wei Yang and Wen-Yang Zhou, Jittor: a novel deep learning framework with meta-operators and unified graph execution, Science China Information Science, 2020, Vol. 63, No. 12, 222103.

1.  计图开源：基于多任务强化学习的流固耦合仿真任务控制

2. 计图开源：刘玉身团队发表IEEE TPAMI论文，提出雪花反卷积网络

3. 计图开源：降低40%标注代价！只需水平标注的旋转目标检测新框架H2RBox

4. CVMJ新增两篇ESI高被引论文，两篇论文入选热点论文

5.  计图成功适配华为昇腾AI处理器、亮点特性先睹为快！