计图开源：三维点云配准算法库（JPCR）

2024/10/10 Tutorial

计图开源：三维点云配准算法库（JPCR）

 近日，国防科技大学徐凯教授团队发布了基于国产深度学习框架计图（Jittor）的三维点云配准算法库（JPCR）。JPCR包含了该团队近年来发表并广受关注的三维点云配准算法GeoTransformer，及其面向非刚性点云配准的GraphSCNet和多实例点云配准的MIRETR两个拓展算法 (相关论文分别发表在IEEE T-PAMI(CVPR 2022 Oral)、CVPR 2023、CVPR 2024)，涵盖了三维点云配准的典型应用场景，希望借助计图的性能优势和对国产芯片/操作系统的支持，为三维视觉领域基础算法的国产开源做贡献。

Part1

概述

点云配准是三维视觉领域的基础性环节，在三维重建、SLAM与导航定位、位姿估计、机器人操纵和装配等领域有着十分广泛的应用。点云配准旨在计算位于不同坐标系下的两幅点云之间的对应关系，并将两幅点云转换至同一坐标系下。点云配准工作可根据待配准对象的运动特性分为刚性点云配准与非刚性点云配准，也可根据配准数量分为单实例配准与多实例配准。国防科技大学iGRAPE Lab在点云配准方向开展了深入研究，先后发表了GeoTransformer[1]、GraphSCNet[3]与MIRETR[4]等工作，受到同行的广泛关注。

本次开源的算法库将GeoTransformer[1] (刚性点云配准)、GraphSCNet[3](非刚性点云配准)与MIRETR[4](多实例点云配准)等工作整合。相关开源代码与预训练模型的链接为：

https://github.com/zhiyuanYU134/JPCR。

Part2

工作介绍

GeoTransformer[1]：此工作针对基于从粗到细机制的Keypoint-free[2]工作中超点对应关系质量不高，影响到后续密集点对应关系的提取这一问题，提出GeoTransformer这一机制来将变换不变性信息编码到超点特征中来提升对应关系质量。GeoTransformer通过将超点对(superpoint pair)之间的距离信息和三个超点(superpoint triplet)之间的角度信息等具备变换不变性的几何信息进行编码，嵌入到 transformer中，实现了有效的全局结构信息学习，大大提升了超点对应关系的质量。这一优势使得GeoTransformer 可以提取到非常高质量的点云对应关系，显著提升了算法对于低重合度点云的配准内点率，从而可以实现无需RANSAC(计算开销大)的点云配准，将配准速度提升了两个数量级。在低重合度点云配准基准3DLoMatch上，GeoTransformer 相比于之前的方法实现了17%～31%的内点率提升和7%的配准成功率提升。

GeoTransformer已经成为点云配准领域的代表性方法，基于本次发布的代码模型，研究人员能够快速实现RoITr、OIF-PCR、PEAL等后继方法，为相关方向研究提供了便利。

基于计图框架，GeoTransformer的模型参数量降为PyTorch框架下模型参数量的70%。

图1 GeoTransformer的网络架构

GraphSCNet[3]：此工作针对非刚性点云配准的异常对应关系去除问题，提出了基于图的空间一致性网络 (GraphSCNet)来过滤非刚性配准的异常对应关系。此项工作基于以下事实设计了网络：非刚性变形通常是局部刚性的，或局部形状保持的。方法首先在点云的变形图上设计一个局部空间一致性度量，评估图节点附近对应关系之间的空间兼容性。然后设计了一个基于注意力机制的非刚性对应关系嵌入模块，以从局部空间一致性中学习非刚性对应的鲁棒表示。GraphSCNet 以较简单的机制有效地提高了输入的点云对应关系的质量，并在三个具有挑战性的数据集上取得了最先进的性能。

图2 GraphSCNet的网络架构

MIRETR[4]：此工作针对场景点云中存在多个待配准实例的多实例配准问题。MIRETR是一个以从粗到细的方式提取实例感知对应关系的多实例点云配准方法。在粗略层面，MIRETR共同学习实例感知的超点特征，并预测每个实例的掩膜。基于实例掩膜，MIRETR可以将来自目标实例外部的超点影响降到最低，从而提取出可靠的超点对应关系。然后，根据实例掩膜将超点对应关系扩展到细致层面的实例候选对象，在此实例候选对象上提取点对关系。最后，MIRETR使用一个高效的候选对象选择和细化算法来获得最终的配准结果。在三个公开基准测试上的广泛实验证明了MIRETR的有效性。

图3 MIRETR的网络架构

Part3

结果展示

本节给出各工作的在不同数据集上的部分可视化效果。

GeoTransformer[1]在3DLoMatch数据集上的配准效果：相较于vanilla self-attention，geometric self-attention可根据点云中的几何关系更有效地拒绝异常匹配，提升配准成功率。

图4 基于GeoTransformer的低重合配准结果可视化

GraphSCNet[3]在4DMatch数据集上的配准效果：GraphSCNet在低重叠和大变形场景中展现了更好的异常值去除结果，并实现了更好的配准结果，成功恢复了非重叠区域中的几何形状。

图5 基于GraphSCNet的非刚性配准结果可视化

MIRETR[4]在ROBI数据集上的配准效果：得益于实例感知的对应关系提取机制，MIRETR获取到了更高质量的对应关系，在堆叠、遮挡场景配准出了更多实例。

图6 基于MIRETR的多实例配准结果可视化

欢迎国内外学术同行基于开源的三维点云配准算法库JPCR，开展进一步的研究工作。点击下方的“阅读原文”，可以下载相关的开源代码与预训练模型。
参考文献

  1. Qin Z, Yu H, Wang C, et al., Geotransformer: Fast and robust point cloud registration with geometric transformer, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(8): 9806-9821.

  2. Yu H, Li F, Saleh M, et al., Cofinet: Reliable coarse-to-fine correspondences for robust pointcloud registration, Advances in Neural Information Processing Systems, 2021, 34: 23872-23884.

  3. Qin Z, Yu H, Wang C, et al. Deep graph-based spatial consistency for robust non-rigid point cloud registration, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023: 5394-5403.

  4. Yu Z, Qin Z, Zheng L, et al. Learning Instance-Aware Correspondences for Robust Multi-Instance Point Cloud Registration in Cluttered Scenes, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, 19605-19614.

GGC往期回顾

1. 计图开源：高斯网—可建模大尺度几何变形的新型高斯泼溅表示方法

2. 童欣、Minhyuk Sung分获亚洲图形学学会2024年度两项大奖

3. 计图开源：感知、预测、端到端自动驾驶算法库(JAD)

4. 计图开源：多场景“低慢小”目标感知理解库(Anti-UAV)

5. Fitten Code编程助手推出预览、对话等新功能

可通过下方二维码，关注清华大学图形学实验室，了解图形学、Jittor框架、CVMJ期刊和CVM会议的相关资讯。

Search

    Table of Contents