GDC 2021成功举办计图与深度几何学习的会前课程
图1 “深度几何学习和基于计图实现”的课程现场
首先是来自清华大学的助理研究员、计图框架核心成员梁盾博士,他主要介绍了计图(Jittor)框架的工作和特性。梁博士先总结了国内外主流的深度学习框架,然后阐述了Jittor的两大特性——元算子融合和统一计算图,最后介绍了Jittor团队为社区提供了主流的深度网络库,包括GAN模型库,实例分割库,可微渲染库等。
图2 梁盾进行“国产深度学习平台计图的介绍和实践入门”的课程报告
然后是来自清华大学的计图框架成员国孟昊博士生,他主要介绍了PCT(Point Cloud Transformer)结构,他的报告题目是《基于计图的点云深度学习》。国孟昊先介绍了点云处理的难点,然后总结了当前主流的五大点云学习网络,并进一步介绍了基于计图研发的点云Transformer网络结构和自监督学习PointContrast方法,最后对未来研究方向进行了展望。
图3 国孟昊进行“基于计图的点云深度学习”的课程报告
第三位是来自清华大学的刘政宁博士生,他主要介绍了基于网格的细分卷积网络,他的报告题目是《Subdivision-based Mesh Convolutional Networks》。刘政宁首先介绍了三角网格上的深度学习在众多领域的应用,然后讲解了现有的网格学习方法及其局限性,并进一步提出了基于细分的网格卷积网络SubdivNet与其Jittor实现。
图4 刘政宁进行“基于细分的网格卷积网络”的课程报告
第四位是来自中国科学院计算技术研究所的张凌霄工程师,他主要介绍了深度学习在几何变形方面的应用,他的报告题目是《几何变形深度学习和计图实践》。张工程师首先总结了近几年几何变形的前沿技术,然后讲解了ACAP(As-consistent-as-possible)特征的使用、结合频域图卷积的变分自编码器(VAE)等算法,并在最后展示了这些算法在Jittor上的实践。
图5 张凌霄进行“几何变形深度学习和计图实践”的课程报告
最后是来自中国科学院计算技术研究所的高林副研究员,他主要介绍了多种网格生成算法,他的报告题目是《基于计图实现的多模态网格生成模型》。高老师首先介绍了几何生成模型的挑战和传统模型,然后提出了针对结构化可形变的网格深度生成网络SDM-NET、三维模型的对称检测网络PRS-Net等模型以及它们基于Jittor的实现。最后,高老师对三维模型上的学习算法发展进行了展望。
图6 高林进行“基于计图实现的多模态网格生成模型”的课程报告
二、Jittor助力深度几何学习研究
数字几何处理是计算机图形学的主要研究内容之一,有着广泛应用。随着三维模型的获取与渲染技术的不断进步,互联网上出现了大量的三维模型数据集,对三维模型的处理、生成和理解等需求十分迫切。
深度学习技术通过挖掘海量几何数据中蕴含着的数据分布和内在的变化规律来提高几何处理方法的效果和效率。与传统的二维图像的深度学习方法不同,对三维模型设计神经网络存在诸多挑战:
缺少统一的表示方式,需要为不同的表示方式设计不同的神经网络结构;
表示的不规则性,点云、网格等表示方式无法直接应用传统的神经网络。
发展面向几何数据的深度学习技术,已经成为焦点。Jittor框架为深度几何学习提供了极大的便利,比如“重索引算子”可以满足了三角网格的邻域索引需求,便于设计神经网络。目前Jittor框架上已经开源了一批深度几何学习的原创成果。欢迎大家采用和借鉴。
部分开源的深度几何学习代码:
网格上三维卷积神经网络SubdiviNet https://github.com/lzhengning/SubdivNet
点云Transformer
https://github.com/MenghaoGuo/PCT
深度隐式三维重建
https://github.com/heiwang1997/di-fusion-network-jittor
三维模型对称性分析方法PRS-NET
https://github.com/IGLICT/PRS-NET-Jittor
人体运动风格迁移
https://github.com/IGLICT/Stylemotion
可微变形分析与编辑
https://github.com/IGLICT/MeshVAE_neural_editing
纹理网格模型生成方法TM-NET
https://github.com/IGLICT/TM-NET-Jittor
网格的变分自编码器
https://github.com/IGLICT/MeshVAE_neural_editing
您可通过下方二维码,关注清华大学图形学实验室,了解计算机图形学、Jittor深度学习框架、CVMJ期刊和CVM会议的相关资讯。