Adan优化器[1]因其一半的计算量完成ViT的训练被大家熟知。此外Adan优化器在多个场景、训练方式和网络结构/算法上均获得了卓越的性能提升。关注到Adan优化器正逐步的被深度学习社区所接受，此次Jittor框架升级，全面支持Adan优化器！
Jittor的神经辐射场模型库JNeRF[2]与Adan携手在Instant-NGP模型上的表现更是让人瞩目，通过Adan优化器的应用，JNeRF在Nerf任务中实现了PSNR的进一步提升，而在3/4的计算量下，PSNR表现却未受到任何影响。这不仅进一步提升了NeRF任务的计算效率，还为新的研究和应用提供了更多的可能性。
NeRF(神经辐射场)技术[3]的惊艳登场在2020年引起了学术界的广泛关注，以其非凡的视角生成效果傲视同侪。与传统的显式表达不同，NeRF通过将场景呈现为隐式的神经辐射场，在渲染时通过神经网络查询位置上的场景信息，以此生成的新视角图像。这一创新被视为近些年视图合成/3D重建领域的最具潜力的革新技术。
然而，NeRF技术在其辉煌的背后仍蕴含一些挑战。其独特之处在于，针对每个静态场景都需要训练一个模型，并从模型中渲染出所需的图像。然而，原始NeRF的训练渲染过程十分缓慢，迫切需要在实际应用中加速这一双重过程。
当前NeRF领域的许多加速方法主要集中在渲染过程上，有些甚至以牺牲训练速度为代价。尽管存在一些方法，例如实验中用到的Instant-NGP，能够同时加速训练和渲染过程，但很遗憾，训练过程的加速比例远远小于渲染过程。
因此，我们面临的挑战是在不改变NeRF计算框架和运算效率的前提下，寻找方法提升最终的渲染结果，或者加速模型的训练过程。这将不仅极大地促进NeRF技术在视觉、内容生成及其他领域的广泛应用，更为我们打开了探索新视角、解锁全新可能性的大门。
Part 2
由北京大学和新加坡研究团队共同提出深度模型优化器Adan，通过结合Nesterov动量策略与自适应优化算法，并引入解耦的权重衰减，可以极大地提高深度学习模型的训练速度。利用外推点，Adan可以提前感知周围的梯度信息，从而高效地逃离尖锐的局部极小区域，减少在不必要的区域的停留时间，加快模型训练速度同时增加模型的泛化性。图1展示了Adan和其他优化器在训练Vision
Transformer(ViT)时的对比，从实验的角度印证了Adan收敛快泛化好的特点。
图1 多个优化器在ViT上的训练损失和泛化结果对比Part 3
通过实验，可以验证通过将JNeRF中的神经网络优化器由Adam替换为Adan，Instant-NGP模型的结果得到了进一步的提升。
图2 Instant-NGP模型上PSNR结果对比通过Adan优化器的应用，在迭代步数一样的情况下，JNeRF在Nerf任务中实现了PSNR的进一步提升，而在计算量减半的情况下，PSNR的结果仅受到微小的影响（36.2 vs. 36.4）。JNeRF与Adan优化器的结合不仅推动了Nerf任务的计算效率，还为进一步突破现有模型的性能上线提供可能。图3对比了Adam优化器和Adan优化器训练的Instant-NGP输出结结果。可以看到，某些视角，经过Adan训练的Instant-NGP模型给出了更清晰的结果。
图3 Instant-NGP模型在Lego数据上优化器结果对比
Part 4
Jittor框架是唯一全动态编译的深度学习框架，Jittor元算子和Numpy一样易于使用，同时超越Numpy，便于实现更为复杂和高效的操作。而统一计算图融合了静态和动态计算图的优点，提供了高性能的优化。此次Jittor框架的升级，与Adan优化器的完美结合，可以为社区带来更高效、更灵活的深度学习训练方案，为您的科研工作提供更好的支持！Jittor: https://github.com/Jittor/jittorAdan: https://github.com/sail-sg/AdanJNeRF: https://github.com/Jittor/JNeRF参考文献
Xie X, Zhou P, Li H, et al. Adan:
Adaptive nesterov momentum algorithm for faster optimizing deep models, arXiv preprint arXiv:2208.06677, 2022.
Yang G W, Liu Z N, Li D Y, et al. JNeRF:
An efficient heterogeneous NeRF model zoo based on Jittor, Computational
Visual Media, 2023, 9(2): 401-404.
Mildenhall B, Srinivasan P P, Tancik M,
et al. Nerf: Representing scenes as neural radiance fields for view
synthesis, European conference on computer vision，Springer, 2020, 405-421.
计图开源：基于不变性的无监督三维模型对称性分析
视觉骨干网络VAN | CVMJ Spotlight
Computational Visual Media第9卷第4期导读
CVMJ获最新期刊影响因子6.9，计算机图形学领域排名第一
可通过下方二维码，关注清华大学图形学实验室，了解图形学、Jittor框架、CVMJ期刊和CVM会议的相关资讯。
