计图助力AIGC|非十科技发布首款可编辑的3D内容生成APP -Fitten3D
JNeRF是基于计图(Jittor)深度学习框架的神经辐射场(NeRF)模型库,是目前最受欢迎的 NeRF 模型库之一。
今天,非十科技发布了3D AIGC APP:Fitten3D,是全球首款可编辑的3D内容生成APP。Fitten3D基于JNeRF,通过多角度图像快速重建神经辐射场模型,渲染高质量的新视角图像,并基于异构软硬件对用户采集视频重建,可在多平台客户端渲染展示,目前支持Android、Web,即将支持iOS。
Part 1
便捷的操作,轻松生成3D模型
Fitten3D通过便捷的操作模式,极大地降低了3D模型重建的门槛。只需要一部手机,一个视频,即可让普通用户拥有自己的3D模型。用户打开APP后,按照要求围绕物体拍摄并上传视频,即可进行3D建模,无需其他操作。
为了保证最佳的生成效果,拍摄要求如下:
绕物体拍摄三圈,分别使用平视、俯视、仰视的视角;
拍摄时尽量稳定,保证对焦在物体上;
保证拍摄过程中物体都完整出现在画面内;
拍摄过程中保证物体是静态的,避免手出现在镜头中,尽量保证背景也是静态。的。
三种预览方式体验3D模型
云渲染
云渲染功能提供了实时的自由视角云渲染结果。用户可以单指滑动模型,自由选择观察视角,或双指进行模型缩放,查看细节。去除掉杂乱背景的高精度模型,即将支持模型下载,能够广泛应用于各类3D建模工具,为用户建模提供便利。
360视频
360视频功能提供低延迟的交互式多视角视频。用户可以手动改变观察视角,全新的交互模式使用户无需过多等待即可查看模型,感受自由可控的视角变换、清晰的3D模型呈现,身临其境感受3D模型的魅力。
语言大模型支持3D模型再编辑
Fitten3D的Chat3D功能即将上线,用户可以通过语言大模型的对话能力,实现3D内容生成与编辑,创造不一样的3D模型。例如,通过与Chat3D的对话,为模型增加特殊的贴图效果,不同的颜色和材质。
计图+JNeRF 构建 3D AIGC 核心引擎
Fitten3D核心重建技术基于计图和JNeRF开发,得益于计图与JNeRF性能和效果的优势,能够帮助普通用户快速构建自己的三维模型。
目前AIGC领域备受关注,3D AIGC也正在快速发展,NeRF可能成为三维数据的核心表达形式。欢迎大家通过JNeRF进行NeRF的学习、研究和应用落地,并和计图团队一起完善该仓库,共同推动 3D AIGC 的发展。
Github链接:
https://github.com/Jittor/JNeRF
Gitlink链接:
https://www.gitlink.org.cn/jittor/jnerf
欢迎各位用户体验Fitten3D
目前,Fitten3d还在测试阶段,欢迎大家使用Fitten3D,上传不同的模型,探索各种玩法,提出意见和建议。
iOS版即将上线,敬请期待!
我们正在招聘前端开发、后端开发、深度学习系统开发工程师,欢迎有志之士加入我们!
本文转载自“非十科技”,点击下方“阅读原文”,可访问非十科技的推送原文。
GGC往期回顾
您可通过下方二维码,关注清华大学计算机系图形学实验室,了解计算机图形学、Jittor框架、CVMJ期刊及会议的相关资讯。