计图助力AIGC|非十科技发布首款可编辑的3D内容生成APP -Fitten3D

2023/04/22 Tutorial

计图助力AIGC|非十科技发布首款可编辑的3D内容生成APP -Fitten3D

JNeRF是基于计图(Jittor)深度学习框架的神经辐射场(NeRF)模型库,是目前最受欢迎的 NeRF 模型库之一。

今天,非十科技发布了3D AIGC APP:Fitten3D,是全球首款可编辑的3D内容生成APP。Fitten3D基于JNeRF,通过多角度图像快速重建神经辐射场模型,渲染高质量的新视角图像,并基于异构软硬件对用户采集视频重建,可在多平台客户端渲染展示,目前支持Android、Web,即将支持iOS。

Part 1

便捷的操作,轻松生成3D模型

Fitten3D通过便捷的操作模式,极大地降低了3D模型重建的门槛。只需要一部手机,一个视频,即可让普通用户拥有自己的3D模型。用户打开APP后,按照要求围绕物体拍摄并上传视频,即可进行3D建模,无需其他操作。

为了保证最佳的生成效果,拍摄要求如下:

  1. 绕物体拍摄三圈,分别使用平视、俯视、仰视的视角;

  2. 拍摄时尽量稳定,保证对焦在物体上;

  3. 保证拍摄过程中物体都完整出现在画面内;

  4. 拍摄过程中保证物体是静态的,避免手出现在镜头中,尽量保证背景也是静态。的。

按照上述标准能取得最好的生成结果,如果无法达到上述要求,用户也可以自行调整拍摄方法,Fitten3D同样可以为您生成模型。
Part 2

三种预览方式体验3D模型

Fitten3D支持通过视频渲染、云渲染和360视频的方式多角度查看3D模型。
视频渲染
视频渲染功能提供了自动路径规划的视频渲染结果,按既定路线移动视角,以视频的方式展示生成的3D模型。用户在3D模型重建完成后,即可拥有自动生成的视频,全方位、多角度。清晰地展示了重建后的3D模型。

云渲染

云渲染功能提供了实时的自由视角云渲染结果。用户可以单指滑动模型,自由选择观察视角,或双指进行模型缩放,查看细节。去除掉杂乱背景的高精度模型,即将支持模型下载,能够广泛应用于各类3D建模工具,为用户建模提供便利。

同时,还可以导出高质量的几何与贴图。

360视频

360视频功能提供低延迟的交互式多视角视频。用户可以手动改变观察视角,全新的交互模式使用户无需过多等待即可查看模型,感受自由可控的视角变换、清晰的3D模型呈现,身临其境感受3D模型的魅力。

Part 3

语言大模型支持3D模型再编辑

Fitten3D的Chat3D功能即将上线,用户可以通过语言大模型的对话能力,实现3D内容生成与编辑,创造不一样的3D模型。例如,通过与Chat3D的对话,为模型增加特殊的贴图效果,不同的颜色和材质。

传统3D建模具有人工成本高昂,技术门槛高、耗时较长等特点,限制了普通用户的应用。Fitten3D的出现解决了这一难题。非十科技将继续开发出更完善的功能,降低3D AIGC成本,提升效果。
Part 4

计图+JNeRF 构建 3D AIGC 核心引擎

神经辐射场(NeRF)是 Fitten3D 的核心技术,能够实现高质量、低成本的三维内容重建与生成。计图深度学习框架团队于2022年6月开源了NeRF模型库JNeRF,计图也是首个支持Instant-NGP的深度学习框架。JNeRF支持6种代表性的NeRF模型,支持导出 mesh,支持灵活地调试优化 NeRF 训练的各个流程。JNeRF发布后受到了学界、业界的广泛关注,其开源仓库star已经达到524。

Fitten3D核心重建技术基于计图和JNeRF开发,得益于计图与JNeRF性能和效果的优势,能够帮助普通用户快速构建自己的三维模型。

目前AIGC领域备受关注,3D AIGC也正在快速发展,NeRF可能成为三维数据的核心表达形式。欢迎大家通过JNeRF进行NeRF的学习、研究和应用落地,并和计图团队一起完善该仓库,共同推动 3D AIGC 的发展。

Github链接:

https://github.com/Jittor/JNeRF

Gitlink链接:

https://www.gitlink.org.cn/jittor/jnerf

Part 4

欢迎各位用户体验Fitten3D

目前,Fitten3d还在测试阶段,欢迎大家使用Fitten3D,上传不同的模型,探索各种玩法,提出意见和建议。

Fitten3D app下载
Android版下载地址:
https://fitten3d.fittentech.com/app/

Web版地址:
https://fitten3d.fittentech.com/

iOS版即将上线,敬请期待!

关于非十科技
北京非十科技有限公司是国内专业从事人工智能服务的科技公司,在3D AIGC、深度学习框架以及大模型领域,具有领先的技术优势,是计图开源框架主要的贡献者之一。公司技术上致力于加速人工智能算法从硬件到软件全流程的落地应用、提供各类计算加速硬件的适配、定制深度学习框架以及人工智能优化等服务。公司技术骨干毕业自清华大学,具有丰富的系统软件、图形学、编译技术和深度学习框架的研发经验。公司研发了基于计图深度学习框架的人工智能系统,完成了对近十个国内外加速硬件厂商的适配。参与开源了JNeRF神经渲染库与JittorLLMs大模型推理库,获得了业界大量好评。
诚聘英才:
我们正在招聘前端开发、后端开发、深度学习系统开发工程师,欢迎有志之士加入我们!
招聘要求:https://fittentech.com/#about
简历投递:info@fittentech.com

本文转载自“非十科技”,点击下方“阅读原文”,可访问非十科技的推送原文。

GGC往期回顾

1.  计图团队与头歌平台合作发布“计图深度学习框架实践课程”
2. 计图团队发布大模型推理库,大幅降低硬件配置要求
3. 计图开源:降低40%标注代价!只需水平标注的旋转目标检测新框架H2RBox
4. CVMJ新增两篇ESI高被引论文,两篇论文入选热点论文
5. 计图适配天数智芯、性能大幅超过PyTorch、支持前沿AI应用

您可通过下方二维码,关注清华大学计算机系图形学实验室,了解计算机图形学、Jittor框架、CVMJ期刊及会议的相关资讯。

Search

    Table of Contents