支持SAR图像、新增可视化接口,遥感目标检测库JDet再升级
新增了4个模型:OrientedR-CNN, RoI Transformer, FCOS, SSD;
新增了对SAR(合成孔径雷达)图像的支持; 新增了对SSDD, SSDD+,DOTA1.5, DOTA2.0等数据集支持; 提供了方便多样的可视化接口。
Part 1
遥感图像处理关注目标检测、语义分割和实例分割等不同视觉任务在遥感图像中的应用,在灾害防控、城市规划、环境监测和国土安全等领域有着重要作用(示例见图1)。然而,遥感图像具有物体尺度差异较大、物体分布较密集、图像分辨率高、旋转变化大等特点,因此针对自然图像的通用算法和模型效果往往不佳,需要专用的遥感算法和模型。
图1 遥感图像目标检测示例
遥感图像目标检测任务旨在从遥感图像中检测出所关注物体的旋转包围盒(Oriented Bounding Box, OBB),并得到所检测出物体的类别。今年8月4日,清华大学计图(Jittor)团队发布了遥感图像目标检测算法库JDet,希望能逐步构建成为一个模型完备,接口统一,运行部署方便,易于学习且性能更高的遥感目标检测算法库,提升研究人员的工作效率,为我国遥感领域的进步做贡献。
此前JDet发布的公众号文章请查看文后的GGC往期回顾。
Part 2
本次更新JDet新增了4个模型:OrientedR-CNN, RoI Transformer, FCOS, SSD。目前共支持8个模型,正在支持4个模型,共计划支持19个以上主流及基础模型。
图2 JDet支持的模型
性能对比
我们对其中精度最高的Oriented R-CNN与Pytorch实现的版本(OBBDetection)在NVIDIA3090上进行了对比,其性能相较pytorch有明显提升,可以缩短模型训练所需要的时间。
表1 JDet和OBBDet(PyTorch)的性能对比
本次更新JDet新增了对合成孔径雷达(Synthetic ApertureRadar, SAR)图像目标检测的支持。
图3 JDet模型在SAR图像舰船检测数据集SSDD+上输出结果示例
此外,JDet还支持了SAR图像目标检测任务的两个主流数据集:SSDD(SAR Ship Detection Dataset)和SSDD+;并新增支持了两个可见光遥感图像目标检测数据集DOTA 1.5和DOTA 2.0。
Part 4
JDet还新增了对模型输出结果的可视化绘制功能,用户可以仅通过一句脚本实现对模型输出的旋转包围盒、分类和分数信息的绘制,还可以方便地选择不同的绘制风格。同时JDet还提供了绘制接口以支持更多个性化的可视化需求。
运行脚本如下:
python tools/run_net.py --config-file=configs/s2anet_r50_fpn_1x_dota.py --task=vis_test
下图是可视化的效果。
您可通过下方二维码,关注清华大学图形学实验室,了解图形学、Jittor框架、CVMJ期刊和CVM会议的相关资讯。