武汉.LuoJia
简述

LuoJiaNET遥感专用深度学习框架,是遥感领域首个自主可控的专用机器学习框架。针对遥感数据像幅尺寸大、数据通道多、尺度变化大等特性,具备内存可扩展、尺度通道灵活创建、数据通道自主优选、框架与数据协同处理的特点。其与国产人工智能硬件NPU深度融合,可支持CPU、GPU、NPU等计算设备,形成融合探测机理与地学知识的统一计算图表达、编译优化、图算融合、自动混合并行的新一代遥感智能解译框架。LuoJiaNET构建了针对遥感影像“场景-目标-像素”多层级任务的遥感应用模型,包括场景检索、目标检测、地物分类、变化检测、多视角三维重建等五大类模型。

LuoJiaSET是遥感领域满足OGC标准的大规模遥感影像样本库,其制定了支持全球范围的遥感影像样本分类标准、标注规范,建立涵盖不同遥感任务的统一分类体系,形成样本要素的采集要求、内容和流程规范,可支持多级别、多类型遥感影像样本库的采集、制作、管理、共享、应用。针对当前现有样本数据集面临的问题:1)分类体系不统一。2)样本数据集传感器种类单一,通常样本库都是全色或者RGB彩色,缺少高光谱、红外、SAR遥感影像的样本;且通常是二维数据,缺乏三维数据。3)现有数据空间跨度有限、时间覆盖不均,导致模型泛化能力弱。4)样本集受标注人员水平限制,质量参差不齐。LuoJiaSET建立统一类别体系,提供大量数据集,其覆盖范围广、时间跨度大、涵盖传感器种类多,同时提供标准化的标注工具,大幅提升影像标注效率。

LuoJia系列总体架构
LuoJiaNET支持通道优选

基于自研LuoJiaNET框架,使用数据通道自适应优选模块,对高光谱遥感影像(尺寸为200×145×145,分辨率为20m)进行直接处理得到的分类结果为:

Model
AVIRIS Indian Pines(16类地物)
Compatible

kappa

OA

Baseline(ResNet-18)(Input=1 x 200 x 145 x 145 - > 1 x 30 x 25 x 25)

93.46

94.06

+ 数据通道优选(每一类地物优选出256个维度的特征)

96.68

97.03

LuoJiaNET支持遥感经验知识引导

大量实验表明:在植被指数、干旱指数、建筑物指数、地形指数等多个遥感经验知识模型引导下,深度网络的分类性能可以得到较为明显的提升。

是否利用先验知识
未利用
利用后
Metric
Forest
Cropland
Water
Built-up Area
Grassland
Wetland
Unused Land
Overall

LoU

PA

UA

F-Score

81.06%

89.42%

89.65%

89.53%

69.73%

80.92%

83.45%

82.16%

81.06%

91.16%

87.97%

89.53%

68.68%

80.92%

81.94%

81.42%

28.88%

46.33%

43.40%

44.81%

34.91%

58.32%

46.52%

51.75%

33.66%

44.04%

58.81%

50.36%

56.85%

70.15%

70.24%

69.93%

LoU

PA

UA

F-Score

81.06%

89.42%

89.65%

89.53%

69.73%

80.92%

83.45%

82.16%

81.06%

91.16%

87.97%

89.53%

68.68%

80.92%

81.94%

81.42%

28.88%

46.33%

43.40%

44.81%

34.91%

58.32%

46.52%

51.75%

33.66%

44.04%

58.81%

50.36%

56.85%

70.15%

70.24%

69.93%

LuoJiaNET支持大幅面处理

基于自研LuoJiaNET框架,使用算子等价分解的分布式计算方式,对整张大幅遥感影像(尺寸为4×6000×6000,分辨率为2m)进行直接处理得到的分类结果:

处理策略对比(Backbone=FCN8S)GID 数据集(15类地物)
Overall
mIoU
基于Pytorch传统影像切分处理(1 x 4 x 7200 x 6800 - > N x 4 x 513 x 513)53.80
基于LuoJiaNET整幅影像直接读取处理(1 x 4 x 7200 x 6800 - > 1 x 4 x 7200 x 6800)62.90
LuoJiaSET遥感影像样本库概况

数据集:73个 (武大19个)

原始样本数量:约143万张

折算512×512尺寸:约256万张

多光谱样本:5个 (62万张)

高光谱样本:1个

SAR影像样本:4个(1.3万张)