(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221094196 0.2 (22)申请日 2022.08.08 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 陶于祥　何哲　 (74)专利代理 机构 重庆市恒信知识产权代理有 限公司 5 0102 专利代理师 刘小红 (51)Int.Cl. G06V 20/13(2022.01) G06V 20/10(2022.01) G06V 10/82(2022.01) G06V 10/24(2022.01) G06V 10/75(2022.01)G06V 10/80(2022.01) (54)发明名称 一种基于多维多尺度U-net网络的遥感图像 道路提取方法 (57)摘要 本发明请求保护一种基于多维多尺度U ‑net 网络的遥感图像道路提取方法， 首先将处理后的 数据输入编码网络， 在编码网络部分结合残差结 构和注意力特征融合机制对道路信息进行提取， 综合考虑全局和局部的特征提取， 提高网络对道 路细节目标的提取。 其次， 在桥接网络部分加入 空洞空间金字塔池化(ASPP)模块对道路信息进 行多尺度特征提取。 最后， 在解码网络部分加入 特征对齐模块， 调整由于上采样操作的不可学习 性和上下采样的重复性导致的高低层特征之间 存在的不准确的对应关系。 本发 明采用交叉熵和 Dice系数组合的复合型损失函数对模型损失进 行计算， 缓解遥感道路数据集中存在的正负样本 不平衡现象， 提高了模型的道路提取 结果。 权利要求书2页 说明书6页 附图3页 CN 115471754 A 2022.12.13 CN 115471754 A 1.一种基于多维多尺度U ‑net网络的遥感图像道路提取方法， 其特征在于， 包括以下步 骤： 步骤1、 选取公开的遥感道路数据集Massachusetts道路数据集作为原始数据， 并进行 裁剪、 数据增强在内的预处 理步骤； 步骤2、 将预处理后的数据输入编码网络， 编码网络结合了残差结构和注意力特征融合 机制对道路特 征信息进行多尺度提取； 步骤3、 编码网络的输出作为桥接网络的输入， 在桥接网络部分添加空洞空间金字塔池 化ASPP模块， 空洞空间金字塔池化ASPP模块包括并行的空洞卷积层， ASPP模块中并行的空 洞卷积层相当于多个不同的接 收域， 用于在多个尺度上并行采样， 实现深层特征上多尺度 特征融合； 步骤4、 解码网络阶段： 通过上采样逐步恢复特征图像至输入图像大小。 在解码网络加 入特征对齐模块FAM， 该模块将高层特征和编码网络对应层次的低层特征作为输入生成语 义流， 通过使用语义 流来调整两个相邻层级的特 征图以生成高分辨 率强语义的特 征输出； 步骤5、 最后通过1 ×1卷积层将通道数变为2， 通过Massachusetts数据集中的测试集对 模型进行测试； 模型训练期间采用交叉熵损失函数和Dice损失函数相结合的复合损 失函数对模型进 行损失计算。 2.根据权利要求1所述的一种基于多维多尺度U ‑net网络的遥感图像道路提取方法， 其 特征在于， 所述 步骤1具体包括： Massachusetts数据集图像大小均为1500 ×1500,设置一个256 ×256区域对该原始数 据集所有图像进行剪裁； 将256 ×256×3波段的高分数据作为输入数据输入到搭建 的编码 网络中， 以提取道路信息 。 3.根据权利要求1所述的一种基于多维多尺度U ‑net网络的遥感图像道路提取方法， 其 特征在于， 所述步骤2将预 处理后的数据输入编码网络， 编码网络结合了残差结构和注意力 特征融合机制对道路特 征信息进行多尺度提取， 具体包括： 编码网络包括卷积序列 块CSB和注意力残差学习单元A RLU， 预处理操作后的RGB图像先 经过卷积序列块转化为高维度特征， 然后通过注 意力残差学习单元以生成多尺度多层次特 征； 在注意力残差学习单元中， 使用残差单元替代普通的神经网络单元， 然后通过注意力特 征融合模块融合残差单元中的恒等映射分支和残差 分支。 通过注意力特征融合方式融合残 差结构两分支， 使得网络可以沿通道维度对特征图进行多个尺度上 的信息提取， 同时保持 了网络的轻量 化。 4.根据权利要求1所述的一种基于多维多尺度U ‑net网络的遥感图像道路提取方法， 其 特征在于， 所述步骤3是在桥接网络的ASPP模块包含5个并行分支， 分别为： 一个1 ×1卷积分 支、 三个3 ×3扩张卷积分支和一个全局平均池化分支， 其中， 1 ×1卷积分支和全局平均池化 分支相当于 分别使用最小和最大的感受野来保持输入的固有 特性， 另外三个分支分别设置 不同的扩张率在不同尺度上对图像特 征进行描述。 5.根据权利要求1所述的一种基于多维多尺度U ‑net网络的遥感图像道路提取方法， 其 特征在于， 所述步骤4具体包括： 在解码网络阶段逐步上采样恢复特征图像至输入图像大 小， 将解码网络的高层特征和编码网络对应层次的低层特征使用特征对齐模块连接。 在特权　利　要　求　书 1/2 页 2 CN 115471754 A 2征对齐模块内， 首先高层特征通过逆卷积改变图像大小和 通道数目， 然后将变化后的高层 特征和低层特征连接， 经过卷积操作以产生语义流。 根据语义流， 特征对齐模块调整高层和 低层特征之 间由于重复上下采样导致的不准确对应关系， 使得高层特征中的语义信息更好 的流向低层特征中， 弥合了高低层特征之间的语义和分辨率差异， 指引模型更好的恢复到 初始分辨 率同时包 含丰富的语义信息 。 6.根据权利要求5所述的一种基于多维多尺度U ‑net网络的遥感图像道路提取方法， 其 特征在于， 所述步骤5模 型预测阶段具体包括： 通过1 ×1卷积层将特征图通道数变化为2， 生 成最终预测图； 将Massachusetts数据集中测试图像通过预处理后输入到训练好的模型之 中。 7.根据权利要求6所述的一种基于多维多尺度U ‑net网络的遥感图像道路提取方法， 其 特征在于， 使用交叉熵损失函数和Dice损失函数组成的复合损失函数对模型损失进行计 算， 交叉熵损失函数和Dice损失函数定义分别如下： 式中， N表示像素总数， gi表示像素i的真实标签值， pi表示像素i预测 值； 复合损失函数 定义如下： L＝LBCE+LD。权　利　要　求　书 2/2 页 3 CN 115471754 A 3