(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210990986.6 (22)申请日 2022.08.17 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘新区白杨 街道2号大街1 158号 申请人 中电数据服 务有限公司 (72)发明人 费晓波　周晓飞　张继勇　李世锋　 周振　何帆　 (51)Int.Cl. G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的高分辨率图像显著性 目标检测方法 (57)摘要 本发明涉及一种基于深度学习的高分辨率 图像显著性目标检测方法， 包括步骤一、 低分辨 率分支的特征提取； 步骤二、 中分辨率分支的特 征提取； 步骤三、 高分辨率 分支的特征提取； 步骤 四、 多分辨率特征的融合； 步骤五、 残差解码网络 得到预测图； 步骤六、 级联标签监督并进行端到 端训练。 本发明提供的网络模型是并行网络， 可 以在充分有效地利用语义信息和细节信息来实 现对高分辨率图像中显著性目标的预测的同时， 在网络中保持高分辨 率。 权利要求书3页 说明书7页 附图2页 CN 115294359 A 2022.11.04 CN 115294359 A 1.一种基于深度学习的高分辨率图像显著性目标检测方法， 其特征在于： 包括以下步 骤： 步骤一、 低分辨率分支 的特征提取： 利用卷积神经网络和金字塔池化模块构建语义特 征提取网络， 使用低分辨率输入进行语义信息提取， 得到低分辨率分支最终的粗略预测特 征； 步骤二、 中分辨率分支 的特征提取： 利用低分辨率分支中的卷积神经网络的前三层结 构构造特征提取网络， 得到中分辨 率支路的包 含细节信息的粗略预测图； 步骤三、 高分辨率分支的特征提取： 利用三个卷积块构造高分辨率分支特征提取网络， 得到高分辨 率支路的包 含细节信息的粗略预测图； 步骤四、 多分辨率特征的融合： 构建多分辨率特征融合网络， 所述多分辨率特征融合网 络是由两个分支或三个分支构成， 得到融合后的最终预测图； 步骤五、 残差解码网络得到预测图， 残差解码网络包括四个由卷积层、 批量归一化层、 ReLU激活函数组成的卷积组， 一个卷积层和一个sigmo id激活函数； 步骤六： 级联标签监督并进行端到端训练： 对两个级联特征输出结果以及最终结果进 行端到端监 督训练。 2.根据权利要求1所述的一种基于深度学习的高分辨率图像显著性目标检测方法， 其 特征在于： 所述 步骤一中所述卷积神经网络是在ResNet模型的基础上进行微调得到 。 3.根据权利要求2所述的一种基于深度学习的高分辨率图像显著性目标检测方法， 其 特征在于： 所述 步骤一具体包括： 对原始图像X1进行下采样操作得到新的图像X4， 下采样因子为0.25， 如下： X4＝Downsampling(X1) 进行语义特 征提取网络的输入， 使用低分辨 率输入进行语义信息提取， 如下 M4_1＝Conv_sub(X4) M4_i+1＝resnet_layer_i(M4_i) 其中， i＝1,2,3,4； Conv_sub卷积块包括了3 ×3的卷积层， BN层， ReLU激活函数和3 ×3 的最大池化层； 利用PPM模块， 聚合不同区域的上下文信息， 得到低分辨率分支最终的粗略预测特征 M4_5， 如下： M4_5＝PPM(M4_5) 所述PPM模块为金字塔池化模块。 4.根据权利要求1所述的一种基于深度学习的高分辨率图像显著性目标检测方法， 其 特征在于： 所述 步骤二具体包括： 利用低分辨 率分支中的卷积神经网络的前三层结构 构造特征提取网络， 对原始图像X1进行下采样操作得到新的图像X2， 下采样因子为0.5， 如下： X2＝Downsampling(X1) 进行中分辨率分支特征提取网络的输入， 输出特征M2_3， 与低分辨率分支的输出特征 M4_3进行特征融合， 使得较高分辨 率的表示可以接收较低分辨 率的表示信息， 如下： M2_1＝Conv_sub(X2) M2_i+1＝resnet_layer_i(M2_i)权　利　要　求　书 1/3 页 2 CN 115294359 A 2M2_3＝Conv_s2(M2_3⊕Upsampling(M4_3)) 其中， i＝1,2； Co nv_s2卷积块包括了 3×3的卷积层， BN层和ReLU激活函数。 5.根据权利要求1所述的一种基于深度学习的高分辨率图像显著性目标检测方法， 其 特征在于： 所述步骤三中所述卷积块是由一个卷积层， 一个批量归一化层和一个ReLU激活 函数层组成。 6.根据权利要求5所述的一种基于深度学习的高分辨率图像显著性目标检测方法， 其 特征在于： 所述 步骤三具体包括： 进行高分辨率分支特征提取网络的输入， 输出特征是M1_3， 与中分辨率分支的卷积网络 第二层的输出特征进 行拼接卷积操作， 使较高分辨率的表示可以接收较低分辨率的表示信 息， 如下： M1_i＝Conv_ei(X1) M1_3＝Conv_s1(M1_3⊕M2_2) 其中i＝1,2,3； Conv_ei包括了3 ×3的卷积层， BN层和ReLU激活函数； Conv_s1包括了3 ×3的卷积层， BN层和ReLU激活函数。 7.根据权利要求1所述的一种基于深度学习的高分辨率图像显著性目标检测方法， 其 特征在于： 所述 步骤四具体包括： 进行第一个多分辨率特征融合网络的输入， 低分辨率分支的输出特征M4_5和中分辨率 分支的输出特征M2_3将分别作为低分辨率输入和高分辨率输入， 对低分辨率输入特征进行 上采样操作， 上采样因子为2， 使其与高分辨率输入具有相同的空间大小； 对其进行空洞卷 积操作以在不增加计算量的前提下改善特征信息； 对高分辨率输入进行卷积操作， 使得它 的通道数同经过上述一系列操作后的低分辨率特征保持一致； 后对这两个特征用批量归一 化层进行归一化操作； 将两个特征相加经过一个ReLU激活函数后得到最终的输出结果M24， 同时， 将M24送入到Sigmo id激活函数层， 得到 原图大小的预测图pred_16， 具体如下： M4_51＝Upsampl ing(M4_5) M4_52＝BN(DilatedConv(M4_51)) M2_31＝BN(Conv(M2_3)) M24＝ReLU(SUM(M4_51+M2_31)) pred_16＝Sigmo id(Conv_cls(M24))。 8.根据权利要求1所述的一种基于深度学习的高分辨率图像显著性目标检测方法， 其 特征在于： 所述 步骤四具体包括： 进行第二个多分辨率特征融合网络的输入， 低分辨率分支的输出特征M4_5， 第二个特征 级联网络的输出特征M24以及高分辨率分支的输出特征M1_3将分别作为低分辨率输入， 中分 辨率输入和高分辨 率输入， 对低分辨率输入特征进行上采样操作， 上采样因子为4， 使得它与高分辨率输入具有相 同的空间大小； 再对其进行空洞卷积操作以在不增加计算量的前提下改善特征信息； 对中 分辨率输入做与低分辨率输入同样的操作， 先进行上采样操作， 上采样因子为2， 使得它与 高分辨率输入具有相同的空间大小； 再对其进行空洞卷积操作； 接着对高分辨率输入进行 卷积操作， 使得它的通道数同经过上述一系列操作后的低、 中分辨率特征保持一致； 然后对权　利　要　求　书 2/3 页 3 CN 115294359 A 3