(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211098512.7 (22)申请日 2022.09.03 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市钱塘新区白杨 街道2号大街1 158号 申请人 中电数据服 务有限公司 (72)发明人 沈坤烨　张翥佳　周晓飞　张继勇　 李世锋　周振　何帆　 (51)Int.Cl. G06V 10/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/32(2022.01) G06V 10/34(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/26(2022.01) (54)发明名称 一种基于多尺度空间注意力的轻量化显著 性检测方法 (57)摘要 本发明涉及一种基于多尺度空间注意力的 轻量化显著性检测方法， 包括以下步骤： 步骤一、 构建多尺度特征提取模块， 并对输入信息进行处 理； 步骤二、 依据深度可分离卷积及多尺度特征 提取模块构建编码器， 用于获取多级语义特征； 步骤三、 构建多尺度空间注意力模块； 步骤四、 依 据深度可分离卷积与多尺度空间注意力模块构 建解码器； 步骤五、 以编码器、 解码器为基础， 建 立轻量化显著性检测模型； 步骤六、 对所建立轻 量化显著性检测模型进行训练， 并保存训练所得 最终模型参数； 本发明通过对图像中多尺度特征 的充分挖掘以及图像全局特征的提取与利用， 强 化了轻量化模 型的检测能力， 在保持轻量化模型 自身优势的同时， 提升 了模型的检测精度。 权利要求书3页 说明书6页 附图2页 CN 115375922 A 2022.11.22 CN 115375922 A 1.一种基于多尺度空间注意力的轻量 化显著性检测方法， 其特 征在于： 包括以下步骤： 步骤一、 构建多尺度特 征提取模块， 并对输入信息进行处 理； 步骤二、 依据深度可分离卷积及多尺度特征提取模块构建编码器， 用于获取多级语义 特征； 步骤三、 构建多尺度空间注意力模块； 步骤四、 依据深度可分离卷积与多尺度空间注意力模块构建解码器； 步骤五、 以编码器、 解码器为基础， 建立轻量 化显著性检测模型； 步骤六、 对所建立轻量 化显著性检测模型进行训练， 并保存训练所 得最终模型参数。 2.根据权利要求1所述的一种基于多尺度空间注意力的轻量化显著性检测方法， 其特 征在于： 所述 步骤一具体包括： 将输入多尺度特征提取模块的信息分别通过不同膨胀率的深度可分离卷积， 获得4种 感受野下 的多尺度特征； 再利用深度可分离卷积 融合多尺度特征作为模块输出； 其过程可 表示为： 其中， 表示多尺度特征， 表示卷积核尺寸为3 ×3， 膨胀率为2i 的深度可分离卷积， IF eature表示模块输入信息， OF eature表示模块输出信息 。 3.根据权利要求1所述的一种基于多尺度空间注意力的轻量化显著性检测方法， 其特 征在于： 所述 步骤二具体包括： 利用卷积， 批量归一化操作和Relu激活函数及步骤一构建的多尺度 特征提取模块构成 编码器的第一层； 其次， 利用步长为2的深度可分离卷积与多尺度特征提取模块分别构成编 码器的第二层至第五层， 其过程可表示 为： 其中， 表示编码器提取获得的多级语义特征， MSFAi表示i个连续的多尺度特征提 取模块， Conv表示卷积， 批量归一化操作和Relu激活函数， Input表示模型输入图像， DSConv2表示步长为2的深度可分离卷积。 4.根据权利要求1所述的一种基于多尺度空间注意力的轻量化显著性检测方法， 其特 征在于： 所述 步骤三具体包括： 利用三种不同膨胀率的深度 可分离卷积对输入信息进行处理； 经过卷积核尺寸为1 ×1 的卷积层和sigmoid激活函数， 得到空间注 意力图； 后将空间注 意力图与输入信息进行点乘 操作， 得到加权强化后的信息； 将加权强化后的信息作为多尺度空间注意力模块输出； 其过权　利　要　求　书 1/3 页 2 CN 115375922 A 2程可表示： OFeature＝SWeight*IF eature 其中， SWeight表示空间注意力图， Sigmoid表示sigmoi d激活函数， Conv1×1表示卷积核 尺寸为1×1的卷积层， 表示膨胀率为i 的深度可分离卷积， IFeature表示输入信 息， OFeature表示输出信息， *表示 点乘操作。 5.根据权利要求1所述的一种基于多尺度空间注意力的轻量化显著性检测方法， 其特 征在于： 所述 步骤四具体包括： 利用卷积核尺寸分别为3 ×3和5×5的深度可分离卷积以及步骤三构建的多尺度空间 注意力模块组成解码器各层； 其次， 将编码器对应层特征与解码器上一层特征通过相加操 作融合， 送入解码器相应层中； 最后， 依次通过卷积核尺寸为3 ×3的深度可分离卷积， 多尺 度空间注意力模块以及卷积核尺寸为5 ×5的深度可分离卷积， 得到解码器各层输出； 其过 程可表示 为： 其中， 表示解码器各层对 应的输出， 表示卷积核尺寸为3 ×3膨胀率为2 的深度可分离卷积， MSSA表示多尺度空间注意力模块， 表示卷积 核尺寸为5 ×5的 深度可分离卷积， 表示编码器对应层的输 出， Up表示双线 性插值的上采样操作， +表示 相加操作。 6.根据权利要求1所述的一种基于多尺度空间注意力的轻量化显著性检测方法， 其特 征在于： 所述 步骤五具体包括： 依据编码器从输入图像提取多级语义特征 通过解码器融合来自编码器对应层 的特征以及解码器上一层的特征， 得到解码器各层输出 后将解码器最后一层输出 经过Dropout层， 卷积核尺寸为1 ×1的卷积层以及Si gmoid函数得到最终显著性预测图， 构建完整的轻量 化显著性检测模型； 其过程可表示 为： 其中， Sal表示模型最 终预测图， Sigmoid表示sigmoid函数， Conv1×1表示卷积核尺寸为 1 ×1的卷积层， Dropout 表示概率为0.1的Dropout层， 表示解码器最后一层输出 特征。 7.根据权利要求1所述的一种基于多尺度空间注意力的轻量化显著性检测方法， 其特 征在于： 所述 步骤六具体包括： 将图像尺寸统一调整为368 ×368； 然后随机裁剪为336 ×336， 批处理大小设置为12； 利 用Pytorch框架进行训练部署； 采用交叉熵损失函数计算预测图与真值图之间的差异， 利用权　利　要　求　书 2/3 页 3 CN 115375922 A 3