(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211007029.3 (22)申请日 2022.08.22 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 张登银　赵乾　王敬余　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 母秋松 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/42(2022.01) G06V 10/44(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于堆叠沙漏网络的多尺度融合去雾 方法 (57)摘要 本发明公开了一种基于堆叠沙漏网络的多 尺度融合去雾方法， 将有雾图像输入 预先设置好 的图像去雾网络； 有雾图像经图像去雾网络处理 后， 输出去雾后的清晰图像； 所述图像去雾网络 为依次连接的一个7 ×7的卷积层、 堆叠沙漏模 块、 特征融合、 多尺度跳跃连接模块、 一个1 ×1的 卷积层、 一个3 ×3的卷积层、 分层注意力蒸馏模 块、 一个3 ×3的卷积层和1 ×1的卷积层。 本发明 可应用于各种计算机视觉系统， 例如图像识别、 视频监控、 工业视觉检测等， 可 以降低大量的人 工成本， 大幅提升图像质量和服务效率， 目的是 保证更好地服务客户， 使最终的去雾结果能满足 高级别图像处 理的要求并符合人类的视 觉要求。 权利要求书2页 说明书6页 附图3页 CN 115330631 A 2022.11.11 CN 115330631 A 1.一种基于堆叠 沙漏网络的多尺度融合去雾方法， 其特 征在于： 包括如下步骤： 将有雾图像输入预 先设置好的图像去雾网络； 有雾图像经图像去雾网络处 理后， 输出去雾后的清晰图像； 所述图像去雾网络为依次连接的一个7 ×7的卷积层、 堆叠沙漏模块、 特征融合、 多尺度 跳跃连接模块、 一个1 ×1的卷积层、 一个3 ×3的卷积层、 分层注意力蒸馏模块、 一个3 ×3的 卷积层和1 ×1的卷积层。 2.根据权利要求1所述的一种基于堆叠 沙漏网络的多尺度融合去雾方法， 其特 征在于： 所述堆叠沙漏模块由N个四阶沙漏模块串联组成， 所述四阶沙漏模块包含五个并行卷 积流： 最内层卷积流处理原始尺度， 倒数第二层至最外层卷积流分别向下采样至1/2、 1/4、 1/8和1/16， 五个卷积流在不同分辨率组中进 行特征提取， 再通过残差模块传递各个 分辨率 的特征， 最后再通过 上采样操作层恢复到原 始尺度并进行融合。 3.根据权利要求2所述的一种基于堆叠 沙漏网络的多尺度融合去雾方法， 其特 征在于： 所述四阶沙漏模块将三阶沙漏模块第四行中间残差模块替换成一阶沙漏模块， 所述三 阶沙漏模块是将二阶沙漏模块第三行中间残差模块替换成一阶沙漏模块， 所述二阶沙漏模 块是将一阶沙漏模块第二行中间的残差模块替换成一阶沙漏模块， 所述一阶沙漏模块由两 行组成， 第一行包含一个残差模块， 第二行依次由一个最大池化层、 三个残差模块和一个上 采样操作层组成； 第一行与第二行进行 特征融合后输出。 4.根据权利要求3所述的一种基于堆叠 沙漏网络的多尺度融合去雾方法， 其特 征在于： 所述残差模块由两行组成， 第一行是跳级层， 包括一个1 ×1卷积层； 第二行是卷积层， 依次为BN层、 Relu层、 1 ×1的卷积层、 BN层、 Relu层、 3 ×3的卷积层、 BN层、 Relu层和1 ×1的卷 积层； 跳级层和卷积层输出端 进行特征融合后输出。 5.根据权利要求2所述的一种基于堆叠 沙漏网络的多尺度融合去雾方法， 其特 征在于： 所述N设置为8。 6.根据权利要求1所述的一种基于堆叠 沙漏网络的多尺度融合去雾方法， 其特 征在于： 所述多尺度跳跃连接模块包括： 第一行由三个3 ×3的卷积层和Relu层相串联而成， 第 二行由三个5 ×5的卷积层和Relu层相串 联而成， 第三行由三个7 ×7的卷积层和Relu层相串 联而成； 每一行的第一个3 ×3的卷积层和Relu层的输出， 分别作为每一行的第二个3 ×3的 卷积层和Relu层的输入， 每一行的第二个3 ×3的卷积层和Relu层的输出， 分别作为每一行 的第三个3 ×3的卷积层和Relu层的输入， 将每一行第三个3 ×3的卷积层和Relu层的输出通 过Contact融合后输出。 7.根据权利要求1所述的一种基于堆叠 沙漏网络的多尺度融合去雾方法， 其特 征在于： 所述分层注意力蒸馏模块包括通道注意力模块， 空间注意力模块， 通道注意力模块， 空 间注意力模块的输出通过融合后输出。 8.根据权利要求7 所述的一种基于堆叠 沙漏网络的多尺度融合去雾方法， 其特 征在于： 所述通道注意力模块将输入的特征 图F(H×W×C， H表示高， W表示宽， C表示通道数)分 别经过H维度的全局最大池化层和W维度的全局平均池化层， 得到两个1 ×1×C的特征图； 将 两个特征图送入一个共享权值的双层神经网络进行通道间依赖关系的学习， 将MLP输出 的 特征进行相加融合， 再 经过sigmoid激活操作， 生成最终的通道加权 M。 9.根据权利要求7 所述的一种基于堆叠 沙漏网络的多尺度融合去雾方法， 其特 征在于：权　利　要　求　书 1/2 页 2 CN 115330631 A 2所述空间注意力模块将输入的特征图F(H ×W×C， H： 高， W： 宽， C： 通道数)分别经过基于 C维度的最大池化层和平均池化层， 得到两个H ×W×1的特征图； 将 两个H×W×1的特征图基 于通道维度进行拼接， 拼接后的特 征图再使用7 ×7卷积层进行通道降维； 最后经过sigmoid激活操作， 生成空间维度的权 重M。权　利　要　求　书 2/2 页 3 CN 115330631 A 3