(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221096125 0.6 (22)申请日 2022.08.11 (71)申请人 南京邮电大 学 地址 210003 江苏省南京市 鼓楼区新模范 马路66号 (72)发明人 张登银　金小飞　倪文晔　李旭　 郭丁旭　彭程　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06T 5/00(2006.01) G06T 5/50(2006.01) G06V 10/42(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于循环生成对抗网络的图像去雾方 法 (57)摘要 本发明公开了一种基于循环生成对抗网络 的图像去雾方法， 属于图像处理技术领域。 本发 明包括： 获取待处理的有雾图像； 将待处理的有 雾图像输入 预先训练好的循环 生成对抗网络中， 获得所述待处理有雾图像对应的无雾图像； 所述 循环生成对抗网络包括生 成器， 生成器包括用于 有雾图像生成无雾图像的去雾模块和图像有雾 区域注意模块； 去雾模块和图像有雾区域注意模 块的输出结果相乘， 得到最终输出的无雾图像。 优点： 基于循环生成对抗网络进行图像去雾， 消 除对成对数据集的要求， 有雾图像特征提取充 分， 提升了去雾效果且最终得到的去雾图像自然 均衡， 减少了细节缺失。 权利要求书2页 说明书7页 附图2页 CN 115330620 A 2022.11.11 CN 115330620 A 1.一种基于循环生成对抗网络的图像去雾方法， 包括： 获取待处 理的有雾图像； 将待处理 的有雾图像输入预先训练好的循环生成对抗网络 中， 获得所述待处理有雾图 像对应的无雾图像； 其特征在于， 所述循环生成对抗网络包括生成器， 生成器包括用于有雾 图像生成无雾 图像的去雾模块和图像有雾区域注意模块； 去雾模块和图像有雾区域注意模块的输出结果 相乘， 得到最终输出的无雾图像。 2.根据权利要求1所述的一种基于循环生成对抗网络的图像去雾方法， 其特征在于， 所 述循环生成对抗网络还包括判别器Dx和判别器Dy， 生 成器有两个， 分别为生成器 G和生成器 F， 生成器G和生成器F、 判别器Dx和判别器Dy分别具有相同的网络结构； 生成器G、 判别器Dy 和生成器F以及生成器G、 判别器Dx和生成器F分别构成有雾图像的前向循环生成对抗网络 以及无雾图像的反向循环生成对抗网络 。 3.根据权利要求1所述的一种基于循环生成对抗网络的图像去雾方法， 其特征在于， 所 述去雾模块包括串联的编 码器、 转化器和解码 器， 编码器用于提取与压缩有雾图像的特征； 转换器用于整合编 码器所提取的图像特征； 解码 器用于将转换器得到的无雾图像特征还原 有雾部分特性， 得到去雾后的无雾图像。 4.根据权利要求3所述的一种基于循环生成对抗网络的图像去雾方法， 其特征在于， 所 述编码器包括串联的多尺度卷积模块和3个下采样模块； 多尺度卷积模块包括4个不同尺度 卷积核与ReLU激活函数层构成的卷积块， 每个下采样模块均包括串联的卷积层、 实例 归一 化层及ReLU激活函数层。 5.根据权利要求3所述的一种基于循环生成对抗网络的图像去雾方法， 其特征在于， 所 述转换器包括多个串联的残差模块， 每个残差模块均包括串联的第一卷积块和第二卷积 块， 第一卷积块包括串联的卷积层、 实例归一化层和ReLU激活函数层； 第二卷积块包括串联 的空洞卷积层、 实例 归一化层和ReLU激活函数层； 每个残差模块的输入端和其第二卷积块 的空洞卷积层均采用跳跃 连接的形式连接 。 6.根据权利要求3所述的一种基于循环生成对抗网络的图像去雾方法， 其特征在于， 所 述解码器包括串联的3个第一上采样模块和1个第二上采样模块， 每个第一上采样模块均包 括串联的反卷积层、 实例 归一化层和ReLU激活函数层， 第二上采样模块包括串联的t anh激 活函数和卷积层。 7.根据权利要求3所述的一种基于循环生成对抗网络的图像去雾方法， 其特征在于， 所 述编码器和解码器之间连接有跳层， 用于融合底层的位置信息与深层的语义信息 。 8.根据权利要求1所述的一种基于循环生成对抗网络的图像去雾方法， 其特征在于， 所 述有雾区域注意模块并联在去雾网络模块上， 用于提取有雾图像区域位置信息， 输出有雾 位置注意图， 其包括串 联的5个累加的卷积层、 LeakyReLU激活函数、 4个第三卷积块以及1个 第四卷积块， 每个第三卷积块均包括卷积层和LeakyReLU激活函数， 第四卷积块包括卷积层 和Sigmoid激活函数。 9.根据权利要求2所述的一种基于循环生成对抗网络的图像去雾方法， 其特征在于， 所 述判别器包括串联的4个包括卷积层、 实例归一化层和LeakyReLU激活函数的卷积块和1个 包括卷积层和Sigmo id激活函数的卷积块。权　利　要　求　书 1/2 页 2 CN 115330620 A 210.根据权利要求2所述的一种基于循环生成对抗网络的图像去雾方法， 其特征在于， 所述循环生成对抗网络的训练， 包括： 从数据集中随机 选取无雾图像和有雾图像， 得到训练样本集； 使用平均值为0和标准偏差为0.001的高斯分布对生成器和判别器的网络的权重参数W 进行初始化； 输入训练样本集中的成对样本至前向循环生成对抗网络以及反向循环生成对抗网络 中交替迭代训练， 先固定生成器权重参数对判别器进行训练， 使用随机梯度下降算法来更 新判别器的最终权重参数， 之后固定判别器的权重参数为所述更新的判别器的最 终权重参 数对生成器进行训练， 使用随机梯度下降算法来更新 生成器的最终权 重参数； 所述随机梯度下降算法的W更新公式为： 其中， α 为基础学习率， W ′为更新后的权 重参数， W 为权重参数， LG为总损失函数； LG＝LGAN+Lcyc(G,F)+β Llose(G,F) 式中， LGAN为生成器与判别器的对抗损失， Lcyc(G,F)为循环生成对抗网络中的循环一致 性损失， Llose(G,F)为感知损失， β 为感知损失函数在网络中所占的权 重比例； LGAN＝LGAN(G,Dy,x,y)+LGAN(F,Dx,x,y) ＝Ey～P(y)[lnDy(y)]+Ex～P(x)[ln(1‑Dy(G(x)))] +Ex～P(x)[lnDx(x)]+Ey～P(y)[ln(1‑Dx(F(y)))] 式中， LGAN(G,Dy,x,y)为生成器G与判别器Dy的对抗损失， LGAN(F,Dx,x,y)为生成器F与 判别器Dx的对抗损失， x代表有雾图像， y代表无雾图像， x～P(x)表 示为x服从训练数据集样 本P(x)的分布， y～P(y)表示为y训练数据集样本P(y)， G(x)表示为生成器G从P(x)中的有雾 图像生成的无雾图像， F(y)表示为生成器F从P(y)中的无雾图像生成的有雾图像， E表示为 数学期望， Dy(y)和Dy(G(x))分别表示为判别 器Dy对无雾图像y和G(x)的判别结果， Dx(x)和 Dx(F(y))分别表示 为判别器Dx 对有雾图像和F(y)的判别结果； Lcyc(G,F)＝Ex～P(x)[||F(G(x))‑x||1]+Ey～P(y)[||G(F(y))‑y||1] 式中， F(G(x))表示为生成器F从G(x)再生成的有雾图像， G(F(y))表示为生成器G从F (y)再生成的无雾图像； 式中， 为损失网络， Cj表示网络的第j层， CjHjWj表示损失网络第j层的特 征图的大小； 以预定的总损失函数值最小为目标， 根据判别器的最终权重参数和生成器的最终权重 参数得到训练好的循环生成对抗网络 。权　利　要　求　书 2/2 页 3 CN 115330620 A 3