(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211011097.7 (22)申请日 2022.08.23 (71)申请人 宁波大学科学技术学院 地址 315300 浙江省宁波市慈溪市白沙路 街道文蔚路521号 (72)发明人 骆挺　江国炜　何周燕　宋洋　 徐海勇　 (74)专利代理 机构 北京盛询知识产权代理有限 公司 11901 专利代理师 郭成文 (51)Int.Cl. G06V 20/05(2022.01) G06V 10/82(2022.01) G06V 10/54(2022.01) G06V 10/56(2022.01)G06V 10/766(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于CNN的NR水下增强图像质量评价方 法 (57)摘要 本发明公开了一种基于CNN的NR水下增强图 像质量评价方法， 包括： 获取水下增强图像， 对水 下增强图像进行预处理， 获取反射图分量和光照 图分量； 基于双通道输入网络分别对反射图分量 和光照图分量进行特征提取， 获取输出特征图； 对输出特征图进行质量回归， 获取水下增强图像 的质量分数。 本发明针对水下增强图像的颜色和 亮度纹理失真， 利用双通道CNN网络的两个通道 分别学习反射图分量与光照图分量包含的颜色 特征和亮度纹理特征， 采用双通道特征学习方式 避免获得冗余特征， 最后设计特征融合模块， 通 过全局池化和通道交互给颜色特征和亮度纹理 特征分配权重， 使用通道注意力确定通道特征的 相互依赖关系， 用空间注意力区分人类视觉感知 关注的区域。 权利要求书2页 说明书9页 附图1页 CN 115170944 A 2022.10.11 CN 115170944 A 1.一种基于 CNN的NR水下增强图像质量评价方法， 其特 征在于， 包括以下步骤： 获取水下增强图像， 对所述水 下增强图像进行 预处理， 获取反射图分量和光照图分量； 基于双通道输入网络对所述反射图分量和所述光照图分量进行特征提取， 获取输出特 征图； 对所述输出 特征图进行质量回归， 获取 所述水下增强图像的质量分数； 基于所述质量分数进行质量评估。 2.根据权利要求1所述的基于CNN的NR水下增 强图像质量评价方法， 其特征在于， 对所 述水下增强图像进行 预处理的过程包括： 基于Decom ‑Net网络将所述水下增强图像分解为反射图和光照图， 并对所述反射图和 所述光照图进行局部归一 化处理。 3.根据权利要求1所述的基于CNN的NR水下增 强图像质量评价方法， 其特征在于， 基于 双通道输入网络对所述反射图分量和所述 光照图分量进行 特征提取的过程包括： 使所述反射图分量和所述光照图分量分别进入各自的子网络， 获取反射图子网络与光 照图子网络； 基于所述反射图子网络进行下采样 获取水下增强图像的颜色特征； 基于所述光照图子 网络获取 水下增强图像的亮度纹 理特征； 基于特征融合模块对所述颜色特 征与所述亮度纹 理特征进行融合， 获取融合特 征图； 基于所述融合特 征与注意力模块获得增强人眼关注区域的输出 特征图。 4.根据权利要求3所述的基于CNN的NR水下增 强图像质量评价方法， 其特征在于， 所述 下采样的卷积层 包括相同数量的滤波器； 所述滤波器的数量在编码网中由32个逐渐增加到 128个； 所述卷积层的卷积核大小为3 ×3， 步长为1， pad ding为1。 5.根据权利要求3所述的基于CNN的NR水下增 强图像质量评价方法， 其特征在于， 所述 特征融合模块 通过全局池化和通道交 互计算权 重进行特征融合。 6.根据权利要求5所述的基于CNN的NR水下增 强图像质量评价方法， 其特征在于， 所述 特征融合模块 通过全局池化和通道交 互计算权 重进行特征融合的过程包括： 基于所述颜色特 征与所述亮度纹 理特征， 采用逐 元素求和法获取初次融合特 征； 分别基于全局 平均池化与全局最大池化将所述初次融合特征转换为通道 统计数据， 每 个所述通道统计数据包括所述颜色特 征与所述亮度纹 理特征； 将所述通道统计数据相加分别获取颜色特 征向量与亮度纹 理特征向量； 基于逐点卷积 实现所述颜色特征向量与 所述亮度纹理特征向量的通道 交互， 获取颜色 交互特征与亮度纹 理交互特征； 基于sigmo id函数分别计算所述颜色交 互特征与所述亮度纹 理交互特征的权重； 将所述颜色交互特征的权重与所述颜色特征相乘， 将所述亮度纹理交互特征的权重与 所述亮度纹 理特征相乘， 对两组相乘的结果 求和， 获取融合特 征图。 7.根据权利要求3所述的基于CNN的NR水下增 强图像质量评价方法， 其特征在于， 所述 注意力模块基于通道注意力明确所述颜色特征与所述亮度纹理特征的相互依赖 关系， 基于 空间注意力区分人类视 觉感知关注的区域， 获取增强人眼关注区域的输出 特征图。 8.根据权利要求7所述的基于CNN的NR水下增 强图像质量评价方法， 其特征在于， 基于 通道注意力明确所述颜色特 征与所述亮度纹 理特征的相互依赖关系的过程包括：权　利　要　求　书 1/2 页 2 CN 115170944 A 2基于全局平均池化和全局最大池化对所述融合特征图按空间方向进行空间信 息聚合， 获取平均标量与最大 标量； 基于两个全连接网络对所述平均标量与所述 最大标量进行传播； 通过元素相加将所述平均标量与所述最大标量进行融合， 将融合后的向量基于 sigmoid函数转换为 通道注意力权 重； 基于所述通道注意力 权重与所述融合特征图， 采用逐元素乘法获取通道注意力调 整特 征图。 9.根据权利要求7所述的基于CNN的NR水下增 强图像质量评价方法， 其特征在于， 基于 空间注意力区分人类视 觉感知关注的区域的过程包括： 基于全局平均池化和全局最大池化对所述融合特征图按通道方向进行通道信 息聚合， 获取平均通道与最大通道； 将所述平均通道与所述最大通道进行通道拼接， 并基于卷积层和sigmoid函数获得空 间注意力权 重； 基于所述空间注意力 权重与通道注意力调整特征图， 采用逐元素乘法获取空间注意力 调整特征图。 10.根据权利要求1所述的基于CNN的NR水下增强图像质量评价方法， 其特征在于， 对所 述输出特征图进行质量回归的过程包括： 基于质量 回归模块对所述输出特征图进行质量 回归， 所述质量 回归模块包括两层卷积 层以及全局最大池化、 全局平均池化和一个全连接层； 基于所述全局最大池化和所述全局 平均池化对所述输出特征图进行特征过滤， 获取每 个特征的质量分数； 对所有特 征的质量分数求平均， 获取整个水 下增强图像的质量分数。权　利　要　求　书 2/2 页 3 CN 115170944 A 3