(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210494054.2 (22)申请日 2022.04.29 (71)申请人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 (72)发明人 刘涛榕　王正　廖良　王晓　 (74)专利代理 机构 武汉智权专利代理事务所 (特殊普通 合伙) 42225 专利代理师 罗成 (51)Int.Cl. G06T 5/00(2006.01) G06K 9/62(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) (54)发明名称 一种图像修复方法、 装置、 设备及可读存储 介质 (57)摘要 本申请涉及一种图像修复方法、 装置、 设备 及可读存储介质， 涉及图像修复技术领域， 包括 将待修复图像和参考图像分别输入至对应的编 码器得到待修复图像的第一特征图和参考图像 的第二特征图， 对第一特征图和第二特征图进行 特征提取得到待修复图像及参考图像的纹理特 征和结构特征； 对上述的纹理特征和结构特征进 行对齐融合处理得到融合纹理特征和 融合结构 特征； 对融合纹理特征和融合结构特征进行多尺 度填充修复得到填充纹理特征和填充结构特征； 对填充纹理特征和填充结构特征进行连接与卷 积处理得到均衡特征； 将均衡特征输入至解码 器， 解码器将均衡特征与输入至解码器中的第一 特征图进行跳转连接生成修复后的图像。 本申请 可有效提高图像的修复 效果。 权利要求书2页 说明书9页 附图3页 CN 114782282 A 2022.07.22 CN 114782282 A 1.一种图像修复方法， 其特 征在于， 包括以下步骤： 将待修复图像输入至第一编码器以及与待修复图像对应的参考图像输入至第二编码 器， 得到待修复图像的第一特征图和参考图像的第二特征图， 并分别对第一特征图和第二 特征图进 行特征提取， 得到待修复图像的第一纹理特征和 第一结构特征以及参考图像的第 二纹理特征和第二结构特 征； 分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融 合处理， 得到融合纹 理特征和融合结构特 征； 对融合纹理特征和融合结构特征进行多尺度填充修复， 得到填充纹理特征和填充结构 特征； 对填充纹 理特征和填充结构特 征进行连接与卷积处 理， 得到均衡特 征； 将均衡特征输入至解码器， 以供解码器将均衡特征与输入至解码器中的第 一特征图进 行跳转连接， 生成修复后的图像。 2.如权利要求1所述的图像修复方法， 其特征在于： 所述待修复图像的第 一特征图包括 多张第一浅层特征图和多张第一深层特征图， 所述参考图像的第二特征图包括多张第二浅 层特征图和多张第二深层特 征图。 3.如权利要求2所述的图像修复方法， 其特征在于， 所述分别对第 一特征图和第 二特征 图进行特征提取， 得到待修复图像的第一纹理特征和 第一结构特征以及参考图像的第二纹 理特征和第二结构特 征， 包括： 将所述多 张第一浅层特征图进行拼接得到所述待修复图像的第 一纹理特征， 并将所述 多张第一深层特 征图进行拼接得到所述待修复图像的第一结构特 征； 将所述多 张第二浅层特征图进行拼接得到所述参考图像的第 二纹理特征， 并将所述多 张第二深层特 征图进行拼接得到所述 参考图像的第二结构特 征。 4.如权利要求1所述的图像修复方法， 其特征在于， 所述分别对第 一纹理特征和第 二纹 理特征以及第一结构特征和第二结构特征进 行对齐融合处理， 得到融合纹理特征和融合结 构特征， 包括： 对第一纹理特征和第二纹理特征进行对齐处理， 得到对齐纹理特征， 并将对齐纹理特 征和第一纹 理特征进行融合处 理， 得到融合纹 理特征； 对第一结构特征和第二结构特征进行对齐处理， 得到对齐结构特征， 并将对齐结构特 征和第一结构特 征进行融合处 理， 得到融合结构特 征。 5.如权利要求1所述的图像修复方法， 其特征在于， 所述对第 一纹理特征和第 二纹理特 征进行对齐处 理， 得到对齐纹 理特征， 包括： 将第一纹 理特征和第二纹 理特征进行连接， 得到连接纹 理特征； 基于偏移估计 器对连接纹 理特征进行计算处 理， 得到纹 理特征偏移图； 基于纹理特征偏移图对第二纹 理特征进行可变形卷积处理， 得到对齐纹 理特征。 6.如权利要求1所述的图像修复方法， 其特征在于， 所述对填充纹理特征和填充结构特 征进行连接与卷积处 理， 得到均衡特 征， 包括： 基于注意力机制对填充纹理特征和填充结构特征进行连接与卷积处理， 得到均衡特 征。 7.如权利要求1所述的图像修复方法， 其特征在于： 所述第 一编码器与 所述第二编码器权　利　要　求　书 1/2 页 2 CN 114782282 A 2的运行参数相同。 8.一种图像修复装置， 其特 征在于， 包括： 特征提取单元， 其用于将待修复图像输入至第 一编码器以及与待修复图像对应的参考 图像输入至第二编码器， 得到待修复图像的第一特征图和 参考图像的第二特征图， 并分别 对第一特征图和 第二特征图进 行特征提取， 得到待修复图像的第一纹理特征和 第一结构特 征以及参 考图像的第二纹 理特征和第二结构特 征； 对齐融合单元， 其用于分别对第 一纹理特征和第 二纹理特征以及第 一结构特征和第 二 结构特征进行对齐融合处 理， 得到融合纹 理特征和融合结构特 征； 特征填充单元， 其用于对融合纹理特征和融合结构特征进行多尺度填充修复， 得到填 充纹理特征和填充结构特 征； 特征均衡单元， 其用于对填充纹理特征和填充结构特征进行连接与卷积处理， 得到均 衡特征； 图像重建单元， 其用于将均衡特征输入至解码器， 以供解码器将均衡特征与输入至解 码器中的第一特 征图进行跳转连接， 生成修复后的图像。 9.一种图像修复设备， 其特征在于， 包括： 存储器和 处理器， 所述存储器中存储有至少 一条指令， 所述至少一条指令由所述处理器加载并执行， 以实现权利要求1至7中任一项所 述的图像修复方法。 10.一种计算机可读存储介质， 其特征在于： 所述计算机存储介质存储有计算机程序， 当所述计算机程序被处 理器执行时， 以实现权利要求1至7中任一项所述的图像修复方法。权　利　要　求　书 2/2 页 3 CN 114782282 A 3