(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210916593.0 (22)申请日 2022.08.01 (71)申请人 国网江苏省电力有限公司南 通供电 分公司 地址 226006 江苏省南 通市青年中路52号 (72)发明人 陈杰　徐剑峰　万浩　沈悦新　 钱春豪　施政奇　曹浩然　潘静娟　 杨眉　成嘉楠　戴相龙　蒋勇　 (74)专利代理 机构 北京智绘未来专利代理事务 所(普通合伙) 11689 专利代理师 张红莲 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/00(2017.01) (54)发明名称 一种RGB-红外输电线路缺陷图像特征融合 方法及系统 (57)摘要 本发明公开了一种RGB ‑红外输电线路缺陷 图像特征融合方法及系统， 提取RGB输电线缺陷 图像的原始缺陷卷积特征和模板缺陷卷积特征； 提取红外输电线缺陷图像的原始缺陷卷积特征 和模板缺陷卷积特征； 对RGB缺陷图像与红外缺 陷图像的原始缺陷卷积特征进行特征拼接， 得到 原始融合特征； 对RGB缺陷模板图像与红外缺陷 模板图像的模板缺陷卷积特征， 进行特征拼接， 得到模板融合特征； 对生 成的原始融合特征与模 板融合特征， 引入互相关算法进行 “﹡”运算， 使用 模板融合特征卷积原始融合特征， 生成RGB ‑红外 缺陷图像的融合特征。 本发明加入红外光成像技 术， 结合多模态传感器成像优势， 提高了输电线 缺陷巡检图像信息的完备性。 权利要求书2页 说明书4页 附图1页 CN 115393679 A 2022.11.25 CN 115393679 A 1.一种RGB ‑红外输电线路缺陷图像特 征融合方法， 其特 征在于， 所述方法包括 步骤： 步骤一， 获取RGB输电线缺陷图像， 并将缺陷标定的真实框中心作为中心坐标， 以一定 比例大小 进行裁剪， 得到RGB缺陷模板图像； 获取红外输电线缺陷图像， 并将缺陷标定的真实框中心作为中心坐标， 以一定比例大 小进行裁剪， 得到红外缺陷模板图像； 步骤二， 引入双阶段检测模型的特征提取模块Resnet， 作 为原始RGB缺陷图像与原始红 外缺陷图像的全卷积特征提取网络， 得到RGB缺陷图像与红外缺陷图像的原始缺陷卷积特 征； 引入单阶段检测模型的特征提取模块Darknet， 作 为RGB缺陷模板图像与红外缺陷模板 图像的全卷积特征提取网络， 得到RGB缺陷模板图像与红外缺陷模板图像的模板缺陷卷积 特征； 步骤三， 对RGB缺陷图像与红外缺陷图像的原始缺陷卷积特征进行特征拼接， 得到原始 融合特征； 对RGB缺陷模板 图像与红外缺陷模板 图像的模板缺陷卷积特征进行特征拼接， 得到模 板融合特 征； 步骤四， 基于步骤三生成的原始融合特征与模板融合特征， 引入互相关算法进行 “﹡”运 算， 使用模板融合特征卷积原始融合特征， 生 成RGB‑红外缺陷图像的融合特征； 根据生成的 RGB‑红外缺陷图像融合特 征， 确定缺陷在图像中的位置 。 2.根据权利要求1所述的RGB ‑红外输电线路缺陷图像特 征融合方法， 其特 征在于， 步骤一中， RGB输电线缺陷图像裁剪具体过程： 对于原始 RGB输电线缺陷图像， 以标定的 真实框中心为中心截取255*255*3的图像； 在原始RGB输电线缺陷图像的基础上， 以标记 中 心为中心， 截取127*127* 3的图像， 得到RGB缺陷模板图像。 3.根据权利要求1所述的RGB ‑红外输电线路缺陷图像特 征融合方法， 其特 征在于， 步骤一中， 红外输电线缺陷图像裁剪具体过程： 对于原始红外输电线缺陷图像， 以标定 的真实框中心为中心截 取255*255*3的图像； 在原始红外输电线缺陷图像的基础上， 以标记 中心为中心， 截取127*127* 3的图像， 得到红外缺陷模板图像。 4.根据权利要求1所述的RGB ‑红外输电线路缺陷图像特 征融合方法， 其特 征在于， 步骤二中， 双阶段检测模型的特 征提取模块Resnet具体结构为， 构建Resnet34 网络结构， 导入ImageNet预训练模型， 将最后的soft max层类别数修改为 缺陷类别数； 缺陷样 本数据集上进行模 型训练， 迭代 直到模型收敛； 去掉最后的softmax层； 输入原始缺陷图像， 得到原 始缺陷卷积特 征。 5.根据权利要求1所述的RGB ‑红外输电线路缺陷图像特 征融合方法， 其特 征在于， 步骤二中， 构建D arknet‑53网络结构， 导入ImageNet预训练模型， 将最后的softmax层 类别数修改为缺陷类别数； 在缺陷样本数据集上进 行模型训练， 迭代直到模型收敛； 去掉最 后的softmax层； 输入 模板缺陷图像， 得到模板缺陷卷积特 征。 6.根据权利要求1所述的RGB ‑红外输电线路缺陷图像特 征融合方法， 其特 征在于， 步骤三中， 拼接后的原 始融合特 征与模板融合特 征维度相同。 7.根据权利要求1所述的RGB ‑红外输电线路缺陷图像特 征融合方法， 其特 征在于， 步骤四中， RGB ‑红外缺陷图像的融合特 征C为，权　利　要　求　书 1/2 页 2 CN 115393679 A 2其中， resnet提取的RGB原始缺 陷卷积特征记为A1， 提取的红外光原始缺陷卷积特征记 为A2； darknet提取的RGB模版缺陷卷积特征记为B1， 提取的红外光模版缺陷卷积特征记为 B2。 8.一种RGB ‑红外输电线路缺陷图像特征融合系统， 其特征在于， 包括RGB特征提取网 络、 红外特 征提取网络以及特 征融合网络； RGB特征提取网络， 用于提取得到RGB输电线缺陷图像的原始缺陷卷积特征和模板缺陷 卷积特征； 红外特征提取网络， 用于提取得到红外输电线缺陷图像的原始缺陷卷积特征和 模板缺陷卷积特 征； 特征融合网络， 用于对RGB缺陷图像与红外缺陷图像的原始缺陷卷积特征进行特征拼 接， 得到原始融合特征； 对RGB缺陷模板图像与红外缺陷模板图像的模板缺陷卷积特征， 进 行特征拼接， 得到模板融合特征； 对生成的原始融合特征与模板融合特征， 引入互相关算法 进行“﹡”运算， 使用模板融合特征卷积原始 融合特征， 生成RGB ‑红外缺陷图像的融合特征； 根据生成的RGB ‑红外缺陷图像融合特 征， 确定缺陷在图像中的位置 。权　利　要　求　书 2/2 页 3 CN 115393679 A 3