(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210953695.X (22)申请日 2022.08.10 (71)申请人 四川中电启明星信息技 术有限公司 地址 610000 四川省成 都市郫都区现代工 业港 （南片区） 西源大道 2688号 (72)发明人 王红蕾　李欢欢　徐小云　高攀　 叶林峰　邓芷珊　孙觉于　向哲宏　 陈思　许海　 (74)专利代理 机构 成都君合集专利代理事务所 (普通合伙) 51228 专利代理师 尹新路 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的绝 缘子缺陷检测方法 (57)摘要 本发明提出一种基于深度学习的绝缘子缺 陷检测方法， 首先， 利用绝缘子缺陷检测模型对 输入图像进行绝缘子检测并输出检测到的绝缘 子位置边框； 其次， 利用绝缘子区域剪切模块根 据绝缘子位置边框和输入图像得到绝缘子区域 图像； 然后， 将绝缘子区域图像输入到绝缘子缺 陷分类模型中到相应的绝缘子缺陷类别标签； 最 后， 综合绝缘子区域图像缺陷类别标签和相应的 绝缘子位置边框得到绝缘子缺陷检测结果。 本发 明可以同时检测出多种不同种类的绝缘子缺陷， 且对不同种类的绝缘子缺陷检测效果能够在一 定范围内满足实际需求， 这不仅有助于电力行业 更好地完成巡线检修任务， 也可助益于电力行业 的智能化发展。 权利要求书2页 说明书10页 附图2页 CN 115035108 A 2022.09.09 CN 115035108 A 1.一种基于深度学习的绝 缘子缺陷检测方法， 其特 征在于， 包括以下步骤： 步骤1： 采集 绝缘子图像， 制作绝 缘子检测数据集和绝 缘子缺陷分类数据集； 步骤2： 在YOLOv5中搭建绝缘子检测模型， 将采集的绝缘子图像输入至绝缘子检测模型 中， 输出绝 缘子位置边框； 步骤3： 将得到的绝 缘子位置边框进行剪切得到相应的绝 缘子区域图像； 步骤4： 建立拥有卷积层、 下采样层、 特征融合层、 全连接层、 Softmax层的绝缘子缺陷分 类模型， 将得到的绝 缘子区域图像输入至绝 缘子缺陷分类模型中得到绝 缘子缺陷类别； 步骤5： 利用绝缘子检测数据集对绝缘子检测模型进行训练， 得到检测3种类型绝缘子 的绝缘子检测模型； 利用绝缘子缺陷分类数据集对绝缘子缺陷分类模型进行训练， 得到检 测7种绝缘子缺陷类别的绝 缘子缺陷分类模型。 2.如权利要求1所述的一种基于深度 学习的绝缘子缺陷检测方法， 其特征在于， 所述步 骤4的具体操作为： 建立拥有13层卷积层、 5层下采样层、 4层特征融合层、 3层全连接层、 1层 Softmax层的绝缘子缺陷分类模型， 进行4次特征融合， 将下采样层产生的特征图和卷积层 产生的特征相融合， 四次融合完成后输出至最后一层下采样层， 最后一层下采样层输出至3 层全连接层， 最后输出至Softmax层后得到绝 缘子缺陷类别。 3.如权利要求2所述的一种基于深度 学习的绝缘子缺陷检测方法， 其特征在于， 在每一 层特征融合层后均增 加一层卷积核为3 ×3、 步长和填充值均为1的卷积层。 4.如权利要求1所述的一种基于深度 学习的绝缘子缺陷检测方法， 其特征在于， 所述步 骤1的具体步骤为： 步骤1.1： 人工 筛选出包含绝缘子且存在缺陷的绝 缘子图像； 步骤1.2： 用图像工具LabelImg对筛选出的图像进行绝缘子位置边框和绝缘子缺陷类 别的标注， 生成一个名称与图像名称相同的xml文件； 步骤1.3： 根据xml文件在相应的图像中剪切出绝 缘子区域图像； 步骤1.4： 根据生成的xml文件， 制作绝缘子检测数据集； 根据剪切出的绝缘子区域图像 制作出绝 缘子缺陷分类数据集。 5.如权利要求4所述的一种基于深度 学习的绝缘子缺陷检测方法， 其特征在于， 所述步 骤1.4中制作绝缘子检测数据集的具体操作为： 首先， 利用python程序将所有xml文件转换 成与xml文件相对应且文件名相同的txt文件； 然后， 将原 绝缘子图像按照8:1:1的比例分成 三部分， 其中数量较多的部分图像放在文件夹images/tr ain中用于绝缘子检测模型训练， 数量相对较少的两部分图像分别放在文件夹images/val中用于验证和文件夹images/test 中用于测试； 最后， 将txt文件按照与图像划分的对应关系同样分成三部分， 且分别放在 labels文件下的子文件夹t rain、 val和test中。 6.如权利要求4所述的一种基于深度 学习的绝缘子缺陷检测方法， 其特征在于， 所述步 骤1.4中制作绝缘子缺陷分类数据集的具体操作为： 首先， 将扩增 后的绝缘子区域图像按照 缺陷类别分别放在以绝缘子缺陷类别命名的文件夹中； 然后， 将每种类别缺陷的绝缘子区 域图像按照8:1:1的比例分开， 分别放在trainData、 valData和testData文件夹且按照类别 分别放在以类别命名的子文件夹中。 7.如权利5或6所述的一种基于深度学习的绝缘子缺陷检测方法， 其特征在于， 在制作 绝缘子检测数据集和绝 缘子缺陷分类数据集前， 对绝 缘子图像数据进行翻转、 旋转。权　利　要　求　书 1/2 页 2 CN 115035108 A 28.如权利要求1所述的一种基于深度学习的绝缘子缺陷检测方法， 其特征在于， 在 YOLOv5中搭建绝缘子检测模 型前， 对图像进 行有重叠 分割， 具体操作为： 设定分割时图像左 右两部分的重叠率为图像总宽度(Width)的20%； 计算左半部分图像的分割边界并按照该边 界进行分割得到左半部 分图像； 计算右半部分图像的分割边界并按照该边界进行图像分割 得到右半部分图像。 9.如权利要求8所述的一种基于深度 学习的绝缘子缺陷检测方法， 其特征在于， 所述步 骤2的具体步骤为： 步骤2.1： 在YOLOv5中搭建绝 缘子检测模型； 步骤2.2： 将得到的分割后的左半部分图像和右半部分图像输入至搭建的绝缘子检测 模型中， 得到绝 缘子位置边框； 步骤2.3： 将分别存在于左半部分图像和右半部分图像、 存在重叠且类别相同的位置边 框进行合并， 得到最终的绝 缘子位置边框 。 10.如权利要求9所述的一种基于深度学习的绝缘子缺陷检测方法， 其特征在于， 所述 步骤3的具体步骤为： 步骤3.1： 将得到的绝缘子位置边框表示为[xmin,ymin,xmax,ymax]， 其中xmin和ymin 是绝缘子位置边框的左上角坐标值， xmax和ymax是绝 缘子位置边框的右下角坐标值； 步骤3.2： 利用OpenCV读取输入图像并根据所得绝缘子位置边框坐标进行剪切得到相 应的绝缘子区域图像。权　利　要　求　书 2/2 页 3 CN 115035108 A 3