(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210999220.4 (22)申请日 2022.08.19 (71)申请人 国网福建省电力有限公司福州供电 公司 地址 350004 福建省福州市台江区新港道4 号 申请人 国网福建省电力有限公司 (72)发明人 王榆　程航　韩旭　陈凯　王思安　 曾本鹏　王兆麟　周云婷　 (74)专利代理 机构 福州科扬专利事务所(普通 合伙) 35001 专利代理师 何小星 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/62(2017.01)G06V 10/25(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于Mask RCNN模型的绝缘端子线状污 斑图像检测方法 (57)摘要 本发明涉及一种基于Mask  RCNN模型的绝缘 端子线状污斑图像检测方法， 采集绝缘端子图 像， 将绝缘端子图像分为有污渍绝缘端子图像和 无污渍绝缘端子图像； 进行有污渍绝缘端子图像 的数据扩增； 进行数据增强处理得到高分辨率绝 缘端子污渍图像数据集； 输入至Mask  RCNN模型 进行特征提取， 输入到FPN网络中进行特征融合 处理， 遍历每个层的特征图， 采用softmax损失函 数预测出污渍的类别和位置， 基于这些损失函数 反向传播调节权重参数， 获得最终训练模型； 基 于Mask RCNN训练好的模型对采集到的 图片进行 检测， 判断其污渍程度， 若检测结果含有污渍， 驱 动机械臂运行至绝缘端子处进行清洗等工作。 即 通过采集图像对污渍进行识别， 自动完成污渍清 扫工作。 权利要求书2页 说明书5页 CN 115272286 A 2022.11.01 CN 115272286 A 1.一种基于 Mask RCNN模型的绝 缘端子线状污斑图像 检测方法， 其特 征在于： 包括： 采集绝缘端子图像， 对绝缘端子图像数据进行人工标注， 包括污渍掩膜位置坐标P和污 渍类别； 根据污渍掩膜 的大小计算线状污渍面积， 按污渍面积是否小于预设的污渍标准大小， 将绝缘端子图像分为有污 渍绝缘端子图像和无污 渍绝缘端子图像； 根据污渍掩膜位置坐标P从有污渍绝缘端子 图像中截取出掩膜区域， 将截取出的至少 一掩膜区域复制到无污 渍绝缘端子背景图像中， 进行有污 渍绝缘端子图像的数据扩增； 对数据扩增后的有污渍绝缘端子图像进行数据增强处理， 得到 高分辨率绝缘端子污渍 图像数据集； 将高分辨率绝缘端子污渍图像数据集中的图像输入至Mask  RCNN模型， 通过残差网络 ResNet50对图像进行 特征提取， 得到多尺度特 征图； 提取多尺度特 征图输入到FPN网络中进行 特征融合处 理， 得到融合多尺度后的特 征图； 遍历每个层的特征图， 将每个像素点设定anchor锚框， 每个像素生成的锚框根据框的 面积相同， 设置不同长 宽比率， 每 个anchor分为positive和neg ative； 将含有ROI的特征图送入RPN网络中自动提取Region  Proposals， 对生成的Region   Proposals进行二 值分类和回归， 过 滤掉一部分候选ROI； 对剩下的ROI进行ROIAl ign操作； 再对这些ROI区域通过两个独立的全卷积模块， 采用softmax损失函数预测出污渍的类 别和位置， 同时利用sigmoid函数作为损失函数通过mask分支预测出分类 分数前N个的分割 mask， 最后基于这些损失函数反向传播调节权 重参数， 获得最终训练模型； 采用最终训练模型对现场绝 缘端子进行污 渍检测。 2.如权利 要求1所述的一种基于Mask  RCNN模型的绝缘端子线状污斑图像检测方法， 其 特征在于： 所述污渍掩膜位置坐标P＝(x1， x2， y1， y2)， 其中(x1， y1)， (x2， y2)分别代表污渍 掩膜的左上角与右下角坐标。 3.如权利 要求2所述的一种基于Mask  RCNN模型的绝缘端子线状污斑图像检测方法， 其 特征在于： 使用label Img系统对绝 缘端子图像数据进行 人工标注。 4.如权利 要求1所述的一种基于Mask  RCNN模型的绝缘端子线状污斑图像检测方法， 其 特征在于： 对 采集到的绝 缘端子图像数据通过Mask  RCNN模型的输入端 进行图像预处 理。 5.如权利 要求1所述的一种基于Mask  RCNN模型的绝缘端子线状污斑图像检测方法， 其 特征在于： 在训练时将特征图中每个像素点设定一系列anchor锚框， 得到的特征图含有多 层， 首先需要确定从哪一层的特征出发， 再对其进行切取ROI及后续的分类回归问题， 确定 公式为： k0表示面积为w*h＝imagenet*ima genet的ROI所在的层级。 6.如权利 要求5所述的一种基于Mask  RCNN模型的绝缘端子线状污斑图像检测方法， 其 特征在于： 预测框 anchor的大小由scale和ratio确定， 所用方法将scale设置为(128， 256， 512)， ratio设置为(0.5， 1， 2)， 得到每一层的每个像素点都会产生3种锚框， 共9个锚框， 通 过两个1*1卷积层， 对这9个锚框进行分类与回归。权　利　要　求　书 1/2 页 2 CN 115272286 A 27.如权利 要求6所述的一种基于Mask  RCNN模型的绝缘端子线状污斑图像检测方法， 其 特征在于： 位置回归损失函数softmax计算如下： 其中， λcoord为位置损失系数， 为目标真实的中心坐标， 为目标的宽度与高 度， 若在(i， j)处的锚框包 含目标， 则 值为1， 否则该值 为0。 8.如权利 要求7所述的一种基于Mask  RCNN模型的绝缘端子线状污斑图像检测方法， 其 特征在于： 对于预测的二值掩膜输出， 对每个像素点应用sigmoid函数， 通过计算平均二值 交叉损失熵计算 其损失。 9.如权利 要求1所述的一种基于Mask  RCNN模型的绝缘端子线状污斑图像检测方法， 其 特征在于： 所述Mask  RCNN模型包括Backbo ne模块、 RPN网络、 ROIAl ign网络和Head网络 。 10.如权利要求9所述的一种基于Mask  RCNN模型的绝缘端子线状污斑图像检测方法， 其特征在于： Backbone模块： 首先通过残差 网络模块， 通过一系列卷积和池化， 得到不同阶段的特征 图， 再通过 FPN结构对不同阶段信息进行融合， 得到增强特 征图； RPN网络： 对特征图进行两部分操作， 一部分通过soft max分类anchors获得p ositive和 negative分类， 另一部分用于计算对于 anchors的bounding  box regression偏移量， 获得 精确的propo sals， 再综合po sitive anchors和bou nding box regression偏移量获取修正 后的proposals； ROI Align网络： 通过双线性插值方法将所有图像大小整合到一起， 实现了固定长度的 输出； Head网络： 包括两部分， 一部分是classifier， 这一部分包括了最终的classes和 bounding  boxes， 通过两个1024维度的全连接层得到， 确定目标位置和分类另一部分是 mask， 通过14*14大小划分得到14*14*256， 再接数个卷积层和反卷积层得到， 实现目标从整 个图像中分割出来。权　利　要　求　书 2/2 页 3 CN 115272286 A 3