(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210959512.5 (22)申请日 2022.08.11 (71)申请人 南京耘瞳科技有限公司 地址 211106 江苏省南京市江宁区双龙 大 道1698号10 03-1005室 (72)发明人 贾佳　 (74)专利代理 机构 南京钟山专利代理有限公司 32252 专利代理师 张力 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/766(2022.01)G06V 10/764(2022.01) G06V 10/26(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的碳丝表面缺陷检测方 法 (57)摘要 本发明公开了一种基于深度学习的碳丝表 面缺陷检测方法， 包括卷积层对原始图像进行碳 丝特征提取， 过滤背景信息， 生成多个特征图； 将 多个特征图送入编码器模块进行编码； 将特征图 编码之后， 采用主干网络对碳丝缺陷高低层特征 进行提取融合， 生成多尺度特征图； 将主干网络 生成的多尺度特征图送入解码器模块进行解码； 将解码器解码后产生的特征图与初步卷积后的 结果特征图融合， 用于碳丝缺陷的分类和回归预 测； 输出分类预测和回归预测的结果。 本发明降 低了人为主观 性的干扰， 这对于提升大型碳丝束 生产速度， 保证碳丝制品质量， 减轻劳动人员工 作强度有很大贡献。 权利要求书2页 说明书5页 附图1页 CN 115358977 A 2022.11.18 CN 115358977 A 1.一种基于深度学习的碳丝表面 缺陷检测方法， 其特 征在于， 包括： 步骤1： 卷积层对原 始图像进行碳丝特 征提取， 过 滤背景信息， 生成多个特 征图； 步骤2： 将多个特 征图送入编码器模块进行编码； 步骤3： 将特征图编码之后， 采用主干网络对碳丝缺陷高低层特征进行提取融合， 生成 多尺度特 征图； 步骤4： 将主干网络生成的多尺度特 征图送入解码器模块进行解码； 步骤5： 将解码器解码后产生的特征图与初步卷积后的结果特征图融合， 用于碳丝缺陷 的分类和回归预测； 步骤6： 输出分类预测 和回归预测的结果。 2.根据权利要求1所述的一种基于深度 学习的碳丝表面缺陷检测方法， 其特征在于， 所 述步骤1采用多头结构来分别处理特征提取任务， 从输入的碳丝原始图像中提取缺陷特征， 得到特征图； 每个头由三个卷积层组成， 缺陷特 征fH提取过程表示 为： fH＝Hi(x) 其中， x为输入的原 始碳丝图像， Hi表示第i个的头 部结构。 3.根据权利要求1所述的一种基于深度 学习的碳丝表面缺陷检测方法， 其特征在于， 所 述步骤2包括： 步骤(2.1)将特征图分割成块fpi， 一共分割成n个块， 为每个块增加可学习的位置编码 Epi， 其中， 位置编码Epi根据分割块的位置决定， 将Epi+fpi输入编码器中， 得到： y0＝[Ep1+fp1,Ep2+fp2,...,Epn+fpn] y0是Epi和fpi的相加和初始向量； 步骤(2.2)： 将初始向量送入MSA自注意力模块进行处 理， 得到y ′i： y′i＝MSA(qi,ki,vi)+yi‑1 qi＝ki＝vi＝LN(yi‑1) 其中LN表示归一化操作， qi、 ki、 vi记住上一层的归一化结果后， 送入MSA， 经MSA处理后 的结果加上 上一层的编码结果yi‑1得到y′i； 步骤(2.3)： y ′i经归一化操作后再送入FFN， 经过FFN操作后的结果加上经MSA 处理后的 结果y′i， 得到编码结果yi， 编码过程需反复进行多次， 直至编码过程完成： yi＝FFN(LN(y′i))+y′i [fE1,fE2,...,fEn]＝yl 其中， FFN表示前馈神经网络； [fE1,fE2,...,fEn]表示编码后的特 征； l表示编码器的层数。 4.根据权利要求1所述的一种基于深度 学习的碳丝表面缺陷检测方法， 其特征在于， 所 述步骤3采用基于ResNet 架构的特 征金字塔网络FPN作为主干网络 。 5.根据权利要求1所述的一种基于深度 学习的碳丝表面缺陷检测方法， 其特征在于， 步 骤4所述解码器由两个多头自注意模块MSA和一个前馈神经网络F FN组成。 6.根据权利要求5所述的一种基于深度 学习的碳丝表面缺陷检测方法， 其特征在于， 所 述步骤4通过解码器来学习不同任务的解码特 征， 具体过程如下：权　利　要　求　书 1/2 页 2 CN 115358977 A 2步骤(4.1)： 进行第一次自注意力模块处 理， 得到z′i； z0＝[fE1,fE2,...,fEn] qi＝ki＝vi＝LN(zi‑1) z′i＝MSA(qi,ki,vi)+zi‑1 其中， z0表示解码器的输入， 解码器的输入 为编码器编码结果经主干网络传递后生成的 特征图输出； 其中， LN表示归一 化操作， qi、 ki、 vi表示上一层的归一 化结果； MSA表示多头自注意模块， 经多头自注意力模块MSA处理后加上上层解码器的输入zi‑1 得到z′i； 步骤(4.2)： 进行第二次自注意力模块处 理， 最终得到 z″i： z″i＝MSA(q′i,k′i,v′i)+z′i q′i,k′i,v′i的计算公式如下： q′i＝LN(z′i)， k′i＝v′i＝LN(z0) 其中， LN表示归一化操作， MSA表示多头自注意模块， 经第二次MSA处理后结果加上第一 次自注意力模块处 理后的输出z ′i最终得到 z″i； 步骤(4.3)： 将z ″i经归一化后 再送入前馈神经网络FFN， 所得结果再加上两 次多头自注 意力模块MSA处 理结果z″i， 得到最终解码结果zi； zi＝FFN(LN(z″i))+z″i [fD1,fD2,...,fDn]＝zl 其中， l表示 解码器的层数， fDi为解码器的输出。 7.根据权利要求1所述的一种基于深度 学习的碳丝表面缺陷检测方法， 其特征在于， 步 骤5中， 通过损失函数在预测框和地 面真实框之间产生 最优匹配， 损失函数设计如下： L＝ λcls·Lcls+λL1·LL1+λgiou·Lgiou 其中， Lcls为预测分类与地面真实类标签的Focal  Loss函数， LL1和Lgiou分别为预测框与 地面真实框 之间归一化后的关于中心坐标、 长度、 宽度的L 1损失函数和GIOU损失函数， λcls、 λL1、 λgiou分别为各损失函数的系数。权　利　要　求　书 2/2 页 3 CN 115358977 A 3