(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211082600.8 (22)申请日 2022.09.06 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 路小波　苏仕祥　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 叶倩 (51)Int.Cl. G06V 10/26(2022.01) G06T 7/194(2017.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于形状引导的轨道扣件图像分割方 法 (57)摘要 本发明公开了一种基于形状引导的轨道扣 件图像分割方法， 具体步骤包括S1： 获取轨道扣 件图像； S2： 从所有标签图像中获取1 张左侧形状 图像和1张右侧形状图像； S3： 将形状图像与对应 方向的扣件 图像配对； S4： 将扣件图像和配对的 形状图像输入分割模型， 迭代训练分割模型直到 满足迭代终止条件， 得到训练完成的分割模型； S5： 获得分割结果。 本发明提供了用于轨道扣件 图像快速、 准确分割的方法， 改善了复杂环境下 轨道扣件图像难以准确分割的问题， 极大提高了 轨道扣件图像 分割的效率， 具有重要的实际应用 意义。 权利要求书2页 说明书5页 附图3页 CN 115457270 A 2022.12.09 CN 115457270 A 1.一种基于形状引导的轨道扣件图像分割方法， 其特 征在于， 该 方法包括以下步骤： S1、 扣件图像获取： 获取铁路轨道的扣件图像和对应的标签图像， 所述扣件图像为有且 仅有单个扣件的RGB图像； 所述标签图像有且仅有两种颜色， 分别对应了扣件图像的前景和 背景区域； S2、 形状图像筛选： 从所有标签图像 中获取1张左侧形状图像和1张右侧形状图像； 所述 左侧形状图像为位于钢轨左侧的扣件图像； 所述右侧形状图像为位于钢轨右侧的扣件图 像； 左侧形状图像和右侧形状图像需要能够反映出扣件完整的结构特 征， 无破损情况； S3、 形状图像与扣件图像配对： 根据 方向性， 为每一张扣件图像配一张筛选出的形状图 像， 所述方向性 为扣件图像位于钢轨的左侧或者右侧； S4、 模型训练： 将在步骤S3获取的配对后的扣件图像和形状图像输入分割模型进行迭 代训练， 得到训练好的扣件分割模型； 所述分割模型为编码器 ‑解码器结构， 编码器分为常 规分支和形状分支， 均为主干网络， 还包括3个形状注意力模块、 3个形状融合模块和1个1 × 1的卷积； 形状注意力模块还包含通道注意力分支和空间注意力分支， 所述通道注意力分支用以 突出与分割任务相关的特征通道； 所述空间注意力分支自适应地将激活限制在一个语义相 关的区域； 形状注意力模块通过元素相加来融合通道注意力分支和空间注意力分支的输出 结果， 并通过3 ×3卷积来转换输出； S5、 结果输出： 将待分割的扣件图像输入到在步骤S4中训练好的分割模型中， 得到扣件 图像的分割结果。 2.如权利要求1所述的一种基于形状引导的轨道扣件图像分割方法， 其特征在于： 所述 步骤S4中， 分割模型编码器的常规分支和形状分支分别采用ResNet18和MobileNetV3的5个 下采样模块 ， 常规分支5个下采样模块的最后一个卷积层生成的特征图记为 形状分支5个下采样模块的最后一个卷积层生成的特征图记为 所述分割模型中融合后的特征图被送入一个包含5阶段2倍上采样 的解码器。 3.如权利要求2所述的一种基于形状引导的轨道扣件图像分割方法， 其特征在于： 所述 形状注意力模块有 两个输入， 分别是来自常规分支的特征图 和形状分支的特征 图 其中， s代表该特征图位于第s个下采样 阶段； r和p分别标记特征图来自常 规分支、 形状分支； C代表特征图通道数； H代表特征图高度； W代表特征图宽度； 所述分割模 型中3个形状注意力模块的输入分别是编码器中第2， 3， 4个下采样模块输出的特征图， 即 和 4.如权利要求2或3所述的一种基于形状引导的轨道扣件图像分割方法， 其特征在于： 所述形状注意力模块中的通道注意力分支利用全局平均池化操作压缩特征 其中 第c个元素值为 权　利　要　求　书 1/2 页 2 CN 115457270 A 2再通过卷积操作对压缩 的特征v进行通道相 关性计算并引 入使用Sigmoid函数将通道 相关性值归一化， 最后将得到的归一化权值与输入特征图I相乘， 即为其通道赋权重， 得到 通道注意力的输出： 其中， fw为对应的卷积 操作参数。 5.如权利要求4所述的一种基于形状引导的轨道扣件图像分割方法， 其特征在于： 所述 形状注意力模块中的空间注意力分支的输入分别 是I和 通过卷积操作将I和 映射到 一个具有相同维度的中间特 征空间， 再通过形状分支的输出 特征 来抑制不相关区域的激 活反应， 从而引导网络准确决定出需要关注的区域； 该分支输出的2D空间注意特征图z∈ [0,1]H×W为： z＝Sigmo id[We*[ReLU((Wp*Fsp)+(Wr*I))]] 其中， 表示对应的1 ×1卷积操作参数； 最终输出 是通过将输入I与空间注意力特 征图z进行 元素相乘得到的： 6.如权利要求5所述的一种基于形状引导的轨道扣件图像分割方法， 其特征在于， 所述 步骤S4中的迭代训练具体包括： S41、 将上一次迭代训练所 得到的基于形状引导的轨道扣件分割模型视为当前模型； S42、 利用当前模型对扣件训练图像进行语义分割得到当前模型的语义分割掩膜； S43、 将基于步骤S42所得的当前模型的语义分割掩膜和标签图像计算损失函数， 所述 损失函数为： 其中， p∈Rh×w表示分割模型输出的结果； y∈Rh×w表示相应的标签图像； h和w分别是输出 图像的高度和宽度； i表示第i个像素； ε是避免零除的平滑项； α是调整 权重的超参数； β 为权重系数； S44、 判断当前模型的损失函数是否收敛或迭代训练次数是否达到迭代阈值： 如果是， 则当前模型即为最终基于形状引导的轨道扣件图像分割模型； 否则， 通过极小化损失函数 对当前模型的优化 参数进行优化， 并返回步骤S41。权　利　要　求　书 2/2 页 3 CN 115457270 A 3