(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210360677.0 (22)申请日 2022.04.07 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 申请人 山东正晨科技股份有限公司 (72)发明人 李军　张志晨　王昱凯　高鹤　 郑学汉　付文文　吴保航　王靖晗　 杨天赐　 (74)专利代理 机构 济南格源知识产权代理有限 公司 373 06 专利代理师 刘晓政 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种YOLOv3铁路关键作业流程自动鉴别方 法与系统 (57)摘要 本发明涉及计算机视觉领域,尤其是一种 YOLOv3铁路关键作业流程自动鉴别方法与系统， 包括： 通过人工作业时的视频以及得到的包含列 车中关键 特征的图像信息； 对YOL Ov3网络进行预 训练， 将图像输入darknet53， 通过残差网络 Residual， 将主干的输入与输出结合， 进行特征 提取， 通过下采样操作， 获取特征图并利用多尺 度模块将特征图划分为低频和高频特征图， 通过 池化层压缩低频特征图， 减少分量冗余。 本发明 优化列车安全检查中关键点的识别， 提升传统部 分对列车安全检查中小目标的关键特征的精度， 去除冗余分量， 解决人工审查难度大的问题， 形 成人工作业视频分析全覆盖的目的。 权利要求书3页 说明书6页 附图3页 CN 114818880 A 2022.07.29 CN 114818880 A 1.一种YOLOv3 铁路关键作业 流程自动鉴别方法,其特 征在于包括如下步骤， 步骤1： 通过人工作业视频， 对包含关键点的部分进行逐帧提取， 获得铁路作业流程中 的关键特 征的图像信息； 步骤2： 基于步骤1所述的图像， 标注图像内关键特征的矩形包围框， 获取矩形包围框在 原图像的位置、 宽高和类别 信息， 并生成对应的标签存 储信息， 搭建数据集； 步骤3： 基于步骤2所述 的数据集， 将图像输入darknet53网络， 利用残差网络Residual 使主干的输入与输出结合， 进行特征提取， 通过下采样操作， 获取特征图并利用YOLO_Head 模块将特征图划分为低频和高频特征图， 通过池化层使低频特征图压缩， 减少分量冗余， 传 入特征提取网络； 步骤4： 基于步骤3所述的YOLOv3网络， 将所述的YOLOv3网络进行改进， 过渡层替换成1 ×1和3×3/2的卷积层并交替使用， 然后扩展多尺度YOLO_Head模块， 将原有的3个YOLO_ Head模块扩展为 4个， 增添104 ×104的YOLO_Head模块； 步骤5： 基于步骤3所述的darknet53网络， 将扩展后的四个有效特征层在加强特征网络 FPN中进行特征融合， 同时对原有的3个YOLO_Head模块进行上采样， 添加输出为52 ×52的上 采样过程， 并实现和104 ×104特征层 级联， 结合不同尺度的特征信息， 从而获取加强过的有 效特征层； 步骤6： 基于步骤5所述的加强过的有效特征层， 传入分类器与回归器， 预测特征点对应 物体的情况， 通过梯度下降法计算关键点对应的置信度损失、 类别损失以及位置损失； 步骤7： 基于步骤4所述的改进的YOLOv3 网络， 进行冻结以及解冻训练， 输入图像大小为 416×416， 在改进的残差网络中提取关键特征， 采用原有的3种卷积特征层和新增添的卷积 特征层预测目标坐标和位置， 保存每个epoch的结果以及tensorboard的结果， 输出最终的 模型权重； 步骤8： 基于步骤7所述的模型权重， 利用损失值最低的权重文件对作业流程进行分析， 判断视频中是否包含了列车中关键点的检查， 降低人工检查成本， 提高作业视频分析速度， 达到作业视频分析全覆盖， 从而形成完整的闭环工作的目的。 2.根据权利要求1所述的一种YOLOv3 铁路关键作业 流程自动鉴别方法， 其特 征在于, 步骤2中， 首先会将图像转换成RGB 形式， 进行不失真的尺寸调整； 其次对输入的图像进 行归一化， 并添加batch_size维度； 最后采用k ‑means聚类方法， 对归一化的图像宽高进行 聚类， 获取 先验框的宽高。 3.根据权利要求1所述的一种YOLOv3 铁路关键作业 流程自动鉴别方法， 其特 征在于, 步骤3中， 初始化YOLOv3网络中的参数， 其中， YOLOv3网络中的参数有冻结阶段迭代次 数Freeze  epoch、 冻结阶段学习率Freez e lr、 冻结阶段输入图像数量Freez e_batch_size、 解冻阶段迭代次数Unfreeze  epoch、 解冻阶段学习率U nfreeze lr、 解冻阶段图像输入数量 Unfreeze_batc h_size； 对冻结阶段迭代训练次数进行设置， 并进行迭代训练计算； 其中， 第 一次进行迭代训练 时Freeze  epoch=1； 判断当前训练次数是否小于解冻阶段迭代训练次数； 若所述当前训练 次数小于所述解冻阶段迭代训练次数， 利用 多尺度模块将特征图划分为低频和高频特征 图； 若所述当前训练次数不小于所述 解冻阶段迭代训练次数， 则结束迭代训练。 4.根据权利要求1所述的一种YOLOv3 铁路关键作业 流程自动鉴别方法,其特 征在于，权　利　要　求　书 1/3 页 2 CN 114818880 A 2步骤4中， 对于YOLOv3网络进行改进时， 删除了YOLOv3检测层前的两组卷积层， 为预防 下采样过程中特征信息的丢失， 过渡层将1 ×1和3×3/2的卷积层交替使用， 然后扩展多尺 度检测YOLO_Head模块， 原有网络检测尺度为3个， 扩展后的检测尺度为4个， 分支结构提升 至4个， 增添104 ×104的YOLO_Head模块。 5.根据权利要求1所述的一种YOLOv3 铁路关键作业 流程自动鉴别方法， 其特 征在于, 步骤5中， 改进后的YOLOv3网络提取多特征层， 实现目标检测， 共提取4个特征层， 4个特 征层分别位于主干部分dar knet53的中上层， 中间层， 中下层以及底层， 四个特征层为 （104， 104， 128） 、 (52,52,256)、 (26,26,512)以及(13,13,1024)， 残差网络中提取到的特征对4个 YOLO_Head模块共同开放， 同时对原有的3个YOLO_Head模块进行上采样， 添加输出为52 ×52 的上采样过程， 并实现和104 ×104特征层级 联， 在4个YOLO_Head模块上分别对大、 中、 小、 极 小的物体进行独立检测， 从而 有助于提取浅层特 征信息， 提高小物体 检测效果。 6.根据权利要求1所述的一种YOLOv3 铁路关键作业 流程自动鉴别方法， 其特 征在于, 步骤6中， 利用1 ×1的卷积调整通道数， 利用3 ×3的卷积进行特征整合， 分别处理改进 后的YOLOv3网络得到的4个特征层， 在此数据集中关键点有3种， 故种类数为3类， 输出层的 维度分别为(13,13,24)、 (26,26,24)、 (52,52,24)、 （104， 104， 24） ， 其中因为数据集是基于 人工作业流程的， YOLOv3针对 四个特征层的每一个特征点， 均包含3个先验框， 故预测结果 的通道数为3 ×（4＋1＋3） ， 4为每一个先验框的调整参数， 1是判断先验框内部是否包含物 体， 3是判断先验框内物体的种类， 故最后一个维度为24。 7.根据权利要求1所述的一种YOLOv3 铁路关键作业 流程自动鉴别方法， 其特 征在于, 步骤7中， 在冻结阶段， 模型权重的主干被冻结， 此时模型的特征提取网络不发生改变， 由于训练参数较少， 模型占用的显存较小， 仅对网络进行微调， 此时设置的学习 率为1e‑3， 帮助模型跳出局部最优解， 在解冻阶段， 此时模型的主干不被冻结， 特征提取网络会发生改 变， 由于训练参数较多， 占用的显存较大， 整个模型都会发生改变， 因此设置batch_size为 8， 设置学习率为1e ‑4， 以便保证训练模型的稳定性， 结合(13,13,24)、 (26,2 6,24)、 (52,52, 24)、 （104， 104， 24） 的4种不同尺度的特征层， 通过 ResNet残差网络进行特征提取， 预测出列 车安全检查中关键点的类型、 坐标和位置信息 。 8.根据权利要求1所述的一种YOLOv3 铁路关键作业 流程自动鉴别方法， 其特 征在于, 步骤8中， 采用了损失值 最低的模型， 通过非极大抑制， 滤除了 置信度小于 0.5的框。 9.一种引用权利要求1 ‑9中任一方法的YOLOv3铁路关键作业流程自动鉴别系统， 其特 征在于,所述系统包括： 关键特征获取模块， 主要作用为通过人工作业视频， 对包含关键点的部分进行提取， 获 得关键特 征的图像信息； 高频特征图与低频特征图区分模块， 主要作用为利用YOLO_Head模块将特征图划分为 低频和高频 特征图， 通过池化层使低频 特征图压缩， 减少分量冗余； 预训练模块， 主要作用为利用改进后的YOLOv3对列车安全检查中的