(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210481986.3 (22)申请日 2022.05.05 (71)申请人 湖南大学 地址 410082 湖南省长 沙市岳麓区麓山 南 路麓山门 申请人 广西玉柴新能源 汽车有限公司 (72)发明人 宋凯　陈韶华　周从源　高俊伟　 (74)专利代理 机构 长沙惟盛赟鼎知识产权代理 事务所(普通 合伙) 43228 专利代理师 黄敏华 (51)Int.Cl. G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于人工智能的智能化高精度路面病 害识别方法 (57)摘要 本发明属于路面病害检测领域， 具体涉及一 种基于人工智能的智能化高精度路面病害识别 方法， 包括： 提供一个 路面病害识别模型， 路面病 害识别模型将输入的路面病害图片与输出的路 面病害类型对应； 路面病害特征生成时， 基于路 面病害图片多层级地提取路面病害特征， 第一层 级基于原路面病害图片提取路面病害特征， 其后 的每一层 级皆基于上一层级提取路面病害特征； 将排列在前的， 除第一层级以外的层级所提取到 的路面病害特征作为低层特征； 与排列在前的层 级相对应， 将排列在后的层 级所提取到的路面病 害特征作为高层特征； 与路面病害识别模型输出 的所述路面病害类型所对应的路面病害特征即 为低层特征和高层特征融合后生成的特征。 本识 别模型精度效率高。 权利要求书3页 说明书8页 附图2页 CN 114863122 A 2022.08.05 CN 114863122 A 1.一种基于人工智能的智能化高精度路面病害识别方法， 其特 征在于， 包括以下步骤： 提供一个路面病 害识别模型， 所述路面病 害识别模型将输入的路面病 害图片与输出的 路面病害类型对应； 其中， 所述路面病害识别模型基于 图片上的路面病害对象生成相应的路面病害特征， 由所述路面病害特 征与输出的路面病害类型对应； 路面病害特征生成时， 基于路面病害图片多层级地提取路面病害特征， 第一层级基于 原路面病害图片提取路面病害特 征， 其后的每一层级皆基于上一层级提取路面病害特 征； 将排列在前的， 除第一层级以外的层级所提取到的路面病害特 征作为低层特 征； 与排列在前的层级相对应， 将排列在后的层级所提取到的路面病害特征作为高层特 征； 与路面病害识别模型输出的所述路面病害类型所对应的路面病害特征即为低层特征 和高层特 征融合后生成的特 征。 2.根据权利要求1所述智能化高精度路面病 害识别方法， 其特征在于， 除第 一层级以外 的每一层级提取出的特征皆处理为具有路面病害对象轮廓的路面病害 特征图， 而最后一层 级的路面病害 特征图经过候选窗口框选出路面病害对像主体所在具体位置， 并生成具有路 面病害对象主体的候选框路面病害特征图； 候选框路面病害 特征图的路面病害对象主体分 别与除第一层级以外的每一层级处理出的路面病害特征图中的路面病害对象轮廓相融合， 以生成相应的融合特征图； 除第一层级以外的每一层级处理出的融合特征图组合成相应的 一组特征图组合特征， 每一组特征图组合特征与所述路面病害识别模型要输出的路面病害 类型对应， 所述 一组特征图组合特 征的特征图数与除第一层级以外的层级数相等。 3.根据权利要求2所述智能化高精度路面病 害识别方法， 其特征在于， 所述模型的构建 方式如下： 将另一源域中预训练网络模型的主干特征提取网络， 作为路面病害识别目标域的 Faster RCNN网络模型的多层级的特 征提取网络； 其中， 预训练网络模型选择为VGG16、 VGG19、 VGG96、 ResNet32、 ResNet48、 ResNet101、 ResNet152卷积网络之中的一种； 其中， 主干特征提取网络最后一层卷积层连接一个RPN模型， 用于RPN模型生成候选窗 口以框选出路面病害对象主体所在具体位置； 其中， 主干特征提取网络除第一层以外的每层卷积层都连接一个NAM模块， 用于重生成 路面病害对象轮廓所需的通道权 重和像素值权 重； 构建全连接层， 一组特征图组合特征转换为特征向量后， 经所述全连接层与所述路面 病害类型对应。 4.根据权利要求3所述智能化高精度路面病 害识别方法， 其特征在于， 所述路面病 害识 别模型的训练方式如下： 构建一个包括路面病害图片与对应的路面病害标签的数据集； 设置源域中预训练网络模型的主干特 征提取网络的超参数； 构建一个多任务损失函数， 包括全连接层阶段 的类别损失losscl， 以及RPN 阶段的边框 位置损失l osslc和目标与背景损失l ossob； 其公式如(1.5)、 (1.6)所示：权　利　要　求　书 1/3 页 2 CN 114863122 A 2Lossall＝losscl+losslc+lossob   (1.5) 其中Lossall为真实数据与预测数据之间的偏差； 其式(1.6)中k表示预测得分大小， 而T0表示置信分数， lossob(k)表示当前是否为检测 目标； 结果得到函数值 为1则表示 边框中包 含目标； 函数值 为0时， 表示 边框中不包括目标； 根据所构建的数据集及源域中预训练网络模型和多任务损失函数， 基于迁移学习算 法， 训练所述路面病害识别模型， 在训练过程中， 保留下全连接层阶段确定出的具体的路面 病害类别和保留下RPN阶段最佳的边框区域。 5.根据权利要求4所述智能化高精度路面病 害识别方法， 其特征在于， 所述主干特征提 取网络中的第一层卷积核， 提取原路面病害图片上的特征之前， 采用NMS算法删减路面病害 对象候选 框， 具体步骤如下： 将路面病 害对象上的多个候选框按各自置信值大小排序； 并计算置信值最高的候选框 与其余待处理候选框之间的重叠率， 并设置一个重叠率阈值T； 重叠率不在所设置阈值范围 内的待处理候选框， 采用高斯加权算法重生成待处理候选框置信值； 并按重生成的置信值 排列候选框， 并设置重生成置信值阈值， 以剔除得分低于置信值阈值的待处理候选框； 公式 如下： si为待处理候选框的置信值， M为当前置信值最高候选框， b i是待处理候选框； iou是置 信值最高候选框与待处理候选框之间的重叠率， bi和M的iou越大， 表示bi的重生成的置信 值越低。 6.根据权利要求5所述智能化高精度路面病害识别方法， 其特征在于， 将重叠率阈值T 作为路面病害识别模 型的参数， 在多次训练中， 计算预测值与真实值之间的偏差， 设定偏差 容许值， 如果偏差比偏 差容许值大， 则使T加大； 如果偏 差比偏差容许值小， 则T减少， 逐步调 整其大小， 以使 多任务损失函数值更小。 7.根据权利要求3所述智能化高精度路面病 害识别方法， 其特征在于， 所述NAM模块中， 对卷积输出的每个通道经通道批量归一化处理如式(1.3)， 并由激活函数sigmoid重生 成了 每个通道的权重系数； 对卷积输出的每个通道的特征图经像素值批量归一化处理如式 (1.4)， 并同样由激活函数sigmoid重生成特征图上每个像素值的像素权重， 并按重生成的 通道权重和像素权重， 处理出需要与候选框路面病害特征图相融合的路面病害特征图； 式 (1.3)式(1.4)如下： μi是当前通道的缩放因子； φj是每个通道的缩放因子； wi是当前通道归一化的权重； λi权　利　要　求　书 2/3 页 3 CN 114863122 A 3