(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210953042.1 (22)申请日 2022.08.10 (65)同一申请的已公布的文献号 申请公布号 CN 115049640 A (43)申请公布日 2022.09.13 (73)专利权人 国网山西省电力公司大同供电公 司 地址 037000 山西省大同市迎宾路61号 (72)发明人 张晓鹏　赵锐　白静波　尚文　 夏彦　马飞　 (74)专利代理 机构 北京律谱知识产权代理有限 公司 11457 专利代理师 黄云铎 (51)Int.Cl. G06T 7/00(2017.01)G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) 审查员 刘穗君 (54)发明名称 一种基于深度学习的道路裂缝检测方法 (57)摘要 本发明提供一种基于深度学习的道路裂缝 检测方法， 属于整地用路面测量及测量信号传输 技术领域， 包括以下步骤： 步骤1， 建立路面裂缝 数据集， 并将裂缝定义为对应类型； 步骤2， 结合 路面裂缝数据集中裂缝几何特征设计裂缝的预 设锚框尺 寸； 步骤3， 构建融合注意力和任务解耦 的路面裂缝深度学习模型， 识别裂缝类别， 通过 锚框尺寸标识 裂缝。 发明公开了在特征提取过程 中， 利用融合注意力机制， 在通道和空间维度进 行非均匀加权， 突出有用信息； 同时， 基于分治策 略将分类和回归任务进行解耦， 有效改善裂缝漏 检和定位不准的问题， 提升了 路面裂缝检测精度 的同时保证 了检测的实时性。 权利要求书2页 说明书8页 附图4页 CN 115049640 B 2022.11.04 CN 115049640 B 1.一种基于深度学习的道路裂缝检测方法， 其特征在于， 所述道路裂缝检测方法包括 以下步骤： 步骤1， 建立路面裂缝 数据集， 并将裂缝定义 为对应类型； 步骤2， 结合路面裂缝 数据集中裂缝几何特 征设计裂缝的预设锚框尺寸； 步骤3， 构建融合注意力和任务解耦的路面裂缝深度学习模型， 识别裂缝类别， 通过锚 框尺寸标识裂缝； 在步骤3中， 所述路面裂缝深度学习模型包括特征提取网络、 特征融合网络和预测网 络， 还包括以下步骤： 步骤31， 在特征提取网络中分别生成80 ×80×256的特征图和40 ×40×512的特征图， 并通过SPFF模块生成20×20×1024特征图； 步骤32， 所述20 ×20×1024特征图通过卷积生成20 ×20×512的Y3特征图， 所述Y3特征 图通过上采样与所述40 ×40×512的特征图拼接并卷积生 成40×40×256的Y2特征图， 所述 Y2特征图通过上采样与所述80 ×80×256的特征图拼接并卷积生成80 ×80×256的Y1特征 图； 步骤33， 分别将Y1特征 图、 Y2特征 图和Y3特征 图输入融合注意力模块FAM进行加权， 生 成加权Y1特征图、 加权 Y2特征图和加权Y3特征图； 步骤34， 加权Y1特征图通过卷积将特征图调整至80 ×80×128， 加权Y1特征图通过卷积 与加权Y2特征图进行拼接再进行卷积将特征图调整至40 ×40×256， 加权Y1特征图通过卷 积与加权Y2特征图拼接后与加权Y3特征图进行拼接再进行卷积将特征图调整至20 ×20× 512； 步骤35， 将生成的80 ×80×128特征图、 40 ×40×256特征图和20 ×20×512特征图分别 输入各自对应的TSDHead模块， TSDHead模块通过预设的9种锚框尺寸， 得到裂缝类别、 置信 度和预设尺寸的回归框坐标； 步骤36， 三个TSDHead模块的输出端均连接NMS模块， 经NMS模块去除裂缝冗余预测框， 得到最终的检测结果。 2.根据权利要求1所述基于深度 学习的道路裂缝检测方法， 其特征在于， 在步骤1中， 所 述路面裂缝 数据集对裂缝分为纵向裂缝、 横向裂缝、 龟裂和坑槽四种类型。 3.根据权利要求1所述基于深度 学习的道路裂缝检测方法， 其特征在于， 在步骤2中， 使 用K‑means聚类算法对路面裂缝数据集中包围框尺寸进行聚类， 在8倍、 16倍和32倍采样尺 度下分别聚类大目标、 中等目标和小目标尺寸， 并根据聚类结果在每个下采样尺度预设3个 锚框。 4.根据权利要求1所述基于深度 学习的道路裂缝检测方法， 其特征在于， 在步骤1中， 所 述路面裂缝 数据集包括多张沥青路面裂缝图像， 图像分辨 率为2048×1536。 5.根据权利要求1所述基于深度学习的道路裂缝检测方法， 其特征在于， 在步骤33中， 所述融合注意力模块对特征图进行多谱通道注意力加权， 将输入特征图 沿着通 道维度切分为n个特征图块， 对每个特征图块 利用二维离散余弦变换2D ‑DCT提取多谱频 率信息后得到特 征向量 ， 具体过程如下：权　利　要　求　书 1/2 页 2 CN 115049640 B 2其中， 为特征图的高， 是从0到 里面的具体一个数组， 为特征图的宽， 是从0 到 里面的具体一个数组， 分别表示特征图块 的二维索引， 表示对每个特征图块 在通道纬度都取， 长度为 ； 然后将特征向量 沿通道维度拼接， 得到多 谱频率信息 ； 再经全连接层和 sigmoid激活函数得到通道权重系数矩阵 ， 最后与特征图X相乘， 得到经多谱通 道注意力加权后的特 征图 ； 对特征图 进行空间注意力加权， 沿通道维度分别进行最大池化和平均池化， 之后将 最大池化结果与平均池化结果沿通道拼接， 使用全连接和Sigmoid激活函数生成空间权重 矩阵 ； 然后， 将空间权重矩阵 与特征图 相乘， 得到经融合注意力模块FAM 处理的输出 特征图 。 6.根据权利要求1所述基于深度学习的道路裂缝检测方法， 其特征在于， 在步骤35中， 所述TSDHead模块包括并联的分类分支和回归分支； 分类分支中特征图依次经过4个深度 可分离卷积层和1个类别预测层处理； 深度 可分离 卷积层包括一个深度卷积层和一个点卷积层， 类别预测层中卷积核 大小为3×3， 通道数为5 ×3； 回归分支中特征图依次经过4个深度 可分离卷积层和1个类别预测层处理； 类别预测层 使用卷积核大小为3 ×3， 通道数4 ×3。 7.根据权利要求1所述基于深度学习的道路裂缝检测方法， 其特征在于， 在步骤31中， 所述SPFF模块包括卷积层和三个池化层； 特征图通过卷积参数为k1， s1， p0， c512的卷积层进行处理， 输出的特征 图再做三次滑 动窗口分别为5、 9和13的最大池化操作， 将三次池化结果与卷积后特征图进行通道拼接操 作， 融合后的特征图再经过卷积参数为k1， s1， p0， c1024的卷积层进行处理， 处理后生成尺 寸为20×20×1024的特 征图。权　利　要　求　书 2/2 页 3 CN 115049640 B 3