(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221097384 4.9 (22)申请日 2022.08.15 (71)申请人 广东技术师范大学 地址 510665 广东省广州市天河区中山大 道西293号 (72)发明人 卢旭　郭雨洁　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 黄卫萍 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/80(2022.01) (54)发明名称 一种基于数据增强与特征融合的微小目标 自适应检测方法 (57)摘要 本发明涉及一种基于数据增强与特征融合 的微小目标自适应检测方法， 包括以下步骤： S1、 像素筛选式处理数据集中的所有目标； S2、 构建 骨干网络； S3、 构建适配型图像金字塔网络； S4、 提取多尺度融合特征信息； S5、 构建检测预测网 络。 本发明通过利用对目标对象进行筛选式重采 样处理方法， 在不增加图像数据量的前提下成功 增加小目标样本数目， 方法更加简单直接， 检测 性能提升明显； 通过使用深度学习中卷积神经网 络提取图像多尺度融合特征信息， 适应性更强， 检测效果更佳。 权利要求书2页 说明书7页 附图3页 CN 115331146 A 2022.11.11 CN 115331146 A 1.一种基于数据增强与特征融合的微小目标自适应检测方法， 其特征在于， 包括以下 步骤： S1、 像素筛选式处理数据集中的所有目标： 通过选取安全帽佩戴公共数据集， 利用选择 型小目标复制算法对数据集图像中所有的目标进 行像素筛选式处理， 并将处理后的目标框 放回对应原图像以扩充图像数据集； S2、 构建骨干网络： 对步骤S1处理得到的数据集图像进行下采样， 获取深层次的特征映 射图； S3、 构建适配型图像金字塔网络： 解耦各目标物体的检测， 针对具有高分辨率特征映射 的小目标， 为 其分配更合 适的特征层级； S4、 提取多尺度融合特征信息： 融合骨干网络与适配型图像金字塔网络特征信息， 通过 将骨干网络与适配型图像金字塔网络通过横向连接得到多尺度融合特征信息， 构建一条自 底向上和自顶向的融合路径， 将 深层语义信息融合到 浅层位置信息中； S5、 构建检测预测网络： 通过步骤S4中生成映射图后， 输出融合特征进行预测， 生成关 键点热力图、 边界框的尺度预测和关键点的偏 差预测， 进行损失函数优化， 直至损失函数收 敛； 利用预测得到的中心关键点坐标估测目标的位置， 完成多语义特征融合的小目标对 象 的多尺度检测模型的训练。 2.根据权利要求1所述的一种基于数据增强与特征融合的微小目标自适应检测方法， 其特征在于， 步骤S1的具体过程如下： S11、 选取安全帽佩戴公共数据集， 利用选择型小目标对象复制算法， 对数据集中的所 有目标框进行一个筛选式重复采样， 筛选出像素值在阈值内的所有目标并将其视为小目 标， 将所有 小目标全部提出并找到分别对应的原图像； S12、 对提取出的小目标进行二次复制， 并且在第二 次复制时对原小目标图像进行一次 水平翻转处 理； S13、 复制完后将这些小目标对象按照最初提取出来的初始大小放回分别对应的数据 集的原图像中， 在图像对应的xml文件中添加这些小目标对象 的相关信息， 获取扩充后的图 像数据集。 3.根据权利要求1所述的一种基于数据增强与特征融合的微小目标自适应检测方法， 其特征在于， 步骤S2的具体过程如下： S21、 构建ST ‑CenterNet骨干网络， 采用标准残差网络实现； S22、 采用四层特征层进行目标的下采样处理； 第一个层级利用一个步长为2的卷积层， 得到一个为原始图像分辨率1/2的特征映射图； 第二个层级利用一个步长为2的卷积层， 得 到一个为原始图像 分辨率1/4的特征映射图； 第三至第四个层级都采用步长为2的卷积层提 取特征， 最终输出的特 征映射图为原 始图像分辨 率的1/16； S23、 将残差网络提取到的特 征图表示 为C： C＝{C2,C3,C4,C5} 其中， C2,C3,C4,C5分别表示 提取的ResNet ‑50网络的各个层级。 4.根据权利要求1所述的一种基于数据增强与特征融合的微小目标自适应检测方法， 其特征在于， 步骤S3的具体过程如下： S31、 利用浅层特 征层提取小目标对象特 征信息来获取位置区域信息；权　利　要　求　书 1/2 页 2 CN 115331146 A 2S32、 将步骤S2下采样获得的特 征映射图作为输入， 构建其金字塔集P： P＝{P2,P3,P4,P5} 其中， P2,P3,P4,P5分别表示 提取的图像金字塔的各个层级。 5.根据权利要求1所述的一种基于数据增强与特征融合的微小目标自适应检测方法， 其特征在于， 步骤S4的具体过程如下： S41、 将两倍上采样后的深层特 征层与相邻特 征层进行 逐像素相加融合处 理： Pi＝Pi+1↑2×+Ci 其中， Ci表示对应于第i层的最后一个残差块特征； Pi表示对应于第i层的最终特征； Pi+1 表示对应于第i+1层的最终特 征；↑2×表示通过最近邻插值进行两倍上采样处 理； S42、 在原有网络的基础上对网络层进行线性组合： 其中， W为特征层线性组合处理后的输出向量； 表示多个卷积层， 其中 为 sigmoid函数， γ为特 征层的输入向量， Li为权重层； 方阵α用于具体的线性操作； S43、 通过卷积核提升每张特征图为相同的通道数， 增 强每个预测特征图的特征信息； 利用横向连接将其与浅层特征进行前后融合， 横向连接同残差结构 中的跳跃连接， 通过上 下采样得到的各层特征被传递到一个由多个卷积核和激活函数前后组合而成的激活门， 生 成特征横向融合因子， 将 深层语义特 征信息和浅层位置特 征信息相融合： AF＝β(Si(Pi,f,s)) 其中， AF为将深层 语义特征信息和浅层位置特征信息融合的特征信息； β 为激活函数； Si 为第i层的卷积， i分别取{2,3,4,5； f为横向连接； s＝2i‑1为卷积步长； S44、 使用卷积消除上采样的混叠效应， 生成适配于目标的新特 征图： 其中， i取{2,3； w和h分别为目标框的宽和高。 6.根据权利要求1所述的一种基于数据增强与特征融合的微小目标自适应检测方法， 其特征在于， 步骤S5构建检测预测网络的过程中， 生成的损失分为三部分： 热力图损失、 包 围框宽高的损失、 中心关键点的偏置损失； 总的损失函数表示 为： LSHL＝LH+λSIZELSIZE+λOFFLOFF 其中， LH表示热力图损失值； LSIZE表示包围框宽高损失值， 设置λsIZE为0.1； LoFF表示中心 点的偏置损失值， 并设置 λOFF为1。权　利　要　求　书 2/2 页 3 CN 115331146 A 3