(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210443769.5 (22)申请日 2022.04.26 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市七 星 区金鸡路1号 (72)发明人 江泽涛　金鑫　 (74)专利代理 机构 桂林市华杰 专利商标事务所 有限责任公司 451 12 专利代理师 覃永峰 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/40(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于Darkdet -Net的低照度小样本目标 检测方法 (57)摘要 本发明公开一种基于Darkdet ‑Net的低照度 小样本目标检测方法， 所述方法包括如下步骤： 1） 得到base类与novel类并构建base类与novel 类的平衡训练集； 2） 训练Ex indark模 块对输入的 低照度图像进行特征提取； 3） 构造MLFA模 块对特 征图进行多尺度特征的融合与增强； 4） 构造基于 多头SR Attention的Det  Head模块对输入的特 征图进行检测框 预测与分类； 5） 在base类 数据集 进行目标检测训练并测试检测效果； 6） 基于base 类和novel类平 衡训练集进行小样本新类物 体目 标检测Fine ‑tuning。 这种方法能够不受低光照 环境下拍摄的影 响， 对于产生的低照度图像仍然 可以进行很好地识别来检测出图像中的目标对 象， 并且使用Fine ‑tuning快速泛化到新的检测 类别上。 权利要求书2页 说明书15页 附图10页 CN 114821318 A 2022.07.29 CN 114821318 A 1.一种基于Darkdet ‑Net的低照度小样本目标检测方法， 其特 征在于， 包括如下步骤： 1)对低照度图像数据集ExDark进行处理和划分得到base类与小样本目标novel类， 过 程为： 1‑1)ExDark数据集共计7363张低照度图像， 包含12个常规目标类别， 首先选取其中9个 类为base类， base类包 括Bicycle、 Boat、 Bottle、 Bus、 Dog、 Table、 Motorbike、 Car、 Chair， 其 余3个类为novel类， novel类包括People、 Cup、 Cat， 将base类以8:2的比例划分成两部分， 其 中80％为训练集、 20％为测试集， 训练集共4400张 图片， 测试集共1100张图片， 共有5500张 图片， base类结合 novel类各选 5张图片， 构建base类和n ovel类的平衡训练集共6 0张图片； 1‑2)将所有低照度图片进行 预处理， 使图像缩放到统一的长 ×宽为650×650； 2)训练Exi ndark模块对输入的低照度图像进行 特征提取： 过程包括： 2‑1)Exindark模块设有6个Stage， 第1个Stage由1个9 ×9卷积层构成， 第2至第3个 Stage分别由2组3 ×3卷积层与BIR模块再加上1个Dual  Pooling模块拼接而成， 第4至第6个 Stage分别由2 组3×3卷积层、 DualAttention模块与BIR模块再加上1个Dual  Pooling模块 拼接而成， 在Dual  Attention模块中， 分别经过1个3 ×3卷积层后的特征图采用空间注意力 机制以及通道注意力机制， 在BI R模块的结构中采用2种归一化操作加强对低照度图像的特 征处理： Bat ch Normalization即BN、 In stance Normalization 即IN， 然后把 分别经过2种归 一化操作的特征信息经过Leaky  Relu层激活， 然后在通道维度上拼在一起， 在Dual   Pooling模块中采用Max  Pooling与Average  Pooling并行2倍下采样， 然后在通道维度上拼 在一起， 之后采用1个1 ×1卷积层进行通道维度的压缩； 2‑2)将步骤1 ‑2)中预处理后的低照度图像作为Exindark模块的输入， 训练Exindark模 块对低照度图像进行特征提取， Exindark模块的6个Stage的输出特征图的尺寸分别为6 × 321×321、 12×160×160、 24×80×80、 48×40×40， 记为C4、 9 6×20×20， 记为C5和192 ×10 ×10， 记为C 6； 3)构造MLFA模块对特 征图进行多尺度特 征的融合与增强： 过程包括： 3‑1)将步骤2 ‑2)得到的输出特征图C4、 C5和C6作为MLFA模块的三个输入， MLFA模块设 有1个DFF模块和1个UFF模块以及一个D ual Attention模块， DFF模块由多组包括1个3 ×3卷 积层与1个Dual  Pooling层的模块组成， UFF模块由多组反卷积操作组成， 特征图C4、 C5和C6 输入进DFF模块， C4经过下采样之后与C5逐元素相加， 记为C7， C5经过下采样之后与C6逐元 素相加， 记为C8， C7经过下采样之后与C8逐元素相加， 记为C9， 让高层特征图中丰富的语义 信息向下流动， 与低层特征图进行融合， 接下来让低层特征图中准确的目标位置信息 向上 传输， 把C9输入进UFF模块进行解码， C9采用反卷积进行2倍上采样， 记为C1， C1进行2倍上采 样， 记为C2， C9进行2倍上采样后与C3逐元素相加， 记为C10， C9进行4倍上采样后与C10进行2 倍上采样后再与C2逐元素相加， 记为C11， 并且C11作为最终输出， 此外在DFF模块与UFF模块 之间加入一个DualA ttention模块； 3‑2)训练MLFA模块对特征图进行多尺度融合与增强， MLFA中DFF模块、 Dual  Attention 模块、 UFF模块的输出 特征图的尺寸分别为19 2×10×10、 192×10×10、 48×48×40； 4)构造基于多头SR  Attention 的Det Head模块对输入的特征图进行检测框预测与分 类： 过程包括： 4‑1)Det Head模块包括2个Transformer的Encoder模块对输入的特征进行编码以及2权　利　要　求　书 1/2 页 2 CN 114821318 A 2个全连接层进行解码， 直接采用全连接层进行解码， Enco der模块由1个多头SR  Attention 层、 1个Layer  Normalization层、 1个 Feed Forward层、 1个Layer  Normalization层组成， 其 中还有2个残差连接， 多头SR  Attention采用直接随机生成的attention  map与经过全 连接 层学习并reshape操作后的attention  map逐元素求和， Feed  Forward层就是2 个全连接层， 分别进行分类和b box坐标的回归； 4‑2)将步骤3 ‑2)得到的特征图输入进Det  Head模块， 之后采用pre_cls和pre_boxes这 2个全连接层进行解码， 得到 50个检测框以及检测框对应的5 0个分类结果； 5)在base类数据集进行目标检测训练并测试检测效果： 过程包括： 5‑1)步骤4‑2)得到的预测框相当于一个大小为50的集合， 而真实的检测框相当于另一 个集合， 得到的预测框集合没有与真实的检测框建立一个一一对应关系， 也就是接下来需 要把预测出来的5 0个框与真实的检测框做最佳匹配， 使得损失最小； 5‑2)模型在训练过程中的损失函数定义如公式(1)所示： 其中δ表示进行最佳匹配后的某种顺序， y＝{c,b}为预测的分类结果与检测框， 为使得最佳匹配后真实分类结果与检测框， M为预测框的数量， 标识只有类 别不为背景时计算 Lcls使用交叉熵为损失， 而Lb使用计算预测框与真实框L1范 数作为损失， 即 5‑3)首先计算50个预测框与每个真实框的IOU值作为权重， 采用Kuhn ‑Munkres即KM算 法计算出预测框与真实框的最佳匹配， 真实检测框的顺序记为 KM算法表示如公式(2)所 示： 采用KM算法找到一个使得损失最小的匹配序列， 然后将得到的最小损失进行反 向传播 进行训练； 5‑4)在测试时设置一个阈值， 只有预测分类置信度大于阈值的预测框进行输出； 6)基于base类和novel类平衡训练集进行小样本新类物体目标检测Fine ‑tuning： 过程 如下： 6‑1)第一阶段根据步骤5)采用大量的base类数据样本对模型进行常规目标检测训练， 网络的损失由步骤5 ‑2)、 5‑3)所述组成； 6‑2)第二阶段是基于小样本Fine ‑tuning， 在保持整个Exindark模块以及MLFA模块参 数不变的情况下， 模型其他部分重新随机初始化参数， 之后再在步骤1 ‑1)构建的base类和 novel类平衡训练集上Fine ‑tuning， 这个过程采用余弦相似性取代交叉熵作为分类损失， 并且缩小学习速率。权　利　要　求　书 2/2 页 3 CN 114821318