(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211013983.3 (22)申请日 2022.08.23 (71)申请人 南方电网电力科技股份有限公司 地址 510000 广东省广州市越秀区西华路 捶帽新街1-3号华业大厦附楼501-503 室 (72)发明人 杨英仪　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 周伟 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于Pairwise分类器的多特征融合目 标检测方法及系统 (57)摘要 本发明公开了一种基于Pairwise分类器的 多特征融合目标检测方法及系统， 涉及目标检测 技术领域， 通过对传统的SSD模型进行改进， 将 SSD模型中的特征层进行Tucker分解实现降维， 利用得到的核张量进行特征融合得到融合特征 图， 将所述融合特征图作为分类回归网络的输 入， 得到分类结果， 进一步根据分类结果获得检 测结果。 通过将不同深度的图像特征信息进行融 合， 可以提高检测的整体精度， 利用Tucker分解 对特征实现降维又可以节省计算机算力资源， 使 得轻量化的模型 更加适用于移动端的部署。 权利要求书3页 说明书9页 附图4页 CN 115375983 A 2022.11.22 CN 115375983 A 1.一种基于Pairw ise分类器的多特 征融合目标检测方法， 其特 征在于， 包括： S1： 采集图像样本； S2： 对所述图像样本进行预处理， 并对预处理后的所述图像样本进行标注， 建立图像数 据集， 将所述图像数据集分为训练集和 测试集； S3： 构建多特 征融合目标检测模型； 将SSD模型中的特 征层进行T ucker分解， 得到核张量； 将每个核张量与其前一层的核张量进行 特征融合， 得到第一中间层； 将每个核张量后一层的核张量做上采样处 理， 得到第二中间层； 将所述第一中间层和所述第二中间层进行 特征融合得到融合特 征图； 将所述融合特 征图作为分类回归网络的输入， 得到多特 征融合目标检测模型； S4： 设置所述多特征融合目标检测模型的训练参数， 利用所述训练集对所述多特征融 合目标检测模型进行训练， 得到训练完成的多特 征融合目标检测模型； S5： 利用所述测试集对所述训练完成的多特征融合目标检测模型进行测试， 判断所述 训练完成的多特征融合 目标检测模型 的损失函数是否满足预设阈值， 若是， 输出所述训练 完成的多特 征融合目标检测模型， 若否， 返回步骤S4； S6： 利用所述训练完成的多特征融合目标检测模型对新样本进行分类， 将所述分类结 果作为非极大值抑制模块的输入， 获得检测结果。 2.根据权利要求1所述的一种基于Pairwise分类器的多特征融合目标检测方法， 其特 征在于， 所述将S SD模型中的特 征层进行T ucker分解， 得到核张量具体为： S31： 将Conv4_3、 Conv6、 Conv7、 Conv8_2、 Conv9_2、 Conv10_2、 Conv11_2进行Tucker分 解， 得到Conv4_3核张量、 Conv6核张量、 Conv7核张量、 Conv8_2核张量、 Conv9_2核张量、 Conv10_2核张量、 Co nv11_2核张量。 3.根据权利要求2所述的一种基于Pairwise分类器的多特征融合目标检测方法， 其特 征在于， 所述将每 个核张量与其前一层的核张量进行 特征融合， 得到第一中间层具体为： S321： 对Co nv9_2核张量进行1 ×1、 3×3、 1×1卷积并做归一 化处理， 得到Conv9_2_1层； S322： 对Conv10_2张量核 进行1×1卷积并做归一 化处理， 得到Conv10_2_1层； S323： 对Conv9_2_1层和Conv 10_2_1层进行Eltw  Sum操作， 然后进行3 ×3卷积并做归一 化处理， 并使用Relu函数激活特 征得到P5第一中间层； S324： 根据所述Conv4_3核张量、 Conv6核张量、 Conv7核张量、 Conv8_2核张量、 Conv9_2 核张量、 Conv10_2核张量和上述步骤S321 ‑S323依次得到P4第一中间层、 P3第一中间层、 P2 第一中间层、 P1第一中间层； 其中， 所述P5第一中间层、 P4第一中间层、 P3第一中间层、 P2第 一中间层、 P1第一中间层均为第一中间层。 4.根据权利要求3所述的一种基于Pairwise分类器的多特征融合目标检测方法， 其特 征在于， 所述将每 个核张量后一层的核张量做上采样处 理， 得到第二中间层包括： 对Conv11_2核张量进行1 ×1卷积并做归一 化处理， 得到P6层； 对P6层进行2 ×2反卷积、 进行3 ×3卷积， 并使用Si gmoid函数激活特征得到P5第二中间 层。 5.根据权利要求4所述的一种基于Pairwise分类器的多特征融合目标检测方法， 其特 征在于， 所述将每 个核张量后一层的核张量做上采样处 理， 得到第二中间层还 包括：权　利　要　求　书 1/3 页 2 CN 115375983 A 2对P5层进行2 ×2反卷积、 进行3 ×3卷积， 并使用Si gmoid函数激活特征得到P4第二中间 层； 并依次得到P3第二中间层、 P2第二中间层、 P1第二中间层； 其中， 所述P5第二中间层、 P4 第二中间层、 P3第二中间层、 P2第二中间层、 P1第二中间层均为第二中间层。 6.根据权利要求5所述的一种基于Pairwise分类器的多特征融合目标检测方法， 其特 征在于， 所述将所述第一中间层和所述第二中间层进行 特征融合得到融合特 征图具体为： S341： 对P5第一中间层和P5第二中间层进行Eltw  Prod操作得到P5第三中间层， 对P5第 一中间层和P5第三中间层进行Eltw  Sum操作得到P5第四中间层， 对P5第四中间层 进行3×3 卷积， 并使用Relu函数激活特 征得到P5层； S342： 根据所述P4第一中间层、 P3第一中间层、 P2第一中间层、 P1第一中间层和所述P4 第二中间层、 P3第二中间层、 P2第二中间层、 P1第二中间层和上述步骤S341依次得到P4层、 P3层、 P2层、 P1层； 其中， 所述P5层、 P4层、 P3层、 P2层、 P1层均为融合特 征图。 7.根据权利要求6所述的一种基于Pairwise分类器的多特征融合目标检测方法， 其特 征在于， 所述 步骤S1具体为： 采集待检测物体在不同光照、 不同姿态、 不同角度、 不同时间下的图像样本； 其中， 所述 图像样本的尺寸相同。 8.根据权利要求7所述的一种基于Pairwise分类器的多特征融合目标检测方法， 其特 征在于， 步骤S2具体为： 对采集的图像样本进行去噪， 对去噪完成的图像样本进行标注， 框出待检测物体并标 记物体名称、 类型、 尺寸和位置信息， 基于标注后的图像样本建立图像数据集， 将所述图像 数据集分为训练集和 测试集。 9.根据权利要求8所述的一种基于Pairwise分类器的多特征融合目标检测方法， 其特 征在于， 所述分类回归网络为Pairw ise分类器。 10.一种基于Pairw ise分类器的多特 征融合目标检测系统， 其特 征在于， 包括： 采集模块， 用于采集图像样本； 预处理模块， 用于对所述图像样本进行预处理， 并对预处理后的所述图像样本进行标 注， 建立图像数据集， 将所述图像数据集分为训练集和 测试集； 模型构建模块， 用于构建多特征融合目标检测模型， 所述多特征融合目标检测模型具 体为： 将SSD模型中的特 征层进行T ucker分解， 得到核张量； 将每个核张量与其前一层的核张量进行 特征融合， 得到第一中间层； 将每个核张量后一层的核张量做上采样处 理， 得到第二中间层； 将所述第一中间层和所述第二中间层进行 特征融合得到融合特 征图； 将所述融合特 征图作为分类回归网络的输入， 得到分类结果； 模型训练模块， 用于设置所述多特征融合目标检测模型的训练参数， 利用所述训练集 对所述多特 征融合目标检测模型进行训练， 得到训练完成的多特 征融合目标检测模型； 模型检测模块， 用于利用所述测试集对所述训练完成的多特征融合目标检测模型进行 测试， 判断所述训练完成的多 特征融合目标检测模 型的损失函数是否满足预设阈值， 若是， 输出所述训练完成的多特 征融合目标检测模型， 若否， 返回模型训练模块； 分类检测模块， 用于利用所述训练完成的多特征融合目标检测模型对新样本进行分权　利　要　求　书 2/3 页 3 CN 115375983 A 3