(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211066364.0 (22)申请日 2022.09.01 (71)申请人 哈尔滨工业大 学 地址 150001 黑龙江省哈尔滨市南岗区西 大直街92号 (72)发明人 张永强　丁明理　田瑞　张印　 张子安　张漫　 (74)专利代理 机构 哈尔滨华夏松花江知识产权 代理有限公司 23213 专利代理师 岳昕 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/77(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06T 7/73(2017.01) G06V 10/22(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于周围区域感知与关联的弱监督物 体检测方法 (57)摘要 一种基于周围区域感知与关联的弱监督物 体检测方法， 涉及物体检测技术领域， 针对现有 技术中弱监督物 体检测容易收敛于局部最优解， 直观表现为只能检测到物体最有判别力的区域， 而不是全部物体区域， 导致物体定位失败， 进而 导致检测精度低的问题， 本申请解决了弱监督物 体检测方法中检测精度低和收敛于局部最优解 的问题， 突破了弱监督不存在提高定位精度的模 块的局限， 降低了物体检测技术对昂贵的人工标 注的需求。 本发明属于在实际应用场景中， 物体 检测的基础性技术研究工作， 在一定程度上推动 了人工智能深度学习的物体检测技术的落地， 弥 补了弱监 督与全监 督物体检测的差距。 权利要求书2页 说明书10页 附图4页 CN 115439688 A 2022.12.06 CN 115439688 A 1.一种基于周围区域感知与关联的弱监 督物体检测方法， 其特 征在于包括以下步骤： 步骤一： 获取待识别图像， 并利用弱监督检测器对待识别图像进行预测， 并将预测得到 的物体位置作为 最有判别 力区域； 步骤二： 将最有判别力区域进行扩展， 并利用图像块将扩展后的区域进行裁剪， 最后将 图像块作为周围区域； 步骤三： 对最有判别力区域和周围区域进行特征提取， 并将得到的特征进行聚类， 为每 个区域指定聚类标签， 并通过聚类标签将每 个区域划分成不同的簇； 步骤四： 通过每个区域的聚类标签得到与最有判别力区域标签相同的周围区域， 并且 将最有判别 力区域与最有判别 力区域标签相同的周围区域融合成一个新的物体区域； 步骤五： 对最有判别力区域进行数据扩增， 得到两个扩增后的最有判别力区域， 即q ’和 q”； 步骤六： 针对q ’、 q”和周围区域进行特征提取， 并将提取到的特征进行聚类， 若聚类过 程中将q’和q”指派到同一个簇中， 将此聚类过程视为正确的聚类， 并执行步骤七， 若聚类过 程中未将 q’和q”指派到同一个簇中， 则重新执行一次步骤三至步骤六， 若此次将 q’和q”指 派到同一个簇中， 将此聚类过程视为正确的聚类， 并执行步骤七， 若仍不能将q ’和q”指派到 同一个簇中， 则忽略此次聚类结果； 则将最有判别 力区域作为 最终的物体区域； 步骤七： 针对将q ’和q”指派到同一个簇中的聚类过程， 计算q ’和q”到当前簇中心的距 离d1和d2， 若距离差|d1‑d2|超过设定的阈值Tdis＝0.1， 则忽略此次聚类结果， 否则， 将此聚 类过程视为 正确的聚类； 步骤八： 基于步骤七中正确的聚类， 获取同时包含 q’和q”的簇中的周围区域， 并计算周 围区域与q ’或q”的余弦相似度， 若余弦相似度数值大于阈值Tscore＝0.95， 则将该簇中最有 判别力区域与周围区域融合成最终的物体区域； 步骤九： 利用最有判别力区域和周围区域作为输入， 最终的物体区域作为输出训练神 经网络， 并利用训练好的神经网络进行物体 检测。 2.根据权利要求1所述的一种基于周围区域感知与关联的弱监督物体检测方法， 其特 征在于所述 步骤二中扩展的范围比例 α 大于1倍。 3.根据权利要求2所述的一种基于周围区域感知与关联的弱监督物体检测方法， 其特 征在于所述 步骤二中扩展的范围比例 α 为1.2倍。 4.根据权利要求1所述的一种基于周围区域感知与关联的弱监督物体检测方法， 其特 征在于所述特 征为高维 非线性特 征。 5.根据权利要求4所述的一种基于周围区域感知与关联的弱监督物体检测方法， 其特 征在于所述高维 非线性特 征通过ViT 进行提取。 6.根据权利要求1所述的一种基于周围区域感知与关联的弱监督物体检测方法， 其特 征在于所述图像块的大小为32* 32。 7.根据权利要求1所述的一种基于周围区域感知与关联的弱监督物体检测方法， 其特 征在于所述 步骤三中周围区域 为步骤二中周围区域的6 0％。 8.根据权利要求1所述的一种基于周围区域感知与关联的弱监督物体检测方法， 其特 征在于所述数据扩增包括随机色彩抖动、 随机灰度化、 随机高斯模糊以及随机日光 化。 9.根据权利要求1所述的一种基于周围区域感知与关联的弱监督物体检测方法， 其特权　利　要　求　书 1/2 页 2 CN 115439688 A 2征在于所述神经网络为MoCov3网络 。 10.根据权利要求9所述的一种基于周围区域感知与关联的弱监督物体检测方法， 其特 征在于所述训练神经网络的具体步骤为： 训练过程采用无监 督的对比学习进行， 总计训练10 0个epoch； (1)当在0 ‑29轮时， 网络 输入的是最有判别 力区域； (2)当在30、 35、 40...100轮时， 网络进行融合过程， 同时将融合后的最终物体区域作为 网络的输入进行训练； (3)当在31 ‑34、 36‑39...96‑99轮时， 网络的输入是融合后的最终物体区域和未被融合 的最有判别 力区域。权　利　要　求　书 2/2 页 3 CN 115439688 A 3