(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210925557.0 (22)申请日 2022.08.03 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 张弘　赵存飞　杨一帆　袁丁　 万家旭　 (74)专利代理 机构 北京科迪生专利代理有限责 任公司 1 1251 专利代理师 安丽　顾炜 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/50(2022.01) G06V 10/56(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于模板池匹配的抗遮挡跟踪及重检 系统和方法 (57)摘要 本发明提供了一种基于模板池匹配的抗遮 挡跟踪及重检系统和方法， 包括模板池跟踪模块 和稀疏矩阵重检模块两部分； 模板池跟踪模块主 要是针对传统核相关滤波算法进行优化， 通过一 种自适应的特征融合策略来分别应对纹理信息 丰富和色彩信息丰富的场景， 同时结合APCE与 PSR两种判据对跟踪过程中的遮挡情况进行判 断， 模板池 策略通过存储和对比时空上下文信息 来应对遮挡场景； 稀疏矩阵重检模块则通过一种 稀疏采样方法对目标可能出现的位置进行多线 程搜索， 以达到在目标丢失情况发生时进行快速 重捕的目的。 权利要求书2页 说明书5页 附图2页 CN 115272414 A 2022.11.01 CN 115272414 A 1.一种基于模板池匹配的抗遮挡跟踪及重检系统和方法， 其特征在于： 包括模板池跟 踪模块和稀疏矩阵重检模块； 所述模板池跟踪模块包括： 自适应特征融合算法、 核相关滤波跟踪器和由固定数量核 相关滤波跟踪器构成的模板池， 模板池跟踪模块根据前一帧目标结果和本帧图像计算得到 本帧目标位置； 所述模板池采用更新机制， 计算图像平均峰相关能量APCE和峰值旁瓣比PSR， 并判断当 前帧目标跟踪结果是否在目标附近上下左右每个方向的5像素距离位置内， 并进行选择性 更新， 保证模板池内核相关滤波跟踪器数量 不变； 所述核相关滤波跟踪器， 通过循环移位将时域灰度特征映射至频域， 并进行滤波运算 得到HOG特征和CN颜色特 征的响应热图； 所述自适应特征融合算法， 采用熵差准则对HOG特征和CN颜色特征的响应热图进行自 适应融合得到融合特 征响应热图， 融合结果中响应峰值对应的坐标即为本帧目标的位置； 所述模板池跟踪模块具体实现如下： (1)根据核相关滤波跟踪器计算得到HOG特征和CN颜色特征各自响应热图， HOG特征通 过计算像素边缘梯度反映图像的纹理特征， CN颜色特征通过映射矩阵将颜色投射至11维空 间并进行 统计反映图像的颜色特征； 响应热图不同位置的数值表征目标出现在该位置的可 能性， 响应峰值所在位置则对应当前帧的目标位置； (2)计算得到响应热图后， 采用熵差的概念对HOG特征和CN颜色特征进行自适应融合， 通过计算两种特 征各自的熵值作为自适应融合比例， 以提高在不同场景 下的鲁棒 性； (3)模板池更新机制首先计算平均峰相关能量APCE和峰值旁瓣比PSR值来对当前帧的 遮挡情况进行判断， 相关峰平均能量APCE和峰值旁瓣比PSR刻画响应热图的分布状况， 当跟 踪结果可靠时， 则将本帧的跟踪器模板加入模板池同时剔除队列最前端的一个模板以实现 模板池的更新； 否则不更新； 稀疏矩阵重检模块在模板池跟踪模块跟踪结果超出真实目标位置上下左右每个方向 的5像素距离位置时启动， 对目标进行重新捕获； 在模板池跟踪模块最后得到的位置附近， 以目标尺度的一半为步长， 稀疏采样得到9个重检窗口， 排列为3 ×3矩阵， 利用模板池内的 最优模板进 行目标搜索重检， 得到9个重检窗口的响应热图， 选择其中峰值最大的热图作为 当前目标窗口； 所述稀疏矩阵重检模块具体实现如下： (1)利用模板池跟踪模块在目标丢失前最后得到的位置为中心、 以目标尺度的一半为 步长稀疏采样， 分别创建上、 下、 左、 右、 左 上、 右上、 左 下和右下以及自身位置共9个重检窗 口， 并对重检窗口内容进行 预处理； (2)利用模板池内最优模板与9个重检窗口内容分别进行傅里叶运算， 并得到9幅响应 热图； (3)对比9幅响应热图的响应峰值， 选择9幅图中峰值最大的热图作为当前目标 窗口， 将 其作为当前目标窗口和本帧跟踪结果； 模板池跟踪模块和稀疏矩阵重检模块互相补充， 在正常跟踪和目标丢失情况下共同完 成目标跟踪任务； 正常情况下模板池跟踪模块根据前一帧目标位置计算得到本帧目标位 置， 当APCE和PSR判断目标丢失时， 启动稀疏矩阵重检模块在前一帧目标周围采集9个重检权　利　要　求　书 1/2 页 2 CN 115272414 A 2窗口， 搜索得到 本帧目标。 2.一种基于模板池匹配的抗遮挡跟踪及重检系统和方法， 其特 征在于， 实现步骤如下： 步骤1： 新一帧图像进入时， 首先根据核相 关滤波跟踪器计算得到HOG特征和CN颜色特 征各自的响应热图， 两幅响应热图不同位置的数值表征目标出现在该位置的可能性不同， 响应峰值则对应当前帧的目标位置； 步骤2： 采用熵差准则对步骤1中得到的两幅响应热图进行自适应融合， 分别计算各自 的熵值作为自适应融合比例， 提高在不同场景 下的鲁棒 性； 步骤3： 计算融合响应热图的平均峰相关能量和峰值旁瓣比对遮挡情况进行判断， 跟踪 结果可靠时将本帧的响应热图存入模板池队列最后， 同时去掉最前 的一个模板， 保证模板 池数量不变， 结束跟踪； 跟踪结果 不可靠时目标报丢， 进行稀疏矩阵重检； 步骤4： 稀疏矩阵重检利用跟踪报丢时得到的最后位置作为重检中心、 目标尺度的一半 为步长、 在周围8 个方向以及自身位置共9个位置进 行稀疏采样， 将9个采样结果与模板池内 最优模板分别进行傅里叶运 算， 得到9幅响应热图； 步骤5： 对比9幅响应热图的响应峰值， 选择其中峰值最大的热图作为当前目标 窗口， 将 其作为本帧的跟踪结果， 结束稀疏矩阵重检， 本帧跟踪完成。权　利　要　求　书 2/2 页 3 CN 115272414 A 3