(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210330797.6 (22)申请日 2022.03.30 (71)申请人 吉林大学 地址 130022 吉林省长 春市人民大街598 8 号吉林大 学南岭校区 (72)发明人 李超群　曲婷　王锦坤　李鑫　 高炳钊　 (74)专利代理 机构 北京慕达星云知识产权代理 事务所 (特殊普通合伙) 11465 专利代理师 符继超 (51)Int.Cl. G06V 20/58(2022.01) G06T 7/277(2017.01) G06V 10/80(2022.01)G06V 10/74(2022.01) G06T 7/80(2017.01) (54)发明名称 一种基于传感器融合的目标检测及追踪方 法 (57)摘要 本发明公开了一种基于传感器融合的目标 检测及追踪方法， 包括： 通过车载传感设备获取 周围目标物的状态信息， 分别对图像数据和点云 数据进行目标检测； 对所述车载传感设备所包括 的激光雷达和摄像头进行外参数标定； 采用匈牙 利算法对所述激光雷达和摄像头各自采集的数 据进行目标匹配； 使用卡尔曼滤波算法对完成数 据匹配的目标进行追踪， 得到周围多目标的运动 轨迹。 该方法通过激光雷达和摄像头融合丰富了 目标物信息， 解决了单一传感器检测目标信息不 够充足的问题； 通过实施追踪技术解决漏检、 遮 挡问题， 且便于多目标分析； 整套方案检测精度 较高， 实时性 好。 权利要求书2页 说明书7页 附图3页 CN 114926808 A 2022.08.19 CN 114926808 A 1.一种基于传感器融合的目标检测及追踪方法， 其特 征在于， 包括： 通过车载传感设备获取周围目标物的状态信 息， 分别对图像数据和点云数据进行目标 检测； 对所述车 载传感设备 所包括的激光雷达和摄 像头进行外参数 标定； 采用匈牙利算法对所述激光雷达和摄 像头各自采集的数据进行目标匹配； 使用卡尔曼 滤波算法对完成数据匹配的目标进行追踪， 得到周围多目标的运动轨 迹。 2.根据权利要求1所述的一种基于传感器融合的目标检测及追踪方法， 其特征在于： 分 别对图像数据和点云数据进行目标检测， 包括： 使用Yolov3算法对图像数据进行目标检测， 输出图像中多目标的位置、 目标类别和置 信度信息； 使用长方体切割RANSAC算法去地面Kdtree加速的欧式聚类算法， 对点云数据进行目标 检测。 3.根据权利要求2所述的一种基于传感器融合的目标检测及追踪方法， 其特征在于： 使 用长方体切割RANSAC算法去地面Kdtree加速的欧式聚类算法， 对点云数据进行目标检测， 包括： 使用PCL库函数通过设定长方体的边界顶点值， 滤除掉长方体区域以外的点云数据， 获 得有效点云数据； 采用RANSAC算法在所述有效点云数据中拟合大平面， 分离出地 面点； 采用Kdtree对分离出地面点后的点云数据进行搜索， 并采用欧式聚类算法实现对点云 数据中的目标检测。 4.根据权利要求1所述的一种基于传感器融合的目标检测及追踪方法， 其特征在于： 对 所述车载传感设备 所包括的激光雷达和摄 像头进行外参数 标定， 包括： 选用改进的lidar_camera_calibration算法， 添加初始化模块、 自动提取点云角点模 块， 实现对激光雷达和摄 像头进行外参数 标定。 5.根据权利要求1所述的一种基于传感器融合的目标检测及追踪方法， 其特征在于： 采 用匈牙利算法对所述激光雷达和摄 像头各自采集的数据进行目标匹配， 包括： 通过时间 同步器将所述激光雷达和摄像头各自采集的进行时间 同步， 统一至一个坐标 系下； 使用匈牙利算法， 遍历所述激光雷达和摄像头检测得到的中点， 以图像坐标系下距离 最近为目标， 寻找匹配的图像 检测框中点与点云聚类中心； 关键点匹配 计数做多帧多目标的匹配， 形成多目标信息序列。 6.根据权利要求5所述的一种基于传感器融合的目标检测及追踪方法， 其特征在于： 关 键点匹配 计数做多帧多目标的匹配， 形成多目标信息序列， 包括： 对前后帧图像分别提取关键点， 并计算每 个关键点的描述子； 将前后两帧的关键点 通过计算描述子距离进行匹配， 得到关键点匹配点对； 针对每个检测框对它内部的关键点， 在另一帧中的每 个检测框中计数； 若是含有对应匹配关键点， 则计数加一， 以匹配关键点计数最大的检测框为配对对象， 形成多目标信息序列。 7.根据权利要求6所述的一种基于传感器融合的目标检测及追踪方法， 其特征在于： 使权　利　要　求　书 1/2 页 2 CN 114926808 A 2用卡尔曼 滤波算法对完成数据匹配的目标进行追踪， 得到周围多目标的运动轨 迹， 包括： 根据所述多目标物信息序列， 对每个目标物做卡尔曼滤波进行追踪， 实现全局多目标 的航迹管理， 获取多个周围目标物的运动情况， 并且平 滑轨迹。权　利　要　求　书 2/2 页 3 CN 114926808 A 3