(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211116943.1 (22)申请日 2022.09.14 (71)申请人 北京化工大 学 地址 100029 北京市朝阳区北三环东路15 号 (72)发明人 李志伟　王坤峰　张国英　卢凤黎　 谭启凡　 (51)Int.Cl. G06V 10/80(2022.01) G06V 20/40(2022.01) G06V 20/56(2022.01) G06T 7/90(2017.01) G06V 10/82(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于多模态序列数据融合的目标检测 方法及装置 (57)摘要 本申请提供了一种基于多模态序列数据融 合的目标检测方法及装置， 涉及智能驾驶技术领 域， 该方法包括： 获取当前时刻的RGB图像和点 云 数据； 将RGB图像的图像特征和二维点云图像的 点云特征进行融合得到融合特征； 判断融合特征 是否为关键帧； 如果为是则利用主分支对融合特 征得到深层特征， 利用多个大卷积核将时间对齐 后的内存关键帧特征和深层特征进行融合， 得到 感知特征； 否则利用次分支对融合特征进行处理 得到浅层特征， 对浅层特征进行特征变换得到深 层特征， 利用多个小卷积核将时间对齐后的内存 关键帧特征和深层特征进行融合， 得到感知特 征； 利用感知网络对感知特征进行处理， 得到目 标检测结果。 本申请提高了目标检测的精度和速 度。 权利要求书3页 说明书11页 附图3页 CN 115496977 A 2022.12.20 CN 115496977 A 1.一种基于多模态序列数据融合的目标检测方法， 其特 征在于， 所述方法包括： 获取当前时刻的RGB图像和点云数据； 对点云数据进行处理， 得到二维点云图像， 将 RGB图像的图像特征和二维点云图像的点 云特征进行融合， 得到当前时刻的融合特 征； 计算当前时刻的融合特征和上一个关键帧的融合特征的余弦相似度， 根据余弦相似度 判断当前时刻的融合特 征是否为关键帧； 如果当前时刻的融合特征为关键帧， 利用预先训练完成的主分支对当前时刻的融合特 征进行处理， 得到当前时刻的深层特征， 然后利用多个大卷积核将时间对齐后的内存关键 帧的深层特 征和当前时刻的深层特 征进行融合， 得到当前时刻的感知特 征； 如果当前时刻的融合特征为非关键帧， 利用预先训练完成的次分支对当前时刻的融合 特征进行处理， 得到 当前时刻的浅层特征， 对浅层特征进行特征变换得到深层特征， 然后利 用多个小 卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进 行融合， 得到当前时刻的感知特 征； 利用感知网络对当前时刻的感知特 征进行处 理， 得到当前时刻的目标检测结果。 2.根据权利要求1所述的基于多模态序列 数据融合的目标检测方法， 其特征在于， 对点 云数据进 行处理， 得到二 维点云图像， 将RGB图像的图像特征和二 维点云图像的点云特征进 行融合， 得到当前时刻的融合特 征； 包括： 利用激光雷达坐标系与相机成像坐标系的转换矩阵， 将点云数据投影到像素平面， 得 到二维点云图像； 二维点云图像的点云特征包括： x,y,z和r； (x,y,z)为像元中心点的三维 坐标； r为激光雷达的反射 率； 提取RGB图像的图像特 征， 图像特 征包括红色通道值R、 绿色通道值G和蓝色通道值B； 则当前时刻的融合特征包括： 红色通道值R、 绿色通道值G、 蓝色通道值B、 x、 y、 z和激光 雷达的反射 率r。 3.根据权利要求2所述的基于多模态序列 数据融合的目标检测方法， 其特征在于， 计算 当前时刻的融合特征和上一个关键帧的融合特征的余弦相似度， 根据余弦相似度判断当前 时刻的融合特 征是否为关键帧； 包括： 计算当前时刻的融合特 征和上一个关键帧的融合特 征的余弦相似度St： 其中， It为对当前时刻的融合特征进行压缩后的一维向量， Ilast_key为对上一个关键帧 的融合特 征进行压缩后的一维向量； 判断余弦相似度St是否大于相似度阈值， 若为是， 则当前时刻的融合特征为非关键帧， 否则， 当前时刻的融合特征为关键帧， 若当前时刻 对应的帧数为第一帧， 则当前时刻的融合 特征为关键帧。 4.根据权利要求1所述的基于多模态序列 数据融合的目标检测方法， 其特征在于， 所述 主分支采用DenseNet网络， 所述次分支采用Shuf fleNet网络 。 5.根据权利要求4所述的基于多模态序列 数据融合的目标检测方法， 其特征在于， 利用 多个大卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合， 得权　利　要　求　书 1/3 页 2 CN 115496977 A 2到感知特 征； 包括： 获取主分支输出的当前时刻的深层特 征Ft； 计算当前时刻p1位置上的深层特征图 和p2位置上内存关键帧的深层特征图Mp2的 运动矩阵S(p1,p2)： 其中， 深层特征图 的大小为(N,C,H,W)， N代表batch， N＝1， C为通道数， H和W分别为 图像的高和宽， 将深层特征图 变换为(N,H ×W,C/8)的三维矩阵； 深层特征图 Mp2的大小为(N,C,H,W)， θ2(Mp2)将深层特征图Mp2变换为(N,C/8,H ×W)的三维矩阵， 为(N,H×W,H×W)的三维矩阵； 其中， 内存关键帧的深层特征为上一个关键 帧的深层特 征； 计算对齐到p1位置的内存特 征图 对内存特 征图 与深层特 征图 进行融合， 得到p1位置的感知特 征 其中， θv(·)为1×1卷积操作， concat( ·)表示在通道维度叠加操作， 表示3个连 续大卷积核的卷积 操作， 3个连续大 卷积核的大小分别为7 ×7、 5×5和3×3； 将所有p1位置的感知特 征 组成当前时刻的感知特 征 6.根据权利要求4所述的基于多模态序列 数据融合的目标检测方法， 其特征在于， 对浅 层特征进 行特征变换得到深层特征， 然后利用多个小 卷积核将时间对齐后的内存关键帧的 深层特征和当前时刻的深层特 征进行融合， 得到当前时刻的感知特 征； 包括： 将次分支的浅层特征通过特征变换模块映射为深层特征Ft， 其中， 特征变换模块包括3 个串联的卷积核： 3 ×3、 3×3和3×3； 深层特征图Mp2的运动矩阵S(p1,p2)： 其中， 深层特征图 的大小为(N,C,H,W)， N代表batch， N＝1， C为通道数， H和W分别为 图像的高和宽， 将深层特征图 变换为(N,H ×W,C/8)的三维矩阵； 深层特征图 Mp2的大小为(N,C,H,W)， θ2(Mp2)将深层特征图Mp2变换为(N,C/8,H ×W)的三维矩阵， 为(N,H×W,H×W)的三维矩阵； 计算对齐到p1位置的内存特 征图 权　利　要　求　书 2/3 页 3 CN 115496977 A 3