(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211006528.0 (22)申请日 2022.08.22 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区南 山街道崇文 路2号 (72)发明人 张家波　黄钟玉　高洁　徐光辉　 (74)专利代理 机构 重庆市恒信知识产权代理有 限公司 5 0102 专利代理师 李金蓉 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/62(2022.01) G06V 10/52(2022.01) (54)发明名称 一种基于时空维度筛选的多特征融合步态 识别方法 (57)摘要 本发明公开一种基于时空维度筛选的多特 征融合步态识别方法， 包括以下步骤： 对输入的 图像进行预处理； 利用基干网络提取整体时空特 征； 采用多尺度的局部时序关系寻找局部空间特 征， 引入注意评分机制， 重组获得潜在空间特征； 利用空间维度滤波器筛选出显著时序特征； 利用 潜在空间特征聚合层和显著时序聚合层分别聚 合潜在空间特征和显著时序特征； 使用时间池化 将所有特征序列映射到一个代表整个步态周期 的特征中； 利用空间池化将潜在空间特征映射到 更具判别性的空间域； 经过多特征融合后的输 出， 利用多个独立的全 连接层将其映射到度量空 间， 其结果用于身份判别。 本发明得到互相补充 的时空特征、 时序特征、 空间特征， 使得步态特征 的表达更丰富和完整。 权利要求书3页 说明书10页 附图1页 CN 115439930 A 2022.12.06 CN 115439930 A 1.一种基于时空维度筛 选的多特 征融合步态识别方法， 其特 征在于， 包括以下步骤： 1)计算每一帧输入步态图像的中心点， 再从中心点出发向四周搜索轮廓的边缘临界 点， 根据上下左右 四个边界点确定一个矩形框， 将矩形框内的行人轮廓截取出来并对截取 后的轮廓进行缩放得到固定大小的步态轮廓图； 2)利用基干网络提取整体时空特 征； 3)采用多尺度的局部时序关系寻找最优的局部空间特征， 将注意评分机制引入时序 特 征中， 重组获得潜在空间特 征； 4)利用空间维度滤波器筛 选出不同水平空间中的显著时序特 征； 5)利用潜在空间特征聚合层和显著时序聚合层分别聚合潜在空间特征和显著时序特 征； 6)使用时间池化将所有不同长度的显著时序特征序列映射到一个代表整个步态周期 的特征中； 7)利用空间池化将位于不同水平位置的潜在空间特 征映射到更 具判别性的空间域； 8)经过多特征融合后的输出， 利用多个独立的全连接层将其映射到度量空间， 得到的 特征用于身份判别。 2.根据权利要求1所述一种基于时空维度筛选的多特征融合步态识别方法， 其特征在 于： 所述基干网络包括三层， 第一层由一个卷积和一个时间压缩率为r的时间池化组成； 第 二层由一个卷积和一个空间池化组成； 第三层由两个卷积组成， 则局部映射函数记为 其中上标表示映射 函数中所用卷积核的尺寸。 3.根据权利要求1所述一种基于时空维度筛选的多特征融合步态识别方法， 其特征在 于： 步骤3)包括首先将经过 函数映射的特征 的最后一维进行 压缩， 再将压缩后的特征进行维度转换， 得到输出特征PT的维度为N ×C'1×T， 其中， 该过程 用公式表示 为： 其中， MaxPool表示全局最大池化， 内核大小为(1， 1， W)， Conv1d是一个核大小为3的一 维卷积， 用于构造短时序关系， T1和T2代表两个局部时序 特征， MLP是一个由两个核大小为1 的一维卷积组成的模块， 而Sigmoid( ·)函数为序列中的每个帧特征生成注意力分数， repeat(·)用于生成T帧相同的特 征， T3代表一个全局的时间特 征。 4.根据权利要求1或3所述一种基于时空维度筛选的多特征融合步态识别方法， 其特征 在于： 所述注意评分机制为 Logits＝MLP(Tc)∈RN×H×T权　利　要　求　书 1/3 页 2 CN 115439930 A 2Score＝Sigmo id(Logits)∈RN×H×T 其中， Tc是经过元素级加法和通道维度连接后的多尺度时序特征的组合， Logits表示感 知特征， Sigmo id(·)函数计算相应的时序特 征的重要性得分Score。 5.根据权利要求4所述一种基于时空维度筛选的多特征融合步态识别方法， 其特征在 于： 步骤3)所述重组用公式表示 为： TIndexs＝Located(Max(Score,T) )∈RN×H 其中， Max函数取维度T上的最大值， Located表示定位操作符， TIndexs是由局部 空间特征 形成的时序关系最显著的帧的索引， Se ek操作根据帧的索引筛 选出相应的空间特 征 6.根据权利要求1或5所述一种基于时空维度筛选的多特征融合步态识别方法， 其特征 在于： 引入了一种身份识别损失函数， 将网络的注意力分布在不同身体部位的时序关系上， 计算公式为： 其中， 一个全连接层被用来压缩特征Tc的通道， f表示压缩特征， Scoret和ft分别是 Score和f在时间维度上被分割后的特征块， 其中t＝1,2,3,...,T， Prob是属于第i个个体的 步态特征的预测值， N是批处 理中的个 体数， yi为1或0， 表示第i个 个体的真实标签。 7.根据权利要求1所述一种基于时空维度筛选的多特征融合步态识别方法， 其特征在 于： 步骤4)所述筛选不同水平空间中的显著时序特征， 包括首先将主干网络中 的输 出特征水平划分为H部分； 然后， 利用全局最大池化筛选掉表达能力弱的局部特征； 最后， 显 著的时序特 征用公式表示 为： 8.根据权利要求1所述一种基于时空维度筛选的多特征融合步态识别方法， 其特征在 于： 步骤5)中所述显著时序特征聚合层被用于集成由空间维度滤波器输出的显著时序特 征， 网络层中三维卷积的核大小为3 ×3×1， 表述如下： 表示来自第二层网络层输出的显著时序特征， 表示第一层网络层输出的显著时 序特征， Mt表示时序聚合层的输出 特征； 所述潜在空间特征聚合层被用于集成由时间维度 滤波器输出的潜在空间特征， 网络层 中三维卷积的核大小为1 ×3×3， 表述如下： Ms表示空间特征聚合层的输出特征， 表示第一层网络层输出的潜在空间特征， 权　利　要　求　书 2/3 页 3 CN 115439930 A 3