(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210342854.2 (22)申请日 2022.04.02 (71)申请人 深圳先进技 术研究院 地址 518055 广东省深圳市南 山区西丽大 学城学苑大道1068号 (72)发明人 韩鸣飞　王亚立　乔宇　 (74)专利代理 机构 北京市诚辉律师事务所 11430 专利代理师 耿慧敏　成丹 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/74(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于互补时空信息建模的群体行为识 别方法 (57)摘要 本发明公开了一种基于互补时空信息建模 的群体行为识别方法。 该方法包括： 获取目标视 频中的个体特征向量； 将个体特征向量输入到经 训练的群体行为识别模型， 获得群体行为识别结 果， 其中群体行为识别模型包含第一建模分支和 第二建模分支， 第一建模分支对输入的个体特征 依次通过第一空间自注意力模块和第一时间自 注意力模块获得增强的个体特征， 进而对所有增 强的个体特征进行识别， 获得第一群体行为识别 结果； 第二 建模分支对输入的所述个体特征依次 通过第二时间自注意力模块和第二空间自注意 力模块获得增强的个体特征， 进而对 所有增强的 个体特征进行识别， 获得第二群体行为识别结 果。 本发明提升了群体行为识别准确率并增强了 模型鲁棒 性。 权利要求书2页 说明书6页 附图2页 CN 114842411 A 2022.08.02 CN 114842411 A 1.一种基于互补时空信息建模的群 体行为识别方法， 包括以下步骤： 获取目标视频中的个 体特征向量； 将所述个体特征向量输入到经训练的群体行为识别模型， 获得群体行为识别结果， 其 中， 所述群体行为识别模型包含第一建模分支和第二建模分支， 第一建模分支对输入的个 体特征依次通过第一空间自注意力模块和 第一时间自注意力模块 获得增强的个体特征， 进 而对所有增强的个体特征进行识别， 获得第一群体行为识别结果； 第二建模分支对输入的 所述个体特征依次通过第二时间自注意力模块和第二空间自注意力模块获得增强的个体 特征， 进而对所有增强的个体特征进 行识别， 获得第二群体行为识别结果； 所述群体行为识 别结果是通过融合第一群 体行为结果和第二群 体行为识别结果获得。 2.根据权利要求1所述的方式， 其特 征在于， 所述个 体特征向量通过以下步骤获得： 针对目标视频， 抽取 K个视频帧， 每 个视频帧中包 含N个个体； 将N个个体通过深度神经网络和感兴趣区域对齐Ro iAlign得到N个 个体的特征向量。 3.根据权利要求1所述的方式， 其特征在于， 在训练所述群体行为识别模型过程中， 融 合帧与帧之 间的对比损失函数， 帧与视频之间的对比损失函数以及视频与视频之 间的对比 损失函数， 从三个层级约束特 征在第一建模分支和第二建模分支之间的一 致性。 4.根据权利要求3所述的方式， 其中， 所述帧与帧之间的对比损失函数设置为： 其中， h代表余弦相似度CosSim， 表示第一建模分支上第n个体第k帧的特征， 表示第二建模分支上第n个 体第k帧的特 征， t表示帧的索引， K表示帧的数目。 5.根据权利要求3所述的方式， 其中， 所述帧与视频之间的对比损失函数设置为： 其中， 表示第二建模分支上第n个体的视频级特征， 表示第二建模分支上一个 批次内所有视频中第i个体的视频级 特征， B表示一个批次内包含的视频数量， N表示个体数 量， 表示第一建模分支上第n个 体第k帧的特 征。 6.根据权利要求3所述的方式， 其特征在于， 所述视频与视频之间的对比损失函数设置 为： 其中， 分别表示第二建模分支和第一建模分支上视频中第n个体的视频级特 征。 7.根据权利要求1所述的方式， 其特征在于， 第 一建模分支和第 二建模分支具有对偶互 补关系， 第一空间自注意力模块和第二空间自注意力模块具有相同或不同的结构， 第一时 间自注意力模块和第二时间自注意力模块具有相同或不同的结构。 8.根据权利要求1所述的方式， 其特征在于， 所述第 一时间自注意力模块和所述第 二时权　利　要　求　书 1/2 页 2 CN 114842411 A 2间自注意力模块用于时间关系建模， 对每个个体的多帧特征， 通过自注意力机制构建该多 个特征间关系， 进而输入至前馈神经网络增强特征表达， 得到时间关系建模增强后的个体 特征； 所述第一空间自注意力模块和所述第二空间自注意力模块用于空间关系建模， 对每 个视频帧内的多个个体特征， 通过自注意力机制构建该多个个特征间关系， 输入前馈神经 网络增强特 征表达， 得到空间关系建模增强后的个 体特征。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其中， 该计算机程序被处理器执 行时实现根据权利要求1至8中任一项所述方法的步骤。 10.一种计算机设备， 包括存储器和处理器， 在所述存储器上存储有能够在处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现权利要求1至8 中任 一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 114842411 A 3