(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210460726.8 (22)申请日 2022.04.28 (71)申请人 河海大学 地址 210024 江苏省南京市江宁区佛城西 路8号 (72)发明人 钱惠敏　陈实　周军　卢新彪　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 董建林 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于双流非局部时空卷积神经网络的 人体行为识别方法 (57)摘要 本发明公开了一种基于双流非局部时空卷 积神经网络的人体行为识别方法， 包括： 获取包 含人体行为的待检测视频； 对待检测视频按帧提 取生成RGB图像序列， 并将RGB图像序列输入训练 后的空间流卷积神经网络NS T‑CNN获取空间流人 体行为类型预测； 将待检测视频输入训练后的 PWC‑Net网络生成光流图像序列， 并将光流 图像 序列输入训练后的时间流卷积神经网络NST ‑CNN 获取时间流人体行为类型预测； 根据空间流和时 间流人体行为类型预测进行均值融合获取最终 的人体行为类型预测； 本发明能够准确的识别人 体行为类型。 权利要求书2页 说明书5页 附图2页 CN 114898461 A 2022.08.12 CN 114898461 A 1.一种基于双流非局部时空卷积神经网络的人体行为识别方法， 其特 征在于， 包括： 获取包含人体行为的待检测视频； 对待检测视频按帧提取生成RGB图像序列， 并将RGB图像序列输入训练后的空间流卷积 神经网络NST ‑CNN获取空间流人体行为类型 预测； 将待检测视频输入训练后的PWC ‑Net网络生成光流 图像序列， 并将光流图像序列输入 训练后的时间流卷积神经网络NST ‑CNN获取时间流人体行为类型 预测； 根据空间流和时间流人体行为类型 预测进行均值融合获取最终的人体行为类型 预测。 2.根据权利要求1所述的一种基于双流非局部时空卷积神经网络的人体行为识别方 法， 其特征在于， 所述将待检测 视频输入训练后的PWC ‑Net网络生成光流图像序列包括： 将 待检测视频相 邻帧的图像分别送入六级特征金字塔网络获取各个尺度下的特征图； 将特征 图进行代价容量计算、 扭曲操作、 光流提取层、 上采样、 上下文网络层生 成光流图像序列； 其 中， 所述PWC ‑Net网络使用光流数据集Flying  Chairs和Flying  Things3D作为训练数据集 进行训练。 3.根据权利要求1所述的一种基于双流非局部时空卷积神经网络的人体行为识别方 法， 其特征在于， 所述空间流和时间流卷积神经网络NST ‑CNN均包括依次连接的非局部时空 卷积层、 第一非局部时空卷积块、 第二非局部时空卷积块、 第三非局部时空卷积块、 第四非 局部时空卷积块、 第五 非局部时空卷积块、 3D池化层、 全连接层、 Dropout层以及Softmax层。 4.根据权利要求3所述的一种基于双流非局部时空卷积神经网络的人体行为识别方 法， 其特征在于， 所述第一 非局部时空卷积块包括时空卷积层； 所述第二 非局部时空卷积块 包括一个非局部模块和三个残差块； 所述第三非局部时空卷积块包括一个非局部模块和四 个残差块； 所述第四非局部时空卷积块包括一个非局部模块和六个残差块； 所述第 五非局 部时空卷积块包括 一个非局部模块和三个残差块。 5.根据权利要求4所述的一种基于双流非局部时空卷积神经网络的人体行为识别方 法， 其特征在于， 所述残差块包括依次连接的时空卷积层、 批归一化层、 Leaky  ReLU激活函 数层以及时空卷积层， 所述残差块的输入输出之间直连， 且所述残差块后均连接有Leaky   ReLU激活函数层。 6.根据权利要求5所述的一种基于双流非局部时空卷积神经网络的人体行为识别方 法， 其特征在于， 所述时空卷积层包括依次连接的空间卷积层、 批归一化层、 Leaky  ReLU激 活函数层以及时间卷积层。 7.根据权利要求6所述的一种基于双流非局部时空卷积神经网络的人体行为识别方 法， 所述Leaky ReLU激活函数为： 其中， x为输入， λ为 参数。 8.根据权利要求4所述的一种基于双流非局部时空卷积神经网络的人体行为识别方 法， 其特征在于， 所述非局部模块的数字表示 为： 权　利　要　求　书 1/2 页 2 CN 114898461 A 2其中， xi和xj分别为输入信号的位置i和j处特征值， Zi为输入信号的位置i的输出特征 值； f(xi,xj)为输入信号的位置i和j处特征值的相关性函数； g(xj)＝Wgxj， Wg和WZ为权重矩 阵， C(x)为归一 化参数， 且： 其中， θ(xi)＝Wθxi， Φ(xj)＝WΦxj， 且Wθ、 WΦ为权重矩阵。 9.根据权利要求5所述的一种基于双流非局部时空卷积神经网络的人体行为识别方 法， 其特征在于， 所述空间流和时间流卷积神经网络NST ‑CNN的训练包括： 利用Kinetics ‑ 400数据集作为训练数据集对空间流和时间流卷积神经网络NST ‑CNN进行一次训练； 利用 UCF101数据集和HMDB51数据集作为训练数据集对空间流和时间流卷积神经网络NST ‑CNN进 行二次训练； 在一次训练和 二次训练时， 采用基于梯度中心化算法改进带动量的随机梯度 下降算法优化训练。 10.根据权利要求1所述的一种基于双流非局部时空卷积神经网络的人体行为识别方 法， 其特征在于， 所述获取最终的人体行为类型 预测包括： 其中， yaverage为最终的人体行为类型预测， xt、 xs分别为空间流和时间流的人体行为类 型预测。权　利　要　求　书 2/2 页 3 CN 114898461 A 3