(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210434569.3 (22)申请日 2022.04.24 (71)申请人 重庆邮电大 学 地址 400065 重庆市南岸区黄桷垭崇文路2 号 (72)发明人 向敏　黄维　何军平　张昌剑　 周星旺　 (74)专利代理 机构 北京同恒源知识产权代理有 限公司 1 1275 专利代理师 赵荣之 (51)Int.Cl. G06V 40/20(2022.01) G06V 20/40(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种在红外视频下基于骨架序列的老人行 为识别方法 (57)摘要 本发明涉及一种在红外视频下基于骨架序 列的老人行为识别方法， 属于计算机视觉领域。 该方法包括： S1： 获取室内场景下具有老人行为 图像的红外视频， 并进行目标检测； S2： 将检测到 的目标输入到人体姿态估计网络， 提取出关节点 的位置和置信 度， 获取到老人的骨架信息； S3： 根 据检测时间先后顺序组合得到老人的骨架序列， 再对骨架序列进行归一化处理； S4： 将处理后的 骨架序列数据输入到融合了SlowFast与Shift ‑ GCN的SFS ‑GCN网络中， 结合空间注意力机制， 利 用移位图卷积获取到老人行为的时空特征， 最后 利用Softmax分类器对老人的室内行为进行分 类。 本发明解决了现有的面向老人的行为识别方 法实用性低的问题。 权利要求书1页 说明书5页 附图2页 CN 114724251 A 2022.07.08 CN 114724251 A 1.一种在红外 视频下基于骨架序列的老人 行为识别方法， 该 方法具体包括以下步骤： S1： 获取室内场景下具有老人行为图像的红外视频， 并对老人的行为图像进行目标检 测； S2： 将检测到的目标输入到人体姿态估计网络， 提取出关节点的位置和置信度， 获取到 老人的骨架信息； S3： 根据检测时间先后顺序组合获取的骨架信 息， 得到老人的骨架序列， 再对骨架序列 进行归一 化处理； S4： 将处理后的骨架序列数据输入到融合了SlowFast与Shift ‑GCN的SFS ‑GCN网络中， 结合空间注意力机制， 利用移位图卷积获取到 老人行为的时空特征， 最后利用Softmax分类 器对老人的室内行为进行分类。 2.根据权利要求1所述的老人行为识别方法， 其特征在于， 步骤S3中， 对骨架序列进行 归一化处理， 具体包括以下步骤： S31： 对步骤S2获取的老人骨架信息， 按照预设等时间间隔进行骨架数据的采样， 并将 预设帧数的骨架信息按照检测时间先后顺序组合得到待识别老人 行为的骨架序列； S32： 将待识别老人的行为骨架序列中每一帧骨架数据进行视角归一 化处理； S33： 对骨架序列不同帧的同一个关节点的位置特 征(x,y)和置信度进行归一 化处理。 3.根据权利要求1所述的老人行为识别方法， 其特征在于， 步骤S4 中， 所述SFS ‑GCN网络 由一个快速流分支、 一个慢速流分支和侧向连接组成； 其中快速流分支与慢速流分支都采 用改进的Shift ‑GCN网络组成； 改进的Shift ‑GCN网络由10个结合注意力机制的Shift ‑GCN 单元连续叠加而成， 其中改进的Shift ‑GCN单元由基于空间注意力机制的空间移位模块和 自适应时间移位模块组成； 快速流分支用来提取动作的时间维度的动态特征， 慢速流分支 用来提取动作空间维度的静态特征， 在两条分支的不同阶段使用侧向连接将慢速流分支的 特征聚合到快速流分支， 并将两条分支采集的特征输入到通道注意力模块进行处理， 最后 在Softmax层进行动作分类。 4.根据权利要求3所述的老人行为识别方法， 其特征在于， 步骤S4中， 所述空间移位模 块由空间移 位操作和空间逐点卷积组成； 所述自适时间位移模块由时间移 位操作和时间逐 点卷积组成。权　利　要　求　书 1/1 页 2 CN 114724251 A 2一种在红外视频下基于骨架序列的老人行为识别方 法 技术领域 [0001]本发明属于计算机视觉领域， 具体涉及一种在红外视频下基于骨架序列的老人行 为识别方法。 背景技术 [0002]当前， 居家养老阶段如何有效解决老人的安全问题是一个亟待解决的问题。 目前 基于计算机视觉的行为识别方法已经成为行为识别的主流方法， 但是， 近年来基于计算机 视觉的行为识别方法的研究主要集中在可见光领域， 目前主要采用的方法有C3D网络和双 流网络等模型。 传统的基于RGB视频由于受到光照、 遮挡和背景复杂等因素的影响， 导致鲁 棒性较低， 而在居家场景下， 存在光照变化较大和人体部分遮挡的情况， 因此传统的基于 RGB视频方式的行为识别方式在居家场景下具有很大的局限性， 不能针对居家场景下老人 的行为是进行有效的识别与处 理。 [0003]综上， 亟需一种针对老人居家环境下的光照变化较大以及人体部分遮挡等问题的 行为识别方法。 发明内容 [0004]有鉴于此， 本发明的目的在于提供一种在红外视频下基于骨架序列的老人行为识 别方法， 以解决目前行为识别算法不能有效的对居家场景下老人的行为进 行有效识别的问 题。 本发明适用于光照较复杂的室内环境， 对老人行为进行全天候识别， 为老人的安全提供 保障。 [0005]为达到上述目的， 本发明提供如下技 术方案： [0006]一种在红外 视频下基于骨架序列的老人 行为识别方法， 具体包括以下步骤： [0007]S1： 获取室内场景下具有老人行为图像 的红外视频， 并对老人的行为图像进行目 标检测； [0008]S2： 将检测到的目标输入到人体姿态估计网络， 提取出关节点的位置和置信度， 获 取到老人的骨架信息； [0009]S3： 根据检测时间先后顺序组合获取的骨架信息， 得到老人的骨架序列， 再对骨架 序列进行归一 化处理； [0010]S4： 将处理后的骨架序列数据输入到融合了SlowFast与S hift‑GCN的SFS ‑GCN网络 中， 结合空间注意力机制， 利用移位图卷积获取到老人行为的时空特征， 最后利用Softmax 分类器对老人的室内行为进行分类。 [0011]进一步， 步骤S1中， 采用YOLOV4 ‑Tiny模型进行目标检测。 [0012]进一步， 步骤S2中， 人体姿态估计网络是采用轻量级OpenPose姿态估计模型来提 取人体的骨骼关节点， 根据实时获取的骨骼关节点信息来进行后续的老人 行为识别工作。 [0013]其中， 轻量级 OpenPose姿态估计模型的网络结构是： 采集的图像经过VGG19网络的 前10层的特征提取后得到特征图F， 然后将F输入到双分支的人体姿态估计网络， 双分支网说　明　书 1/5 页 3 CN 114724251 A 3