(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210317678.7 (22)申请日 2022.03.29 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 200号南京理工大 学 (72)发明人 舒祥波　郭龙杰　徐斌倩　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 刘芳 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于半监督骨骼点的行为识别方法及 系统 (57)摘要 本发明涉及一种基于半监督骨骼点的行为 识别方法及系统， 涉及人体行为识别领域， 方法 包括获取人体骨架数据； 根据所述人体骨架数据 利用多粒度锚对比学习模型进行特征提取， 得到 局部特征、 全局特征和上下文特征； 所述多粒度 锚对比学习模型包括图卷积神经网络和上下文 图卷积神经网络； 将所述局部特征、 所述全局特 征和所述上下文特征进行融合， 得到融合特征； 根据所述融合特征得到人体行为识别结果。 本发 明提高行为识别性能。 权利要求书2页 说明书9页 附图3页 CN 114708656 A 2022.07.05 CN 114708656 A 1.一种基于半监 督骨骼点的行为识别方法， 其特 征在于， 包括： 获取人体骨架数据； 所述人体骨架数据包括学习连接的骨架图和结构连接的骨架图； 根据所述人体骨架数据利用多粒度锚对比学习模型进行特征提取， 得到局部特征、 全 局特征和上下文 特征； 所述多 粒度锚对比学习模型包括图卷积神经网络和上下文图卷积神 经网络； 所述多粒度锚对比学习模型 的总损失函数包括多粒度锚对比损失和识别损失； 所 述局部特征包括第一局部特征和 第二局部特征； 所述全局特征包括第一全局特征和第二全 局特征； 所述上 下文特征包括第一上 下文特征和第二上 下文特征； 将所述局部特 征、 所述全局特 征和所述上 下文特征进行融合， 得到融合特 征； 根据所述融合特 征得到人体行为识别结果。 2.根据权利要求1所述的基于半监督骨骼点的行为识别方法， 其特征在于， 所述根据 所 述人体骨架数据利用多粒度锚对比学习模型进行特征提取， 得到局部特征、 全局特征和上 下文特征， 具体包括： 根据所述学习连接的骨架图利用所述图卷积神经网络提取第一全局特征和第一局部 特征； 根据所述学习连接的骨架图利用所述上 下文图卷积神经网络提取第一上 下文特征； 根据所述结构连接的骨架图利用所述图卷积神经网络提取第二全局特征和第二局部 特征； 根据所述结构连接的骨架图利用所述上 下文图卷积神经网络提取第二上 下文特征。 3.根据权利要求1所述的基于半监督骨骼点的行为识别方法， 其特征在于， 所述总损失 函数的确定方法， 具体包括： 根据所述融合特 征确定锚点邻接矩阵和样本邻接矩阵； 根据所述锚点邻接矩阵和所述样本邻接矩阵确定多粒度锚 对比损失； 根据所述融合特 征确定识别损失； 根据所述对比损失和所述识别损失确定总损失函数。 4.根据权利要求3所述的基于半监督骨骼点的行为识别方法， 其特征在于， 所述根据 所 述融合特 征确定锚点邻接矩阵和样本邻接矩阵， 具体包括： 将所述融合特 征作为结点， 构建锚图； 根据所述融合特 征利用聚类算法， 确定锚点； 根据所述融合特 征、 所述锚图和所述锚点确定锚点邻接矩阵和样本邻接矩阵。 5.根据权利要求1所述的基于半监督骨骼点的行为识别方法， 其特征在于， 所述将所述 局部特征、 所述全局特 征和所述上 下文特征进行融合， 得到融合特 征， 具体包括： 将所述第一全局特征、 所述第一局部特征、 所述第一上下文特征、 所述第二全局特征、 所述第二局部特 征和所述第二上 下文特征进行融合， 得到融合特 征。 6.一种基于半监 督骨骼点的行为识别系统， 其特 征在于， 包括： 数据获取模块， 用于获取人体骨架数据； 所述人体骨架数据包括学习连接的骨架图和 结构连接的骨架图； 特征提取模块， 用于根据所述人体骨架数据利用多粒度锚对比学习模型进行特征提 取， 得到局部特征、 全局特征和上下文 特征； 所述多 粒度锚对比学习模型包括图卷积神经网 络和上下文图卷积神经网络； 所述多 粒度锚对比学习模型的总损失函数包括多粒度锚对比权　利　要　求　书 1/2 页 2 CN 114708656 A 2损失和识别损失； 所述局部特征包括第一局部特征和第二局部特征； 所述全局特征包括第 一全局特 征和第二全局特 征； 所述上 下文特征包括第一上 下文特征和第二上 下文特征； 融合模块， 用于将所述局部特征、 所述全局特征和所述上下文特征进行融合， 得到 融合 特征； 识别模块， 用于根据所述融合特 征得到人体行为识别结果。 7.根据权利要求6所述的基于半监督骨骼点的行为识别系统， 其特征在于， 所述特征提 取模块， 具体包括： 第一提取单元， 用于根据所述学习连接的骨架图利用所述图卷积神经网络提取第 一全 局特征和第一局部特 征； 第二提取单元， 用于根据所述学习连接的骨架图利用所述上下文图卷积神经网络提取 第一上下文特征； 第三提取单元， 用于根据所述结构连接的骨架图利用所述图卷积神经网络提取第 二全 局特征和第二局部特 征； 第四提取单元， 用于根据所述结构连接的骨架图利用所述上下文图卷积神经网络提取 第二上下文特征。 8.根据权利要求6所述的基于半监督骨骼点的行为识别系统， 其特征在于， 所述总损失 函数的确定方法， 具体包括： 根据所述融合特 征确定锚点邻接矩阵和样本邻接矩阵； 根据所述锚点邻接矩阵和所述样本邻接矩阵确定多粒度锚 对比损失； 根据所述融合特 征确定识别损失； 根据所述对比损失和所述识别损失确定总损失函数。 9.根据权利要求8所述的基于半监督骨骼点的行为识别系统， 其特征在于， 所述根据 所 述融合特 征确定锚点邻接矩阵和样本邻接矩阵， 具体包括： 将所述融合特 征作为结点， 构建锚图； 根据所述融合特 征利用聚类算法， 确定锚点； 根据所述融合特 征、 所述锚图和所述锚点确定锚点邻接矩阵和样本邻接矩阵。 10.根据权利要求6所述的基于半监督骨骼点的行为识别系统， 其特征在于， 所述融合 模块， 具体包括： 融合单元， 用于将所述第一全局特征、 所述第一局部特征、 所述第一上下文特征、 所述 第二全局特 征、 所述第二局部特 征和所述第二上 下文特征进行融合， 得到融合特 征。权　利　要　求　书 2/2 页 3 CN 114708656 A 3