(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210323217.0 (22)申请日 2022.03.29 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 杨黔生　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 倪焱 (51)Int.Cl. G06V 40/10(2022.01) G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种人体关键点检测方法、 装置、 设备及存 储介质 (57)摘要 本公开提供了一种人体 关键点检测方法、 装 置、 设备及存储介质， 涉及人工智能技术领域， 具 体涉及深度学习和计算机视觉技术领域， 可应用 于3D视觉、 增强现实和虚拟现实等场景。 具体实 现方案为： 获取待检测视频帧序列； 对所述待检 测视频帧序列中的待检测视频帧进行人体关键 点检测， 得到所述待检测视频帧对应的人体关键 点之间的向量和人体关键点热图； 根据所述人体 关键点之间的向量和所述人体关键点热图， 确定 所述待检测视频帧中人体关键点的位置信息。 通 过上述技术方案， 可以高效且精 准定位视频帧中 人体的关键点。 权利要求书3页 说明书12页 附图7页 CN 114863473 A 2022.08.05 CN 114863473 A 1.一种人体关键点检测方法， 包括： 获取待检测视频帧序列； 对所述待检测视频帧序列中的待检测视频帧进行人体关键点检测， 得到所述待检测视 频帧对应的人体关键点之间的向量和人体关键点热图； 根据所述人体关键点之间的向量和所述人体关键点热图， 确定所述待检测视频帧中人 体关键点的位置信息 。 2.根据权利要求1所述的方法， 其中， 所述对所述待检测视频帧序列中的待检测视频帧 进行人体关键点检测， 得到所述待检测视频帧对应的人体关键点之 间的向量和人体关键点 热图， 包括： 将所述待检测视频帧序列输入到关键点检测模型中的第 一特征提取网络， 得到所述待 检测视频帧序列中待检测视频帧对应的第一特 征； 将所述第一特征输入到所述关键点检测模型中的第 二特征提取网络， 得到所述待检测 视频帧对应的目标 特征； 将所述目标特征输入到所述关键点检测模型中的关键点检测网络， 得到所述待检测视 频帧对应的人体关键点之间的向量和人体关键点热图。 3.根据权利要求2所述的方法， 其中， 所述关键点检测模型中的第 二特征提取网络包括 正向特征提取网络和反向特 征提取网络； 相应的， 所述将所述第一特征输入到所述关键点检测模型中的第二特征提取网络， 得 到所述待检测视频帧对应的目标 特征， 包括： 分别将所述第 一特征输入到所述正向特征提取网络和所述反 向特征提取网络， 得到所 述待检测视频帧对应的正向特 征和反向特 征； 将所述正向特征和所述反向特 征进行融合， 得到所述待检测视频帧对应的目标 特征。 4.根据权利要求1所述的方法， 其中， 所述根据所述人体关键点之间的向量和所述人体 关键点热图， 确定所述待检测视频帧中人体关键点的位置信息， 包括： 根据所述人体关键点热图中的人体中心点热图， 确定所述待检测视频帧中人体中心点 的二维坐标信息； 根据所述人体 中心点的二维坐标信 息、 所述人体关键点之间的向量和所述人体关键点 热图中的非人体中心点热图， 确定所述待检测视频帧中非人体中心点的二维坐标信息 。 5.根据权利要求4所述的方法， 其中， 所述根据所述人体中心点的二维坐标信息、 所述 人体关键点之 间的向量和所述人体关键点热图中的非人体中心 点热图， 确定所述待检测视 频帧中非人体中心点的二维坐标信息， 包括： 根据所述人体关键点中非人体中心点与 所述人体中心点之间的连接关系， 将所述非人 体中心点分为第一关键点和第二关键点； 根据所述人体 中心点的二维坐标信 息、 第一关键点热图和所述第 一关键点与 所述人体 中心点之间的向量， 确定所述第一关键点的二维坐标信息； 根据所述第一关键点的二维坐标信息、 第二关键点热图、 所述第一关键点与所述第二 关键点之间的向量和不同第二关键点之间的向量， 确定所述第二关键点的二维坐标信息 。 6.根据权利要求5所述的方法， 其中， 若所述人体中心点为至少两个， 则每一人体中心 点关联的第一关键点的第一关键点热图中包括至少两个子热图；权　利　要　求　书 1/3 页 2 CN 114863473 A 2相应的， 所述根据所述人体中心点的二维坐标信息、 第一关键点热图和所述第一关键 点与所述人体中心点之间的向量， 确定所述第一关键点的二维坐标信息， 包括： 根据每一人体 中心点的二维坐标信 息， 以及该人体中心点关联的第 一关键点与该人体 中心点之间的向量， 确定该 人体中心点关联的第一关键点的预测坐标信息； 根据所述预测坐标信 息， 从该人体中心点关联的第 一关键点热图的至少两个子热图中 选择目标子热图； 根据所述目标子热图， 确定该 人体中心点关联的第一关键点的二维坐标信息 。 7.根据权利要求 4所述的方法， 还 包括： 根据所述人体 中心点的二维坐标信 息和深度信 息， 确定所述人体中心点的三维坐标信 息； 根据所述人体 中心点的深度信 息和所述人体关键点之间的向量， 确定所述非人体 中心 点的深度信息； 根据所述非人体中心点的二维坐标信 息和深度信 息， 确定所述非人体中心点的三维坐 标信息。 8.一种人体关键点检测装置， 包括： 视频帧序列获取模块， 用于获取待检测视频帧序列； 关键点检测模块， 用于对所述待检测视频帧序列中的待检测视频帧进行人体关键点检 测， 得到所述待检测视频帧对应的人体关键点之间的向量和人体关键点热图； 位置信息确定模块， 用于根据所述人体关键点之间的向量和所述人体关键点热图， 确 定所述待检测视频帧中人体关键点的位置信息 。 9.根据权利要求8所述的装置， 其中， 所述关键点检测模块包括： 第一特征确定单元， 用于将所述待检测视频帧序列输入到关键点检测模型中的第 一特 征提取网络， 得到所述待检测视频帧序列中待检测视频帧对应的第一特 征； 目标特征确定单元， 用于将所述第 一特征输入到所述关键点检测模型中的第 二特征提 取网络， 得到所述待检测视频帧对应的目标 特征； 热图确定单元， 用于将所述目标特征输入到所述关键点检测模型中的关键点检测网 络， 得到所述待检测视频帧对应的人体关键点之间的向量和人体关键点热图。 10.根据权利要求9所述的装置， 其中， 所述关键点检测模型中的第二特征提取网络包 括正向特征提取网络和反向特 征提取网络； 相应的， 所述目标 特征确定单 元具体用于： 分别将所述第 一特征输入到所述正向特征提取网络和所述反 向特征提取网络， 得到所 述待检测视频帧对应的正向特 征和反向特 征； 将所述正向特征和所述反向特 征进行融合， 得到所述待检测视频帧对应的目标 特征。 11.根据权利要求8所述的装置， 其中， 所述 位置信息确定模块包括： 第一坐标确定单元， 用于根据所述人体关键点热图中的人体中心点热图， 确定所述待 检测视频帧中人体中心点的二维坐标信息； 第二坐标确定单元， 用于根据所述人体中心点的二维坐标信息、 所述人体关键点之间 的向量和所述人体关键点热图中的非人体中心 点热图， 确定所述待检测视频帧中非人体中 心点的二维坐标信息 。权　利　要　求　书 2/3 页 3 CN 114863473 A 3