(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210974354.0 (22)申请日 2022.08.15 (71)申请人 北京体育大学 地址 100084 北京市海淀区信息路48号 (72)发明人 李建伟　李金阳　张开宇　胡海晴　 (74)专利代理 机构 北京轻创知识产权代理有限 公司 11212 专利代理师 孟仕杰 (51)Int.Cl. G06V 40/10(2022.01) G06V 20/64(2022.01) G06V 10/80(2022.01) G06T 7/80(2017.01) G06V 10/141(2022.01) (54)发明名称 一种三维人体姿态估计方法、 系统、 存储介 质和电子设备 (57)摘要 本发明涉及一种三维人体姿态估计方法、 系 统、 存储介质和电子设备， 包括： 控制每台相机柱 上放置的每台相机同步采集待测人体的图像数 据， 并利用训练后的二维姿态估计模型， 得到每 个图像数据对应的二维人体姿态数据； 根据每台 相机柱上的所有相机的相机内参、 相机外参和二 维人体姿态数据， 得到待测人体在每台相机柱视 点下的原始三维人体姿态数据； 对每个原始三维 人体姿态数据进行三维骨架关节长度校验， 得到 多个目标三维人体姿态数据， 并对 所有的目标三 维人体姿态数据进行三维人体姿态融合， 得到三 维人体姿态估计结果。 本发明解决了多相机低 延 迟同步、 多相机自动化准确标定、 准确人体姿态 三维重建等问题， 能够实现对三维人体姿态进行 精准估计 。 权利要求书3页 说明书9页 附图3页 CN 115457594 A 2022.12.09 CN 115457594 A 1.一种三维人体姿态估计方法， 其特 征在于， 包括： 控制每台相机柱上放置的每 台相机同步采集待测人体的原始图像数据， 并利用训练后 的二维姿态估计模型， 得到每个原始图像数据对应的二 维人体姿态数据； 其中， 所有的相机 柱呈环形布置； 根据每台相机柱上的所有相机的目标相机内参、 目标相机外参和二维人体姿态数据， 得到所述待测人体分别在每台相机柱视点下的原 始三维人体姿态数据； 对每个原始三维人体姿态数据进行三维骨架关节长度校验， 得到多个目标三维人体姿 态数据， 并对所有的目标三维人体姿态数据进行三维人体姿态融合， 得到所述待测人体的 三维人体姿态估计结果。 2.根据权利要求1所述的一种三维人体姿态估计方法， 其特征在于， 获取每台相机的目 标相机内参的过程 为： 控制每台相机分别对设置在目标区域的中心的标定板进行多次同步采集， 得到每 台相 机所采集的多个原始相 机标定数据； 其中， 所述 目标区域通过所有的相 机柱环形布置所构 成； 利用棋盘格角点检测算法， 对所有的原始相机标定数据进行检测， 将每个符合预设条 件的原始相机标定数据确定为目标相机标定数据， 并得到每个目标相机标定数据所对应的 角点位置信息； 根据任一相机对应的所有的角点位置信息， 对所述任一相机进行单目相机内参标定， 得到所述任一相机的目标相机内参， 直至得到每台相机的目标相机内参。 3.根据权利要求2所述的一种三维人体姿态估计方法， 其特征在于， 获取每台相机的目 标相机外参的过程 为： 按照预设标定条件， 将所有相机分为多个标定组， 并确定每 个标定组的原点相机； 对每个标定组中的每对相邻相机分别进行双目外参标定， 得到每 台相机相对于对应标 定组的原 点相机的原始相机外参， 并采用LM算法分别对每台相机的原始相机外参进 行最小 化重投影误差优化， 得到每台相机的第一优化相机 外参； 采用局部集束调整分别对每个标定组 的每台相机的第 一优化相机外参进行迭代优化， 得到每台相机相对于对应标定组的组内优化相机 外参； 其中， 局部集束调整的过程为： 采用代价函数的最小二乘优化累计误差， 以对每个标定 组内的第一优化相机 外参进行迭代优化； 所述代价函数为： h(Ti， vij)＝ KiTipj， vij为第i个相机像素坐标系下第j个角点的坐标， Ti为第i个相机与原点相机坐标系 的变换关系， Ki为第i个相机的目标相机内参， m为对应标定组的所有相机的数量， n为对应 标定组的共视角点的数量， pj为第j个角点在原点相机坐标系下的三维坐标； 将每个标定组中的所有相机的相机坐标转换为相对于对应标定组 的原点相机的坐标， 并确定第一标定组的原点相机为全局原点相机； 基于第一预设公式， 将每台相机的组内优化相机外参转换为相对于所述全局原点相机 的目标相机 外参； 其中， 第一预设公式为：权　利　要　求　书 1/3 页 2 CN 115457594 A 2为第1个标定组的 第1个相机， 为第5个标定组的第1个相机， 为第k个标定组的第1个相机， 为第k个标 定组的第i个相机； T(C1， C2)表示相机 C2相对于相机 C1坐标系的刚体 变换关系。 4.根据权利要求3所述的一种三维人体姿态估计方法， 其特征在于， 所述根据任一相机 对应的所有的角点位置信息， 对所述任一相 机进行单目相 机内参标定， 得到所述任一相 机 的目标相机内参， 包括： 根据张正友平面标定法和所述任一相机对应的所有的角点位置信 息， 对所述任一相机 进行单目相机内参标定， 得到所述任一相机的原 始相机内参； 基于PnP算法， 计算所述任一相机对应的每个目标相机标定数据中的棋盘格与相机坐 标系的第一转换关系， 并根据所述第一转换关系和所述任一相 机的原始相 机内参， 得到所 述任一相机的转换相机内参； 采用LM算法对所述任一相机的转换相机内参进行最小化重投影误差优化， 得到所述任 一相机的目标相机内参。 5.根据权利要求1 ‑4任一项所述的一种三维人体姿态估计方法， 其特征在于， 所述原始 三维人体姿态数据包括： 多个关节点 三维坐标和多个关节点可 见度信息； 所述根据每台相机柱上的所有相机的目标相机 内参、 目标相机外参和二维人体姿态数 据， 得到所述待测人体分别在每台相机柱视点下的原 始三维人体姿态数据， 包括： 根据任一相机柱上的所有相机的目标相机内参、 目标相机外参和二维人体姿态数据， 控制所述任一相机柱的所有相机进行三角测量， 得到所述待测人体分别 在所述任一相机柱 视点下的多个关节点三 维坐标和多个关节点可见度信息， 直至得到所述待测人体分别 在每 台相机柱视点下的多个关节点 三维坐标和多个关节点可 见度信息 。 6.根据权利要求1所述的一种三维人体姿态估计方法， 其特征在于， 所述对所有的目标 三维人体姿态数据进行三维人体姿态融合， 得到所述待测人体的三维人体姿态估计结果， 包括： 根据融合骨架计算公式、 每 台相机对应的目标相机外参和所有的目标三维人体姿态数 据， 得到所述待测人体的每个关节点的融合骨架数据； 其中， 所述融合骨架计算公式为： 为第s个关节点的融合骨架数据， 为第i个视点对应的三维 骨架的第s个关节坐标， 为 对应的权重， 为 关节点可 见度信息， zi为深度值， θi为关节角； 根据所述待测人体的所有关节点的融合骨架数据和参数化人体模型， 得到所述待测人 体的三维人体姿态估计结果； 其中， 所述参数化人体模型为： Efused(θ, β )＝ωproEpro+ω shapeEshape+ωgeoEgeo,Epro表示将每个视图上的二维投影对 准到三维关节， Eshape表示对人体形 态进行预处理， Egeo表示多视几何一致性对关节点进行约束， ωpro为Epro对应的第一平衡权权　利　要　求　书 2/3 页 3 CN 115457594 A 3