(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210942446.0 (22)申请日 2022.08.08 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 裘乐淼　房乃玉　张树有　王阳　 王自立　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06T 3/40(2006.01) G06T 3/00(2006.01) G06T 5/50(2006.01) G06V 10/80(2022.01)G06V 10/762(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于姿势-形状-内容推理的人体图像 序列生成方法 (57)摘要 本发明公开了一种基于姿势 ‑形状‑内容推 理的人体图像序列生成方法。 该方法根据自顶向 下的特征推断顺序， 将姿势插值路径限制在姿势 流形中， 利用姿势流形网络线性控制参数实现姿 势插值。 利用迁移注意网络将插值后的姿势特征 转换到端形状特征中， 采用注 意力机制强调高跨 度的空间关系。 通过比较目标形状和端形状， 内 容转换网络估计多尺度特征级光流， 并分别变形 服装聚类和人体聚类的内容特征， 同时采用特征 码注入机制辅助无源特征的内容推断。 本发明适 用于连续的人体图像生成， 该方法有助于解决服 装在线零售中静态模特图像服装效果展示效果 差的问题， 有助于实现虚拟试衣和服装售卖的动 态展示， 有助于姿势驱动的动画电影制作。 权利要求书4页 说明书10页 附图5页 CN 115311142 A 2022.11.08 CN 115311142 A 1.一种基于姿势 ‑形状‑内容推理的人体图像序列生成方法， 其特征在于， 包括以下步 骤： 步骤(1)： 将服装图像的起始插值端姿势概率热图和终止插值端姿势概率热图输入姿 势流形网络， 通过插值 参数t控制姿势特 征的焦点移动， 得到插值后的姿势概 率热图； 步骤(2)： 将插值后的姿势概率热图和端实例级分割图输入到迁移注意网络得到目标 实例级分割图； 步骤(3)： 通过对比步骤(2)得到的目标实例级分割图以及端实例级分割图， 估计多尺 度特征级光流； 步骤(4)： 从端实例级分割图中提取 特征码； 步骤(5)： 将人体图像输入至图像合成模块， 最终输出插值 参数t条件下的人体图像。 2.根据权利要求1所述的一种基于姿势 ‑形状‑内容推理的人体图像序列生成方法， 其 特征在于， 所述 步骤(1)包括以下子步骤： (1.1)将服装图像的起始插值端姿势概率热图p0输入姿势编码器Ep中并在姿势编码器 Ep的末端生成起始姿势特征图 服装图像的终止插值端姿势概率热图p1输入姿势编码器 Ep中并在姿势编码器Ep的末端生成终止姿势特 征图 (1.2)将起始姿势特征图 终止姿势特征图 并行输入第一瓶颈层组合， 所述第一瓶 颈层组合包括3 ×3个瓶颈层； 起始姿势特征图 经过3个瓶颈层输出 终止姿势特 征图 经过3个瓶颈层输出 (1.3)随后将起始姿势特征 图 终止姿势特征图 输入至姿势流形模块进行姿势插 值得到插值姿势特征图 其中， t为插值参数， t为和 大小一样 的系数矩阵， ⊙为元素相乘符号； 插值姿势特 征图 经过1个瓶颈层输出 将起始姿势特征图 终止姿势特征图 输入至姿势流形模块进行姿势插值得到插值 姿势特征图 与 相加输入至下一个瓶颈层输出 将起始姿势特征图 终止姿势 特征图 输入至姿势流形模块进行姿势插值得到插值 姿势特征图 与 相加输入至下一个瓶颈层输出 (1.4)最后将 输入姿势解码器Dp中， 将插值姿势特征图重新映射为插值后的姿势概 率热图pt。 3.根据权利要求2所述的一种基于姿势 ‑形状‑内容推理的人体图像序列生成方法， 其 特征在于， 所述 步骤(2)包括以下子步骤： (2.1)将插值后的姿势概率热 图pt输入姿势编码器Ep中并在姿势编码器Ep的末端生成 插值姿势特征图 端实例级分割图S0输入形状编码器Es中并在形状编码器Es的末端生成 形状特征图 (2.2)将插值姿势特征 图 输入第二瓶颈层组合， 所述第二瓶颈层组合包括2 ×3个瓶权　利　要　求　书 1/4 页 2 CN 115311142 A 2颈层， 插值姿势特征图 经过3个瓶颈层输出 其中， 为第一姿势 特征图， 为第二姿势特 征图， 为第三姿势特 征图； (2.3)随后将插值姿势特征图 形状特征图 输入至风格迁移模块归一化匹配得到 第一目标形状特征图 σ()为方差函数， μ()为均值函 数； 第一目标 形状特征图 经过1个瓶颈层输出 将 和第一姿势特征图 输入至风格迁移模块归一化匹配得到第二目标形状特征图 第二目标 形状特征图 经过1个瓶颈层输出 将 和第二姿势特征图 输入至风格迁移模块归一化匹配得到第三目标形状特征图 第三目标形状特征图 经过1个瓶颈层输出目标形 状特征图 (2 .4)将插值姿势特征图 和目标形状特征图 输入至注意力模块， 得到 其中 为矩阵乘法符号， softmax()为归一化函数， 为可学习的参数； 将形状特 征图 和目标形状特征图 输入至注意力模块， 得到 随后将β1和β2相加， 得到注意力强调后的形状特 征图β： β ＝β1+β2； (2.5)最后将注意力强调后的形状特征图β 输入形状解码器Ds中， 将注意力强调后的形 状特征图β 重新映射 为目标实例级分割图St。 4.根据权利要求3所述的一种基于姿势 ‑形状‑内容推理的人体图像序列生成方法， 其 特征在于， 所述 步骤(3)包括以下子步骤： (3.1)将目标实例级分割图St输入编码器， 经过4个下采样残差块得到特征图 将端实例级分割图S0输入编码器， 经过4个下采样残差块得到特征图 (3.2)将特征图 特征图 进行合并， 通过Conv2d卷积层 将合并后的特征图的通道数 将至16， 再通过卷积层组合{Conv2d+Tanh}生成多尺度特征级光流f1以及通过卷积层组合 {Conv2d+Sigmo id}生成重用掩膜m1； (3.3)将特征图 特征图 进行合并， 通过Conv2d卷积层 将合并后的特征图的通道数 将至16， 再通过 卷积层组合{Co nv2d+Tanh}生成多尺度特 征级光流f2；权　利　要　求　书 2/4 页 3 CN 115311142 A 3