(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210488449.1 (22)申请日 2022.05.06 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区 二号路 (72)发明人 李妹纳　杭丽君　熊攀　 (74)专利代理 机构 浙江永鼎律师事务所 3 3233 专利代理师 金肯晗 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/80(2022.01) G06N 3/04(2006.01) G06V 10/82(2022.01) (54)发明名称 一种基于FP-SCGAN模型的妆容风格迁移方 法 (57)摘要 本发明公开了一种基于FP ‑SCGAN模型的妆 容风格迁移方法， 将特征金字塔与SCGAN算法结 合。 FP‑SCGAN网络共包括四个部分： PSEnc、 FIEnc、 MFDec以及马尔可夫判别器。 PSEnc用于提 取参考妆容特征， FIEnc用于提取待迁移图片的 面部特征， MFDec用于将原图脸部特征和参考图 像的妆容特征进行融合， 马尔可夫判别器用于度 量生成分布与实际分布之间的距离。 该改进算法 能够解决妆容迁移时眼眶存在不自然的边缘， 较 淡的眼妆无法迁移等问题， 相比较于目前主流的 SCGAN妆容迁移算法， 迁移效果得到提升 。 权利要求书2页 说明书7页 附图3页 CN 114863527 A 2022.08.05 CN 114863527 A 1.一种基于FP ‑SCGAN模型的妆容风格迁移方法， 其特征在于， 其FP ‑SCGAN网络包括 PSEnc、 FIEnc、 MFDec以及马尔可夫判别器， 网络的训练在生成器G与判别器D的相互博弈中 进行， 最终达 到动态平衡时网络即收敛， 训练具体包括以下步骤： S10， 得到风格特征： 将未上妆图像x与已上妆图像y送入FIEnc中， 经过特征提取、 下采 样和残差模块得到待迁移图片的面部特征cx， cy， 并将妆容参考图像的关键区域送入PSEnc 中， 经过预训练VGG19网络进行特征提取以及特征金字塔对特征进行融合， 得到风格特征 sx,sy； S20， 得到参考妆容图像与待迁移图像 融合的特征： 将得到的风格特征送入到多层感知 器中， 使风格特征映射到特征空 间， 得到风格特征编码codex,codey， 将得到的待 迁移图片的 面部特征以及风格特征编码送入MFDec中通过解码器AdaIN进行特征融合； 同时， MFDec的浅 层中使用AdaIN来引入特征， 经过MFDec网络得到参考妆容图像与待迁移图像融合的特征 xy,yx,xx,yy； S30， 优化判别器和生成器： 固定生成器G的参数， 计算生成器损失， 用于优化判别器D， 使得判别器D的辨别能力增强， 随后进 行反向传播， 更新判别器参数,共有两个判别器， 分别 用于判别生成的上妆图像与去妆图像， 二者结构上相同； 固定判别器D的参数， 计算判别器 损失， 用于优化 生成器G， 使得生成器G对判别器D的欺骗能力增强； S40， 计算各类损失： 包括身份损失， 该损失采用生成器重建待迁移图像； 妆容损失， 该 损失引导关键区域妆容的迁移； 局部vgg损失， 该损失加强对关键区域语义信息的保留； 全 局vgg损失， 该损失保证生成图像与原 始图像语义信息相似； S50， 更新生成器参数： 同时将xy,yx送入FIEnc中提取内容特征cx,fake,cy,fake； 然后， 将 cx,fake与codex以及cy,fake与codey分别送入到MFDec中得到xrec以及yrec； 进一步计算重建损 失， 该损失引导网络进 行整体风格迁移的同时， 保留原始图像的基本特征； 最后进 行反向传 播， 更新生成器参数。 2.根据权利要求1所述的方法， 其特 征在于， 所述计算 生成器损失的公式为： 其中， Ex～X表示未上妆图像的真实概率； Ey～Y表示已上妆图像的真实概率； Ex～X,y～Y表示 生成图像的联合概率； Dx(·),Dy(·)表示采样自生成数据的判别器输出； Dx， Dy表示采样自 真实数据的判别器输出； G(x,y)为将x以y的妆容为参考进行迁移； G(y,x)为将y以x的妆容 为参考进行迁移。 3.根据权利要求1所述的方法， 其特 征在于， 所述计算判别器损失的公式为： 其中， Dx(·),Dy(·)表示采样自生成数据的判别 器输出， Ex～X,y～Y表示生成图像的联合 概率， G(x,y)为将x以y的妆容 为参考进行迁移； G(y,x)为将y以x的妆容 为参考进行迁移。 4.根据权利要求1所述的方法， 其特 征在于， 所述身份损失的计算公式为： Lidt＝||G(x,x)‑x||1+||G(y,y)‑y||1 其中， G(x,x)为将x以x的妆容为参考进行迁移； G(y,y)为将y以y的妆容为参考进行迁 移,||·||1为L1损失， 即计算真实数据与生成数据之间的绝对误差 。 5.根据权利要求1所述的方法， 其特 征在于， 所述妆容损失的计算公式为：权　利　要　求　书 1/2 页 2 CN 114863527 A 2其中， 表示生成的x的配对数据， 表示生成的y的配对数据， x表示未化妆图像， y表示 已化妆图像， Mx,i表示上妆前图像的人脸掩膜， 其中i表 示关键区域的序号， 包括眼眶、 脸部、 嘴唇三个部位， My,i表示上妆后图像的人脸掩膜， 其中i表示关键区域的序号， 包括眼眶、 脸 部、 嘴唇三个部位， G(x,y)表示将x以y的妆容为参考进行迁移； G(y,x)表示将y以x的妆容为 参考进行迁移， | |·||1为L1损失， 即计算真实数据与生成数据之间的绝对误差 。 6.根据权利要求1所述的方法， 其特 征在于， 所述局部vg g损失的计算公式为： 其中， Mx,i表示上妆前图像的人脸掩膜， 其中i表示关键区域的序号， 包括眼眶、 脸部、 嘴 唇三个部位， My,i表示上妆后图像的人脸掩膜， 其中i表 示关键区域的序号， 包括眼眶、 脸部、 嘴唇三个部位， G(x,y)表示将x以y的妆容为参考进行迁移； G(y,x)表示将y以x的妆容为参 考进行迁移， Fl(.)代表vgg网络中的第l层特征， || ·||2表示L2损失， 即计算真实数据与 生 成数据之间的平方误差 。 7.根据权利要求1所述的方法， 其特 征在于， 所述全局vg g损失的计算公式为： 其中， G(x,y)表示将x以y的妆容为参考进行迁移； G(y,x)表示将y以x的妆容为参考进 行迁移， Fl(.)代表vgg网络中的第l层特 征， ||·||2为L2损失。 8.根据权利要求1所述的方法， 其特 征在于， 所述重建损失的计算公式为： Lcyc＝||G(G(y,x),y) ‑y||1+||G(G(x,y),x) ‑x||1 其中， G(G(y,x),y)表示将y以x的妆容为参考进行迁移后， 再以y的妆容为参考进行迁 移， G(G(x,y),x)表示将x以y的妆容为参考进行迁移后， 再以x的妆容为参考进行迁移， || · ||1为L1损失， 即计算真实数据与生成数据之间的绝对误差 。权　利　要　求　书 2/2 页 3 CN 114863527 A 3