(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211019889.9 (22)申请日 2022.08.24 (71)申请人 苏州大学 地址 215000 江苏省苏州市吴中区石湖西 路188号 (72)发明人 刘纯平　石涤波　陈哲恺　季怡　 李蓥　 (74)专利代理 机构 苏州市中南伟业知识产权代 理事务所(普通 合伙) 32257 专利代理师 王广浩 (51)Int.Cl. G06T 3/00(2006.01) G06T 11/00(2006.01) G06V 10/40(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种图像风格 迁移方法及系统 (57)摘要 本发明公开了一种图像风格迁移方法及系 统， 包括： S1、 将内容图像和风格图像分别输入两 个编码器， 并分别得到内容特征和风格特征； S2、 将得到的内容特征和风格特征分别输入两个 SPNet金字塔网络进行语义增强， 并分别得到增 强后的内容特征和风格特征； S3、 将增强前的内 容特征和风格特征输入第一特征融合模块进行 特征融合， 将增强后的内容特征和风格特征输入 第二特征融合模块进行特征融合； S4、 将第一特 征融合模块特征融合后的结果和第二特征融合 模块特征融合后的结果相加后， 输入第一卷积层 进行特征提取， 得到风格化特征； S5、 将得到的风 格化特征输入解码器， 解码得到风格迁移后的 图 像。 本发明图像风格迁移方法可获得高质量的风 格化图像 。 权利要求书2页 说明书5页 附图4页 CN 115330590 A 2022.11.11 CN 115330590 A 1.一种图像风格迁移方法， 其特 征在于， 包括以下步骤： S1、 将内容图像和风格图像分别输入两个编码器， 并分别得到内容特 征和风格特 征； S2、 将得到的内容特征和风格特征分别输入两个SPNet金字塔网络进行语义增强， 并分 别得到增强后的内容特 征和风格特 征； S3、 将增强前的内容特征和风格特征输入第一特征融合模块进行特征融合， 将增强后 的内容特 征和风格特 征输入第二特 征融合模块进行 特征融合； S4、 将第一特征融合模块特征融合后的结果和第 二特征融合模块特征融合后的结果相 加后， 输入第一卷积层进行 特征提取， 得到风格化特 征； S5、 将得到的风格化特 征输入解码器， 解码得到风格迁移后的图像。 2.如权利要求1所述的图像风格迁移方法， 其特征在于， 所述两个编码器分别将得到的 内容特征和风格特征分为5层的金字塔特征图， 5层的金字塔特征图包括从上至下的5层分 辨率大小依次减半， 通道数量依次加倍的特 征图。 3.如权利要求2所述的图像风格迁移方法， 其特征在于， 所述SPNet金字塔网络包括亚 像素卷积层和第二卷积层， 通过所述亚像素卷积层将5层的金字塔特征图中每个下层的特 征图放大一倍后与上一层的特征图相加， 得到4层的金字塔特征图； 通过所述第二卷积层将 所述4层的金字塔特征图中最上层特征图进行下采样后与下一层的特征图相加， 并继续下 采样后与下一层的特征图相加， 直至得到一个与所述4层的金字塔特征图中最下层特征图 分辨率大小一 致的增强特 征图。 4.如权利要求3所述的图像风格迁移方法， 其特征在于， 所述第一卷积层为3 ×3卷积 层， 所述第二卷积层为1 ×1卷积层。 5.如权利要求1所述的图像风格迁移方法， 其特征在于， 所述编码器为VGG编码器， 所述 解码器为VG G解码器。 6.一种电子设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述程序时实现权利要求 1‑5中任意一项 所述方法的 步骤。 7.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现权利要求1 ‑5任意一项所述方法的步骤。 8.一种图像风格迁移系统， 其特 征在于， 包括： 两个编码器， 用于分别接收内容图像和风格图像， 并分别得到内容特 征和风格特 征； 两个SPNet金字塔网络， 用于分别 对得到的内容特征和风格特征进行语义增强， 并分别 得到增强后的内容特 征和风格特 征； 第一特征融合模块， 用于将增强前的内容特 征和风格特 征进行特征融合； 第二特征融合模块， 用于将增强后的内容特 征和风格特 征进行特征融合； 加法模块， 用于将第一SAFF模块特征融合后的结果和第二SAFF模块特征融合后的结果 相加； 第一卷积层， 用于在相加后进行 特征提取， 得到风格化特 征； 解码器， 用于 接收风格化特 征并解码得到风格迁移后的图像。 9.如权利要求8所述的图像风格迁移系统， 其特征在于， 所述两个编码器分别将得到的 内容特征和风格特征分为5层的金字塔特征图， 5层的金字塔特征图包括从上至下的5层分权　利　要　求　书 1/2 页 2 CN 115330590 A 2辨率大小依次减半， 通道数量依次加倍的特 征图。 10.如权利要求9所述的图像风格迁移系统， 其特 征在于， 所述S PNet金字塔网络包括： 亚像素卷积层， 用于将5层的金字塔特征图中每个下层的特征图放大一倍后与上一层 的特征图相加， 得到4层的金字塔特 征图； 第二卷积层， 用于将所述4层的金字塔特征图中最上层特征图进行下采样后与下一层 的特征图相加， 并继续下采样后与下一层的特征图相加， 直至得到一个与所述4层的金字塔 特征图中最下层特 征图分辨 率大小一 致的增强特 征图。权　利　要　求　书 2/2 页 3 CN 115330590 A 3