(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210998603.X (22)申请日 2022.08.19 (71)申请人 桂林电子科技大 学 地址 541004 广西壮 族自治区桂林市七 星 区金鸡路1号 (72)发明人 林镇源　张文辉　谢胜勇　蒋小莲　 许轩瑞　刘晨旭　 (74)专利代理 机构 桂林市持衡专利商标事务所 有限公司 45107 专利代理师 陈跃琳 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的轻量 化人像分割方法 (57)摘要 本发明公开一种基于深度学习的轻量化人 像分割方法， 利用其基于SegFormer与融合坐标 注意力机制的MobileNetV3轻量级人像分割模 型， 以实现对人像进行分割。 基于深度学习的轻 量化人像分割模型用MobileNetV3网络取代了 SegFormer编码器， 同时对MobileNetV3网络进行 改进， 加入多层CA注意机制， 提高人像分割的准 确性， 并将原来网络中的SEModu l替换为CA， 加快 了训练时的拟合速度， 减小了模型尺寸， 抑制了 冗余特征， 提高了模型精度， 最终输出准确的语 义分割图像。 通过实验进行对比， 我们提出的 SegFormer ‑MobileNetV3网络相对于其他的轻量 级网络， 有着更准确的分割效果， 同时也有着更 快的分割效率。 本发明可应用于人像抠图、 线上 会议、 背景替换等人像图像处 理方面的应用。 权利要求书3页 说明书10页 附图8页 CN 115457263 A 2022.12.09 CN 115457263 A 1.一种基于深度学习的轻量 化人像分割方法， 其特 征是， 包括步骤如下： 步骤1、 构建基于深度学习的轻量 化人像分割模型； 该基于深度学习的轻量化人像分割模型由输入层、 卷积坐标注意力层、 3个块单元、 4个 多层感知层、 卷积归一化与激活层、 卷积层和输出层组成； 输入层的输入作为基于深度学习 的轻量化人像分割模型 的输入； 输入层的输出连接卷积坐标注意力层的输入； 卷积坐标注 意力层的一个输出连接第一块单元 的输入， 另一个输出连接第四多层感知层的输入； 第一 块单元的一个输出连接第二块单元的输入， 第一块单元的另一个输出连接第三多层感知层 的输入； 第二块单元 的一个输出连接第三块单元 的输入， 第二块单元 的另一个输出连接第 二多层感知层的输入； 第三块单元的输出连接第一多层感知层的输入； 4个多层感知层的输 出同时连接卷积归一化与激活层的输入， 卷积归一化与激活层的输出连接卷积层的输入； 卷积层的输出连接输出层的输入； 输出层的输出作为基于深度学习的轻量化人像分割模型 的输出； 步骤2、 利用已分割好的样本图像集对步骤1所构建的基于深度 学习的轻量化人像分割 模型进行训练， 得到训练好的基于深度学习的轻量 化人像分割模型； 步骤3、 将待分割的图像送入到步骤2所得到的训练好的基于深度 学习的轻量化人像分 割模型中， 训练好的基于深度学习的轻量 化人像分割模型输出分割好的图片。 2.根据权利要求1所述的一种基于深度 学习的轻量化人像分割方法， 其特征是， 卷积坐 标注意力层由卷积层和坐标注意力层组成； 卷积层的输入作为卷积坐标注意力层的输入， 卷积层的输出连接坐标注意力 层的输入， 坐标注 意力层的输出作为卷积坐标注意力层的输 出。 3.根据权利要求1所述的一种基于深度 学习的轻量化人像分割方法， 其特征是， 第 一块 单元由9个卷积归一 化层、 3个融合层和1个坐标注意力层组成； 第一个卷积归一化层的输入作为第 一块单元的输入， 第 一个卷积归一化层的输出连接 第二个卷积归一化层的输入， 第二个卷积归一化层的输出连接第三个卷积归一化层的输 入， 第三个卷积归一化层的输出连接第一个融合层的一个输入， 第一个融合层的另一个输 入连接第一个卷积归一化层的输入， 第一个融合层的输出连接第四个卷积归一化层的输 入； 第四个卷积归一化层的输出连接第五个卷积归一化层的输入， 第五个卷积归一化层的 输出连接第六个卷积归一化层的输入， 第六个卷积归一化层的输出连接第二个融合层的一 个输入， 第二个融合层的另一个输入连接第四个卷积归一化层的输入， 第二个融合层的输 出连接第七个卷积归一 化层的输入； 第七个卷积归一化层的输出连接第八个卷积归一化层的输入， 第八个卷积归一化层的 一个输出连接第九个卷积归一化层的一个输入， 第八个卷积归一化层的另一个输出连接坐 标注意力层的输入， 坐标注意力层的输出连接第九个卷积归一化层的另一个输入， 第九个 卷积归一化层的输出连接第三个融合层的一个输入， 第三个融合层的另一个输入连接第七 个卷积归一 化层的输入， 第三个融合层的输出作为第一 块单元的输出。 4.根据权利要求1所述的一种基于深度 学习的轻量化人像分割方法， 其特征是， 第 二块 单元由12个卷积归一 化层、 4个融合层和1个坐标注意力层组成； 第一个卷积归一化层的输入作为第 二块单元的输入， 第 一个卷积归一化层的输出连接权　利　要　求　书 1/3 页 2 CN 115457263 A 2第二个卷积归一化层的输入， 第二个卷积归一化层的输出连接第三个卷积归一化层的输 入， 第三个卷积归一化层的输出连接第一个融合层的一个输入， 第一个融合层的另一个输 入连接第一个卷积归一化层的输入， 第一个融合层的输出连接第四个卷积归一化层的输 入； 第四个卷积归一化层的输出连接第五个卷积归一化层的输入， 第五个卷积归一化层的 输出连接第六个卷积归一化层的输入， 第六个卷积归一化层的输出连接第二个融合层的一 个输入， 第二个融合层的另一个输入连接第四个卷积归一化层的输入， 第二个融合层的输 出连接第七个卷积归一 化层的输入； 第七个卷积归一化层的输出连接第八个卷积归一化层的输入， 第八个卷积归一化层的 输出连接第九个卷积归一化层的输入， 第九个卷积归一化层的输出连接第三个融合层的一 个输入， 第三个融合层的另一个输入连接第七个卷积归一化层的输入， 第三个融合层的输 出连接第十个卷积归一 化层的输入； 第十个卷积归一化层的输出连接第十一个卷积归一化层的输入， 第十一个卷积归一化 层的一个输出连接第十二个卷积归一化层的一个输入， 第十一个卷积归一化层的另一个输 出连接坐标注意力 层的输入， 坐标注意力 层的输出连接第十二个卷积归一化层的另一个输 入， 第十二个卷积归一化层的输出连接第四个融合层的一个输入， 第四个融合层的另一个 输入连接第十个卷积归一 化层的输入， 第四个融合层的输出作为第二 块单元的输出。 5.根据权利要求1所述的一种基于深度 学习的轻量化人像分割方法， 其特征是， 第 三块 单元由9个卷积归一 化层、 3个融合层和1个坐标注意力层组成； 第三个卷积归一化层的输入作为第 三块单元的输入， 第 一个卷积归一化层的输出连接 第二个卷积归一化层的输入， 第二个卷积归一化层的输出连接第三个卷积归一化层的输 入， 第三个卷积归一化层的输出连接第一个融合层的一个输入， 第一个融合层的另一个输 入连接第一个卷积归一化层的输入， 第一个融合层的输出连接第四个卷积归一化层的输 入； 第四个卷积归一化层的输出连接第五个卷积归一化层的输入， 第五个卷积归一化层的 输出连接第六个卷积归一化层的输入， 第六个卷积归一化层的输出连接第二个融合层的一 个输入， 第二个融合层的另一个输入连接第四个卷积归一化层的输入， 第二个融合层的输 出连接第七个卷积归一 化层的输入； 第七个卷积归一化层的输出连接第八个卷积归一化层的输入， 第八个卷积归一化层的 一个输出连接第九个卷积归一化层的一个输入， 第八个卷积归一化层的另一个输出连接坐 标注意力层的输入， 坐标注意力层的输出连接第九个卷积归一化层的另一个输入， 第九个 卷积归一化层的输出连接第三个融合层的一个输入， 第三个融合层的另一个输入连接第七 个卷积归一 化层的输入， 第三个融合层的输出作为第三 块单元的输出。 6.根据权利要求3～5中任意一项所述的一种基于深度学习的轻量化人像分割方法， 其 特征是， 卷积归一化层由卷积层和BN归一化层组成； 卷积层的输入作为卷积归一化层的输 入， 卷积层的输出 连接BN归一 化层的输入， BN归一 化层的输出作为卷积归一 化层的输出。 7.根据权利要求1所述的一种基于深度 学习的轻量化人像分割方法， 其特征是， 每个多 层感知层均由线型层和LN归一化层组成； 线型层的输入作为多层感知层的输入， 线型层的 输出连接LN归一化层的输入， L N归一化层的输出作为多层感知 层的输出。权　利　要　求　书 2/3 页 3 CN 115457263 A 3