(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210461550.8 (22)申请日 2022.04.28 (71)申请人 济南博观智能科技有限公司 地址 250001 山东省济南市高新区新 泺大 街1166号奥盛大厦3号楼17楼 (72)发明人 周涛　李天鹏　庄林志　邵蒙悦　 吴婕　王清如　 (74)专利代理 机构 北京集佳知识产权代理有限 公司 11227 专利代理师 耿苑 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种图像语义分割方法、 装置、 电子设备及 存储介质 (57)摘要 本申请公开了一种图像语义分割方法， 应用 于包含图像语义分割模型的电子设备， 所述图像 语义分割模 型包括下采样模块、 稀 疏多层感知机 模块， 所述图像语义分割方法包括： 获取原始图 像， 利用下采样模块提取原始图像的下采样特征 图； 对下采样特征图进行线性编码， 得到线性编 码特征图； 利用稀疏多层感知机模块对线性编码 特征图进行特征提取， 得到输出特征； 利用输出 特征训练图像语义分割模型， 并利用训练后的 图 像语义分割模 型执行图像语义分割任务， 本申请 能够平衡图像语义分割的速度与精度， 使得图像 语义分割操作具有较快的速度与较高的精度。 本 申请还公开了一种图像语义分割装置、 一种电子 设备及一种存 储介质， 具有以上有益效果。 权利要求书2页 说明书11页 附图4页 CN 114821058 A 2022.07.29 CN 114821058 A 1.一种图像语义分割方法， 其特征在于， 应用于包含图像语义分割 模型的电子设备， 所 述图像语义分割模型包括下采样模块、 稀疏多层感知机模块， 所述图像 语义分割方法包括： 获取原始图像， 利用所述下采样模块 提取所述原始图像的下采样特 征图； 对所述下采样特 征图进行线性编码， 得到线性编码特 征图； 利用所述稀疏多层感知机模块对所述线性编码特征图进行特征提取， 得到输出特征； 其中， 所述输出特征包括全局语义信息和局部语义信息， 所述稀疏多层感知机模块包括稀 疏多层感知机、 深度可分离卷积结构和残差结构； 利用所述输出特征训练所述图像语义分割 模型， 并利用训练后的所述图像语义分割 模 型执行图像语义分割任务。 2.根据权利要求1所述图像语义分割方法， 其特征在于， 利用所述稀疏多层感知机模块 对所述线性编码特 征图进行 特征提取， 得到 输出特征， 包括： 对所述线性编码特征图进行预设比例 的通道拆分， 得到第一子特征图和第二子特征 图； 利用所述稀疏多层感知机提取 所述第一子特 征图的全局语义信息； 利用所述深度可分离卷积结构提取 所述第二子特 征图的局部语义信息； 将所述全局语义信息和所述局部语义信息进行 特征融合， 得到融合特 征； 将所述融合特 征输入所述残差结构得到所述输出 特征。 3.根据权利要求2所述图像语义分割方法， 其特征在于， 所述稀疏多层感知机包括第 一 处理支路和第二处 理支路； 相应的， 利用所述稀疏多层感知机提取 所述第一子特 征图的全局语义信息， 包括： 在所述第一处理支路中通过全连接层对所述第 一子特征图中同一行的像素进行交互， 得到行处 理结果； 在所述第二处理支路中通过全连接层对所述第 一子特征图中同一列的像素进行交互， 得到列处 理结果； 根据所述行处 理结果和所述列处 理结果生成所述第一子特 征图的全局语义信息 。 4.根据权利要求2所述图像语义分割方法， 其特征在于， 所述深度 可分离卷积结构包括 深度可分离卷积层、 批量归一 化层和激活函数； 相应的， 利用所述深度可分离卷积结构提取 所述第二子特 征图的局部语义信息， 包括： 将所述第二子特 征图输入深度可分离卷积层， 得到深度可分离卷积结果； 依次使用所述批量归一化层和所述激活函数处理所述深度 可分离卷积结果， 得到所述 第二子特 征图的局部语义信息 。 5.根据权利要求2所述图像语义分割方法， 其特征在于， 将所述全局语义信 息和所述局 部语义信息进行 特征融合， 得到融合特 征， 包括： 将所述全局语义信息和所述局部语义信息进行 特征融合， 得到融合结果； 通过通道Shuf fle操作调整所述融合结果的通道顺序， 得到所述融合特 征。 6.根据权利要求1所述图像语义分割方法， 其特征在于， 所述下采样模块包括并联的多 个卷积模块和 通道注意力模块； 所有所述卷积模块的步长相同， 任意两个所述卷积模块的 卷积核大小不同； 相应的， 利用所述下采样模块 提取所述原始图像的下采样特 征图， 包括：权　利　要　求　书 1/2 页 2 CN 114821058 A 2将所述原 始图像分别输入每一所述卷积模块； 利用同一所述通道注意力模块对所有所述卷积模块的输出结果进行特征筛选， 得到所 述原始图像的下采样特 征图。 7.根据权利要求1所述图像语义分割方法， 其特征在于， 利用所述输出特征训练所述图 像语义分割模型， 包括： 利用随机采样的损失函数和所述输出 特征训练所述图像 语义分割模型； 其中， 所述随机采样的损失函数根据 所述输出特征中随机采样的部分像素点计算损失 值。 8.一种图像语义分割装置， 其特征在于， 所述图像语义分割 装置包括下采样模块、 线性 编码模块、 稀疏多层感知机模块和训练模块； 所述下采样模块， 用于获取原始图像， 利用所述下采样模块提取所述原始图像的下采 样特征图； 所述线性编码模块， 用于对所述下采样特 征图进行线性编码， 得到线性编码特 征图； 所述稀疏多层感知机模块， 用于利用所述稀疏多层感知机模块对所述线性编码特征图 进行特征提取， 得到输出特征； 其中， 所述输出特征包括全局语义信息和局部语义信息， 所 述稀疏多层感知机模块包括稀疏多层感知机、 深度可分离卷积结构和残差结构； 训练模块， 用于利用所述输出特征训练所述图像语义分割模型， 以便利用训练后的所 述图像语义分割模型 执行图像语义分割任务。 9.一种电子设备， 其特征在于， 包括存储器和处理器， 所述存储器中存储有计算机程 序， 所述处理器调用所述存储器中的计算机程序时实现如权利要求 1至7任一项 所述图像语 义分割方法的步骤。 10.一种存储介质， 其特征在于， 所述存储介质中存储有计算机可执行指令， 所述计算 机可执行指令被处理器加载并执行时， 实现如权利要求 1至7任一项 所述图像语义分割方法 的步骤。权　利　要　求　书 2/2 页 3 CN 114821058 A 3