(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211076329.7 (22)申请日 2022.09.05 (65)同一申请的已公布的文献号 申请公布号 CN 115170807 A (43)申请公布日 2022.10.11 (73)专利权人 浙江大华 技术股份有限公司 地址 310053 浙江省杭州市滨江区滨安路 1187号 (72)发明人 付建海　俞元杰　吴立　颜成钢　 李亮　殷海兵　熊剑平　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 杜晶 (51)Int.Cl. G06V 10/26(2022.01)G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) (56)对比文件 CN 112734769 A,2021.04.3 0 审查员 李雯雯 (54)发明名称 一种图像分割、 模 型训练方法、 装置、 设备及 介质 (57)摘要 本申请公开了一种图像分割、 模型训练方 法、 装置、 设备及介质， 首先基于训练集中的样本 图像及其对应的标注 图像对图像分割模型进行 训练， 得到图像分割模型的初始参数， 在基于图 像分割模型进行图像分割时， 确定图像的初始分 类结果和热力图的概率分布值， 根据概率分布值 对图像分割模 型的参数进行调整。 本申请结合样 本图像训练图像 分割模型的初始参数， 以及根据 待处理的图像对图像分割模型的初始参数进行 调整的方式， 使得基于少量的样 本图像训练图像 分割模型， 即可实现对待处理的图像进行准确有 效的分割， 降低了图像分割模型训练的成本 。 权利要求书3页 说明书12页 附图5页 CN 115170807 B 2022.12.02 CN 115170807 B 1.一种图像分割方法， 其特 征在于， 所述方法包括： 获取待处理的图像， 将所述图像输入训练后的图像分割模型， 其中， 所述图像分割模型 是基于训练集中的样本图像及其对应的标注图像训练得到的； 基于所述图像分割模型， 分别确定所述图像的初始分类结果和热力图， 根据所述初始 分类结果和热力图确定概率分布值， 根据所述概率分布值对所述图像分割模型的参数进 行 调整； 根据调整参数后的图像分割模型， 对所述图像进行分割处 理， 得到分割图像； 所述图像分割模型包括编码器、 解码器、 第一分类器、 深度自注意力变换器和第 二分类 器； 所述编码器与所述解码器连接， 所述解码器还分别与所述第一分类器、 深度自注意力 变换器连接， 所述第一分类 器、 深度自注意力变换器还分别与所述第二分类 器连接； 所述基于所述图像分割模型， 分别确定所述图像的初始分类结果和热力图， 根据所述 初始分类结果和热力图确定概率分布值， 根据所述概率分布值对所述图像分割模型的参数 进行调整包括： 将所述图像输入所述图像分割模型中的编码器， 基于所述编码器和解码器， 确定所述 图像对应的深度特 征图； 基于所述第 一分类器确定所述深度 特征图的初始分类结果， 基于所述深度自注意力变 换器确定所述深度特 征图的热力图； 基于所述第 二分类器确定所述初始分类结果和热力图确定概率分布值， 根据 所述概率 分布值对所述第二分类 器的参数进行调整。 2.如权利要求1所述的方法， 其特征在于， 所述根据 所述概率分布值对所述第 二分类器 的参数进行调整包括： 判断所述概率分布值是否大于设定的容许阈值， 如果是， 根据随机梯度下降法对所述 第二分类 器的参数进行调整， 如果否， 停止对所述第二分类 器的参数进行调整。 3.如权利要求1所述的方法， 其特征在于， 所述根据调整参数后的图像分割模型， 对所 述图像进行分割处 理， 得到分割图像包括： 基于所述深度自注意力变换器对所述深度 特征图和初始分类结果进行第 一融合处理， 得到融合特 征图， 对所述深度特 征图和融合特 征图进行第二融合处 理， 得到热力图； 基于所述第二分类 器调整后的参数， 对所述热力图进行分割处 理， 得到所述分割图像。 4.如权利要求1所述的方法， 其特征在于， 所述基于所述编码器和解码器， 确定所述图 像对应的深度特 征图包括： 基于所述编码器得到所述图像对应的编码特 征图； 基于所述解码器， 分别 对所述编码特征图进行多级的下采样操作、 上采样操作、 通道扩 张或压缩操作， 对所述编码特 征图进行 特征提取， 得到所述编码特 征图对应的深度特 征图。 5.如权利要求4所述的方法， 其特征在于， 基于所述解码器对所述编码特征图进行下采 样操作包括： 基于所述解码器的下采样层， 将所述编码特征图的宽 高维度上的像素堆叠到深度维度 上， 得到下采样 操作结果； 基于所述 解码器对所述编码特 征图进行 上采样操作包括：权　利　要　求　书 1/3 页 2 CN 115170807 B 2基于所述解码器的上采样层， 将所述编码特征图的深度维度上的像素平铺到宽高通道 上， 得到上采样 操作结果。 6.一种图像分割模型训练方法， 其特 征在于， 所述方法包括： 将训练集中的样本图像和其对应的标注图像输入图像分割 模型中的编码器， 基于编码 器得到样本图像对应的编码特征图， 将编码特征图输入解码器， 基于解码器得到深度特征 图； 分别将深度特征图输入第 一分类器和深度自注意力变换器， 基于第 一分类器得到初始 分类结果， 将初始分类结果输入到深度自注意力变换器； 基于深度自注意力 变换器对深度特征图和初始分类结果进行融合处理， 得到融合特征 图， 在对融合特 征图和深度特 征图进行融合处 理， 得到热力图， 将热力图输入第二分类 器； 基于第二分类 器根据热力图得到预测分割图像； 根据所述预测分割图像和所述标注图像确定损失函数值， 根据损失函数值对所述编码 器、 解码器、 第一分类 器、 深度自注意力变换器和第二分类 器的参数进行训练。 7.一种图像分割装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取待处理的图像， 将所述图像输入训练后的图像分割模型， 其中， 所 述图像分割模型 是基于训练集中的样本图像及其对应的标注图像训练得到的； 分割模块， 用于基于所述图像分割模型， 分别确定所述图像的初始分类结果和热力图， 根据所述初始分类结果和热力图确定概率分布值， 根据所述概率分布值对 所述图像分割模 型的参数进 行调整， 根据调整参数后的图像分割模 型， 对所述图像进 行分割处理， 得到 分割 图像； 所述图像分割模型包括编码器、 解码器、 第一分类器、 深度自注意力变换器和第 二分类 器； 所述编码 器与所述解码 器连接， 所述解码 器还分别与所述第一分类器、 深度自注意力变 换器连接， 所述第一分类 器、 深度自注意力变换器还分别与所述第二分类 器连接； 所述分割模块， 具体用于将所述图像输入所述图像分割模型中的编码器， 基于所述编 码器和解码器， 确定所述图像对应的深度特征图； 基于所述第一分类器确定所述深度特征 图的初始分类结果， 基于所述深度自注意力变换器确定所述深度特征图的热力图； 基于所 述第二分类器确定所述初始分类结果和热力图确定概率分布值， 根据所述概率分布值对所 述第二分类 器的参数进行调整。 8.一种图像分割模型训练装置， 其特 征在于， 所述装置包括： 第一训练模块， 用于将训练集中的样本图像和其对应的标注图像输入图像分割 模型中 的编码器， 基于编码器得到样本图像对应的编 码特征图， 将编 码特征图输入解码器， 基于解 码器得到深度特 征图； 第二训练模块， 用于分别将深度特征图输入第一分类器和深度自注意力变换器， 基于 第一分类 器得到初始分类结果， 将初始分类结果输入到深度自注意力变换器； 第三训练模块， 用于基于深度自注意力 变换器对深度特征图和初始分类结果进行融合 处理， 得到融合特征图， 在对融合特征图和深度特征图进行融合处理， 得到热力图， 将热力 图输入第二分类 器； 第四训练模块， 用于基于第二分类 器根据热力图得到预测分割图像； 第五训练模块， 用于根据所述预测分割图像和所述标注图像确定损 失函数值， 根据损权　利　要　求　书 2/3 页 3 CN 115170807 B 3