(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210497742.4 (22)申请日 2022.05.09 (71)申请人 福州大学 地址 350108 福建省福州市闽侯县福州大 学城乌龙江北 大道2号福州大 学 (72)发明人 陈飞　黄琳　曾勋勋　 (74)专利代理 机构 福州元创专利商标代理有限 公司 35100 专利代理师 蔡学俊　薛金才 (51)Int.Cl. G06V 20/70(2022.01) G06V 10/26(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种分阶段融入去噪模块的含噪图像分割 方法 (57)摘要 本发明提供了一种分阶段融入去噪模块的 含噪图像分割方法， 首先将噪声图像输入到主干 网络中， 经过卷积运算， 提取四个阶段的特征图； 其次， 将第四个阶段所提取到的特征图通过双重 注意力机制， 得到初步的语义分割结果。 在此基 础上， 利用主干网络不同阶段的特征区别， 通过 迭代融合多阶段语义特征， 形成去噪帮助分割， 分割帮助去噪的模式； 最后将得到的三个语义分 割结果进行结合， 形成最终的分割结果， 通过混 合交叉熵损失进一步优化参数。 本发 明利用协同 去噪和分割来提高噪声图像的语义分割精度， 解 决了现有的针对带噪图像语义分割方法中去噪 环节丢失语义信息， 从而影 响后续目标类别划分 的准确性以及目标轮廓的分割完整度的问题。 权利要求书2页 说明书7页 附图2页 CN 114821580 A 2022.07.29 CN 114821580 A 1.一种分阶段融入去噪模块的含噪图像分割方法， 其特 征在于： 包括以下步骤： 步骤S1： 在干净的PASCAL  VOC 2012数据集{y(1),y(2),...,y(m)}上随机叠加均值为0、 标 准差为[0,3 0]的高斯噪声得到噪声图像训练集{x(1),x(2),...,x(m)}； 步骤S2： 将噪声图像x(i)输入到主干网络ResNet50中， 依次经过Stage1、 Stage2、 Stage3 和Stage4， 提取 各阶段的特 征； 步骤S3： 将 主干网络Stage4生成的特征图f4输入到双重注意力模 块DAM中， 细化特征， 输 出初步的分割结果z1； 步骤S4： 将主干网络Stage3生成的特征图f3以及初步分割 结果z1输入到基于阶段性协 同的分割去噪块SDBSC中； 首先通过线性变换公式， 主干网络的阶段性特征、 分割结果和去 噪任务的多尺度特征结合， 生 成新的特征图， 再通过SDBS C中的分割模块SS M， 生成新的分割 结果z2； 步骤S5： 将主干网络Stage  2生成的特征图f2以及初步分割结果z2输入到基于阶段性协 同的分割去噪块SDBSC中， 重复步骤S4， 生成新的分割结果z3， 并通过干净图像y(i)对去噪后 的图像计算均方差损失Ld， Ld表示为： 其中yi表示像素i的Ground  Truth， 表示像素i的概 率估计， n表示像素点的数量； 步骤S6： 最后将阶段性的分割结果z1z2z3进行叠加， 生成多阶段特征融合的语义分割结 果 步骤S7： 通过分割标签z对 计算混合交叉熵损失LS， 表示为 其中 表示 交叉熵损失： 其中， p表示一张图片的像素数量， 表示像素i的Ground  Truth类别， 表示像素i 的概率估计， 表示mIOU损失： 其中， X表示预测的像素集 合， Y表示GT的像素集 合。 2.根据权利要求1所述的一种分阶段融入去噪模块的含噪图像分割方法， 其特征在于： 在所述S3中， 还 包括如下步骤： 步骤S31： 主干网络Stage  4生成的特征图f4C×H×W通过reshape分别得到特征图AC×HW， 特 征图BHW×C； 将B和A进行矩阵乘法， 经过softmax层计算得到空间注意力特征图MHW×HW,表示 为： 权　利　要　求　书 1/2 页 2 CN 114821580 A 2其中， Mji表示特征 图中第i个位置和第j个位置的联系， H和W分别表示特征图f4的长和 宽， Bi表示矩阵B的第i个位置， Aj表示矩阵A的第j个位置； 将特征图f4C×H×W重塑为CC×HW与M相 乘， 并将其重塑为与原始特征图大小一致的特征图PC×H×W， 将其乘以一个尺度参数λ， 将λ初 始化为0， 并通过 学习不断分配更多的权值， 用公式表示 为： 其中， Pj表示特征图P的第j个位置， Ci表示矩阵C的第i个位置； 步骤S32： 主干网络Stage  4生成的特征图f4C×H×W通过reshape分别得到特征图AC×HW， 特 征图BHW×C； 将A和B进行矩阵乘法， 经 过softmax层计算得到通道 注意力特 征图NC×C,表示为： 其中， Nji表示特征图中第 i个位置和第j个通道的联系， 表示 将特征图 f4C×H×W重塑为CC×HW与矩阵N相乘， 并将其重塑为与原始特征图大小一致的特征图QC×H×W， 将 其乘以一个尺度参数 μ， 将 μ初始化 为0， 用公式表示 为： 其中Qj表示特征图Q的第j个位置 。 3.根据权利要求1所述的一种分阶段融入去噪模块的含噪图像分割方法， 其特征在于： 在所述S4中， 还 包括如下步骤： 步骤S41： 对输入图像R3×H×W， 进行多次卷积核为3， padding为1的卷积操作并采用全局 平均池化的下采样方式， 得到特 征图R4C×H/4×W/4， 获取到噪声图像的低级特 征； 步骤S42： 将噪声图像的低级特征分别经过不同膨胀因子(rate3、 rate6、 rate9)的空洞 卷积， 融合多尺度信息， 得到新的特 征图R4C×H/4×W/4， 再通过线性 转换公式： 其中α(·)和 为线性变换函数， x表示经过空洞卷积的特征图R4C×H/4×W/4， stage表示 主干网络输出的特征图， Sout表示上一阶段语义分割的输出 output为融合后输出 的特征图； 步骤S43： 去噪环节的解码阶段中上采样采用反卷积方式， 同时在解码阶段的最后一个 环节应用步骤S42中的线性 转换公式。权　利　要　求　书 2/2 页 3 CN 114821580 A 3