(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210941767.9 (22)申请日 2022.08.08 (71)申请人 吉林建筑大学 地址 130000 吉林省长 春市新城大街5 088 号 (72)发明人 王旭　尤天舒　徐勇　王生生　 丁相文　郭秀娟　富倩　孙伟　 杜丽英　赵越　戴传祗　 (74)专利代理 机构 重庆三航专利代理事务所 (特殊普通 合伙) 50307 专利代理师 王辉 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/26(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度学习和特征融合的皮肤病变 图像分割方法 (57)摘要 本发明提供了一种基于深度学习和特征融 合的皮肤病变图像分割方法， 建立使用了编码 器‑解码器结构的用于皮肤病变图像分割的模 型， 在模型的特征编码路径上使用EfficientNet 进行了特征的学习， 在特征解码路径上使用密集 特征融合方法增强解码器的解码能力， 并且采用 了门控完全特征融合模块来提升特征融合的质 量， 产生解码后的特征图， 解码器在最后产生输 入图像的分割结果， 完成皮肤病变图像的分割处 理。 本发明使用了更为先进的EfficientNet作为 模型的编码器， 使得本申请模型编码器的参数数 量减少而且 特征学习能力增强。 通过门控机制增 强了有用的编码信息向解码路径的传递， 抑制了 无用的特征信息所带来的干扰， 提升了模型的特 征融合能力。 权利要求书2页 说明书12页 附图6页 CN 115311230 A 2022.11.08 CN 115311230 A 1.一种基于深度学习和特征融合的皮肤病变图像分割方法， 其特征在于， 包括以下步 骤： 建立使用了编码器 ‑解码器结构的用于皮肤病变图像分割的模型， 在模型的特征编码 路径上使用EfficientNet进 行了特征的学习， 在特征解码路径上使用密集特征融合方法增 强解码器的解码能力， 并且采用了门控完全特征融合模块来提升特征融合的质量， 通过门 控完全特征融合模块传递过来的特征和上一个阶段产生的特征拼接之后一起经过解码操 作， 产生解码后的特征图， 解码 器在最后产生输入图像的分割结果， 完成皮肤病变图像的分 割处理。 2.根据权利要求1所述的一种基于深度学习和特征融合的皮肤病变图像分割方法， 其 特征在于， 所述的模型经过深度可分离卷积处理， 深度可分离卷积处理将输入的过滤和组 合并生成了 输出特征图的过程分解成了 两个子步骤， 深度卷积步骤和点卷积步骤； 深度卷积对于每个输入特征图的通道分别进行了卷积， 点卷积在每个位置分别进行了 1*1卷积， 组合了深度卷积的结果。 3.根据权利要求2所述的一种基于深度学习和特征融合的皮肤病变图像分割方法， 其 特征在于， 所述的模型使用了反转残差模块来辅助网络训练， 反转残差模块首先使用卷积 对输入特征图进行升维， 之后再缩减特征图的维度， 以便减少输入特征图中的特征丢失， 让 模型能够保存和使用有效特 征。 4.根据权利要求3所述的一种基于深度学习和特征融合的皮肤病变图像分割方法， 其 特征在于， 所述EfficientNet模型是假定α、 β和γ是分别给深度、 宽度和分辨率的资源系 数， φ是用户控制的资源因子， 那么复合系数扩展方法可以用下面表示。 depth： d＝αφ width： w＝βφ resolution： r＝γφ s.t. α·β2·γ2≈C α ≥1， β ≥1， γ≥1 当对深度学习模型进行扩展时， 模型的计算量消耗会增加( α ·β2·γ2)φ， 是由于对于 普通卷积来说， 模型的运 算量大致正比于深度、 宽度的平方和分辨 率的平方。 5.根据权利要求4所述的一种基于深度学习和特征融合的皮肤病变图像分割方法， 其 特征在于， 特征融合是门控完全特征融合模块结合支柱网络所学习到的各个特征图， 使得 对图像分割有益的特 征更好地被模型 学习和传递， 从而提升模型在图像分割的最终结果。 6.根据权利要求5所述的一种基于深度学习和特征融合的皮肤病变图像分割方法， 其 特征在于， 所述门控完全特 征融合模块具体如下式所示： G＝Sigmo id(w*X) 其中， x1到xL表示的是输入特 征图； G表示的是门控信号； 上式中， 不同下标的G表示的是不同层的门控信号， 在门控完全特征融合模块中， 对于 处于位置P的特征向量， 如果门控信号的值特别大， 它就会阻碍其他特征图的特征向量向该权　利　要　求　书 1/2 页 2 CN 115311230 A 2阶段流动， 这同时也表明了在当前位置的特征向量重要性很高； 如果门控信号的值比较小， 此时1‑G的值比较大， 其他特征图的对应位置特征向量就会流动过来， 补充 该位置所缺乏的 特征。 7.根据权利要求6所述的一种基于深度学习和特征融合的皮肤病变图像分割方法， 其 特征在于， 所述编码器是一个支柱网络或一个特征提取器， 对输入图像所蕴含的特征进行 学习， 会在卷积神经网络的不同阶段编码形成不同的特 征图； 所述解码器则反 向地使用学习到的特征图， 进行上采样并逐渐地恢 复原始输入图像的 分辨率， 对于学习到的高级语义特征进一步解码， 最终对输入图像每个像素所属的类别进 行预测。 8.根据权利要求7所述的一种基于深度学习和特征融合的皮肤病变图像分割方法， 其 特征在于， 通过所述 门控完全特征融合模块来进行特征融合， 可使各个编码阶段编码所生 成的特征图， 为解码器提供特征， 将编码阶段生成的特征图以门控的方式融合成新的特征 图并传递给了解码器； 解码器要对编码器生成的特征图进一步学习， 借助高级语义信 息和低级细节信 息逐渐 地进行解码， 完成对于最终分割 结果的构建， 即门控完全特征融合模块传递过来的特征和 上一个阶段产生的特征拼接之后一起经过解码操作产生解码后的特征图， 解码器在最后产 生输入图像的分割结果。权　利　要　求　书 2/2 页 3 CN 115311230 A 3