(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210943611.4 (22)申请日 2022.08.08 (71)申请人 深圳大学 地址 518060 广东省深圳市南 山区南海大 道3688号 (72)发明人 汪天富　邱梓锋　雷柏英　杨鹏　 宋雪刚　 (74)专利代理 机构 深圳市君胜知识产权代理事 务所(普通 合伙) 44268 专利代理师 双瑞晨　王永文 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种图像分类方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及脑疾病判定技术领域， 具体是涉 及一种图像分类方法、 装置、 设备及存储介质。 磁 共振影像能够准确反映脑部结构因病变而引起 的变化， 正电子发射断层影像能够准确反映脑部 功能因病变而引起的变化。 本发 明首先利用大卷 积核注意力(LKA)模块来学习注意力图。 接着通 过由CNN和Transformer双分支组成的主干网络 进行高级特征学习。 本发明还设计了一个模态特 征融合块(MFFB)用以在主干网络中来对MRI及 PET特征进行交互融合。 最后， 在提取完高级特征 后， 使用一个空间通道注意力模 块(SCA)， 来对 得 到的高级特征进行空间上和通道上的处理。 在 ADNI数据集上的大量实验结果表明， 本发明的模 型优于最先进的方法， 表明本发 明提出的方法的 有效性。 权利要求书3页 说明书12页 附图7页 CN 115423754 A 2022.12.02 CN 115423754 A 1.一种图像分类方法， 其特 征在于， 包括： 生成脑部的磁共 振影像和正电子发射断层影 像； 提取所述磁共振影像和所述正电子发射断层影像的融合特征图， 所述融合特征图包括 所述磁共 振影像的特征和所述 正电子发射断层影 像的特征； 对所述融合特 征图进行分类， 得到用于表征脑部疾病的分类结果。 2.如权利要求1所述的图像分类方法， 其特征在于， 所述生成脑部的磁共振影像和正电 子发射断层影 像， 包括： 采集脑部的磁共 振原始影像和正电子发射断层原 始影像； 对所述磁共 振原始影像进行偏置场矫 正， 得到矫 正之后的所述磁共 振原始影像； 去除矫正之后的所述磁共振原始影像应用颅骨剥离算法， 去 除非脑组织像素， 得到颅 骨剥离之后的所述磁共 振原始影像； 提取颅骨剥离之后的所述磁共振原始影像中与脑部灰质所对应的图像， 得到磁共振影 像； 对所述正电子发射断层原始影像应用颅骨剥离算法， 去 除非脑组织像素， 得到颅骨剥 离之后的所述 正电子发射断层原 始影像； 对颅骨剥离之后的所述正电子发射断层原始影像进行平滑 处理， 得到正电子发射断层 影像。 3.如权利要求1所述的图像分类方法， 其特征在于， 所述提取所述磁共振影像和所述正 电子发射断层影像的融合特征图， 所述融合特征图包括所述磁共振影像的特征和所述正电 子发射断层影 像的特征， 包括： 对所述磁共振影像和所述正电子发射断层影像分别应用深度卷积算法， 得到所述深度 卷积算法输出 的第一结果和第二结果， 所述第一结果与所述磁共振影像相对应， 所述第二 结果与所述 正电子发射断层影 像相对应； 对所述第一结果和所述第 二结果分别应用深度扩 张卷积算法， 得到所述深度扩 张卷积 算法输出 的第三结果和第四结果， 所述第三结果与所述磁共振影像相对应， 所述第四结果 与所述正电子发射断层影 像相对应； 对所述第三结果和所述第四结果分别进行卷积， 得到所述磁共振影像的注意力图和所 述正电子发射断层影 像的注意力图， 所述注意力图用于表征 各个特征所对应的权 重； 将所述磁共振影像的注意力图与 所述磁共振影像相乘， 得到所述磁共振影像的初级特 征图； 将所述正电子发射断层影像的注意力图和所述正电子发射断层影像相乘， 得到所述正 电子发射断层影 像的初级特 征图； 依据所述磁共振影像的初级特征图和所述正电子发射断层影像的初级特征图， 得到融 合特征图。 4.如权利要求3所述的图像分类方法， 其特征在于， 所述依据所述磁共振影像的初级特 征图和所述 正电子发射断层影 像的初级特 征图， 得到融合特 征图， 包括： 将所述磁共振影像的初级特征图分别输入到卷积神经网络和ViT网络中， 得到所述卷 积神经网络 输出的第一局部细节特 征图和所述ViT网络 输出的第一全局特 征图； 将所述第一局部细节特征图和所述第 一全局特征图进行融合， 得到所述磁共振影像的权　利　要　求　书 1/3 页 2 CN 115423754 A 2第一特征图； 将所述正电子发射断层影像的初级特征图分别输入到卷积神经网络和ViT网络中， 得 到所述卷积神经网络 输出的第二局部细节特 征图和所述ViT网络 输出的第二全局特 征图； 将所述第二局部细节特征图和所述第 二全局特征图进行融合， 得到所述正电子发射断 层影像的第二特 征图； 对所述第一特 征图和所述第二特 征图进行拼接， 得到拼接特 征图； 对所述拼接特征图进行卷积运算， 得到用于表征所述第 一特征图和所述第 二特征图之 间相似性的相似特 征图； 将所述相似特征图和所述磁共振影像的原始特征连接， 得到第一连接 图， 所述磁共振 影像的原始特征用于表征 所述磁共 振影像所对应的各个脑区的特 征； 将所述相似特征图与所述正电子发射断层影像的原始特征连接， 得到第二连接 图， 所 述正电子发射断层影像的原始特征用于表征所述正电子发射断层影像所对应的各个脑区 的特征； 对所述第一连接图进行 卷积运算， 得到所述磁共 振影像的高级特 征图； 对所述第二连接图进行 卷积运算， 得到所述 正电子发射断层影 像的高级特 征图； 对所述磁共振影像的高级特征图和所述正电子发射断层影像的高级特征图的进行融 合， 得到融合特 征图。 5.如权利要求4所述的图像分类方法， 其特征在于， 所述对所述第 一连接图进行卷积运 算， 得到所述磁共 振影像的高级特 征图， 包括： 对所述第一连接图进行1x1卷积运 算， 得到所述磁共 振影像的具体特 征图； 对所述具体特 征图进行维度变换， 得到各个切面的所述具体特 征图； 对各个切面的所述具体特征图分别进行卷积运算， 得到各个切面的所述具体特征图的 卷积结果； 拼接各个切面的所述具体特 征图的卷积结果， 得到所述磁共 振影像的高级特 征图。 6.如权利要求1所述的图像分类方法， 其特征在于， 所述对所述融合特征图进行分类， 得到用于表征脑部疾病的分类结果， 包括： 计算所述融合特 征图的各个通道的权 重； 将所述融合特 征图乘以各个通道的权 重， 得到第一 通道特征； 计算所述融合特 征图的各个通道的特 征； 计算各个通道的特 征的平均值， 得到通道均值； 将所述融合特 征图乘以所述 通道均值， 得到第二 通道特征； 将所述第一 通道特征和所述第二 通道特征相加， 得到最终的特 征图； 多最终的特 征图进行分类， 得到用于表征脑部疾病的分类结果。 7.如权利要求6所述的图像分类方法， 其特征在于， 所述多最终的特征图进行分类， 得 到用于表征脑部疾病的分类结果， 包括： 对最终的特 征图进行全局平均池化操作， 得到池化之后的特 征图； 对池化之后的特 征图应用分类 器， 得到分类 器输出的结果。 8.一种脑疾病分类装置， 其特 征在于， 所述装置包括如下组成部分： 影像采集模块， 用于生成脑部的磁共 振影像和正电子发射断层影 像；权　利　要　求　书 2/3 页 3 CN 115423754 A 3