(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210907518.8 (22)申请日 2022.07.29 (71)申请人 南京大学 地址 210023 江苏省南京市 鼓楼区汉口路 22号 申请人 南京鼓楼医院 (72)发明人 张雯菁　杜娟　刘松　李琳　顾庆　 (74)专利代理 机构 江苏圣典律师事务所 32 237 专利代理师 徐晓鹭 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06T 3/40(2006.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度学习的CT图像和WSI图像联合 识别方法 (57)摘要 本发明公开了一种基于深度学习的CT图像 和WSI图像联合识别方法， 其步骤是： 1)WSI图像 的归一化； 2)进行无监督的训练以初始化网络结 构； 3)对初始化后的网络进行有监督的训练； 4) 分别得到的WSI图像和CT图像的特征后进行特征 拼接； 5)完成网络的训练， 进行CT图像和WSI图像 的协助识别。 识别结果为患病则标记为阳性， 否 则标记为阴性。 本发明方法充分利用CT图像特点 和WSI图像特征， 采用深度学习思想， 运用较少的 训练数据即可 获得对患者的识别； 本发明方法易 于理解、 计算开销小、 算法迭代速度快， 适用于海 量患者的自动识别， 具有良好的扩展性和鲁棒 性。 权利要求书3页 说明书7页 附图3页 CN 115272238 A 2022.11.01 CN 115272238 A 1.一种基于深度 学习的CT图像和WSI图像联合识别方法， 其特征在于， 所述识别方法包 括步骤如下： 1)读取腹腔WSI图像， 对所述腹腔WSI图像进行归一 化预处理， 并且获取CT图像； 用于去除颜色变化是由染色厂商的原材料和制造技术的差异、 实验室的染色协议以及 数字扫描仪的颜色响应引起的差异； 2)按照设定比例将WSI 图像和CT图像划分为训练集和测试集， 并将训练集分别传入架 构好的网络进行 无监督的训练以初始化网络结构； 3)对初始化后的网络进行有监 督的训练； 4)分别得到的WSI图像和CT图像的特 征后进行 特征拼接； 5)完成网络的训练， 进行CT图像和WSI图像的识别。 2.根据权利要求1所述的一种基于深度学习的CT图像和WSI图像联合识别方法， 其特征 在于， 所述 步骤1)中读取腹腔WSI图像， 对所述腹腔WSI图像进行归一 化预处理的过程是： 11)采用NMF代价 函数对腹腔WSI图像进行污 渍分离； 12)估计所述 WSI图像的颜色外观和污点密度图； 设定I为显微镜下RGB强度矩阵， 其大小为m*n， 其中m＝3代表三个RGB通道， n代表图像 像素数； I0代表WSI图像上的亮度； 染色颜色矩阵W是一个m*r矩阵， 其中r代表着染色的数 量； 染色浓度矩阵H是一个r*n矩阵： I＝I0exp(‑WH)    (1) 设定v代表相对光密度， 其表达式为： V＝logI0‑logI    (2) 公式(1)简化 为 V＝WH    (3) NMF代价函数包括l1对污渍混合系数的稀疏正则化， 对于由索引的污渍j＝1， 2， ...， j， 其结果为： 其中是 λ稀疏性和正则化 参数； 式(1)中的联合非凸优化通过在W和H之间交替， 优化其中一组参数， 同时保持另一组参 数不变， 并由来自训练集的随机元素初始 化， 即对应于两列组织学图像W的两个随机选择的 像素的密度， 如下 所示： 对于固定的W 对于固定的H 为了将源图像的颜色外观标准化为目标图像t的颜色外观， 首先， 通过分解来估计所述 源图像的颜色外观和污点密度图， 将Vs分解为源的颜色外观Ws和源的密度图Hs， 将Vt分解为 目标的颜色外观Wt和目标的密度图Ht； 然后， 源的密度图Hs的缩放版本与目标的颜色外观Wt 而不是源的颜色外观Ws相结合， 以生成归一 化的源图像；权　利　要　求　书 1/3 页 2 CN 115272238 A 2这在污点密度方面H保持了结构， 并且仅在颜色方面改变了 外观， 描述如下： 3.根据权利要求1所述的一种基于深度学习的CT图像和WSI图像联合识别方法， 其特征 在于， 所述步骤2)中部分WSI图像和部分CT图像分别传入架构好的网络进行无监督的训练 以初始化网络参数的过程是： 从训练集中选 出m个经过步骤1)处理好的WSI图像训练网络 结构model1， 再挑选出n个CT 图像训练网络结构model2； 对于任意一张WSI图像x， 图像x的两个不同的变换x1和x2为正例， 剩余的m ‑1个图像的变 换y11， y12， ...， ym‑1， 1， ym‑1， 2为负例， 在传入网络进行训练之前， 经过一个M LP全连接线性神经 网络， 将嵌入投影到另一个向量空间 zi＝MLP(xi)， i＝1， 2   (10) z2i+1＝MLP(yi， 1)， z2i+2＝MLP(yi， 2)， i＝1， ...， m‑1    (11) 将(8)中投影所得的zi构成的训练集Z＝{z1,z2…， z2m}传入网络进行训练， 计算损失函 数： 最终的损失分批传入网络的每一个batc h中所有正样本对损失的算 术平均值： 对于任意一张CT图像o， 视o的两个不同的变换o1和o2为正例， 剩余的n ‑1个图像的变换 p11， p12， ...， pn‑1， 1， pn‑1， 2为负例； 在传入网络进行训练之前， 经过一个MLP全连接线性神经网 络， 将嵌入投影到另一个向量空间 qi＝MLP(oi)， i＝1， 2        (14) q2i+1＝MLP(pi， 1)， q2i+2＝MLP(pi， 2)， i＝1， ...， n‑1   (15) 将投影所得的qi构成的训练集的Q＝{q1， q2， ...， q2n}传入网络进行训练， 计算损失函 数： 最终的损失是分批传入网络的每一个batc h中所有正样本对损失的算 术平均值： 经过损失函数梯度回传更新网络参数， 分别得到初始化的WSI图像的网络权重W1和初始 化的CT图像的网络 权重W2。 4.根据权利要求3所述的一种基于深度学习的CT图像和WSI图像联合识别方法， 其特征 在于， 所述 步骤3)中对初始化后的网络进行有监 督的训练的处 理过程是： 将步骤2)中获得的权重W1和W2用于初始化model1和model2， 将剩余的训练集数据按照设 定的比例分为训练集text和验证集validation， 训练集数据和验证集数据在传入网络中进权　利　要　求　书 2/3 页 3 CN 115272238 A 3