(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210934013.0 (22)申请日 2022.08.04 (71)申请人 南京审计大 学 地址 210000 江苏省南京市雨 山西路86号 (72)发明人 詹天明　汤永生　吴华朋　 (74)专利代理 机构 南京创略知识产权代理事务 所(普通合伙) 32358 专利代理师 严靖 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/13(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于多 方向多尺度光谱-空间残差卷积 神经网络的高光谱 多类变化检测方法 (57)摘要 本发明公开了一种基于多 方向多尺度光谱 ‑ 空间残差卷积神经网络的高光谱多类变化检测 方法， 包括如下步骤： 将获取的同一区域不同时 间的两幅高光谱图像进行差分操作得到高光谱 变化图像； 从高光谱变化图像中选择一定量的像 素， 将每个像素和其相邻像素的高光谱变化向量 构成张量块； 将张量块输入进模型当中， 对每个 变化张量从多个不同的方向提取张量的光谱特 征以及空间特征， 最后进行融合， 训练多方向多 尺度光谱 ‑空间残差卷积网络， 获取对应的神经 网络模型参数； 使用训练好的模 型将高光谱变化 图像中的所有像素进行判别分类。 本发明对实验 器材要求较低， 能够快速并且精 准地识别出同一 地理位置不同时间的两幅高光谱图像中的变化 区域， 有着很好的实用性。 权利要求书2页 说明书5页 附图3页 CN 115240072 A 2022.10.25 CN 115240072 A 1.基于多方向多尺度的高光谱多类 变化检测方法， 其特 征在于， 包括以下步骤： 步骤(A)： 将获取的同一区域不同时间的两幅高光谱图像进行差分操作得到高光谱变 化图像； 步骤(B)： 从高光谱变化图像 中选择一定量的像素， 将每个像素和其相邻像素的高光谱 变化向量构成张量 块； 步骤(C)： 将张量块输入进模型当中， 对每个变化张量从多个不同的方向提取张量的光 谱特征以及空间特征， 最后进行融合， 训练多方向多尺度光谱 ‑空间残差卷积网络， 获取对 应的神经网络模型参数； 步骤(D)： 使用训练好的模型将高光谱变化图像 中的所有像素进行判别分类， 得到变化 检测结果图。 2.根据权利要求1所述的基于多方向多尺度光谱 ‑空间残差卷积神经网络的高光谱多 类变化检测方法， 其特 征在于， 所述 步骤(A)包括如下 具体步骤： 步骤(A1)： 在同一 地理区域从两个不同的时间段获得高光谱图像T1、 T2； 步骤(A2)： 对T1、 T2进行消除噪声的处 理； 步骤(A3)： 将预处理过后得到的两个高光谱图像进行差分操作Z(T1,T2)获得高光谱变 化图像ΔT。 3.根据权利要求2所述的基于多方向多尺度光谱 ‑空间残差卷积神经网络的高光谱多 类变化检测方法， 其特 征在于， 所述 步骤(A3)中的差分函数为： Z(T1,T2)＝|T2‑T1|。 4.根据权利要求1所述的基于多方向多尺度光谱 ‑空间残差卷积神经网络的高光谱多 类变化检测方法， 其特 征在于， 所述 步骤(B)包括如下 具体步骤： 步骤(B1)像素邻域大小取值为5， 即每个像素和以它为中心的5*5邻域像素在高光谱变 化图中的变化 光谱向量 提取出大小为5*5*h的张量， 其中h是光谱维数。 5.根据权利要求1所述的基于多方向多尺度光谱 ‑空间残差卷积神经网络的高光谱多 类变化检测方法， 其特 征在于， 所述 步骤(C)包括如下 具体步骤： 步骤(C1)： 使用卷积核大小为1*1*3的3D卷积， 将输入的5*5*h的变化张量通过5层3D卷 积网络提取光谱特征， 并且对张量进行降维， 形成1个5*5*35的特征张量， 得到光谱方向卷 积神经网路的结果； 步骤(C2)： 在空间方向卷积神经网络中， 将5*5*35的张量变形为5*35*5和35*5*5的张 量， 将5*5*35、 5*35*5和35*5*5这三个张量分别沿三个不同的方向输入进空间方 向卷积神 经网络中； 步骤(C3)： 使用3D卷积将5*5*35的张量通过多尺度残差结构， 将5*35*5和35*5*5这两 个张量从两个不同的方向输入进3D卷积神经网络中， 网络层数为两层； 将这几个步骤得到 的所有张量全部变形为5*5*35的特征张量， 接着将从步骤(C1)中得到的一个5*5*35的张量 与这些特征张量进行拼接， 作为多方向多尺度光谱 ‑空间残差卷积神经网络提取 的空谱联 合特征用于变化检测的输入； 步骤(C4)： 将步骤(C3)中的所有5*5*35的张量经过最大池化操作形成大小为1*1*35的 张量， 再将这些张量使用平坦化操作， 随机丢弃向量中50％的数据后输入全连接网络分类 器进行分类；权　利　要　求　书 1/2 页 2 CN 115240072 A 2步骤(C5)： 将步骤(C4)中每个像素的分类结果信息及其对应的标签信息输入到损失函 数中从而获得损失值， 并根据这些损失值对多方向多尺度光谱 ‑空间残差卷积神经网络进 行反向传播， 对权 重参数进行 更新； 其中： 多方向多尺度光谱 ‑空间残差卷积神经网络的损失函数为： 其中x是真实的类别， M为种类数量， j表示类别为j类， ω表示类别为j的概 率； 步骤(C6)： 最后还在神经网络的输出层当中使用softmax函数， 此函数公式为： 其中u表示类别数， 表示输出中第n个节点的输出值。 6.根据权利要求5所述的基于多方向多尺度光谱 ‑空间残差卷积神经网络的高光谱多 类变化检测方法， 其特 征在于， 所述 步骤(C3)当中的多尺度残差结构包括如下 具体步骤： 首先将输入 的张量先通过40个大小为7*7*1的卷积核进行卷积得到结果A， 然后将A分 别通过20个大小为5*5*1的卷积核以及20个大小为7*7*1的卷积核得到结果B和C， 将B和C进 行拼接， 接着将A和B、 C拼接后的结果进行一个残差链接得到结果D， 将D再进行一次上述操 作得到结果E， 最后将 E通过10个大小为7*7*1的卷积核进行卷积， 得到多尺度残差结构的输 出结果。 7.根据权利要求4所述的基于多方向多尺度光谱 ‑空间残差卷积神经网络的高光谱多 类变化检测方法， 其特征在于， 在步骤(D)中， 使用训练好的模型将高光谱变化图像中的所 有像素进行判别分类， 得到变化检测结果图,包括如下 具体步骤： 将从步骤(B1)中得到的大小为5*5*h的张量形成M*N个5*5*h的变化张量， M和N表示两 个不同空间方向的维数， 接着将 5*5*h的变化张量输入进训练好的模型当中， 从而得到 分类 结果。权　利　要　求　书 2/2 页 3 CN 115240072 A 3