(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210920768.5 (22)申请日 2022.08.02 (71)申请人 浙江工商大 学 地址 310000 浙江省杭州市西湖区教工路 149号 (72)发明人 刘东升　刘彦妮　王黎明　陈亚辉　 (74)专利代理 机构 杭州惟臻专利代理事务所 (普通合伙) 33398 专利代理师 陈辉 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/82(2022.01) G06T 7/136(2017.01) G06T 7/11(2017.01) G06N 3/08(2006.01)G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的多源异构数据融合方 法 (57)摘要 本申请实施例公开了基于深度学习的多源 异构数据融合方法， 可以应用于图像处理领域。 上述方法包括： 获取文本类型的场景信息和图片 类型的图像， 所述场景信息至少包括一级对象信 息和二级对象信息； 根据所述一级对象信息确定 模型集群； 根据所述二级对象信息， 在所述模型 集群中确定每一目标下位对象对应的目标模型； 基于各所述目标模型对所述图像进行粗分割， 得 到各第一图像； 对各所述第一图像进行基于其对 应的目标下位对象所关联的信息集聚的分割， 得 到各所述第一图像 分别对应的精细分割结果； 根 据所述精细分割结果渲染所述图像对应的主体 图像， 所述主体图像表征所述场景信息和所述图 像的融合结果。 本申请可实现多 源数据融合。 权利要求书3页 说明书11页 附图3页 CN 115471719 A 2022.12.13 CN 115471719 A 1.一种基于深度学习的多源异构数据融合方法， 其特 征在于， 所述方法包括： 获取文本类型的场景信 息和图片类型的图像， 所述场景信 息用于对所述图像进行场景 描述， 所述场景信息至少包括一级对象信息和二级对象信息， 所述一级对象信息表征场景， 所述二级对象信息表征 所述场景中关联的目标 下位对象； 根据所述一级对象信 息确定模型集群， 所述模型集群中包括所述一级对象信 息所表征 的场景中的各个下位对象分别对应的用于进行分割的模型； 根据所述 二级对象信息， 在所述模型集群中确定每一目标 下位对象对应的目标模型； 基于各所述目标模型对所述图像进行粗分割， 得到各所述目标下位对象分别对应的第 一图像； 对各所述第 一图像进行基于其对应的目标下位对象所关联的信 息集聚的分割， 得到各 所述第一图像分别对应的精细分割结果； 根据所述精细分割结果渲染所述图像对应的主体图像， 所述主体图像表征所述场景信 息和所述图像的融合结果。 2.根据权利要求1所述的方法， 其特征在于， 所述精细分割结果包括掩码矩阵， 所述对 各所述第一图像进行基于其对应的目标下位对象所关联的信息集聚的分割， 得到各所述第 一图像分别对应的精细分割结果， 包括： 针对每一第一图像， 将所述第一图像输入对应的集聚化信息提取器， 所述集聚化信息 提取器基于所述第一图像所对应的目标下位对象对应的检测器训练得到， 所述集聚化信息 提取器用于针对所述第一图像中的目标下位对象进行集聚化信息提取， 得到所述第一图像 对应的融合特 征信息； 将所述融合特征信 息输入所述第 一图像所对应的目标下位图像对应的分割器， 得到所 述掩码矩阵。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述精细 分割结果渲染所述图像 对应的主体图像， 所述主体图像表征 所述场景信息和所述图像的融合结果， 包括： 根据各第一图像分别对应的掩码矩阵和所述图像， 渲染所述主体图像。 4.根据权利要求3所述的方法， 其特征在于， 所述集 聚化信息提取器主要包括提取网络 和掩膜生成网络， 所述掩膜生成网络用于生成目标掩膜， 所述 目标掩膜用于区分输入至所 述集聚化信息提取器的图像中的下位对象和非下位对象， 所述提取网络和掩膜生成网络通 过下述方法训练得到： 获取样本图像和所述样本图像对应的下位对象的类型所对应的检测器， 所述样本图像 携带标注信息， 所述标注信息表征所述样本图像中所述下位对 象的位置信息， 一个样本图 像只包括单一类型的下位对象； 将所述样本 图像输入所述提取网络， 所述提取网络执行下述操作： 针对所述样本 图像 中的每个像素区域， 提取所述像素区域对应的样本第一特征， 提取各关联像素位置对应的 关联位置特征， 并对 所述关联位置特征进 行融合， 得到所述像素区域对应的样本第二特征， 所述关联像素位置为所述像素区域所在的邻域中不属于所述像素区域的其 他像素位置； 将各像素区域所对应的样本第 一特征和样本第 二特征输入掩膜生成网络， 得到样本目 标掩膜； 针对每一像素区域， 将除去其对应的所述样本第 一特征之外的其他样本第 一特征输入权　利　要　求　书 1/3 页 2 CN 115471719 A 2所述检测器， 得到所述像素区域对应的第一检测结果， 以及将除去其对应的所述样本第二 特征之外的其 他样本第二特 征输入所述检测器， 得到所述像素区域对应的第二检测结果； 根据各所述第一检测结果、 各 所述第二检测结果和所述标注信息， 得到指示目标掩膜； 根据所述样本目标掩膜和所述指示目标掩膜的差异， 调整所述提取网络和所述掩膜生 成网络的参数， 直至训练完成。 5.根据权利要求4所述的方法， 其特征在于， 所述根据各所述第一检测结果、 各所述第 二检测结果和所述标注信息， 得到指示目标掩膜， 包括： 针对每一像素区域所对应的第 一检测结果和第 二检测结果， 若所述第 一检测结果与 所 述标注信息的差异度大于第一阈值， 并且所述第二检测结果与所述标注信息的差异度大于 第二阈值， 判定所述像素区域属于核心像素区域； 若所述第一检测结果与所述标注信 息的差异度大于第 一阈值， 并且所述第 二检测结果 与所述标注信息的差异度小于或等于第二阈值， 判定所述像素区域属于边界像素区域； 根据所述核心像素区域和所述 边界像素区域， 生成所述指示目标掩膜。 6.一种基于深度学习的多源异构数据融合装置， 其特 征在于， 所述装置包括： 多源异构数据获取模块， 用于获取文本类型的场景信息和图片类型的图像， 所述场景 信息用于对所述图像进行场景描述， 所述场景信息至少包括一级对象信息和二级对象信 息， 所述一级对象信息表征场景， 所述 二级对象信息表征 所述场景中关联的目标 下位对象； 集群确定模块， 用于根据所述一级对象信息确定模型集群， 所述模型集群中包括所述 一级对象信息所表征的场景中的各个下位对象分别对应的用于进行分割的模型； 模型确定模块， 用于根据所述二级对象信息， 在所述模型集群中确定每一目标下位对 象对应的目标模型； 粗分割模块， 用于基于各所述目标模型对所述图像进行粗分割， 得到各所述目标下位 对象分别对应的第一图像； 精细分割 模块， 用于对各所述第 一图像进行基于其对应的目标下位对象所关联的信 息 集聚的分割， 得到各 所述第一图像分别对应的精细分割结果； 主体图像渲染模块， 用于根据所述精细分割结果渲染所述图像对应的主体图像， 所述 主体图像表征 所述场景信息和所述图像的融合结果。 7.根据权利要求6所述的装置， 其特 征在于， 所述精细分割模块， 用于： 针对每一第一图像， 将所述第一图像输入对应的集聚化信息提取器， 所述集聚化信息 提取器基于所述第一图像所对应的目标下位对象对应的检测器训练得到， 所述集聚化信息 提取器用于针对所述第一图像中的目标下位对象进行集聚化信息提取， 得到所述第一图像 对应的融合特 征信息； 将所述融合特征信 息输入所述第 一图像所对应的目标下位图像对应的分割器， 得到所 述掩码矩阵。 8.根据权利要求7 所述的装置， 其特 征在于， 所述主体图像渲染模块， 用于： 根据各第一图像分别对应的掩码矩阵和所述图像， 渲染所述主体图像。 9.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有至少一 条指令或至少一段程序， 所述至少一条指 令或至少一段程序由处理器加载并执行以实现如 权利要求1至 5中任一项所述的一种基于深度学习的多源异构数据融合方法。权　利　要　求　书 2/3 页 3 CN 115471719 A 3