(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221015848 8.5 (22)申请日 2022.02.21 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 周景博　许德容　夏源　刘吉　 窦德景　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 杜月 (51)Int.Cl. G06F 16/36(2019.01) G06F 40/30(2020.01) (54)发明名称 多模态知识图谱的补 全方法、 装置和电子设 备 (57)摘要 本公开提供了多模态知识图谱的补全 方法、 装置和电子设备， 涉及涉及数据处理技术领域， 尤其涉及深度学习等技术领域。 具体实现方案 为： 对多模态知识图谱进行特征提取， 获取各模 态的第一特征向量； 对各模态进行两两分组， 并 对任一组内两个模态的第一特征向量进行语义 信息提取和替换， 获取任一组两个模态各自的第 二特征向量； 对每个分组对应的第二特征向量进 行融合， 获取多模态联合特征向量； 基于多模态 联合特征向量， 对多模态知识图谱进行补全， 获 取目标多模态知识图谱。 本公开实施例中， 可 以 挖掘多模态之间的共同特征， 进而通过信息交换 减少冗余， 跨模态共同学习重要的语义信息， 充 分利用了多模态信息， 提升了知识图谱补全的性 能。 权利要求书6页 说明书14页 附图6页 CN 114564593 A 2022.05.31 CN 114564593 A 1.一种多模态知识图谱的补全方法， 包括： 对多模态知识图谱进行 特征提取， 获取 各模态的第一特 征向量； 对各模态进行两两分组， 并对任一组内两个模态的所述第 一特征向量进行语义信 息提 取和替换， 获取 所述任一组两个模态各自的第二特 征向量； 对每个分组对应的所述第二特 征向量进行融合， 获取多模态联合特 征向量； 基于所述多模态联合特征向量， 对所述多模态知识图谱进行补全， 获取目标多模态知 识图谱。 2.根据权利要求1所述的方法， 其中， 所述对任一组内两个模态的所述第 一特征向量进 行语义信息提取和替换， 获取 所述任一组两个模态各自的第二特 征向量， 包括： 对所述任一组内两个模态的所述第 一特征向量进行协同注意力的语义信 息提取， 获取 所述两个模态各自的候选特 征向量； 从所述两个模态的所述候选特征向量中， 筛选出需要进行语义信 息替换的目标特征元 素； 确定所述目标特征元素在所述候选特征向量中的位置， 基于所述位置进行同位置语义 信息替换， 获取 所述第二特 征向量。 3.根据权利要求2所述的方法， 其中， 所述对所述任一组内两个模态的所述第 一特征向 量进行协同注意力的语义信息提取， 获取 所述两个模态各自的候选特 征向量， 包括： 将所述任一组内两个模态的所述第 一特征向量分别与 各自的权重参数相乘， 得到所述 两个模态各自的加权特征向量， 并对所述两个模态的加权特征向量进行向量外积相乘， 获 取亲和矩阵； 对所述亲和矩阵按行和列分别进行伸缩变换， 以获取第一矩阵和第二矩阵； 根据所述两个模态 的所述第一特征向量、 所述第一矩阵和所述第二矩阵， 获取所述两 个模态各自的候选特 征向量。 4.根据权利要求2所述的方法， 其中， 所述从所述两个模态的所述候选特征向量中， 筛 选出需要 进行语义信息替换目标 特征元素， 包括： 获取所述候选特征向量中每 个特征元素的语义信息； 选取所述语义信息小于预设的替换因子的特 征元素， 作为所述目标 特征元素。 5.根据权利要求2或4所述的方法， 其中， 所述基于所述位置进行同位置语义信 息替换， 包括： 针对所述任一组， 基于组内其中一个候选特征向量中所述目标特征元素的位置， 获取 组内另一 候选特征向量中所述 位置上待替换 特征元素； 将所述目标 特征元素的语义信息替换为所述待替换 特征元素的语义信息 。 6.根据权利要求1所述的方法， 其中， 所述对任一组内两个模态的所述第 一特征向量进 行语义信息提取和替换， 获取 所述任一组两个模态各自的第二特 征向量， 包括： 对所述任一组内两个模态的所述第 一特征向量并行地进行多次语义信 息提取和替换， 获取所述两个模态的多个候选第二特 征向量； 将所述多个候选第二特 征向量进行拼接， 获取 所述两个模态各自的第二特 征向量。 7.根据权利要求1所述的方法， 其中， 所述对每个分组对应的所述第 二特征向量进行融 合， 获取多模态联合特 征向量， 包括：权　利　要　求　书 1/6 页 2 CN 114564593 A 2将所述第二特 征向量与预设线性映射的矩阵相乘和归一 化处理， 获取第三特 征向量； 对所述两个模态的所述第 三特征向量之间进行逐元素相乘， 获取所述任一组对应的第 四特征向量； 对每个分组的所述第四特 征向量进行 逐元素相乘， 得到所述多模态联合特 征向量。 8.根据权利要求1 ‑7任一项所述的方法， 其中， 所述基于所述多模态联合特征向量， 对 所述多模态知识图谱进行补全， 获取目标多模态知识图谱， 包括： 获取所述多模态知识图谱的头实体嵌入向量和关系嵌入向量； 根据所述多模态联合特征向量、 所述头实体嵌入向量和所述关系嵌入向量， 预测出所 述多模态知识图谱头实体对应的尾实体； 基于所述头实体对应的所述尾实体， 对所述多模态知识图谱进行补全， 获取所述目标 多模态知识图谱。 9.根据权利要求8所述的方法， 其中， 所述根据所述多模态联合特征向量、 所述头实体 嵌入向量和所述关系嵌入向量， 预测出 所述多模态知识图谱头实体对应的尾实体， 包括： 根据所述多模态联合特征向量、 所述头实体嵌入向量和所述关系嵌入向量， 生成多模 态联合特 征图； 根据所述多模态联合特征图， 对所述多模态知识图谱头实体的进行尾实体预测， 获取 所述头实体对应的所述尾实体。 10.根据权利要求9所述的方法， 其中， 所述根据所述多模态联合特征图， 对所述多模态 知识图谱头实体的进行尾实体预测， 获取 所述头实体对应的尾实体， 包括： 将所述多模态联合特 征图入卷积层， 获取目标 特征图； 将所述目标 特征图进行展平操作后输入 全连接层， 获取尾实体嵌入向量； 根据所述尾实体嵌入向量， 获取 所述头实体对应的所述尾实体。 11.根据权利要求10所述的方法， 其中， 所述根据所述尾实体嵌入向量， 获取所述头实 体对应的所述尾实体， 包括： 获取所述多模态知识图谱的候选实体的实体嵌入向量； 获取所述实体嵌入向量和所述尾实体嵌入向量的相似度； 根据所述相似度， 从所述 候选实体中确定所述头实体对应的所述尾实体。 12.一种多模态知识图谱补全 模型的训练方法， 包括： 获取样本多模态知识图谱及其对应的样本三元组； 基于所述样本多模态知识图谱对多模态知识图谱补全模型进行训练， 以获取所述样本 多模态知识图谱的补全多模态知识图谱， 以及所述补全多模态知识图谱的预测三元组； 根据所述样本三元组和所述预测三元组对所述多模态知识图谱补全模型进行调整， 并 返回使用下一样本多模态知识图谱继续训练， 直至训练结束获取目标多模态知识图谱补全 模型； 其中， 任一 三元组包括头实体、 尾实体以及所述头实体和所述尾实体之间的关系。 13.根据权利要求12所述的方法， 其中， 所述根据 所述样本三元组和所述预测三元组对 所述多模态知识图谱补全 模型进行调整， 包括： 从所述样本三元组中获取样本尾实体， 以及从所述预测三元组中获取 预测尾实体； 获取所述样本尾实体和所述预测尾实体之间的损失；权　利　要　求　书 2/6 页 3 CN 114564593 A 3