(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210161016.5 (22)申请日 2022.02.22 (71)申请人 平安科技 （深圳） 有限公司 地址 518000 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 付桂振　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 尹长斌 (51)Int.Cl. G06K 9/62(2022.01) G06F 40/30(2020.01) G06F 40/295(2020.01) G06F 16/36(2019.01) (54)发明名称 实体表征模 型的训练方法、 装置、 电子设备、 存储介质 (57)摘要 本发明属于人工智能领域， 提供了一种实体 表征模型的训练方法、 装置、 电子设备、 存储介 质， 方法包括： 获取样本语句， 根据字符粒度 将样 本语句拆分为多个样本单词， 得到由多个样本单 词组成的词序列； 获取预设有多个参考实体的知 识图谱； 根据词序列从参考实体中确定至少一个 样本实体； 通过拼接样本实体和词序列得到样本 序列， 将样 本序列输入至实体表征模 型进行实体 表征的训练。 根据本实施例的技术方案， 能够根 据词序列从知识图谱获取领域内的样本实体， 确 保了实体表征训练的语义表达的充分性， 对于领 域外的独立实体通过样本单词进行间接表征， 避 免了采用领域外的独立实体进行训练引起的误 差， 提高了实体表征模型训练的准确性。 权利要求书2页 说明书10页 附图4页 CN 114519396 A 2022.05.20 CN 114519396 A 1.一种实体表征模型的训练方法， 其特 征在于， 包括： 获取样本语句， 根据字符粒度将所述样本语句拆分为多个样本单词， 得到由多个所述 样本单词组成的词序列； 获取预设的知识图谱， 所述知识图谱中预先设定有多个参考实体， 每个所述参考实体 标注有参 考信息； 根据所述词序列与所述参考信息进行匹配， 从所述参考实体中确定至少一个样本实 体； 通过拼接所述样本实体和所述词序列 得到样本序列， 将所述样本序列输入至实体表征 模型进行实体表征的训练。 2.根据权利要求1所述的实体表征模型的训练方法， 其特征在于， 在所述获取预设的知 识图谱之前， 所述方法还 包括： 在所述知识图谱中配置多个所述 参考实体； 根据预设数据集 为所述参考实体标注所述 参考信息。 3.根据权利要求1所述的实体表征模型的训练方法， 其特征在于， 所述根据所述词序列 与所述参考信息进行匹配， 从所述 参考实体中确定 至少一个样本实体， 包括： 从所述词序列中连续选取至少两个所述样本单词， 得到样本词组； 根据所述样本词组和所述参考信息， 从所述参考实体中匹配出至少一个所述样本实 体。 4.根据权利要求1所述的实体表征模型的训练方法， 其特征在于， 所述实体表征模型包 括RoBERTa模型， 所述将所述样本序列输入至实体表征模型进行实体表征的训练， 包括： 通过所述RoBERTa模型对所述样本序列进行语义编码， 得到所述样本单词所对应的第 一token和所述样本实体所对应的第二to ken； 根据所述第一token、 所述第二token， 所述样本序列进行实体表征的训练， 得到所述样 本实体的语义表征向量。 5.根据权利要求4所述的实体表征模型的训练方法， 其特征在于， 所述实体表征模型还 包括Transformer模型， 所述根据所述第一token、 所述第二token， 所述样本序列进行实体 表征的训练， 得到所述样本实体的语义表征向量， 包括： 将所述第一to ken、 所述第二to ken和所述样本序列输入至所述Transformer模型； 通过所述Transformer模型确定第一注意力矩阵， 所述第一注意力矩阵表征多个所述 第一token之间的注意力关系； 通过所述Transformer模型确定第二注意力矩阵， 所述第二注意力矩阵表征所述第二 token和所述第一to ken之间的注意力关系； 根据所述词序列和所述第 一注意力矩阵得到第 一特征向量， 根据 所述样本实体和所述 第二注意力矩阵得到第二特 征向量； 根据所述第一特 征向量和所述第二特 征向量得到所述语义表征向量。 6.根据权利要求5所述的实体表征模型的训练方法， 其特征在于， 所述通过所述 Transformer模型确定第二注意力矩阵， 包括： 获取所述样本实体所对应的起始位置嵌入信 息和结束位置嵌入信 息， 所述起始位置嵌 入信息为所述样本实体所对应的排序最前的所述样本单词中的位置嵌入信息， 所述结束位权　利　要　求　书 1/2 页 2 CN 114519396 A 2置嵌入信息为所述样本实体所对应的排序最末的所述样本单词中的位置嵌入信息； 根据所述起始位置嵌入信息和所述结束位置嵌入信息确定所述样本实体的目标位置 嵌入信息； 根据所述目标位置嵌入信息、 所述第一token和所述第二token确定所述第二注意力矩 阵。 7.根据权利要求6所述的实体表征模型的训练方法， 其特征在于， 所述根据所述第 一特 征向量和所述第二特 征向量得到所述语义表征向量， 包括： 获取预设的损失权 重； 根据所述损失权 重分别对所述第一特 征向量和所述第二特 征向量进行损失计算； 将损失计算得到的特 征向量进行合并， 得到所述语义表征向量。 8.一种实体表征模型的训练装置， 其特 征在于， 包括： 词序列获取单元， 用于获取样本语句， 根据字符粒度将所述样本语句拆分为多个样本 单词， 得到由多个所述样本单词组成的词序列； 知识图谱获取单元， 用于获取预设的知识图谱， 所述知识图谱中预先设定有多个参考 实体， 每个所述参考实体标注有参 考信息； 实体获取单元， 用于根据所述词序列与所述参考信息进行匹配， 从所述参考实体中确 定至少一个样本实体； 训练单元， 用于通过拼接所述样本实体和所述词序列得到样本序列， 将所述样本序列 输入至实体表征模型进行实体表征的训练。 9.一种电子设备， 包括： 存储器、 处理器及存储在存储器上并可在处理器上运行的计算 机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项 所述的实体表征模型的训练方法。 10.一种计算机可读存储介质， 存储有计算机程序， 其特征在于， 所述计算机程序用于 执行如权利要求1至7中任意 一项所述的实体表征模型的训练方法。权　利　要　求　书 2/2 页 3 CN 114519396 A 3