(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210181458.6 (22)申请日 2022.02.25 (71)申请人 复旦大学 地址 200433 上海市杨 浦区邯郸路2 20号 (72)发明人 赵津　程俏　岳之昂　肖仰华　 (74)专利代理 机构 上海德昭知识产权代理有限 公司 31204 专利代理师 程宗德 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 40/30(2020.01) G06K 9/62(2022.01) G06N 5/02(2006.01) (54)发明名称 一种面向运维领域的配置命令知识抽取的 框架 (57)摘要 本发明公开了一种面向运维领域的配置命 令知识抽取的框架， 包括： 知识模板构建模块， 根 据运维领域配置命令的业务需求， 定义配置命令 关系集合， 并在用户手册中构造包含 预定义关系 的文本， 将其泛化为知识描述模板； 实体抽取模 块， 结合字符串的编辑距离， 对配置命令实体进 行模糊匹配， 以抽取文本中的命令实体； 关系分 类模块， 利用深度学习模型对文本的语义进行建 模， 通过习得文本中的配置命令关系来泛化规 则； 基于bootstrap的数据增强模块， 利用槽位替 换文本中提及的配置命令实体， 将泛化后的文本 视为高质量知识描述模板， 并将高质量知识描述 模板添加到模板库， 当新产生的高质量知识描述 模板少于阈值时， Bootstrap数据扩充和增强迭 代收敛。 权利要求书2页 说明书7页 附图2页 CN 114547250 A 2022.05.27 CN 114547250 A 1.一种面向运维领域的配置命令知识抽取的框架， 其特 征在于， 包括： 知识模板构建模块， 根据运维领域配置命令的业务需求， 定义配置命令关系集合， 并在 用户手册中构造包 含预定义关系的文本， 将其泛化 为知识描述模板； 实体抽取模块， 结合字符串的编辑距离， 对配置命令实体进行模糊匹配， 以抽取所述文 本中的命令实体； 关系分类模块， 利用深度学习模型对所述文本的语义进行建模， 通过习得所述文本中 的配置命令关系来泛化 规则， 从而挖掘更多表达类似关系的文本； 基于bootstrap的数据增强模块， 利用槽位替换所述文本中提及的所述配置命令实体， 将泛化后的文本视为高质量知识描述模板， 并将所述高质量知识描述模板添加到模板库， 当新产生的所述高质量知识描述模板少于阈值时， Bo otstrap数据扩充和 增强迭代收敛， 其中， 所述关系分类模块包括基于预训练语言模型的编码器部、 句法注意力部以及基 于PU Learning的分类部 。 2.根据权利要求1所述的面向运维领域的配置命令知识抽取的框架， 其特 征在于： 其中， 所述配置命令关系集 合至少包括前序关系 、 互斥关系， 所述构造的方式为 通过关键词检索或句式匹配构造 。 3.根据权利要求1所述的面向运维领域的配置命令知识抽取的框架， 其特 征在于： 其中， 所述基于预训练语言模型的编码器部用于将所述文本与 所述配置命令实体结合 来建模文本的语义特 征， 即： hcontext＝BERT([CLS， c1， ...， cn， SEP， cmd1， cmd2]) 式中， ci(i≤n)表示第i个token， n表示文本的长度， cmd1， cmd2分别表示两个命令实体， CLS与SEP分别表示BERT特殊标记符。 4.根据权利要求1所述的面向运维领域的配置命令知识抽取的框架， 其特 征在于： 其中， 所述句法注意力部用于使关系分类模型捕获句法层面的特征， 首先对所述知识 描述模板进行依存句法分析以构造句法注意力权重矩阵， 并结合多头注意力机制获取句法 增强后的文本向量， 具体包括以下步骤： 步骤1， 初始化全零的注意力权重矩阵， 利用依存句法分析计算每个token  ci的所有祖 先节点集合pi， 并更新权 重矩阵， 计算方式如下： 式中token cj是token ci的祖先节点； 步骤2， 利用多头注意力机制增强编码器的上 下文语义向量： hsg＝Wo·Concat([A1·V1； ...； Ai·Vi； ...； AH·VH]) 式中， i(1≤i≤H)表示第i个头注意力模块， 分别由多头注意力矩阵计算， 表示Q， V分别 表示查询Query和键Key， 用于计算注意力权重A， Ai.j表示token  ci和token ci之间的 attention score， 指导模型关注分数高to ken之间的信息， 将句法树中存在直接依存关联token之间的原始 权重保留， 文本的语义表示hc+sg以加权权　利　要　求　书 1/2 页 2 CN 114547250 A 2融合策略结合编码的上 下文表示与句法增强的上 下文表示： hc+sg＝α·hcontext+(1‑a)·hsg。 5.根据权利要求1所述的面向运维领域的配置命令知识抽取的框架， 其特 征在于： 其中， 所述基于PU  Learning的分类部采用PU  learning中 的nnPU损失函数优化模型参 数： Jmnpu＝ π·Ep(x|y＝1)[l(g(x))]+max{0， Ep(x)[l(‑g(x))]‑π·Ep(x|y＝1)[l(‑g(x))]} 式中， π是类别先验概率， g是决策函数， 用于输出最终预测为正样本(y＝1)的概率， l为 损失函数。权　利　要　求　书 2/2 页 3 CN 114547250 A 3