(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210172989.9 (22)申请日 2022.02.24 (71)申请人 杭州中软安人网络通信股份有限公 司 地址 310012 浙江省杭州市西湖区华星路 99号东软创业大厦3楼 A座 申请人 复旦大学　 杭州文图思锐云技 术有限公司 (72)发明人 程德生　邱锡鹏　丁文强　王梨　 朱文　吕玲　周云华　 (74)专利代理 机构 上海德昭知识产权代理有限 公司 31204 专利代理师 卢泓宇 (51)Int.Cl. G06F 40/30(2020.01)G06F 16/35(2019.01) G06K 9/62(2022.01) (54)发明名称 一种基于k近邻对比学习的未知意图检测方 法 (57)摘要 本发明提供一种基于k近邻对比学习的未知 意图检测方法， 其特征在于， 包括以下步骤： 步骤 S1， 利用已知意图的语料构建经验风险损失； 步 骤S2， 构建语义表示模型， 采用k近邻对比学习与 经验风险损失对 所述语义表示模 型进行训练； 步 骤S3， 将待测文本输入至训练后的语义表示模 型， 以获取所述待测文本的语义表示； 步骤S4， 采 用下游检测算法检测所述语义表示是否为未知 意图， 并输出为已知意图的语义表示的类别。 该 基于k近邻对比学习的未知意图检测方法在语义 表示学习阶段和未知检测阶段都不依赖于语义 分布的任何假设， 而且检测精度高、 设计简单且 应用场景广泛， 解决了 现有意图检测方法在现实 场景应用受限的缺陷。 权利要求书2页 说明书6页 附图2页 CN 114564964 A 2022.05.31 CN 114564964 A 1.一种基于k近邻对比学习的未知意图检测方法， 其特 征在于， 包括以下步骤： 步骤S1， 利用已知意图的语料构建经验风险损失； 步骤S2， 构建语义表示模型， 采用k近邻对比学习与所述经验风险损失对所述语义表示 模型进行训练； 步骤S3， 将待测文本 输入至训练后的语义表示模型， 以获取 所述待测文本的语义表示； 步骤S4， 采用下游检测算法检测所述语义表示是否为未知意图， 并输出为已知意图的 语义表示的类别。 2.根据权利要求1所述的基于k近邻对比学习的未知意图检测方法， 其特 征在于： 其中， 所述经验风险损失的函数为： 式中， φ(·)表示一个线性分类器， zi表示第i个样本的语义表示表示， N表示样本数， K 表示已知意图标签数， l og表示幂运 算， exp表示以e为底的指数运 算。 3.根据权利要求1所述的基于k近邻对比学习的未知意图检测方法， 其特 征在于： 其中， 所述k近邻对比学习为拉近样本和其最相似的k个样本在语义空间的距离， 同时 拉远所述样本和不同类别样本在语义空间的距离， 所述k近邻对比学习的损失函数表示如下： 式中， zi表示样本的语义表示， Nk表示和zi最相似的k个样本的集合， zj表示属于集合Nk 中样本的语义表示， I表示和zi不属于同一类别的样本 集合， zq表示数据集合I中的样本语 义 表示， log表示幂运 算， exp表示以e为底的指数运 算。 4.根据权利要求1所述的基于k近邻对比学习的未知意图检测方法， 其特 征在于： 其中， 所述 步骤S2包括以下子步骤： 步骤S2‑1， 构建初始化样本队列， 所述初始化样本队列的容量大于所述语义表示模型 训练过程中构建的batc h的数量； 步骤S2‑2， 在训练所述语义表示模型的过程中， 从所述初始化样本队列中选取和输入 样本最相似的K个样本作为正样本， 将所述初始 化样本队列中其他类别的样 本作为负样 本， 构建损失函数； 步骤S2‑3， 优化所述损失函数并更新队列中的样本， 将所述batch中的样本压入队列， 将留在队列最久的样本移除出队列， 使用优化后的损失函数以及更新后的样本对所述语义 表示模型不断进行优化， 所述语义表示模型的最终优化目标为： 权　利　要　求　书 1/2 页 2 CN 114564964 A 2式中， λ用来平衡两个损 失函数的参数， 表示步骤S2中构建的k近邻对比损失， 表示步骤S1中构建的经验风险损失。 5.根据权利要求1所述的基于k近邻对比学习的未知意图检测方法， 其特 征在于： 其中， 所述 步骤S3获取的所述语义表示 为： Zi＝Mean‑Pooling([[CLS],T1， ...TN]) 式中， [CLS]表示样本句级别的语义表示， T表示构成样本具体词的语义表示， Mean ‑ Pooling表示平均池化 运算。 6.根据权利要求1所述的基于k近邻对比学习的未知意图检测方法， 其特 征在于： 其中， 所述步骤S4为将所述语义表示输入至所述下游检测算法， 得到与所述语义表示 对应的LOF 得分， 当所述LOF得分大于预定阈值时， 则所述语义表示 为未知意图， 当所述LOF得分小于预定阈值时， 则所述语义表示 为已知意图， 所述已知意图的类别为 根据SoftMax得到的最大概 率值： 式中， 表示最终的输出即是否为已知意图或未知意图， Zi表示样本的最终的语义表 示， Lof表示异常检测算法， 输出样本是否为异常的得分， δ为预定义的阈值， 用于判断样本 是否为未知意图， pi为样本经过语义模型的输出后再经过Softmax运算的值， N代表已知意 图的类别数。权　利　要　求　书 2/2 页 3 CN 114564964 A 3