一种基于知识域检测的意图识别方法、系统及计算机设备

技术领域

本发明涉及意图识别技术领域，特别涉及一种基于知识域检测的意图识别方法、系统及计算机设备。

背景技术

意图识别是指通过分析用户的语言，识别出用户的需求，以便提供精准的服务和支持。这项技术随着人工智能和自然语言处理技术的进步而不断发展。目前，意图识别技术已经广泛应用于各种场景，包括智能客服、虚拟助手、智能家居等。意图识别技术的重要性在于它能够提升用户体验和企业效率。对于用户而言，意图识别技术能够提供更具个性化的服务，从而提升用户满意度和忠诚度。对于企业而言，意图识别技术能够更好地了解用户需求和行为，制定更有效的营销和销售策略，提升销售效率和企业效益。

随着业务场景的不断丰富，业务知识的不断更新，用户表达的意图也变得种类繁多，分类模型常常会将知识域外的新意图误判，导致用户体验不佳。

发明内容

本发明旨在解决现有技术中存在的系统无法精准判断用户表达的意图是否为知识域内意图而导致用户体验不佳的技术问题，提供一种基于知识域检测的意图识别方法、系统及计算机设备，精准判断用户表达的意图是知识域内意图还是知识域外意图，以提升用户体验感。

为解决上述技术问题，本发明提供了以下技术方案：

本发明所述的一种基于知识域检测的意图识别方法，包括如下步骤：

S1、构建知识库；

S2、基于语义嵌入模型将知识库中语料映射至高维语义空间，得到知识库中语料的语义向量，并将这些语义向量存储至向量数据库中；

S3、基于知识库训练意图分类模型；

S4、接收用户输入语料，并基于语义嵌入模型将用户输入语料映射至高维语义空间，得到用户输入语料的语义向量；

S5、计算用户输入语料的语义向量与知识库的语义向量之间的近邻关系，基于近邻关系判断用户输入语料属于知识域内意图还是知识域外意图；

S6、若属于知识域外意图则停止意图识别，启用知识域外意图处理流程，并存储用户输入语料，在存储的用户输入语料满足特定条件时，更新知识库与向量数据库；

S7、若属于知识域内意图则进入意图分类模型，对用户输入内容进行分类，基于得分判断意图。

本发明所述的一种基于知识域检测的意图识别方法，在进入意图分类模型之前，先基于近邻关系对用户输入语料进行知识域的检测，区分知识域内意图和知识域外意图，在被判断为知识域外意图时，则停止对其进行意图分类，以减少后续意图误判率，提高后续意图识别的精确率，提升用户体验感。

进一步的，步骤S2中，基于语义嵌入模型将知识库中语料映射至高维语义空间，得到知识库中语料的语义向量，并将这些语义向量存储至向量数据库中，具体为：

将知识库中语料分批输入Roformer-sm模型、SimCSE 模型或者Sentence-BERT 模型，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量，并将[语料:向量]键值对存入向量数据库中;

或者步骤 S4 中，基于语义嵌入模型将用户输入语料映射至高维语义空间，得到用户输入语料的语义向量，具体为:

将用户输入语料分批输入 Roformer-smi 模型、SimCSE 模型或者Sentence-BERT模型，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量。

进一步的，步骤 S2 或步骤 S4 中，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量，具体为:

采用 CLS 向量方法，即选取开始标记[CLS]向量，作为语料的语义向量；

或者采用均值池化方法，即将语料中所有字的字向量进行求均值操作，最终将均值向量作为语料的语义向量；

或者采用最大值池化方法,即将语料中所有字的字向量进行求最大值操作，最终将最大值向量作为语料的语义向量。

进一步的，步骤S3中，基于知识库训练意图分类模型，具体为：

知识库经过整理得到{语料：意图}训练数据，将得到的训练数据分批进行token编码、segment编码、position编码后送入嵌入层得到token嵌入向量、segment嵌入向量、position嵌入向量，并将三种向量相加输入多层Transformer-encoder，将最后一层编码器输出的带有[CLS]符号的位置向量输入线性分类头，降维至标签维度，采用交叉熵计算损失并进行梯度回传。

进一步的，步骤S5中，计算用户输入语料的语义向量与知识库的语义向量之间的近邻关系，基于近邻关系判断用户输入语料属于知识域内意图还是知识域外意图，具体为：

计算用户输入语料的语义向量与向量数据库中所有语义向量的余弦距离，当余弦距离小于预设阈值时，认为两者相邻，当用户输入语料的语义向量与向量数据库中的所有语义向量被认为两者相邻的数量超过预设数量时，则认为该条用户输入语料的意图属于知识域内意图，否则，属于知识域外意图。

进一步的，步骤S6中，启用知识域外意图处理流程，并存储用户输入语料，在存储的用户输入语料满足特定条件时，更新知识库与向量数据库，具体为：

S61、将被判断为知识域外意图的用户输入内容存储至知识域外意图库中，并采用重复询问、澄清询问、兜底回复的策略进行处理；

S62、待知识域外意图库中的语料满足一定条件时，由该知识领域的专家对知识域外意图库中的语料进行整理、归纳，并将整理、归纳后的知识域外意图添加到当前知识库中，以更新知识库；

S63、基于语义嵌入模型将更新后的知识库中语料映射至高维语义空间，得到更新后的知识库中语料的语义向量，并将这些语义向量存储至向量数据库中，以更新向量数据库。

进一步的，步骤S7中，若属于知识域内意图则进入意图分类模型，对用户输入内容进行分类，基于得分判断意图，具体为：

将被判断为知识域内意图的用户输入语料输入意图分类模型，得到每个意图的概率值，选取概率值最大的标签作为该用户输入语料的意图。

进一步的，步骤 S7 中，得到每个意图的概率值，具体为:

先经过多层编码器编码，选取[CLS]头部位置的隐层向量输入线性层，通过线性层对该隐层向量进行降维处理得到降维向量，接着使用 sotmax层对该降维向量进行归一化处理，得到每个意图的概率值。

本发明所述的一种基于知识域检测的意图识别系统，包括一种基于知识域检测的意图识别系统，包括知识域检测判断模块、语料采集模块、知识存储模块、向量数据处理模块、向量数据存储模块、意图识别模块、知识域外意图存储模块；

所述语料采集模块用于采集用户输入语料，并将采集到的用户输入语料发送至向量数据处理模块；

所述知识存储模块用于存储领域内知识的语料，并将存储的领域内知识的语料发送至向量数据处理模块和意图识别模块；

所述向量数据处理模块接收知识存储模块发送的领域内知识的语料以及语料采集模块采集的用户输入语料，并基于语义嵌入模型将领域内知识的语料或者用户输入语料映射至高维语义空间，得到领域内知识的语料的语义向量或者用户输入语料的语义向量，其中，将领域内知识的语料的语义向量存储至向量数据存储模块中，将用户输入语料的语义向量发送至知识域检测判断模块；

向量数据存储模块用于接收并存储领域内知识的语料的语义向量；

知识域检测判断模块用于接收用户输入语料的语义向量，并将用户输入语料的语义向量与向量数据存储模块中的领域内知识的语料的语义向量进行比对，计算用户输入语料的语义向量与向量数据存储模块中的领域内知识的语料的语义向量之间的近邻关系，基于近邻关系判断用户输入语料属于知识域内意图还是知识域外意图；若为知识域外意图，则将用户输入语料发送至知识域外意图存储模块，若为知识域内意图，则将用户输入语料发送至意图识别模块；

所述意图识别模块用于接收知识存储模块发送的领域内知识的语料，以训练意图分类模型，同时，用于接收知识域检测判断模块发送的被判断为知识域内意图的用户输入语料，将该用户输入语料输入至训练好的意图分类模型中，并基于得分判断意图；

所述知识域外意图存储模块用于接收并存储由知识域检测判断模块发送来被判断为知识域外意图的用户输入语料。

本发明所述的一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于知识域检测的意图识别方法。

本发明中的计算机设备因可以实现上述基于知识域检测的意图识别方法，因而同样可以减少后续意图误判率，提高后续意图识别的精确率，提升用户体验感。

附图说明

通过附图中所示的本发明优选实施例更具体说明，本发明上述及其它目的、特征和优势将变得更加清晰。在全部附图中相同的附图标记指示相同的部分，且并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。

图1为本发明的流程框图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。

除非另有定义，本文所使用的所有的技术和科学术语与属于本技术领域的技术人员通常理解的含义相同。本文中说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。

本发明中提供了一种基于知识域检测的意图识别方法的具体实施方式，通过该意图识别方法，可以在进入意图分类模型之前，先基于近邻关系对用户输入语料进行知识域的检测，区分知识域内意图和知识域外意图，在被判断为知识域外意图时，则停止对其进行意图分类，以减少后续意图误判率，提高后续意图识别的精确率，提升用户体验感。

参见图1，具体包括如下步骤：

步骤S1、构建知识库。知识库是一个存储和管理知识的系统，包括各种信息、数据和文档，具体的，通过相关领域的专家从各种来源中抽取相关领域的知识，将抽取的相关领域的知识进行整理和分类(即：通过相关领域的专家对知识语料数据进行标注，并将每个样本与其对应的语义和意图进行关联，从而得到{语料：意图}格式数据的过程），并将整理和分类的知识转化为形式化的模型或图表（如知识图谱等），以便更好地理解其关系和特征，便于后续对知识库中的{语料：意图}格式数据进行处理。

步骤S2、基于语义嵌入模型将知识库中语料映射至高维语义空间，得到知识库中语料的语义向量，并将这些语义向量存储至向量数据库中。具体的，将知识库中语料分批输入Roformer-smi模型（即语义理解模型）、SimCSE模型或者 Sentence-BERT模型，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量，并将{语料：向量}键值对存入向量数据库中。Roformer-smi模型、SimCSE模型以及 Sentence-BERT模型均为语义嵌入模型，其中，Roformer-smi是以Roformer为网络结构，结合自然语言理解与自然语言生成两类预训练任务，采用对比学习与蒸馏方法，基于大规模相似句对训练的语义理解模型，相较于Transformer，Roformer引入了旋转位置编码（RoPE），该旋转位置编码具有远程衰减与适配线性Attention的优点，被广泛应用于各类场景；而SimCSE模型主要在于其对比学习策略，能够增强语义信息的传递并提高向量的质量，同时，它不需要大量的标注数据，适用于无监督学习场景，数据处理效率高；Sentence-BERT模型主要适用于处理sentence级别的任务，如获取一个句子的向量表示、计算文本语义相似度等，相比于直接使用BERT对每个token进行编码后求和或取平均的方式，Sentence-BERT能够更准确地捕获句子的语义信息，此外，它还通过基于BERT微调的方式，获得了更高质量的语义向量。

步骤S2中，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量；具体为：采用CLS向量方法，即选取开始标记[CLS]向量，作为语料的语义向量；或者采用均值池化方法，即将语料中所有字的字向量进行求均值操作，最终将均值向量作为语料的语义向量；或者采用最大值池化方法，即将语料中所有字的字向量进行求最大值操作，最终将最大值向量作为语料的语义向量。

步骤S3、基于知识库训练意图分类模型。通过预训练模型结合分类头的方式进行意图分类模型的训练，其中，编码器加载自预训练语言模型，其参数可以参与微调或者冻结，而分类头可以选择线性分类器、CNN、LSTM/GRU、Transformer等；具体的，例如：知识库经过整理得到{语料：意图}训练数据，将得到的训练数据分批进行token编码、segment编码、position编码后送入嵌入层得到token嵌入向量、segment嵌入向量、position嵌入向量，并将三种向量相加输入多层Transformer-encoder，将最后一层编码器输出的[CLS]位置向量输入线性分类头，降维至标签维度，采用交叉熵计算损失并进行梯度回传。其中，知识库经过整理得到{语料：意图}训练数据，具体为，对于知识库中的{语料：意图}格式数据进行清洗和预处理来确保数据的质量和准确性，包括去除噪声、纠正拼写错误、处理标点符号等。另外，交叉熵计算损失的公式为

，

其中，x表示随机变量的取值，p（x）和q（x）分别代表真实标签和预测结果在x处的概率；在采用交叉熵计算损失后，采用梯度回传过程中，可以使用优化算法（如随机梯度下降SGD、Adam等）来更新模型参数，使其朝着损失函数最小化的方向前进。

步骤S4、接收用户输入语料，并基于语义嵌入模型将用户输入语料映射至高维语义空间，得到用户输入语料的语义向量。具体的，将用户输入语料分批输入Roformer-smi模型、SimCSE 模型或者 Sentence-BERT 模型，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量。Roformer-smi模型、SimCSE 模型以及 Sentence-BERT 模型均为语义嵌入模型，其中，Roformer-smi模型是以Roformer为网络结构，结合自然语言理解与自然语言生成两类预训练任务，采用对比学习与蒸馏方法，基于大规模相似句对训练的语义理解模型，相较于 Transformer，Roformer 引入了旋转位置编码 (ROPE)该旋转位置编码具有远程衰减与适配线性 Attention 的优点，被广泛应用于名类场景；而simCSE模型主要在于其对比学习策略，能够增强语义信息的传递并提高向量的质量，同时，它不需要大量的标注数据，适用于无监督学习场景,数据处理效率高;Sentence-BERT 模型主要适用于处理 sentence 级别的任务如获取一个句子的向量表示、计算文本语义相似度等，相比于直接使用 BERT 对每个 token 进行编码后求和或取平均的方式，Sentence-BERT 能够更准确地捕获句子的语义信息，此外，它还通过基于 BERT 微调的方式，获得了更高质量的语义向量。

步骤S4中，经过多层编码器编码，选取最后一层编码器输出，形成与语料对应的语义向量；具体为：采用CLS向量方法，即选取开始标记[CLS]向量，作为语料的语义向量；或者采用均值池化方法，即将语料中所有字的字向量进行求均值操作，最终将均值向量作为语料的语义向量；或者采用最大值池化方法，即将语料中所有字的字向量进行求最大值操作，最终将最大值向量作为语料的语义向量。

步骤S5、计算用户输入语料的语义向量与知识库的语义向量之间的近邻关系，基于近邻关系判断用户输入语料属于知识域内意图还是知识域外意图。近邻关系地计算具有多种实施方式，第一种实施方式：计算用户输入语料的语义向量与向量数据库中所有语义向量的余弦距离，当余弦距离小于预设阈值时，认为两者相邻，当用户输入语料的语义向量与向量数据库中的所有语义向量被认为两者相邻的数量超过预设数量时，则认为该条用户输入语料的意图属于知识域内意图，否则，属于知识域外意图；其中余弦距离的计算公式为

，

其中，d（x，y）为点（x

步骤S6、若属于知识域外意图则停止意图识别，启用知识域外意图处理流程，并存储用户输入语料，在存储的用户输入语料满足特定条件时，更新知识库与向量数据库。具体的，S61、将被判断为知识域外意图的用户输入内容存储至知识域外意图库中，并采用重复询问、澄清询问、兜底回复的策略进行处理，避免由于错误回答而影响用户体验；S62、待知识域外意图库中的语料满足一定条件（如累积特定时间段，或者累积特定数量，或者采用数据聚类算法进行数据挖掘，当某一类别的语料达到预定数量时）时，由该知识领域的专家对知识域外意图库中的语料进行整理、归纳，并将整理、归纳后的知识域外意图添加到当前知识库中，以更新知识库，更新知识库的处理方法可以参见步骤S1中构建知识库的处理方法；S63、基于语义嵌入模型将更新后的知识库中语料映射至高维语义空间，得到更新后的知识库中语料的语义向量，并将这些语义向量存储至向量数据库中，以更新向量数据库。

步骤S7、若属于知识域内意图则进入意图分类模型，对用户输入内容进行分类，基于得分判断意图。具体的，将被判断为知识域内意图的用户输入语料输入意图分类模型，得到每个意图的概率值，选取概率值最大的标签作为该用户输入语料的意图，并基于该意图推进后续对话流程。其中，得到每个意图的概率值的方法为：先经过多层编码器编码，选取[CLS]头部位置的隐层向量输入线性层，通过线性层对该隐层向量进行降维处理得到降维向量，以减少计算量和模型参数，并且保留主要的语义信息；接着使用softmax层对该降维向量进行归一化处理，得到每个意图的概率值；softmax函数可以将向量的每个元素转化为0到1之间的概率值，并且所有概率值的总和为1；通过这个处理，可以得到每个意图的概率分布，从而可以判断用户输入语料所述的意图。

通过以下示例对上述实施例中的意图识别方法如何进行知识域内意图和知识域外意图进行判断及处理的具体示范：

步骤S1、构建知识库，使其内部存储有语料{<我投诉，投诉>,<你们服务太差了，我很生气，投诉>……}；

步骤S2、基于Roformer-smi模型，将步骤S1中的知识库中的语料映射到高维语义空间中，得到语料“我投诉”的语义向量[0.99,....0.99]，以及“你们服务太差了”的语义向量[0.97,...,0.97]，并存入向量数据库中；

步骤S3、基于知识库中的语料{<我投诉，投诉>,<你们服务太差了，我很生气，投诉>……}训练意图分类模型；

步骤S4、若接收到用户输入语料“我要投诉”，基于Roformer-smi模型，将用户输入语料“我要投诉”映射到高维语义空间中，得到语料“我要投诉”的语义向量[0.98,....0.98]；

步骤S5、计算用户输入语料的语义向量分别与向量数据库中的语义向量[0.99,....0.99]和[0.97,...,0.97]的余弦相似度分别为0.99、0.99，则余弦距离为0.01、0.01，预设置的阈值为0.1，同时，预设置用户输入语料的语义向量与向量数据库中的语义向量为近邻关系的数量需超过一个，此时，两个余弦距离均小于阈值，且用户输入语料的语义向量与向量数据库中的语义向量为近邻关系的数量有2个（大于1），满足条件，判断用户输入语料的意图属于知识域内意图；

步骤S7、基于步骤S3中得到的意图分类模型，输出用户输入语料“我要投诉”的标签概率值[0.01,0.02,......], 其中投诉意图的概率值最大为0.9，则判断用户输入语料“我要投诉”的意图为投诉。

而步骤S4、若接收到用户输入语料“我要学习”，基于Roformer-smi模型，将用户输入语料“我要学习”映射到高维语义空间中，得到语料“我要学习”的语义向量[0.01,....0.01]；

步骤S5、计算用户输入语料的语义向量分别与向量数据库中的语义向量[0.99,....0.99]和[0.97,...,0.97]的余弦相似度分别为0.01、0.01，则余弦距离为0.99、0.99，预设置的阈值为0.1，同时，预设置用户输入语料的语义向量与向量数据库中的语义向量为近邻关系的数量需超过一个，此时，两个余弦距离均大于阈值，且用户输入语料的语义向量与向量数据库中的语义向量为近邻关系的数量有0个，不满足条件，判断用户输入语料的意图属于知识域外意图；

步骤S6、停止进入意图分类模型进行识别，输出知识域外意图，启用知识域外意图处理流程，并存储用户输入语料，在存储的用户输入语料满足特定条件时，更新知识库与向量数据库。

本发明还提供了一种基于知识域检测的意图识别系统的具体实施方法，包括知识域检测判断模块、语料采集模块、知识存储模块、向量数据处理模块、向量数据存储模块、意图识别模块、知识域外意图存储模块。

所述语料采集模块用于采集用户输入语料，并将采集到的用户输入语料发送至向量数据处理模块；所述知识存储模块用于存储领域内知识的语料，并将存储的领域内知识的语料发送至向量数据处理模块和意图识别模块。

所述向量数据处理模块接收知识存储模块发送的领域内知识的语料以及语料采集模块采集的用户输入语料，并基于语义嵌入模型将领域内知识的语料或者用户输入语料映射至高维语义空间，得到领域内知识的语料的语义向量或者用户输入语料的语义向量，其中，将领域内知识的语料的语义向量存储至向量数据存储模块中，将用户输入语料的语义向量发送至知识域检测判断模块。

向量数据存储模块用于接收并存储领域内知识的语料的语义向量；知识域检测判断模块用于接收用户输入语料的语义向量，并将用户输入语料的语义向量与向量数据存储模块中的领域内知识的语料的语义向量进行比对，计算用户输入语料的语义向量与向量数据存储模块中的领域内知识的语料的语义向量之间的近邻关系，基于近邻关系判断用户输入语料属于知识域内意图还是知识域外意图；若为知识域外意图，则将用户输入语料发送至知识域外意图存储模块，若为知识域内意图，则将用户输入语料发送至意图识别模块。

所述意图识别模块用于接收知识存储模块发送的领域内知识的语料，以训练意图分类模型，同时，用于接收知识域检测判断模块发送的被判断为知识域内意图的用户输入语料，将该用户输入语料输入至训练好的意图分类模型中，并基于得分判断意图。

所述知识域外意图存储模块用于接收并存储由知识域检测判断模块发送来被判断为知识域外意图的用户输入语料。

本发明还提供了一种计算机设备的具体实施方式，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于知识域检测的意图识别方法。该计算机设备可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器（包括独立的服务器，或者多个服务器所组成的服务器集群）等。本实施例的计算机设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。

本实施例中，存储器（即可读存储介质）包括闪存、硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、带电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（SecureDigital，SD），闪存卡（Flash Card）等。当然，存储器还可以既包括计算机设备的内部存储单元，也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器在一些实施例中可以是中央处理器（Central Processing Unit，CPU）、控制器、微控制器、微处理器或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据，以实现上述实施例的基于知识域检测的意图识别方法。

本发明实施例中的基于知识域检测的意图识别方法、系统及计算机设备，可以在进入意图分类模型之前，先基于近邻关系对用户输入语料进行知识域的检测，区分知识域内意图和知识域外意图，在被判断为知识域外意图时，则停止对其进行意图分类，以减少后续意图误判率，提高后续意图识别的精确率，提升用户体验感。

在本说明书的描述中，参考术语“优选实施例”、“再一实施例”、“其他实施例”或“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。