提问意图识别模型的构建、提问意图识别方法及装置

技术领域

本发明实施例涉及数据处理领域，尤其涉及一种提问意图识别模型的构建、提问意图识别方法及装置。

背景技术

作为建筑行业的龙头企业，数字化建设处于行业领先水平，信息化系统不断增加，以满足企业用户需求，但是随着系统功能的逐渐增多，用户在使用过程中出现了找不到人解决、管理人员改善工作缺少数据依据、运维人员工作效率低、重复性工作量大等问题，现有的运维方式已经不能满足业务要求。

目前，在实施过程中都是基于纯人工打字跟客服交流解决问题，效率缓慢，很难快速找到很好的解决以往同类问题的话术方案，需要边打字边查知识库，效率极低。传统的客服自动问答系统都是基于简单的关键字匹配，全文检索，达不到智能推理和推荐的效果，用户语义识别效果也非常差，答非所问的现象尤其多。

发明内容

鉴于此，为解决上述技术问题或部分技术问题，本发明实施例提供一种提问意图识别模型的构建、提问意图识别方法及装置。

第一方面，本发明实施例提供一种提问意图识别模型的构建方法，包括：

获取用户与客服的历史对话数据语料，其中，所述历史对话数据语料中包含提问意图标签；

对所述历史对话数据语料进行实体识别和实体关系抽取，得到第一实体识别数据和第一实体关系数据；

对所述第一实体识别数据和第一实体关系数据进行数据增强处理，得到实体识别训练数据和实体关系训练数据；

将所述实体识别训练数据和实体关系训练数据输入至初始模型中，并对所述初始模型进行训练，直至所述初始模型输出的预估提问意图结果满足预设条件，得到训练完成的提问意图识别模型。

在一个可能的实施方式中，所述方法还包括：

通过实体识别模型利用依存句法分析方法抽取所述历史对话数据语料中的用于实体识别的字符特征；

基于所述字符特征进行实体识别，得到第一实体识别数据；

通过关系抽取模型利用BiGRU网络抽取所述第一实体识别数据对应的语义特征；

基于所述语义特征进行实体关系抽取，得到第一实体关系数据。

在一个可能的实施方式中，所述方法还包括：

将所述第一实体识别数据和第一实体关系数据进行同义词和/或同义句替换处理，得到实体识别训练数据和实体关系训练数据。

在一个可能的实施方式中，所述方法还包括：

将所述实体识别训练数据和实体关系训练数据输入至初始模型中，以使所述初始模型基于所述实体识别训练数据和实体关系训练数据以及对应的提问意图标签进行学习，直至所述初始模型输出的预估提问意图结果与所述提问意图标签的相似度大于预设阈值，则确定所述初始模型训练完成，得到提问意图识别模型。

在一个可能的实施方式中，所述方法还包括：

对所述历史对话数据语料进行数据预处理，其中，所述数据预处理至少包括数据清洗、词性标注。

第二方面，本发明实施例提供一种提问意图识别方法，包括：

获取目标用户通过用户端发送的提问语句；

对所述提问语句进行实体识别和实体关系抽取，得到目标实体识别数据和目标实体关系数据；

基于所述目标实体识别数据和目标实体关系数据抽取提问意图识别特征；

将所述提问意图识别特征输入至权利要求1-5任一项所构建的提问意图识别模型中，以使所述提问意图识别模型输出所述提问语句对应的提问意图。

在一个可能的实施方式中，所述方法还包括：

通过实体识别模型抽取所述提问语句中的用于实体识别的字符特征；

基于所述字符特征进行实体识别，得到目标实体识别数据；

通过关系抽取模型抽取所述目标实体识别数据对应的语义特征；

基于所述语义特征进行实体关系抽取，得到目标实体关系数据。

在一个可能的实施方式中，所述方法还包括：

对所述意图识别特征进行分类，以及基于分类结果预估所述提问语句的意图所在的意图类别区间；

基于所述意图类别区间、目标实体识别数据和目标实体关系数据确定所述提问语句对应的提问意图。

在一个可能的实施方式中，所述方法还包括：

预先构建知识图谱；

基于所述提问语句对应的提问意图从所述知识图谱中查询对应的的疏导答案并反馈到用户端。

第三方面，本发明实施例提供一种提问意图识别模型的构建装置，包括：

数据获取模块，用于获取用户与客服的历史对话数据语料，其中，所述历史对话数据语料中包含提问意图标签；

识别抽取模块，用于对所述历史对话数据语料进行实体识别和实体关系抽取，得到第一实体识别数据和第一实体关系数据；

数据处理模块，用于对所述第一实体识别数据和第一实体关系数据进行数据增强处理，得到实体识别训练数据和实体关系训练数据；

模型训练模块，用于将所述实体识别训练数据和实体关系训练数据输入至初始模型中，并对所述初始模型进行训练，直至所述初始模型输出的预估提问意图结果满足预设条件，得到训练完成的提问意图识别模型。

第四方面，本发明实施例提供一种提问意图识别装置，包括：

数据获取模块，用于获取目标用户通过用户端发送的提问语句；

识别抽取模块，用于对所述提问语句进行实体识别和实体关系抽取，得到目标实体识别数据和目标实体关系数据；

识别抽取模块，用于基于所述目标实体识别数据和目标实体关系数据抽取提问意图识别特征；

意图识别模块，用于将所述提问意图识别特征输入至提问意图识别模型中，以使所述提问意图识别模型输出所述提问语句对应的提问意图。

第五方面，本发明实施例提供一种计算机设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的提问意图识别模型的构建程序和提问意图识别程序，以实现上述第一方面中所述的提问意图识别模型的构建方法和上述第二方面中所述的提问意图识别方法。

第六方面，本发明实施例提供一种存储介质，包括：所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面中所述的提问意图识别模型的构建方法和上述第二方面中所述的提问意图识别方法。

本发明实施例提供的提问意图识别模型的构建方案，通过获取用户与客服的历史对话数据语料，其中，所述历史对话数据语料中包含提问意图标签；对所述历史对话数据语料进行实体识别和实体关系抽取，得到第一实体识别数据和第一实体关系数据；对所述第一实体识别数据和第一实体关系数据进行数据增强处理，得到实体识别训练数据和实体关系训练数据；将所述实体识别训练数据和实体关系训练数据输入至初始模型中，并对所述初始模型进行训练，直至所述初始模型输出的预估提问意图结果满足预设条件，得到训练完成的提问意图识别模型。相比于现有的问答方式边打字边查找知识库效率低。或者自动问答系统基于简单的关键字匹配，达不到智能推理和推荐、用户语义识别效果差的问题。由本方案，通过构建提问意图识别模型，可以对用户输入的语音或者文字进行提问意图识别，从而根据提问意图查找对应的疏导答案，可以实现高效、智能推理和推荐的功能，提升用户使用感。

本发明实施例提供的提问意图识别方案，通过获取目标用户通过用户端发送的提问语句；对所述提问语句进行实体识别和实体关系抽取，得到目标实体识别数据和目标实体关系数据；基于所述目标实体识别数据和目标实体关系数据抽取提问意图识别特征；将所述提问意图识别特征输入至提问意图识别模型中，以使所述提问意图识别模型输出所述提问语句对应的提问意图。相比于现有的问答方式边打字边查找知识库效率低。或者自动问答系统基于简单的关键字匹配，达不到智能推理和推荐、用户语义识别效果差的问题。由本方案，通过构建的提问意图识别模型对用户输入的语音或者文字进行提问意图识别，从而根据提问意图查找对应的疏导答案，可以实现高效、智能推理和推荐的功能，提升用户使用感。

附图说明

图1为本发明实施例提供的一种提问意图识别模型的构建方法的流程示意图；

图2为本发明实施例提供的一种提问意图识别方法的流程示意图；

图3为本发明实施例提供的一种提问意图识别模型的构建装置的结构示意图；

图4为本发明实施例提供的一种提问意图识别装置的结构示意图；

图5为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。

图1为本发明实施例提供的一种提问意图识别模型的构建方法的流程示意图，如图1所示，该方法具体包括：

S11、获取用户与客服的历史对话数据语料，其中，所述历史对话数据语料中包含提问意图标签。

本发明实施例提供的一种提问意图识别模型的构建方法优先适用于建筑行业的建筑知识问答场景，首先，基于NLP服务技术采样若干份以往用户与客服的历史对话数据语料，然后，对所述历史对话数据语料进行数据预处理，包括但不限于数据清洗、分词、词性标注，分词采用基于统计的分词方法；最后，根据对话意图为历史对话数据语料打上意图标签，对实体表达的关系打上关系标签，表示不同的意图下，不同实体组合对应不同的关系，以实现对话过程的意图识别和关系属性查找。NLP服务技术为自然语言处理服务，NLP 服务提供多项智能文本处理和文本生成能力,包括词法分析、相似词召回、词相似度、句子相似度、文本润色、句子纠错、文本补全、句子生成等。

S12、对所述历史对话数据语料进行实体识别和实体关系抽取，得到第一实体识别数据和第一实体关系数据。

通过实体识别模型利用依存句法分析方法抽取历史对话数据语料中的用于实体识别的字符特征；基于字符特征进行实体识别，得到第一实体识别数据。通过关系抽取模型利用BiGRU网络抽取第一实体识别数据对应的语义特征；基于语义特征进行实体关系抽取，得到第一实体关系数据。

具体的，实体识别数据是指将对话数据中关键信息进行标注作为关键实体标签；关系抽取数据是指对话语料数据中对实体的关系进行标注，标注后的对话数据的作为关系训练数据，深入研究了命名实体识别技术，并针对建筑数据的特性，本发明实施例提出了一种融合依存句法分析的DPABiLSTM-CSCEC建筑命名实体识别模型。模型利用依存句法分析技术提取语句中各字词的语义修饰关系，丰富语句特征。并在输出之前，通过引入注意力机制使模型更关注有益于实体识别的字符特征，以提高模型实体识别的准确率。实验表明本发明实施例提出的建筑实体识别模型，不仅在各类实体抽取中均取得了不错的效果，且在抽取性能上优于常用的深度学习模型，为接下来的建筑关系抽取任务奠定了基础。

基于建筑实体抽取的工作基础，本发明实施例提出了MutilAttBICSCEC建筑关系抽取模型。模型使用 BiGRU网络充分学习语义特征。并从字符层级过渡至语句层级，在两个层面分别融入注意力机制来提高关系抽取模型的性能。对比目前主流的关系抽取模型。实验结果表明该模型在建筑知识关系抽取上性能表现更佳。

例如，请问，信息化系统里物资日常需用计划里显示数据异常如何处理？实体是物资日常需用计划，实体是数据，关系是数据异常，将抽取的实体识别特征进行实体预测，然后将关系特征预测出两个实体的具体关系。

S13、对所述第一实体识别数据和第一实体关系数据进行数据增强处理，得到实体识别训练数据和实体关系训练数据。

对第一实体识别数据和第一实体关系数据进行数据增强处理，生成更多的对话数据语料，以丰富深度学习的语料特征，语料数据增强是将第一实体识别数据和第一实体关系数据分别替换不同的同义词，或者相似句，让机器人学到更多的特征，进行语料数据增强，生成更多的对话数据语料，得到实体识别训练数据和实体关系训练数据，以丰富深度学习的语料特征。

S14、将所述实体识别训练数据和实体关系训练数据输入至初始模型中，并对所述初始模型进行训练，直至所述初始模型输出的预估提问意图结果满足预设条件，得到训练完成的提问意图识别模型。

将实体识别训练数据和实体关系训练数据输入至初始模型中，以使初始模型基于实体识别训练数据和实体关系训练数据以及对应的提问意图标签进行学习，直至初始模型输出的预估提问意图结果与所述提问意图标签的相似度大于预设阈值，则确定所述初始模型训练完成，得到提问意图识别模型。

本发明实施例提供的提问意图识别模型的构建方法，通过获取用户与客服的历史对话数据语料，其中，所述历史对话数据语料中包含提问意图标签；对所述历史对话数据语料进行实体识别和实体关系抽取，得到第一实体识别数据和第一实体关系数据；对所述第一实体识别数据和第一实体关系数据进行数据增强处理，得到实体识别训练数据和实体关系训练数据；将所述实体识别训练数据和实体关系训练数据输入至初始模型中，并对所述初始模型进行训练，直至所述初始模型输出的预估提问意图结果满足预设条件，得到训练完成的提问意图识别模型。相比于现有的问答方式边打字边查找知识库效率低。或者自动问答系统基于简单的关键字匹配，达不到智能推理和推荐、用户语义识别效果差的问题。由本方法，通过构建提问意图识别模型，可以对用户输入的语音或者文字进行提问意图识别，从而根据提问意图查找对应的疏导答案，可以实现高效、智能推理和推荐的功能，提升用户使用感。

图2为本发明实施例提供的一种提问意图识别方法的流程示意图，如图2所示，该方法具体包括：

S21、获取目标用户通过用户端发送的提问语句。

本发明实施例提供的一种提问意图识别方法优先适用于建筑行业的建筑知识问答场景，首先，获取目标用户通过用户端发送的提问语句。目标用户可以语音输入，系统将语音转文字进行识别；或者，目标用户可以直接打字输入提问语句，本发明实施例对提问语句的输入形式不做具体限制。

S22、对所述提问语句进行实体识别和实体关系抽取，得到目标实体识别数据和目标实体关系数据。

通过实体识别模型抽取提问语句中的用于实体识别的字符特征，基于字符特征进行实体识别，得到目标实体识别数据；通过关系抽取模型抽取目标实体识别数据对应的语义特征；基于语义特征进行实体关系抽取，得到目标实体关系数据。

例如，请问，信息化系统里物资日常需用计划里显示数据异常如何处理？实体是物资日常需用计划，实体是数据，关系是数据异常，将抽取的实体识别特征进行实体预测，然后将关系特征预测出两个实体的具体关系。

S23、基于所述目标实体识别数据和目标实体关系数据抽取提问意图识别特征。

模型可以根据上述得到的目标实体识别数据和目标实体关系数据确定不同实体组合对应不同的关系，实现对话过程的意图识别和关系属性查找。

S24、将所述提问意图识别特征输入至提问意图识别模型中，以使所述提问意图识别模型输出所述提问语句对应的提问意图。

对意图识别特征进行分类，以及基于分类结果预估提问语句的意图所在的意图类别区间；基于意图类别区间、目标实体识别数据和目标实体关系数据确定所述提问语句对应的提问意图。

进一步的，预先构建知识图谱；基于提问语句对应的提问意图从知识图谱中查询对应的的疏导答案并反馈到用户端。

具体的，通过意图识别任务预测出本句话的意图范围，然后在本意图范围继续通过实体识别任务预测出句子中具体的实体，然后通过关系抽取任务预测出实体的关系，最后将本句话的最符合的答案返回给用户。

通过意图识别任务预测出本句话的意图范围具体是：将抽取的意图识别特征首先通过Logsoftmax函数进行分类，通过分类预测本句话的意图所在的意图类别区间内，将抽取的实体识别特征通过Logsoftmax进行实体预测，然后将关系特征通过Logsoftmax预测出两个实体的具体关系，最后通过实体类别以及关系去查找知识库中对应的的疏导答案。

显示意图指用户通过文本形式，明确指出自己的意图需求，例如我想问一下成本管理-预结算管理-分包报量缺少刚进场的分包单位怎么回事？本句话的实体是分包报量，实体是分包单位，关系是缺少；意图动词是缺少单位，名词是分包报量。

进一步的，从构建知识图谱的基本流程出发，将抽取的建筑知识转换为Neo4j图数据库节点和关系实体边对应的三元组形式进行存储，最终在可视化界面展示了建筑知识图谱，以构建好的建筑知识图谱作为高质量知识源。

例如，获取实体识别及其上下文的信息，通过关系抽取任务预测分包报量与分包单位的关系，根据关系类别进行问题引导：1.信息化分包报量缺少怎么修改？2.成本管理-分包报量缺少分包单位？3.需要帮助您联系成本管理模块负责人吗？4.请发起问题工单，由专业人员进行处理？

下面详述NLP服务技术的完整实施例：

NLP服务技术包含NLU模块、DM模块和NLG模块；NLU模块是采用NLP技术对用户问题进行意图识别和实体抽取。意图识别是要弄清楚用户到底要问什么，如是查询故障发生次数还是故障原因；实体抽取是这个意图下的具体槽位值。比如问句是“上个月发生机械故障次数是多少”，意图就是“查询故障次数”，故障名称的槽位值是“机械故障”，时间的槽位值是“上个月”。意图识别可以描述成为分类问题，使用机器学习的方法来解决，如SVM、fastText；实体抽取使用NLP里的NER（命名实体识别）相关技术解决。

DM模块根据问题匹配到相应答案（或采取什么动作，如查数据库或调用API）；在多轮对话中它还负责对话状态跟踪，根据当前的对话状态（从历史对话内容更新获得），决定如何进行下一轮对话（或直接采取动作）。比如“上个月塔机故障次数是多少”问句除了故障名称和时间两个槽位，DM模块根据当前这个状态，要决定继续追问用户“要查哪个塔机的故障？”。常用的DM策略包括有限状态机，HMM和神经网络。

NLG模块是将DM模块返回的结果（如关键词、聚合数据）转变成自然语言文本，最常用的方法是通过规则模板生成回答，类似于NLU中问题匹配的逆向过程。

ASR和TTS代表语音识别和语音合成，它们分别实现语音转文字和文字转语音功能， 是对话机器人的入口和出口，是与用户进行语音交互的部分，本发明实施例采用文字输入输出，使用此两个模块。

本发明实施例提供的提问意图识别方法，通过获取目标用户通过用户端发送的提问语句；对所述提问语句进行实体识别和实体关系抽取，得到目标实体识别数据和目标实体关系数据；基于所述目标实体识别数据和目标实体关系数据抽取提问意图识别特征；将所述提问意图识别特征输入至提问意图识别模型中，以使所述提问意图识别模型输出所述提问语句对应的提问意图。相比于现有的问答方式边打字边查找知识库效率低。或者自动问答系统基于简单的关键字匹配，达不到智能推理和推荐、用户语义识别效果差的问题。由本方法，通过构建的提问意图识别模型对用户输入的语音或者文字进行提问意图识别，能准确预测客服问题的意图、关键实体以及实体关系，从而根据提问意图查找对应的疏导答案，可以实现高效、智能推理和推荐的功能，用户语义识别效果较好，避免出现答非所问的现象，提升用户使用感。

图3为本发明实施例提供的一种提问意图识别模型的构建装置的结构示意图，具体包括：

数据获取模块301，用于获取用户与客服的历史对话数据语料，其中，所述历史对话数据语料中包含提问意图标签。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

识别抽取模块302，用于对所述历史对话数据语料进行实体识别和实体关系抽取，得到第一实体识别数据和第一实体关系数据。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

数据处理模块303，用于对所述第一实体识别数据和第一实体关系数据进行数据增强处理，得到实体识别训练数据和实体关系训练数据。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

模型训练模块304，用于将所述实体识别训练数据和实体关系训练数据输入至初始模型中，并对所述初始模型进行训练，直至所述初始模型输出的预估提问意图结果满足预设条件，得到训练完成的提问意图识别模型。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

本实施例提供的提问意图识别模型的构建装置可以是如图3中所示的提问意图识别模型的构建装置，可执行如图1中提问意图识别模型的构建方法的所有步骤，进而实现图1所示提问意图识别模型的构建方法的技术效果，具体请参照图1相关描述，为简洁描述，在此不作赘述。

图4为本发明实施例提供的一种提问意图识别装置的结构示意图，具体包括：

数据获取模块401，用于获取目标用户通过用户端发送的提问语句。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

识别抽取模块402，用于对所述提问语句进行实体识别和实体关系抽取，得到目标实体识别数据和目标实体关系数据。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

识别抽取模块402，用于基于所述目标实体识别数据和目标实体关系数据抽取提问意图识别特征。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

意图识别模块403，用于将所述提问意图识别特征输入至提问意图识别模型中，以使所述提问意图识别模型输出所述提问语句对应的提问意图。详细说明参见上述方法实施例对应的相关描述，此处不再赘述。

本实施例提供的提问意图识别装置可以是如图4中所示的提问意图识别装置，可执行如图2中提问意图识别方法的所有步骤，进而实现图2所示提问意图识别方法的技术效果，具体请参照图2相关描述，为简洁描述，在此不作赘述。

图5示出了本发明实施例的一种计算机设备，如图5所示，该计算机设备可以包括处理器501和存储器502，其中处理器501和存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。

处理器501可以为中央处理器（Central Processing Unit，CPU）。处理器501还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器502作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中所提供方法所对应的程序指令/模块。处理器501通过运行存储在存储器502中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器501所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至处理器501。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器502中，当被处理器501执行时，执行上述方法实施例中的方法。

上述计算机设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（Random Access Memory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。