一种基于AI的对话回复生成方法及系统

技术领域

本发明涉及人机对话技术领域，特别涉及一种基于AI的对话回复生成方法及系统。

背景技术

近年来伴随着互联网的普及以及社交媒体的增多，用户数据随之剧增，这为人工智能的研究与发展提供了坚定基础。随着人工智能的发展，人机对话系统应用范围更加的广泛。

人机对话系统的目的是让计算机能够模拟人类并与人类自然地交流，现已有大量对话系统广泛应用于金融服务行业、电子商务、银行服务等场景，对话系统的应用与发展使人们生活变得更加便利快捷。随着市场需求的逐渐扩大，对话系统产品功能在不断地增加。

现有技术当中，人机对话的过程中，都是一问一答式的对话过程，不仅过程非常枯燥，而且由于无法针对对话过程中的情感进行扩充，还会导致对话回复过程不够准确。

发明内容

基于此，本发明的目的是提供一种基于AI的对话回复生成方法及系统，以至少解决上述现有技术当中的不足。

一方面本发明提供一种基于AI的对话回复生成方法，所述方法包括：

接收用户发出的对话内容，对所述对话内容进行预处理，得到预处理对话内容，并将所述预处理对话内容生成对话任务；

构建情感识别模型，基于所述情感识别模型对所述对话任务进行识别，得到所述对话任务对应的情感标签；

获取历史对话内容，统计所述历史对话内容中相邻字，并计算所述相邻字的频率，以提取所述历史对话内容中的特征词句；

将所述特征词句中的每个单词映射为词向量，以得到所述特征词句的词句序列，并基于所述词句序列计算所述每个单词的隐藏状态；

构建对话回复模型，并使得所述对话回复模型基于所述隐藏状态进行训练，得到优化对话回复模型；

将预选对话文本输入至所述优化对话回复模型中，以使所述优化对话回复模型输出回复对话，基于n-gram计算所述回复对话与预设参考回复对话的相似性，并根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度，若所述匹配度符合预设匹配度，则得到评估后的优化对话回复模型；

基于所述评估后的优化对话回复模型对所述情感标签进行识别匹配，以生成与所述对话内容的匹配的回复对话。

与现有技术相比，本发明的有益效果是：通过构建情感识别模型可以识别用户发出的对话内容的情感，并且历史对话内容相邻字的频率可以提取出历史对话内容的特征词句，并将特征词句中的每个词映射成词向量，得到词句序列，并得到每个单词的隐藏状态，通过隐藏状态对对话模型进行训练，提升优化对话回复模型输出的回复对话更为的准确，并且通过对优化对话回复模型进行评估，可以使得优化对话回复模型的对话回复能够更加精确，并且通过评估后的优化对话回复模型对情感标签进行识别匹配，使得输出的回复对话具有一定情感。

进一步的，所述对所述对话内容进行预处理，得到预处理对话内容的步骤包括：

提取所述对话内容中的摘要特征，所述摘要特征包括预设线索词、积极关键词词频以及句子位置；

提取所述对话内容中的元相关词并将其消除，并基于所述预设线索词、所述积极关键词词频以及所述句子位置生成有效对话信息。

进一步的，所述构建情感识别模型的步骤包括：

获取过往对话内容，并提取所述过往对话内容中的所有目标话语以及所有所述目标话语的上下文中的情感话语；

基于注意力网络机制将所有所述目标话语与所有所述情感话语进行相关性排序以及结合操作，得到权重语句特征；

结合所述权重语句特征进行Softmax分类得到所有所述目标话语的情感类型，并对所述情感类型进行分类，并得到所述过往对话内容中的所有语句对应的情感类型；

将所述所有语句对应的情感类型组合成标签序列，并基于所述标签序列构建所述情感识别模型。

进一步的，所述并计算所述相邻字的频率，以提取所述历史对话内容中的特征词句的步骤包括：

统计所述相邻字的组合频率，并计算所述历史对话内容中的词密信息；

将所述词密信息与预设阈值进行比对，若所述词密信息高于所述预设阈值，则得到所述历史对话内容中的所述特征词句。

进一步的，所述将所述特征词句中的每个单词映射为词向量，以得到所述特征词句的词句序列，并基于所述词句序列计算所述每个单词的隐藏状态的步骤包括：

基于词嵌入层将所述词向量转换为低维词，将所述低维词嵌入所述词句序列，得到词向量序列；

根据多头自注意力模型计算所述词向量序列，以得到所述每个单词的隐藏状态。

进一步的，所述构建对话回复模型的步骤包括：

基于LSTM提取所述历史对话内容中的句子级特征，并结合注意力机制聚合所述历史对话内容中的其它话语特征，以生成话语节点的上下文表示；

建立有若干个情感标签的情感字典，并将所述情感字典中的所述若干个情感标签均转换为情感特征向量；

将所述情感特征向量映射到高维空间，以得到情感节点初始化特征；

基于所述话语节点的上下文表示以及所述情感节点初始化特征构建对话回复模型。

进一步的，所述根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度，所述匹配度的计算表达式为：

；

其中，Q表示所述匹配度，P

进一步的，所述若所述匹配度符合预设匹配度的步骤之前，所述方法还包括：

将所述匹配度与预设匹配度进行比对，若所述匹配度不符合所述预设匹配度；

执行使所述对话回复模型基于所述隐藏状态进行训练，得到优化对话回复模型，并评估所述优化对话回复模型，以计算出所述优化对话回复模型的输出内容的匹配度，直至所述匹配度符合所述预设匹配度。

另一方面本发明提供一种基于AI的对话回复生成系统，所述系统包括：

接收预处理模块，用于接收用户发出的对话内容，对所述对话内容进行预处理，得到预处理对话内容，并将所述预处理对话内容生成对话任务；

第一构建模块，用于构建情感识别模型，基于所述情感识别模型对所述对话任务进行识别，得到所述对话任务对应的情感标签；

获取计算模块，用于获取历史对话内容，统计所述历史对话内容中相邻字，并计算所述相邻字的频率，以提取所述历史对话内容中的特征词句；

映射模块，用于将所述特征词句中的每个单词映射为词向量，以得到所述特征词句的词句序列，并基于所述词句序列计算所述每个单词的隐藏状态；

第二构建模块，用于构建对话回复模型，并使得所述对话回复模型基于所述隐藏状态进行训练，得到优化对话回复模型；

评估模块，用于将预选对话文本输入至所述优化对话回复模型中，以使所述优化对话回复模型输出回复对话，基于n-gram计算所述回复对话与预设参考回复对话的相似性，并根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度，若所述匹配度符合预设匹配度，则得到评估后的优化对话回复模型；

生成模块，用于基于所述评估后的优化对话回复模型对所述情感标签进行识别匹配，以生成与所述对话内容的匹配的回复对话。

附图说明

图1为本发明第一实施例中的基于AI的对话回复生成方法的流程图；

图2为本发明第二实施例中的基于AI的对话回复生成系统的结构框图。

主要元件符号说明：

10、接收预处理模块；20、第一构建模块；30、获取计算模块；40、映射模块；50、第二构建模块；60、评估模块；70、生成模块。

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。

实施例一

请参阅图1，所示为本发明第一实施例中的基于AI的对话回复生成方法，所述方法包括步骤S1至步骤S7：

S1，接收用户发出的对话内容，对所述对话内容进行预处理，得到预处理对话内容，并将所述预处理对话内容生成对话任务；

具体的，所述步骤S1包括步骤S11至步骤S12：

S11，提取所述对话内容中的摘要特征，所述摘要特征包括预设线索词、积极关键词词频以及句子位置；

在具体实施时，通过抽取式摘要将对话内容中最能表达原文核心内容的词、短语以及句子提取出来，以得到对话内容的摘要特征，而摘要特征包括预设线索词、积极关键词词频以及句子位置，其中，预设线索词指地点名、物体名称等内容，例如电影名称、歌曲名称或地方名称等等，积极关键词词频指对话内容中经常出现的词语，句子位置则指的是其中出现的摘要特征在对话内容中所处的位置。

S12，提取所述对话内容中的元相关词并将其消除，并基于所述预设线索词、所述积极关键词词频以及所述句子位置生成有效对话信息；

在具体实施时，将对话内容中的元相关词提取出来，在本实施例中，元相关词指的是的、地、嗯等助词，然后将这些助词消除掉，使得对话内容中的预设线索词、所述积极关键词词频以及所述句子位置被保留，并基于预设线索词、所述积极关键词词频以及所述句子位置生成有效对话信息。

S2，构建情感识别模型，基于所述情感识别模型对所述对话任务进行识别，得到所述对话任务对应的情感标签；

在具体实施时，通过构建出来的情感识别模型对对话任务进行识别，也就是对对话任务中的预设线索词、所述积极关键词词频以及所述句子位置生成的有效对话信息进行识别，以得到对话任务对应的情感标签，从而可以得知用户发出的对话内容的情感标签，也就是能够得知用户发出的对话内容的情感。

具体的，所述步骤S2包括步骤S21至步骤S24：

S21，获取过往对话内容，并提取所述过往对话内容中的所有目标话语以及所有所述目标话语的上下文中的情感话语；

可以理解的是，通过过往对话内容，也就是之前的若干次的对话内容，然后基于注意力机制将若干次对话内容中的所有目标话语以及所有目标话语的上下文中的情感话语提取出来。

S22，基于注意力网络机制将所有所述目标话语与所有所述情感话语进行相关性排序以及结合操作，得到权重语句特征；

可以理解的是，由于目标话语和上下文中的情感话语的相关性并不一定相等，因此需要通过注意力网络机制对所有目标话语以及所有情感话语进行相关性排序以及结合操作，得到权重语句特征；

具体的，注意力网络机制的计算表达式为：

；

；

其中，P

S23，结合所述权重语句特征进行Softmax分类得到所有所述目标话语的情感类型，并对所述情感类型进行分类，并得到所述过往对话内容中的所有语句对应的情感类型；

值得说明的是，过往对话内容中的所有目标话语都能够一一对应情感标签。

S24，将所述所有语句对应的情感类型组合成标签序列，并基于所述标签序列构建所述情感识别模型；

需要解释的是，将所有语句一一对应的情感标签组合成标签序列，也就是每句语句以及对应的情感标签组合成标签序列，然后基于标签序列构建情感识别模型，使得情感识别模型中具有无数若干对话以及与对话对应的情感标签。

S3，获取历史对话内容，统计所述历史对话内容中相邻字，并计算所述相邻字的频率，以提取所述历史对话内容中的特征词句；

可以理解的是，在历史对话内容中，相邻的字同时出现的次数越多就越容易构成词，所以统计历史对话内容中相邻出现的概率或频率能够较好的反应成词的可信度，从而能够提取出历史对话内容中的特征词句。

具体的，所述步骤S3包括步骤S31至步骤S32：

S31，统计所述相邻字的组合频率，并计算所述历史对话内容中的词密信息；

在具体实施时，统计出历史对话内容中相邻字出现以及组合的频率，计算出历史对话内容中的词密信息，词密信息体现了字与字之间结合关系的紧密程度。

S32，将所述词密信息与预设阈值进行比对，若所述词密信息高于所述预设阈值，则得到所述历史对话内容中的所述特征词句；

可以理解的是，词密信息高于设置的一个预设阈值时，则可以认为此字组可能构成一个词，进而能够将历史对话内容中的特征词句提取出来。

S4，将所述特征词句中的每个单词映射为词向量，以得到所述特征词句的词句序列，并基于所述词句序列计算所述每个单词的隐藏状态；

具体的，所述步骤S4包括步骤S41至步骤S42：

S41，基于词嵌入层将所述词向量转换为低维词，将所述低维词嵌入所述词句序列，得到词向量序列；

在具体实施时，通过将历史对话内容中的特征词句中的每个单词映射成词向量，以第n个句子U

在本实施例中，句子U

S42，根据多头自注意力模型计算所述词向量序列，以得到所述每个单词的隐藏状态；

在具体实施时，将表示为

S5，构建对话回复模型，并使得所述对话回复模型基于所述隐藏状态进行训练，得到优化对话回复模型；

可以理解的是，将特征词句中的每个单词的隐藏状态输入至对话回复模型中进行训练，使得对话回复模型能够基于隐藏状态所包括的词意以及情感类型进行训练，进而能够得到优化对话回复模型。

具体的，所述步骤S5包括步骤S51至步骤S54：

S51，基于LSTM提取所述历史对话内容中的句子级特征，并结合注意力机制聚合所述历史对话内容中的其它话语特征，以生成话语节点的上下文表示；

在具体实施时，首先通过LSTM提取历史对话内容中的句子级特征，在本实施例中，LSTM为长短期记忆网络，并结合注意力机制聚合历史对话内容中的其它话语特征，从而生成历史对话内容中的所有话语节点的上下文表示。

S52，建立有若干个情感标签的情感字典，并将所述情感字典中的所述若干个情感标签均转换为情感特征向量；

需要解释的是，针对历史情感标签，为了学习每种情感所蕴含的更丰富的隐藏信息，建立有若干个情感标签的情感字典，在本实施例中，情感字典中具有7种不同的情感，分别为生气、厌恶、恐惧、喜悦、悲伤、惊讶以及中性，并将这7种情感标签转换为7种情感特征向量。

S53，将所述情感特征向量映射到高维空间，以得到情感节点初始化特征；

需要解释的是，将每个情感的情感特征向量映射到高维空间，使得情感特征向量被数字化，从而使得情感节点的初始化特征。

S54，基于所述话语节点的上下文表示以及所述情感节点初始化特征构建对话回复模型；

在具体实施时，通过情感节点初始化特征以及话语节点的上下文表示构建对话回复模型，使得对话回复模型能够根据上下文表示对需要回复的对话产生有效且准确的对话回复，而通过情感节点初始化能够对需要回复的对话产生具有匹配情感的对话回复。

S6，将预选对话文本输入至所述优化对话回复模型中，以使所述优化对话回复模型输出回复对话，基于n-gram计算所述回复对话与预设参考回复对话的相似性，并根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度，若所述匹配度符合预设匹配度，则得到评估后的优化对话回复模型；

可以理解的是，通过对优化对话回复模型进行评估，以使得优化对话回复模型输出的对话内容达到预设匹配度，从而可以使得评估后的优化对话回复模型能够输出更加准确且更具有情感的对话回复。

在具体实施时，通过选用测试用的预选对话文本输入至优化对话回复模型中，并得到优化对话回复模型的生成的回复对话，在本实施例中，n-gram为语言模型，通过n-gram语言模型计算优化对话回复模型生成的回复对话与预设参考回复对话的相似性，并根据相似性计算出优化对话回复模型的输出内容的匹配度；

具体的，匹配度的计算表达式为：

；

其中，Q表示所述匹配度，P

；

其中，r表示预选文本的长度，c表示候选结果长度，当c＞r时，不进行惩罚，假设惩罚因子为1时，当c≤r时，则进行惩罚；

需要解释的是，通过设置惩罚因子，从而可以使得对优化对话回复模型的评估更为的准确。

具体的，所述步骤S6还包括步骤S61至步骤S62：

S61，将所述匹配度与预设匹配度进行比对，若所述匹配度不符合所述预设匹配度；

S62，执行使所述对话回复模型基于所述隐藏状态进行训练，得到优化对话回复模型，并评估所述优化对话回复模型，以计算出所述优化对话回复模型的输出内容的匹配度，直至所述匹配度符合所述预设匹配度；

可以理解的是，当评估后的优化对话回复模型达不到预设的匹配度，则继续对其进行优化，从而能够使得评估后的优化对话回复模型所生成的对话回复更加准确及更加具有情感。

S7，基于所述评估后的优化对话回复模型对所述情感标签进行识别匹配，以生成与所述对话内容的匹配的回复对话；

在具体实施时，经过评估后的优化对话回复模型对用户发出的对话内容进行识别匹配，然后基于对话内容生成匹配的对话回复，并经过通过情感节点初始化特征以及话语节点的上下文表示构建的对话回复模型，以及优化和评估后的对话回复模型，使得生成的对话更为的匹配准确以及更具有情感。

综上，本发明上述实施例当中的基于AI的对话回复生成方法，通过构建情感识别模型可以识别用户发出的对话内容的情感，并且历史对话内容相邻字的频率可以提取出历史对话内容的特征词句，并将特征词句中的每个词映射成词向量，得到词句序列，并得到每个单词的隐藏状态，通过隐藏状态对对话模型进行训练，提升优化对话回复模型输出的回复对话更为的准确，并且通过对优化对话回复模型进行评估，可以使得优化对话回复模型的对话回复能够更加精确，并且通过评估后的优化对话回复模型对情感标签进行识别匹配，使得输出的回复对话具有一定情感。

实施例二

请参阅图2，所示为本发明第二实施例中的基于AI的对话回复生成系统，所述系统包括：

接收预处理模块10，用于接收用户发出的对话内容，对所述对话内容进行预处理，得到预处理对话内容，并将所述预处理对话内容生成对话任务；

第一构建模块20，用于构建情感识别模型，基于所述情感识别模型对所述对话任务进行识别，得到所述对话任务对应的情感标签；

获取计算模块30，用于获取历史对话内容，统计所述历史对话内容中相邻字，并计算所述相邻字的频率，以提取所述历史对话内容中的特征词句；

映射模块40，用于将所述特征词句中的每个单词映射为词向量，以得到所述特征词句的词句序列，并基于所述词句序列计算所述每个单词的隐藏状态；

第二构建模块50，用于构建对话回复模型，并使得所述对话回复模型基于所述隐藏状态进行训练，得到优化对话回复模型；

评估模块60，用于将预选对话文本输入至所述优化对话回复模型中，以使所述优化对话回复模型输出回复对话，基于n-gram计算所述回复对话与预设参考回复对话的相似性，并根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度，若所述匹配度符合预设匹配度，则得到评估后的优化对话回复模型；

其中，所述根据所述相似性以得到所述优化对话回复模型的输出内容的匹配度，所述匹配度的计算表达式为：

；

其中，Q表示所述匹配度，P

生成模块70，用于基于所述评估后的优化对话回复模型对所述情感标签进行识别匹配，以生成与所述对话内容的匹配的回复对话。

在一些可选实施例中，所述接收预处理模块10包括：

第一提取单元，用于提取所述对话内容中的摘要特征，所述摘要特征包括预设线索词、积极关键词词频以及句子位置；

提取消除单元，用于提取所述对话内容中的元相关词并将其消除，并基于所述预设线索词、所述积极关键词词频以及所述句子位置生成有效对话信息。

在一些可选实施例中，所述第一构建模块20包括：

获取单元，用于获取过往对话内容，并提取所述过往对话内容中的所有目标话语以及所有所述目标话语的上下文中的情感话语；

排序单元，用于基于注意力网络机制将所有所述目标话语与所有所述情感话语进行相关性排序以及结合操作，得到权重语句特征；

分类单元，用于结合所述权重语句特征进行Softmax分类得到所有所述目标话语的情感类型，并对所述情感类型进行分类，并得到所述过往对话内容中的所有语句对应的情感类型；

组合单元，用于将所述所有语句对应的情感类型组合成标签序列，并基于所述标签序列构建所述情感识别模型。

在一些可选实施例中，所述获取计算模块30包括：

统计单元，用于统计所述相邻字的组合频率，并计算所述历史对话内容中的词密信息；

第一比对单元，用于将所述词密信息与预设阈值进行比对，若所述词密信息高于所述预设阈值，则得到所述历史对话内容中的所述特征词句。

在一些可选实施例中，所述映射模块40包括：

转换单元，用于基于词嵌入层将所述词向量转换为低维词，将所述低维词嵌入所述词句序列，得到词向量序列；

计算单元，用于根据多头自注意力模型计算所述词向量序列，以得到所述每个单词的隐藏状态。

在一些可选实施例中，所述第二构建模块50包括：

第二提取单元，用于基于LSTM提取所述历史对话内容中的句子级特征，并结合注意力机制聚合所述历史对话内容中的其它话语特征，以生成话语节点的上下文表示；

建立单元，用于建立有若干个情感标签的情感字典，并将所述情感字典中的所述若干个情感标签均转换为情感特征向量；

映射单元，用于将所述情感特征向量映射到高维空间，以得到情感节点初始化特征；

构建单元，用于基于所述话语节点的上下文表示以及所述情感节点初始化特征构建对话回复模型。

在一些可选实施例中，所述评估模块60包括：

第二比对单元，用于将所述匹配度与预设匹配度进行比对，若所述匹配度不符合所述预设匹配度；

执行单元，用于执行使所述对话回复模型基于所述隐藏状态进行训练，得到优化对话回复模型，并评估所述优化对话回复模型，以计算出所述优化对话回复模型的输出内容的匹配度，直至所述匹配度符合所述预设匹配度。

上述各模块、单元被执行时所实现的功能或操作步骤与上述方法实施例大体相同，在此不再赘述。

本发明实施例所提供的基于AI的对话回复生成系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。