一种基于自适应对话分割的对话摘要生成方法

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种基于自适应对话分割的对话摘要生成方法。

背景技术

摘要生成是自然语言处理中的一个重要研究课题，其是指对给定的单个或者多个文档进行梗概，即在保证能够反映原文档的重要内容的情况下，尽可能地保持简明扼要。文本摘要任务作为传统的自然语言处理核心任务之一，至今依旧有新的发展和创新，这一方面得益于模型、方法、语料的支撑，另一方面也是由于摘要任务自身的重要性。传统的摘要任务主要应用在新闻报道上，分析文本意图、理解内容、挖掘有价值信息，生成精炼的摘要。

近年来摘要生成任务主要是基于神经网络的抽取式摘要方法，将问题建模为序列标注和句子排序两类任务，但是这并不能很好地适用在对话文本中。

对话摘要是一项旨在浓缩对话，同时保留重要信息的任务。该任务旨在提高服务效率，避免耗时的对话阅读和理解。与文本摘要不同的是，对话形式表现为：多角色交流信息，内容更丰富、价值更大，而且一段对话往往包含多个主题，每个主题阐述的问题也不同。另一方面，特定主题的显着信息通常分散在多个话语中，并且可以单独呈现。值得注意的是，主题之间的划分并没有那么清晰，甚至互相交叉于不同主题话语之间，这也揭示了主题和主题之间的潜在关系。以图1为例，该对话涉及三个主题，课程事宜、食堂菜品味道和未来天气，其中对应的片段分别为主题1、主题2和主题3。A、B分别代表不同角色，随着对话轮次增加，主题从开始的“课程”偏移到“天气”。因此，对话摘要是一项具有挑战性的任务。

随着社交网络的发展，对话数据越来越多，如会议、闲聊、客服服务等场景下的对话，其长度往往超过5000字，使得模型难以总结如此长的对话，因此长对话摘要生成是一项有挑战性的任务。

目前处理长对话的手段主要包括：（1）稀疏注意力机制，这种注意力机制可以减少长对话所带来的计算成本，关注长对话中重要的信息。但是稀疏注意力机制也会减少模型预训练的性能并舍弃了一些上下文对话，会降低生成的摘要质量。（2）提取——生成框架方式，即从长对话中提取关键句子，然后再生成摘要。提取步骤可以去除无关紧要的对话句子并缩短输入的长度，但提取同时也会丢失关键句子甚至重复提取同一个信息，这直接降低了生成的摘要质量。

发明内容

为此，本发明的实施例提出一种基于自适应对话分割的对话摘要生成方法，以提升生成的摘要质量。

根据本发明一实施例的基于自适应对话分割的对话摘要生成方法，包括：

步骤1，采用Oracle操作提取出初始对话中的重要句子，对重要句子进行分词操作与串联操作，然后对重要句子进行编码，以获得重要句子的语义特征表示，将重要句子的语义特征表示输入到摘要生成模型，以生成训练阶段摘要，对训练阶段摘要与标准摘要计算损失值，再将损失值反馈到摘要生成模型中，优化摘要生成模型的参数，得到初步优化的摘要生成模型；

步骤2，设计基于摘要匹配段落算法，并通过基于摘要匹配段落算法将初始对话划分为多个段落，所述基于摘要匹配段落算法用于对初始对话包含的标准摘要进行切分，得到多个子标准摘要句，然后将每个切分好的子标准摘要句进行编码，得到子标准摘要的语义特征表示，最后，按顺序计算相邻两个子标准摘要的语义特征表示之间的余弦相似度，将相似度高于阈值的子标准摘要的语义特征表示划分到同一集合中，形成多个子标准摘要集合，对多个子标准摘要集合与初始对话中的每一句话计算一元组公共子序列分值，采用贪婪搜索策略将初始对话中的每一句话都分配到对应的子标准摘要集合中，得到的子标准摘要集合即为分好的段落；

步骤3，将步骤2得到的段落输入到初步优化的摘要生成模型中，以生成每个段落对应的子摘要，将每个子摘要分别与步骤2中得到的子标准摘要集合一一对应，计算每个子标准摘要集合与生成的子摘要之间的子损失值，然后对所有的子损失值求和取平均值，再次反馈到初步优化的摘要生成模型中，优化摘要生成模型的参数，得到训练完成的摘要生成模型；

步骤4，设计自适应对话聚类算法，并通过自适应对话聚类算法对初始对话进行处理，得到聚类好的段落，所述自适应对话聚类算法用于对初始对话按句子切分，再将切分得到的句子进行编码得到句子语义特征表示，计算句子语义特征表示之间的文本相似度，在计算文本相似度时，只计算同一角色此刻的话语与其上一句所说的话语之间的文本相似度，设定相似度分数阈值，超过相似度分数阈值的两个句子即属于同一个段落，最终自适应地将所有切分得到的句子聚类成若干段落；

步骤5，基于步骤4得到的段落，通过段落级注意力机制与句子级注意力机制进行信息交互，以获得段落交互语义特征；

步骤6，利用步骤3中训练完成的摘要生成模型，对所述段落交互语义特征按时间步进行解码，生成相应段落的子摘要句，最终聚合所有段落的子摘要句，形成最终摘要。

根据本发明实施例的基于自适应对话分割的对话摘要生成方法，在训练阶段，首先从初始对话中提取出重要句子，再将重要句子的语义特征表示输入到摘要生成模型，通过对训练阶段摘要与标准摘要计算损失值，初步优化摘要生成模型的参数，再通过基于摘要匹配段落算法将初始对话划分为多个段落，进而将段落输入到初步优化的摘要生成模型中，以生成每个段落对应的子摘要，并以此得到训练完成的摘要生成模型，在测试阶段，由于在测试过程的数据集不包含标准摘要的信息，因此设计自适应对话聚类算法，计算文本相似度，通过文本相似度分值划分并聚类句子形成段落，再通过段落级注意力机制与句子级注意力机制进行信息交互，以获得段落交互语义特征，最终利用训练完成的摘要生成模型，对段落交互语义特征按时间步进行解码，形成最终摘要，本发明通过设计自适应对话聚类算法将标准摘要进行划分，并且利用标准摘要可轻松将长对话句子聚类成段落，当没有标准摘要信息时，采用自适应对话聚类算法将长对话划分成段落，使生成的摘要更加准确与流畅，最终提升了生成的摘要质量。

附图说明

本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是一示例性的对话示意图；

图2是基于自适应对话分割的对话摘要生成方法的流程示意图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的处理长对话摘要生成方式中，提取操作丢失了对话上下文的信息和无法利用到对话中主题信息，主题对生成摘要非常重要。同时，对话中的上下文语义信息在摘要生成网络中非常重要。特别是，如何找到处理超长对话和找到对话中主题信息是关键。

为了解决上述问题，本发明提出一种基于自适应对话分割的对话摘要生成方法，请参阅图2，一种基于自适应对话分割的对话摘要生成方法，包括步骤1~步骤6：

步骤1，采用Oracle操作提取出初始对话中的重要句子，对重要句子进行分词操作与串联操作，然后对重要句子进行编码，以获得重要句子的语义特征表示，将重要句子的语义特征表示输入到摘要生成模型，以生成训练阶段摘要，对训练阶段摘要与标准摘要计算损失值，再将损失值反馈到摘要生成模型中，优化摘要生成模型的参数，得到初步优化的摘要生成模型。

在本步骤中，目标是训练一个具有生成摘要能力的生成器。首先，对初始对话进行Oracle操作，得到与标准摘要高度相关的对话片段，称之为重要对话。这里的Oracle操作是以标准摘要为目标对初始对话进行贪婪搜索，筛选出与摘要最相关的句子。

其中，对初始对话

Oracle操作的具体过程为：给定一个空集，迭代地从初始对话中挑选句子，将挑选好的句子拼接成话语片段，当话语片段与标准摘要计算的ROUGE-1、ROUGE-2和ROUGE-L的平均分数最高时（ROUGE-1和ROUGE-2用于评价摘要的信息性，实体、关键词等长度往往较短；ROUGE-L用于评价摘要的流利度），选取当前最高分数的片段作为Oracle操作的输出，其中，ROUGE-1、ROUGE-2和ROUGE-L分别代表一元组子序列重合率、二元组子序列重合率与最长公共子序列重合率，其中，ROUGE-L对应的公式表述为：

；

；

；

其中，

由于ROUGE-1、ROUGE-2和ROUGE-L同属ROUGE-N系列，因此，ROUGE-1和ROUGE-2对应的公式表述可以参照上述描述将长度替换为1、2即可。

然后使用BART作为生成模型的主干网络。将Oracle操作所获得的重要句子集合输入到BART生成主干网络中，生成摘要，并与标准摘要计算损失优化BART生成网络。

具体的，步骤1中，对训练阶段摘要与标准摘要计算损失值时，损失函数

；

；

；

；

其中，

步骤2，设计基于摘要匹配段落算法，并通过基于摘要匹配段落算法将初始对话划分为多个段落，所述基于摘要匹配段落算法用于对初始对话包含的标准摘要进行切分，得到多个子标准摘要句，然后将每个切分好的子标准摘要句进行编码，得到子标准摘要的语义特征表示，最后，按顺序计算相邻两个子标准摘要的语义特征表示之间的余弦相似度，将相似度高于阈值的子标准摘要的语义特征表示划分到同一集合中，形成多个子标准摘要集合，对多个子标准摘要集合与初始对话中的每一句话计算一元组公共子序列分值，采用贪婪搜索策略将初始对话中的每一句话都分配到对应的子标准摘要集合中，得到的子标准摘要集合即为分好的段落。

步骤2中，通过基于摘要匹配段落算法先将标准摘要

；

；

其中，

步骤2中，对多个子标准摘要集合与初始对话中的每一句话计算一元组公共子序列分值，采用贪婪搜索策略将初始对话中的每一句话都分配到对应的子标准摘要集合中，得到的子标准摘要集合即为分好的段落，具体包括：

先创建空集，然后将初始对话

步骤3，将步骤2得到的段落输入到初步优化的摘要生成模型中，以生成每个段落对应的子摘要，将每个子摘要分别与步骤2中得到的子标准摘要集合一一对应，计算每个子标准摘要集合与生成的子摘要之间的子损失值，然后对所有的子损失值求和取平均值，再次反馈到初步优化的摘要生成模型中，优化摘要生成模型的参数，得到训练完成的摘要生成模型。

步骤3中，在计算每个子标准摘要集合与生成的子摘要之间的子损失值，然后对所有的子损失值求和取平均值时，满足以下条件式：

；

；

；

；

；

其中，

步骤4，设计自适应对话聚类算法，并通过自适应对话聚类算法对初始对话进行处理，得到聚类好的段落，所述自适应对话聚类算法用于对初始对话按句子切分，再将切分得到的句子进行编码得到句子语义特征表示，计算句子语义特征表示之间的文本相似度，在计算文本相似度时，只计算同一角色此刻的话语与其上一句所说的话语之间的文本相似度，设定相似度分数阈值，超过相似度分数阈值的两个句子即属于同一个段落，最终自适应地将所有切分得到的句子聚类成若干段落。

其中，文本相似度的计算公式为：

；

；

其中，

步骤5，基于步骤4得到的段落，通过段落级注意力机制与句子级注意力机制进行信息交互，以获得段落交互语义特征。

其中，通过独立关注每个段落内句子语义特征；将段落内的句子语义特征输入到句子级注意力模块，并且获得注意力分数；句子级注意力分数对不重要的语义进行抑制；并对注意力分数进行归一化，以获得句子级重要特征权重；句子级特征权重与输入句子向量进行逐元素相乘计算，进一步突出段落内重要句子特征向量。

具体的，段落级注意力机制的表达式为：

；

；

；

；

其中，

关注段落与段落间的句子之间的语义联系；将多个目标段落的句子输入到段落级注意力模块，并且获得段落级注意力分数；对段落级注意力进行段落判定，强制关注不同段落之间句子语义联系，以获得不同段落句子之间的注意力分数，并对注意力分数进行归一化，以获得段落间句子级联系特征权重；段落间句子级联系特征权重与输入句子向量进行逐元素相乘计算，进一步突出段落间句子联系的特征向量。

具体的，句子级注意力机制的表达式为：

；

；

；

；

其中，

段落级注意力机制与句子级注意力机制进行信息交互的表达式为：

；

；

其中，

步骤6，利用步骤3中训练完成的摘要生成模型，对所述段落交互语义特征按时间步进行解码，生成相应段落的子摘要句，最终聚合所有段落的子摘要句，形成最终摘要。

最终摘要

；

；

；

；

其中，

根据本实施例提供的基于自适应对话分割的对话摘要生成方法，在训练阶段，首先从初始对话中提取出重要句子，再将重要句子的语义特征表示输入到摘要生成模型，通过对训练阶段摘要与标准摘要计算损失值，初步优化摘要生成模型的参数，再通过基于摘要匹配段落算法将初始对话划分为多个段落，进而将段落输入到初步优化的摘要生成模型中，以生成每个段落对应的子摘要，并以此得到训练完成的摘要生成模型，在测试阶段，由于在测试过程的数据集不包含标准摘要的信息，因此设计自适应对话聚类算法，计算文本相似度，通过文本相似度分值划分并聚类句子形成段落，再通过段落级注意力机制与句子级注意力机制进行信息交互，以获得段落交互语义特征，最终利用训练完成的摘要生成模型，对段落交互语义特征按时间步进行解码，形成最终摘要，本发明通过设计自适应对话聚类算法将标准摘要进行划分，并且利用标准摘要可轻松将长对话句子聚类成段落，当没有标准摘要信息时，采用自适应对话聚类算法将长对话划分成段落，使生成的摘要更加准确与流畅，最终提升了生成的摘要质量。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。