文本摘要生成方法、装置、设备及计算机存储介质

技术领域

本申请涉及自然语言处理领域，具体涉及一种文本摘要生成方法、装置、设备及计算机存储介质。

背景技术

随着科技的飞速发展，网络上的各种各样的文章资料让人眼花缭乱，这些杂乱的文章很多时候利用价值并不大，而且很多吸引人的标题并不符实，导致容易被“标题党”欺骗，尤其是对一些资料投入精力进行阅读后才发现并不是自己想要的，既浪费了大量的时间，又大大的降低了工作效率，为了确定当前所掌握的资料是否是自己真正想要的，更快捷的找到自己满意的内容，需要对未知的资料进行快速的浏览对其进行甄别，从而得到自己真正需要的有价值的资料。现有相对成熟的摘要生成方法一般都采用的是抽取式的方式，其核心思想就是在原文中寻找一些关键词、句来组成一篇摘要。

传统的摘要获取方法一般通过循环神经网络(Recurrent Neural Network,RNN)的变体，例如：门限循环单元(Gated Recurrent Unit,GRU)和长短期记忆模型(LongShort-Term Memory,LSTM)等实现，但是这些方法获取摘要的精度不高。

发明内容

本申请提供一种文本摘要生成方法、装置、设备及计算机存储介质，旨在解决现有的摘要获取方法获取的摘要精度不高的问题。

第一方面，本申请提供一种文本摘要生成方法，所述方法包括：

对待抽取文本进行处理，得到所述待抽取文本中目标句子的句意特征，以及所述待抽取文本的全文特征；

将所述句意特征中的各词特征进行匹配，得到所述目标句子的句内重要性特征；

将所述句意特征和所述全文特征进行匹配，得到所述目标句子在所述待抽取文本中的全文重要性特征；

根据所述句内重要性特征和所述全文重要性特征，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述将所述句意特征中的各词特征进行匹配，得到所述目标句子的句内重要性特征，包括：

通过预设摘要生成模型中的细化自匹配层，将所述句意特征中的各词特征进行匹配，计算得到所述目标句子的语义中心信息与注意力分布信息；

通过所述细化自匹配层和所述预设摘要生成模型中的指针网络解码层，根据所述语义中心信息和所述注意力分布信息，提取所述目标句子的句内重要性特征。

在本申请一种可能的实现方式中，所述根据所述句内重要性特征和所述全文重要性特征，生成所述待抽取文本的摘要，包括：

通过预设摘要生成模型中的细化自匹配层根据所述句内重要性特征和所述全文重要性特征对所述句意特征进行处理，得到所述目标句子的第一上下文向量；

通过所述细化自匹配层根据所述第一上下文向量和所述句意特征，提取所述目标句子对应的待选取句子特征，其中，所述待选取句子特征是所述待抽取文本中除所述目标句子之外的句子的特征；

通过所述细化自匹配层和所述预设摘要生成模型中的指针网络解码层，根据所述待选取句子特征和所述句意特征，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述根据所述待选取句子特征和所述句意特征，生成所述待抽取文本的摘要，包括：

通过所述细化自匹配层根据所述待选取句子特征和所述句意特征，计算得到所述目标句子的重要信息比重；

通过所述细化自匹配层和所述预设摘要生成模型中的指针网络解码层，根据所述重要信息比重、所述句意特征和所述待选取句子特征，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述根据所述句内重要性特征和所述全文重要性特征，生成所述待抽取文本的摘要，包括：

通过预设摘要生成模型中的细化自匹配层，根据所述句内重要性特征和所述全文重要性特征对所述句意特征进行修正，得到包含上下文信息的修正句意特征；

通过所述预设摘要生成模型中的指针网络解码层，对所述修正句意特征进行解码处理，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述通过所述预设摘要生成模型中的指针网络解码层，对所述修正句意特征进行解码处理，生成所述待抽取文本的摘要，包括：

通过所述预设摘要生成模型中的指针网络解码层，根据所述修正句意特征和所述全文特征，提取所述目标句子的重要性特征；

通过所述指针网络解码层，根据所述重要性特征，预测所述目标句子的重要性得分；

通过所述指针网络解码层，根据所述重要性得分，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述通过所述预设摘要生成模型中的指针网络解码层，根据所述修正句意特征和所述全文特征，提取所述目标句子的重要性特征，包括：

通过所述预设摘要生成模型中的指针网络解码层，根据所述修正句意特征和所述全文特征，计算得到所述修正句意特征与所述全文特征之间的相似度；

通过所述指针网络解码层，根据所述相似度和所述全文特征，确定所述目标句子的第二上下文向量；

通过所述指针网络解码层，根据所述第二上下文向量和所述全文特征，提取所述目标句子的重要性特征。

第二方面，本申请提供一种文本摘要生成装置，所述文本摘要生成装置包括：

处理单元，用于对待抽取文本进行处理，得到所述待抽取文本中目标句子的句意特征，以及所述待抽取文本的全文特征；

自匹配单元，用于将所述句意特征中的各词特征进行匹配，得到所述目标句子的句内重要性特征；

全局匹配单元，用于将所述句意特征和所述全文特征进行匹配，得到所述目标句子在所述待抽取文本中的全文重要性特征；

生成单元，用于根据所述句内重要性特征和所述全文重要性特征，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述自匹配单元还用于：

通过预设摘要生成模型中的细化自匹配层，将所述句意特征中的各词特征进行匹配，计算得到所述目标句子的语义中心信息与注意力分布信息；

根据所述语义中心信息和所述注意力分布信息，提取所述目标句子的句内重要性特征。

在本申请一种可能的实现方式中，所述生成单元还用于：

通过预设摘要生成模型中的细化自匹配层根据所述句内重要性特征和所述全文重要性特征对所述句意特征进行处理，得到所述目标句子的第一上下文向量；

通过所述细化自匹配层根据所述第一上下文向量和所述句意特征，提取所述目标句子对应的待选取句子特征，其中，所述待选取句子特征是所述待抽取文本中除所述目标句子之外的句子的特征；

通过所述细化自匹配层和所述预设摘要生成模型中的指针网络解码层，根据所述待选取句子特征和所述句意特征，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述生成单元还用于：

通过所述细化自匹配层根据所述待选取句子特征和所述句意特征，计算得到所述目标句子的重要信息比重；

通过所述细化自匹配层和所述预设摘要生成模型中的指针网络解码层，根据所述重要信息比重、所述句意特征和所述待选取句子特征，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述生成单元还用于：

通过预设摘要生成模型中的细化自匹配层，根据所述句内重要性特征和所述全文重要性特征对所述句意特征进行修正，得到包含上下文信息的修正句意特征；

通过所述预设摘要生成模型中的指针网络解码层，对所述修正句意特征进行解码处理，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述生成单元还用于：

通过所述预设摘要生成模型中的指针网络解码层，根据所述修正句意特征和所述全文特征，提取所述目标句子的重要性特征；

通过所述指针网络解码层，根据所述重要性特征，预测所述目标句子的重要性得分；

通过所述指针网络解码层，根据所述重要性得分，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述生成单元还用于：

通过所述预设摘要生成模型中的指针网络解码层，根据所述修正句意特征和所述全文特征，计算得到所述修正句意特征与所述全文特征之间的相似度；

通过所述指针网络解码层，根据所述相似度和所述全文特征，确定所述目标句子的第二上下文向量；

通过所述指针网络解码层，根据所述第二上下文向量和所述全文特征，提取所述目标句子的重要性特征。

第三方面，本申请还提供一种文本摘要生成设备，所述文本摘要生成设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本申请提供的任一种文本摘要生成方法中的步骤。

第四方面，本申请还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的文本摘要生成方法中的步骤。

综上所述，本申请提供的文本摘要生成方法包括：对待抽取文本进行处理，得到所述待抽取文本中目标句子的句意特征，以及所述待抽取文本的全文特征；将所述句意特征中的各词特征进行匹配，得到所述目标句子的句内重要性特征；将所述句意特征和所述全文特征进行匹配，得到所述目标句子在所述待抽取文本中的全文重要性特征；根据所述句内重要性特征和所述全文重要性特征，生成所述待抽取文本的摘要。由于全文重要性特征表征了目标句子与待抽取文本的语义匹配程度，而句内重要性特征表征了目标句子内单词的重要性分布情况，因此同时根据全文重要性特征和句内重要性特征生成的摘要既考虑了目标句子在全文中的语境，又考虑了目标句子句内的局部特征，保证摘要可以准确表征待抽取文本的全文语义。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的文本摘要生成方法的应用场景示意图；

图2是本申请实施例中提供的文本摘要生成方法的一种流程示意图；

图3是本申请实施例中提供的注意力分布的一种示意图

图4是本申请实施例中提供的获取修正句意特征的一种流程示意图；

图5是本申请实施例中提供的生成摘要的一种流程示意图；

图6是本申请实施例中提供的提取重要性特征的一种流程示意图；

图7是本申请实施例中提供的文本摘要生成装置的一个实施例结构示意图；

图8是本申请实施例中提供的文本摘要生成设备的一个实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的过程进行详细阐述，以避免不必要的细节使本申请实施例的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请实施例所公开的原理和特征的最广范围相一致。

本申请实施例提供一种文本摘要生成方法、装置、设备和计算机存储介质。其中，该文本摘要生成装置可以集成在文本摘要生成设备中，该文本摘要生成设备可以是服务器，也可以是终端等设备。

首先，在介绍本申请实施例之前，先介绍下本申请实施例关于应用背景的相关内容。

当前获取文本摘要的方法主要包括摘要生成和摘要抽取两种方法。相比摘要生成，摘要抽取由于是直接从文本中抽取一整个句子作为摘要，因此可以避免大多数的OOV(out of vocabulary，词汇表外)问题。本申请实施例中的方法、装置、设备和计算机存储介质主要应用在摘要抽取领域，因此本申请实施例中描述的摘要生成可以理解为摘要抽取的另一种表述。但是需要说明的是，本申请实施例中的部分技术特征仍然可以应用在摘要生成领域，不应将摘要生成或摘要抽取作为对本申请实施例的限制。

在本申请实施例中，可以采用训练好的预设摘要生成模型对需要获取摘要的文本进行处理，以生成摘要。预设摘要生成模型具体可以包括以下层级：

词嵌入层，可以具体包括word2vec、双向训练语言(Bidirectional EncoderRepresentations from Transformers)等子层，用于将输入文本中的单词转换为词嵌入，并将词嵌入输入层次编码层。

层次编码层，可以具体包括卷积神经网络和双向LSTM(Long Short-Term Memory，长短期记忆)，用于对词嵌入进行编码，得到编码后单词的句子表示，并通过双向LSTM对句子表示进行初步的上下文信息特征提取，最终将提取后得到的隐状态向量输入细化自匹配层。

细化自匹配层，可以具体包括LSTM，用于对接收到的隐状态向量进行修正，以得到修正后的隐状态向量，并将修正后的隐状态向量输入后续的解码层。

上述层级均为编码侧，当本申请实施例的方法在上述层级中进行时，时间步、时刻是指在编码侧的时间步和时刻。

指针网络解码层，本层级为解码侧，可以具体包括作为解码器的LSTM网络，用于对修正后的隐状态向量进行解码，并对解码后的结果进行预测，以判断是否将句子作为输入文本的摘要。

在本申请实施例中，以时间步、时刻、注意力分配、上下文向量为例的术语均为NLP(Natural Language Processing，自然语言处理)中通用的术语，不进行具体解释。

本申请实施例文本摘要生成方法的执行主体可以为本申请实施例提供的文本摘要生成装置，或者集成了该文本摘要生成装置的服务器设备、物理主机或者用户设备(UserEquipment，UE)等不同类型的文本摘要生成设备，其中，文本摘要生成装置可以采用硬件或者软件的方式实现，UE具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(Personal Digital Assistant，PDA)等终端设备。

该文本摘要生成设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式。

参见图1，图1是本申请实施例所提供的文本摘要生成系统的场景示意图。其中，该文本摘要生成系统可以包括文本摘要生成设备100，文本摘要生成设备100中集成有文本摘要生成装置。

另外，如图1所示，该文本摘要生成系统还可以包括存储器200，用于存储数据，如存储文本数据。

需要说明的是，图1所示的文本摘要生成系统的场景示意图仅仅是一个示例，本申请实施例描述的文本摘要生成系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着文本摘要生成系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。

下面，开始介绍本申请实施例提供的文本摘要生成方法，本申请实施例中以文本摘要生成设备作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体。

参照图2，图2是本申请实施例提供的文本摘要生成方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该文本摘要生成方法具体可以包括以下步骤201～步骤204，其中：

201、对待抽取文本进行处理，得到所述待抽取文本中目标句子的句意特征，以及所述待抽取文本的全文特征。

待抽取文本是指待抽取摘要的文本。本申请实施例对待抽取文本的文本类型、文本语言和文本字数等文本属性不作限制，示例性地，待抽取文本可以是待抽取摘要的中文法律文书文本，也可以是待抽取摘要的藏文小说文本，还可以是待抽取摘要的，包含数字以及多种语言文字的新闻文本，文本的字数可以是1000字，也可以是2000字等。同样地，本申请实施例不对获取待抽取文本的方法进行限制。示例性地，待抽取文本可以是通过爬虫(Python)等算法从互联网中获取的文本，也可以是用户通过复印机、键盘等携带有输入功能的外设输入至文本摘要生成设备的文本。目标句子则是待抽取文本中的任意一个句子，可以理解为文本摘要生成模型正在预测是否作为摘要进行抽取的当前句子。

句意特征是指包含目标句子中句意信息的特征向量。在本申请实施例提供的预设摘要生成模型中，可以理解为对目标句子在层次编码层进行处理后得到隐状态向量。

全文特征是将待抽取文本中每个句子的句子特征按文本顺序组合得到的特征向量。例如，若待抽取文本中包含按顺序排列的A,B,C三个句子，A,B,C分别对应的句子特征为a,b,c，则全文特征是指(a,b,c)。在本申请实施例提供的预设摘要生成模型中，可以理解为将待抽取文本中的每个句子在层次编码层进行处理并组合后得到的隐状态向量。

文本摘要生成装置可以通过预设摘要生成模型提取目标句子的句意特征。

在一些实施例中，文本摘要生成装置可以通过预设摘要生成模型中的词嵌入层将目标句子转换成句向量后，通过预设摘要生成模型中的层次化编码层对句向量进行特征提取以得到句意特征。例如，文本摘要生成设备可以首先通过词嵌入层中的word2vec子层或者双向训练语言子层将目标句子中的单词转换成各自对应的词嵌入，然后通过层次化编码层中的卷积神经网络通过一维卷积操作对得到的词向量进行特征提取，以对词嵌入编码，得到各单词的句子表示，句子表示包含了对应单词在目标句子中的局部上下文信息。例如，卷积神经网络可以通过固定大小的窗口，根据式(1)的公式对得到的词嵌入进行特征提取，以得到句子表示：

其中，x

s＝(x

其中，s是目标句子的句向量。

需要说明的是，在获取全文特征时，同样可以采用上述方法得到待抽取文本中第i个句子的句向量s

文本摘要生成装置对句向量进行进一步信息提取，即可得到目标句子的句意特征。

在一些实施例中，可以通过层次编码层中的双向LSTM对式(2)中得到的句向量进行处理，得到目标句子的句意特征，以增加句意特征中包含的上下文信息，提高摘要生成的准确性。其中，双向LSTM包含一个正向传递的RNN(Recurrent Neural Network，循环神经网络)和一个逆向传递的RNN，因此双向LSTM能够同时利用过去时刻和未来时刻的信息，得到的句意特征会比单向LSTM更加准确。

具体地，可以通过式(3)-式(5)对句向量进行处理，以得到目标句子的句意特征：

其中，

需要说明的是，在获取全文特征时，同样可以采用上述方法得到待抽取文本中第i个句子的句子特征h

202、将所述句意特征中的各词特征进行匹配，得到所述目标句子的句内重要性特征。

句内重要性特征是指仅考虑目标句子，不考虑目标句子与待抽取文本中其他句子的关系时，目标句子内各单词对于表达句意的重要性分布特征。例如对于句子“childrenmake a pray at Nandi’s feet”，单词“make”、“a”、“pray”在该句中更能表达目标句子的句意，因此该句的句内重要性特征是指可以突出单词“make”、“a”、“pray”的重要性的分布信息。在NLP中，或者在本申请实施例提供的预设摘要生成模型中，可以理解为将更多的注意力落在单词“make”、“a”、“pray”上，即计算时对于单词“make”、“a”、“pray”分配的注意力权重更大。所以句内重要性特征可以表征目标句子中各单词的上下文语境情况。

在一些实施例中，可以根据目标句子的语义中心信息和注意力分布信息确定句内重要性特征。细化自匹配层中，文本摘要生成装置可以通过高斯分布建模，以下述步骤(1)和步骤(2)的方法提取目标句子的句内重要性特征。此时，所述将所述句意特征中的各词特征进行匹配，得到所述目标句子的句内重要性特征包括：

(1)通过预设摘要生成模型中的细化自匹配层，将所述句意特征中的各词特征进行匹配，计算得到所述目标句子的语义中心信息与注意力分布信息。

语义中心信息是指目标句子中重要性最高的单词的信息。以句子“children makea pray at Nandi’s feet”为例，其中单词“pray”最能表达出整个句子的意思，因此语义中心信息可以包括单词“pray”在目标句子中的位置，以及单词“pray”的含义等信息。具体地，可以通过式(6)计算得到语义中心信息：

其中，μ

注意力分布信息是指目标句子中单词重要性的分布作用域，在NLP中，或者在本申请实施例提供的预设摘要生成模型中，可以理解为目标句子中注意力的高斯分布作用域。具体地，可以通过式(7)计算得到注意力分布信息：

其中，δ

(2)通过所述细化自匹配层和所述预设摘要生成模型中的指针网络解码层，根据所述语义中心信息和所述注意力分布信息，提取所述目标句子的句内重要性特征。

在本申请实施例中，结合语义中心信息和注意力分布信息，可以确定仅考虑目标句子时对目标句子的每个单词分配的注意力情况，即句内重要性特征。例如对于句子“children make a pray at Nandi’s feet”，假设语义中心信息是单词“pray”的信息，则仅考虑目标句子时，对目标句子中每个单词分配的注意力会以单词“pray”为中心，以注意力分布信息作为作用域呈高斯分布。参考图3可以更方便地理解，图3中的横坐标为目标句子中的单词，纵坐标为注意力，可见在理解目标句子的句意时，文本摘要生成装置将为靠近“pray”的单词分配更多的注意力。具体地，可以采用式(7)和式(8)计算得到句内重要性特征：

其中，μ

203、将所述句意特征和所述全文特征进行匹配，得到所述目标句子在所述待抽取文本中的全文重要性特征。

全文重要性特征是指表征目标句子的句意和待抽取文本的全文语义之间匹配程度的特征向量，可以理解为将目标句子在待抽取文本内进行自匹配后得到的特征向量。在NLP中，或者在本申请实施例提供的预设摘要生成模型中，可以理解为计算注意力权重时的注意力向量。目标句子的句意与待抽取文本的全文语义匹配程度越高，说明目标句子越能表达待抽取文本的全文语义，即作为待抽取文本的摘要。示例性地，可以通过预设摘要生成模型中的细化自匹配层计算得到全文重要性特征。具体地，可以通过式(9)计算得到全文重要性特征：

其中，q

需要说明的是，式(9)仅为一种获得全文重要性特征的方法，不能理解为对本申请实施例的限制。例如还可以采用general、concat等方法计算得到全文重要性特征。当采用general法时，可以通过式(10)计算得到全文重要性特征：

其中，q

当采用concat法时，可以通过式(11)计算得到全文重要性特征：

其中，q

204、根据所述句内重要性特征和所述全文重要性特征，生成所述待抽取文本的摘要。

在一些实施例中，可以根据句内重要性特征和全文重要性特征对目标句子的句意特征进行修正，以得到包含全文上下文信息的修正句意特征，然后根据修正句意特征生成摘要。此时，所述根据所述句内重要性特征和所述全文重要性特征，生成所述待抽取文本的摘要包括：

(1)通过预设摘要生成模型中的细化自匹配层，根据所述句内重要性特征和所述全文重要性特征对所述句意特征进行修正，得到包含上下文信息的修正句意特征。

(2)通过所述预设摘要生成模型中的指针网络解码层，对所述修正句意特征进行解码处理，生成所述待抽取文本的摘要。

其中，修正句意特征是比句意特征包含更多上下文信息的特征向量。在本申请实施例中，可以根据句内重要性特征和全文重要性特征，计算得到全文特征中每个句子特征和句意特征匹配时的匹配注意力权重，并根据匹配注意力权重提高句意特征中的上下文语境，以得到修正句意特征。示例性地，修正句意特征可以理解为编码侧最终输出，并输入至指针网络解码层的隐状态向量。

为了方便理解，可以参考图4(a)-图4(c)，图4(a)-图4(c)中与图3相同，横坐标为目标句子中的单词，纵坐标为注意力。图4(a)是全文重要性特征中，目标句子所包含各单词的注意力分布情况，图4(b)是句内重要性特征中，目标句子所包含各单词的注意力分布情况，图4(c)是匹配注意力的分布情况。可见匹配注意力权重可以增大分配给目标句子中重要单词的注意力，例如图4(c)中的单词“make”、“a”、“pray”。因此根据匹配注意力权重和句意特征计算得到的修正句意特征中，包含的上下文信息更加准确，生成的摘要可以精确地表达待抽取文本的主旨。

示例性地，可以通过以下方法得到修正句意特征，并根据修正句意特征生成摘要：

(A)通过预设摘要生成模型中的细化自匹配层根据所述句内重要性特征和所述全文重要性特征对所述句意特征进行处理，得到所述目标句子的第一上下文向量。

第一上下文向量是用于表征目标句子在待抽取文本中重要性分布的特征向量(context vector)。具体地，可以通过式(12)-式(13)得到第一上下文向量：

α

其中，α

由于α

(B)通过所述细化自匹配层根据所述第一上下文向量和所述句意特征，提取所述目标句子对应的待选取句子特征，其中，所述待选取句子特征是所述待抽取文本中除所述目标句子之外的句子的特征。

待选取句子特征是指待抽取文本中除目标句子之外的句子的语义特征。例如对于包含句子A,B,C的待抽取文本，如果目标句子是B，则待选取句子特征是句子A和句子C的语义特征。示例性地，可以通过式(14)计算得到待选取句子特征：

其中，m

(C)通过所述细化自匹配层和所述预设摘要生成模型中的指针网络解码层，根据所述待选取句子特征和所述句意特征，生成所述待抽取文本的摘要

文本摘要生成装置可以通过预设摘要生成模型中的细化自匹配层根据待选取句子特征和句意特征计算得到修正句意特征，然后通过预设摘要生成模型中的指针网络编码层根据修正句意特征生成摘要。示例性地，文本摘要生成装置可以为待选取句子特征和句意特征分别分配不同的比重，然后根据待选取句子特征，句意特征和各自的比重计算得到修正句意特征。

在一些实施例中，可以根据待选取句子特征和句意特征计算得到各自的比重，以增加比重的自适应性。此时，所述根据所述待选取句子特征和所述句意特征，生成所述待抽取文本的摘要，包括：

(一)通过所述细化自匹配层根据所述待选取句子特征和所述句意特征，计算得到所述目标句子的重要信息比重。

重要信息比重是指目标句子包含待抽取文本中全文信息的比重，也可以理解为目标句子与待抽取文本的相关程度。重要信息比重越大，目标句子与待抽取文本越相关。例如对于新闻文本，通常会包含新闻简介，新闻细节描述和引用来源等文本。如果目标句子是新闻简介中的句子，则容易理解的是计算得到的重要信息比重会较大。如果目标句子是引用来源等与新闻内容无关的句子，则容易理解的是计算得到的重要信息比重会较小。示例性地，重要信息比重在模型中可以理解为门控单元的参数。具体地，可以通过式(15)计算得到重要信息比重：

λ

其中，λ

(二)通过所述细化自匹配层和所述预设摘要生成模型中的指针网络解码层，根据所述重要信息比重、所述句意特征和所述待选取句子特征，生成所述待抽取文本的摘要。

由于λ

文本摘要生成装置可以通过预设摘要生成模型中的细化自匹配层，根据句意特征，待选取句子特征和各自的比重计算得到目标句子包含的全文信息，根据全文信息和句意特征计算得到修正句意特征。然后通过预设摘要生成模型中的指针网络解码层对修正句意特征进行解码，进而生成待抽取文本的摘要。具体地，可以通过式(16)-式(17)计算得到修正句意特征：

glo

h

其中，glo

需要说明的是，步骤201-步骤204中出现的时间步均为编码侧的时间步。

综上所述，本申请实施例提供的文本摘要生成方法包括：对待抽取文本进行处理，得到所述待抽取文本中目标句子的句意特征，以及所述待抽取文本的全文特征；将所述句意特征中的各词特征进行匹配，得到所述目标句子的句内重要性特征；将所述句意特征和所述全文特征进行匹配，得到所述目标句子在所述待抽取文本中的全文重要性特征；根据所述句内重要性特征和所述全文重要性特征，生成所述待抽取文本的摘要。由于全文重要性特征表征了目标句子与待抽取文本的语义匹配程度，而句内重要性特征表征了目标句子内单词的重要性分布情况，因此同时根据全文重要性特征和句内重要性特征生成的摘要既考虑了目标句子在全文中的语境，又考虑了目标句子句内的局部特征，保证摘要可以准确表征待抽取文本的全文语义。

文本摘要生成装置可以采用常用的解码器(decoder)对修正句意特征进行解码，以生成待抽取文本的摘要。例如，文本摘要生成装置可以通过SeqLab(序列标记)的方法对修正句意特征进行解码。但是如果待抽取文本的文本长度较长，则计算速度会较慢。基于此，文本摘要生成装置可以通过预设摘要生成模型中的指针网络解码层对修正句意特征进行解码。参考图5，此时所述通过所述预设摘要生成模型中的指针网络解码层，对所述修正句意特征进行解码处理，生成所述待抽取文本的摘要，包括：

301、通过所述预设摘要生成模型中的指针网络解码层，根据所述修正句意特征和所述全文特征，提取所述目标句子的重要性特征。

重要性特征是指在指针网络解码层，根据修正句意特征和全文特征匹配计算得到的注意力向量。示例性地，可以首先将编码时间步最后的修正句意特征输入指针网络解码层中作为解码器的LSTM网络，得到解码后的句意特征，然后根据解码后的句意特征和全文特征中各句子的句子特征，匹配计算得到重要性特征。例如，可以通过式(18)计算得到重要性特征：

其中，

在一些实施例中，还可以将全文特征中各句子的句子特征通过上文中计算修正句意特征的方法，计算得到各句子对应的参考修正句意特征，然后以各句子对应的参考修正句意特征替代式(18)中的句子特征，以提高重要性特征的精确性。具体地，可以通过式(19)计算得到重要性特征：

其中，

需要说明的是，步骤301-步骤303中出现的参考修正句意特征和修正句意特征均指将编码时间步最后的参考修正句意特征或修正句意特征，且时间步均指解码侧的时间步。

302、通过所述指针网络解码层，根据所述重要性特征，预测所述目标句子的重要性得分。

重要性得分是指根据目标句子包含待抽取文本中全文语义的情况，计算得到的得分。示例性地，重要性得分可以理解为目标句子作为摘要的概率，重要性得分越高，目标句子包含的全文语义越多，因此作为摘要的概率越高。具体地，可以通过式(20)计算得到重要性得分：

其中，p

303、通过所述指针网络解码层，根据所述重要性得分，生成所述待抽取文本的摘要。

文本摘要生成装置可以将根据时间步最后的d

在一些实施例中，还可以将所有时间步计算得到的p

通过步骤301-步骤303，文本摘要生成装置可以直接根据重要性特征，即目标句子的注意力向量对重要性得分进行预测，而传统的摘要生成方法中需要根据注意力向量生成新的文本序列后，再对新的文本序列进行预测，因此本申请实施例中的方法计算速度更快。

在一些实施例中，还可以再次对d

401、通过所述预设摘要生成模型中的指针网络解码层，根据所述修正句意特征和所述全文特征，计算得到所述修正句意特征与所述全文特征之间的相似度。

相似度可以理解为步骤(A)中的注意力权重。具体地，可以通过式(21)-式(22)计算得到相似度：

其中，

需要说明的是，在执行步骤401时可以与步骤301一样，将全文特征中各句子的句子特征通过上文中计算修正句意特征的方法，计算得到各句子对应的参考修正句意特征，然后以各句子对应的参考修正句意特征替代式(18)中的句子特征，以提高重要性特征的精确性。

402、通过所述指针网络解码层，根据所述相似度和所述全文特征，确定所述目标句子的第二上下文向量。

第二上下文向量的解释可以参考第一上下文向量的解释，具体地，可以通过式(23)确定第二上下文向量：

其中，z

需要说明的是，在执行步骤402时可以与步骤301一样，将全文特征中各句子的句子特征通过上文中计算修正句意特征的方法，计算得到各句子对应的参考修正句意特征，然后以各句子对应的参考修正句意特征替代式(23)中的句子特征，以提高重要性特征的精确性。

403、通过所述指针网络解码层，根据所述第二上下文向量和所述全文特征，提取所述目标句子的重要性特征。

可见，由于第二上下文向量包含更多的上下文信息，因此根据第二上下文向量解码的结果所生成的摘要相比直接根据修正句意特征解码的结果所生成的摘要更加准确，且在上下文信息的基础上可以避免提取到的摘要出现语义重复等问题。此外，计算第二上下文向量时还考虑了待抽取文本中其他句子的句子特征，在这些句子特征中包含了之前已经被选择作为过目标句子的句子特征，因此根据第二上下文向量和全文特征提取重要性特征时，还结合了之前已选择过的句子的重要性增益，进一步提高了摘要提取的精确性。

下面以待抽取文本为新闻文本为例，描述一种抽取摘要的具体流程，需要说明的是，下文中的说明不能理解为对本申请实施例的限制。

(1)获取新闻文本，通过预设摘要生成模型中的词嵌入层将新闻文本中的每一个句子都转换成句向量。

(2)对新闻文本中的每一个句子，都分别通过词嵌入层中的双向LSTM进行处理，得到全文特征，并获取对目标句子处理时得到的句意特征。

(3A)通过预设摘要生成模型中的细化自匹配层对句意特征进行处理，得到目标句子中的语义中心信息和注意力分布信息，并根据语义中心信息和注意力分布信息提取句内重要性特征。

(3B)执行(3A)的同时，通过预设摘要生成模型中的细化自匹配层，将句意特征和全文特征进行相似性匹配，得到全文重要性特征。

(4)将句内重要性特征和全文重要性特征作为参数，通过预设摘要生成模型中的细化自匹配层，计算得到目标句子的匹配注意力权重，并根据匹配注意力权重和句意特征，计算得到用于表征目标句子在全文中重要性分布的第一上下文向量。

(5)通过预设摘要生成模型中的细化自匹配层，根据第一上下文向量和句意特征，计算得到待选取句子特征，然后通过细化自匹配层中的门控单元，根据待选取句子特征和句意特征调整重要信息比重。

(6)通过预设摘要生成模型中的细化自匹配层，根据重要信息比重和待选取句子特征，对句意特征进行修正，得到修正句意特征，即编码侧最终输出的隐状态向量，并将修正句意特征作为预设摘要生成模型中指针网络解码层的输入。此时，文本摘要生成方法进入解码侧。

(7)通过指针网络解码层，根据输入的修正句意特征和全文特征，提取目标句子的注意力向量，并根据该注意力向量计算得到修正句意特征和全文特征中每个句子向量的相似度，或者，得到修正句意特征和全文特征中每个句子的参考修正句意特征之间的相似度，即注意力权重。参考修正句意特征可以参考上文中的解释，在此不进行赘述。

(8)根据相似度和全文特征，计算得到编码侧的第二上下文向量，以提高解码时参数中包含的上下文信息。

(9)根据第二上下文向量和全文特征，提取重要性特征，即根据第二上下文向量和全文特征再次提取目标句子的注意力向量。

(10)对重要性特征进行预测，得到重要性得分，可以理解为目标句子作为摘要的概率。

(11)根据重要性得分生成新闻文本的摘要。

为了更好实施本申请实施例中文本摘要生成方法，在文本摘要生成方法基础之上，本申请实施例中还提供一种文本摘要生成装置，如图7所示，为本申请实施例中文本摘要生成装置的一个实施例结构示意图，该文本摘要生成装置500包括：

处理单元501，用于对待抽取文本进行处理，得到所述待抽取文本中目标句子的句意特征，以及所述待抽取文本的全文特征；

自匹配单元502，用于将所述句意特征中的各词特征进行匹配，得到所述目标句子的句内重要性特征；

全局匹配单元503，用于将所述句意特征和所述全文特征进行匹配，得到所述目标句子在所述待抽取文本中的全文重要性特征；

生成单元504，用于根据所述句内重要性特征和所述全文重要性特征，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述自匹配单元502还用于：

通过预设摘要生成模型中的细化自匹配层，将所述句意特征中的各词特征进行匹配，计算得到所述目标句子的语义中心信息与注意力分布信息；

通过所述细化自匹配层和所述预设摘要生成模型中的指针网络解码层，根据所述语义中心信息和所述注意力分布信息，提取所述目标句子的句内重要性特征。

在本申请一种可能的实现方式中，所述生成单元504还用于：

通过预设摘要生成模型中的细化自匹配层根据所述句内重要性特征和所述全文重要性特征对所述句意特征进行处理，得到所述目标句子的第一上下文向量；

通过所述细化自匹配层根据所述第一上下文向量和所述句意特征，提取所述目标句子对应的待选取句子特征，其中，所述待选取句子特征是所述待抽取文本中除所述目标句子之外的句子的特征；

通过所述细化自匹配层和所述预设摘要生成模型中的指针网络解码层，根据所述待选取句子特征和所述句意特征，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述生成单元504还用于：

通过所述细化自匹配层根据所述待选取句子特征和所述句意特征，计算得到所述目标句子的重要信息比重；

通过所述细化自匹配层和所述预设摘要生成模型中的指针网络解码层，根据所述重要信息比重、所述句意特征和所述待选取句子特征，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述生成单元504还用于：

通过预设摘要生成模型中的细化自匹配层，根据所述句内重要性特征和所述全文重要性特征对所述句意特征进行修正，得到包含上下文信息的修正句意特征；

通过所述预设摘要生成模型中的指针网络解码层，对所述修正句意特征进行解码处理，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述生成单元504还用于：

通过所述预设摘要生成模型中的指针网络解码层，根据所述修正句意特征和所述全文特征，提取所述目标句子的重要性特征；

通过所述指针网络解码层，根据所述重要性特征，预测所述目标句子的重要性得分；

通过所述指针网络解码层，根据所述重要性得分，生成所述待抽取文本的摘要。

在本申请一种可能的实现方式中，所述生成单元504还用于：

通过所述预设摘要生成模型中的指针网络解码层，根据所述修正句意特征和所述全文特征，计算得到所述修正句意特征与所述全文特征之间的相似度；

通过所述指针网络解码层，根据所述相似度和所述全文特征，确定所述目标句子的第二上下文向量；

通过所述指针网络解码层，根据所述第二上下文向量和所述全文特征，提取所述目标句子的重要性特征。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由于该文本摘要生成装置可以执行本申请如图1至图6对应任意实施例中文本摘要生成方法中的步骤，因此，可以实现本申请如图1至图6对应任意实施例中文本摘要生成方法所能实现的有益效果，详见前面的说明，在此不再赘述。

此外，为了更好实施本申请实施例中文本摘要生成方法，在文本摘要生成方法基础之上，本申请实施例还提供一种文本摘要生成设备，参阅图8，图8示出了本申请实施例文本摘要生成设备的一种结构示意图，具体的，本申请实施例提供的文本摘要生成设备包括处理器601，处理器601用于执行存储器602中存储的计算机程序时实现如图1至图6对应任意实施例中文本摘要生成方法的各步骤；或者，处理器601用于执行存储器602中存储的计算机程序时实现如图7对应实施例中各单元的功能。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器602中，并由处理器601执行，以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。

文本摘要生成设备可包括，但不仅限于处理器601、存储器602。本领域技术人员可以理解，示意仅仅是文本摘要生成设备的示例，并不构成对文本摘要生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子备还可以包括输入输出设备、网络接入设备、总线等，处理器601、存储器602、输入输出设备以及网络接入设备等通过总线相连。

处理器601可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是文本摘要生成设备的控制中心，利用各种接口和路线连接整个文本摘要生成设备的各个部分。

存储器602可用于存储计算机程序和/或模块，处理器601通过运行或执行存储在存储器602内的计算机程序和/或模块，以及调用存储在存储器602内的数据，实现计算机装置的各种功能。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据文本摘要生成设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的文本摘要生成装置、文本摘要生成设备及其相应单元的具体工作过程，可以参考如图1至图6对应任意实施例中文本摘要生成方法的说明，具体在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如图1至图6对应任意实施例中文本摘要生成方法中的步骤，具体操作可参考如图1至图6对应任意实施例中文本摘要生成方法的说明，在此不再赘述。

其中，该计算机存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机存储介质中所存储的指令，可以执行本申请如图1至图6对应任意实施例中文本摘要生成方法中的步骤，因此，可以实现本申请如图1至图6对应任意实施例中文本摘要生成方法所能实现的有益效果，详见前面的说明，在此不再赘述。

以上对本申请实施例所提供的一种文本摘要生成方法、装置、设备及计算机存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。