文本生成的方法、装置、设备和计算机可读介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种文本生成的方法、装置、设备和计算机可读介质。

背景技术

文本生成技术近年来有了很大的发展。早期技术集中在提取方法上，从原始文本中优先考虑每个句子的重要性得分。评分方法主要依赖于频度和随机主题模型。提取方法的优点是能够更完整地保留原始信息，特别是保证了每个句子的连贯性。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：超出词表的词(Out-Of-Vocabulary，OOV)会导致生成文本的准确性差和重复性高。

发明内容

有鉴于此，本发明实施例提供一种文本生成的方法、装置、设备和计算机可读介质，针对超出词表的词所生成的文本，能够提高准确性和降低重复性。

为实现上述目的，根据本发明实施例的一个方面，提供了一种文本生成的方法，包括：

将原始文本输入指针生成网络；

在所述指针生成网络中，按照所述原始文本中词汇的权重，更新所述原始文本中被解码的词的分布概率；

基于所述被解码的词的分布概率建立解码词表，以按照所述解码词表在所述指针生成网络中，生成所述原始文本的进化文本；

所述指针生成网络输出所述原始文本的进化文本。

所述将原始文本输入指针生成网络，包括：

将筛选后的原始文本，输入所述指针生成网络。

所述在所述指针生成网络中，按照所述原始文本中词汇的权重，更新所述原始文本中被解码的词的分布概率，包括：

在所述指针生成网络中，按照所述原始文本中词汇的权重，调整所述原始文本中指针系数，以更新所述原始文本中被解码的词的分布概率。

所述在所述指针生成网络中，按照所述原始文本中词汇的权重，更新所述原始文本中被解码的词的分布概率，包括：

在所述指针生成网络中，基于所述原始文本中每个词汇出现次数，确定所述原始文本中词汇的权重；

按照所述原始文本中词汇的权重，更新所述原始文本中被解码的词的分布概率。

所述在所述指针生成网络中，基于所述原始文本中每个词汇出现次数，确定所述原始文本中词汇的权重，包括：

在所述指针生成网络中，基于所述原始文本中每个词汇出现次数和预设采样系数，确定所述原始文本中词汇的权重。

所述在所述指针生成网络中，基于所述原始文本中每个词汇出现次数和预设采样系数，确定所述原始文本中词汇的权重，包括：

在预设范围内，调整采样系数，并确定所述预设采样系数；

在所述指针生成网络中，基于所述原始文本中每个词汇出现次数和预设采样系数，确定所述原始文本中词汇的权重。

所述预设范围包括大于等于0，且小于等于1的区间。

所述在预设范围内，调整采样系数，并确定所述预设采样系数，包括：

在预设范围内，按照从大到小的顺序调整采样系数，并确定所述预设采样系数。

所述在所述指针生成网络中，基于所述原始文本中每个词汇出现次数和预设采样系数，确定所述原始文本中词汇的权重，包括：

在所述指针生成网络中，基于所述原始文本中每个词汇出现次数和预设采样系数，平滑所述原始文本中词汇的权重后，确定所述原始文本中词汇的权重。

所述按照所述原始文本中词汇的权重，更新所述原始文本中被解码的词的分布概率，包括：

按照所述原始文本中词汇的权重，降低所述原始文本中被解码的常用词的分布概率，并提高所述原始文本中被解码的非常用词的分布概率。

所述基于所述被解码的词的分布概率建立解码词表，以按照所述解码词表在所述指针生成网络中，生成所述原始文本的进化文本，包括：

基于所述被解码的词的分布概率建立解码词表；

在所述指针生成网络中，依据所述解码词表中的词汇，生成所述原始文本的进化文本。

所述解码词表包括所述原始文本中非常用词和所述原始文本中常用词，所述非常用词的分布概率与所述常用词的分布概率不同。

所述指针生成网络输出所述原始文本的进化文本，包括：

所述指针生成网络在预设文档中，输出所述原始文本的进化文本。

所述进化文本包括摘要文本。

所述进化文本包括关键词文本。

根据本发明实施例的第二方面，提供了一种文本生成的装置，包括：

输入模块，用于将原始文本输入指针生成网络；

更新模块，用于在所述指针生成网络中，按照所述原始文本中词汇的权重，更新所述原始文本中被解码的词的分布概率；

生成模块，用于基于所述被解码的词的分布概率建立解码词表，以按照所述解码词表在所述指针生成网络中，生成所述原始文本的进化文本；

输出模块，用于所述指针生成网络输出所述原始文本的进化文本。

根据本发明实施例的第三方面，提供了一种文本生成的电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的方法。

根据本发明实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述的方法。

上述发明中的一个实施例具有如下优点或有益效果：将原始文本输入指针生成网络；在所述指针生成网络中，按照所述原始文本中词汇的权重，更新所述原始文本中被解码的词的分布概率；基于所述被解码的词的分布概率建立解码词表，以按照所述解码词表在所述指针生成网络中，生成所述原始文本的进化文本；所述指针生成网络输出所述原始文本的进化文本。针对超出词表的词所生成的文本，更新词的分布概率，继而能够提高准确性和降低重复性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的文本生成的方法的主要流程的示意图；

图2是根据本发明实施例的更新原始文本中被解码的词的分布概率的流程示意图；

图3是根据本发明实施例的确定原始文本中词汇的权重的流程示意图；

图4是根据本发明实施例的词汇出现次数与分布概率的关系示意图；

图5是根据本发明实施例的生成原始文本的进化文本的流程示意图；

图6是根据本发明实施例的文本生成的装置的主要结构的示意图；

图7是本发明实施例可以应用于其中的示例性系统架构图；

图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

近年来，采用神经网络直接生成文本，已被证明是一种有效的方法。随着多年来深度学习技术的快速发展，文本生成的方法也在不断发展。基于人工神经网络已成功应用于自然语言处理领域，包括但不限于句法分析、文本摘要和对话系统等。其中，针对生成文本的编解码器结构和注意机制是文本生成的代表方法，并取得了良好的效果。

文本生成在自然语言处理(NLP)有比较广泛的应用，主流技术是Seq2Seq和指针生成网络结构，完成一般的文本生成任务。后来，又开发Transformer模型作为改进Seq2Seq的后继产品。

然而，不论是Transformer模型，还是Seq2Seq与指针生成网络结合的算法，对于训练样本中的样本词频，并没有提出明确衡量指标，也没有在算法解码阶段给出一些实际性的考虑。

为了解决生成文本的准确性差和重复性高的技术问题，可以采用以下本发明实施例中的技术方案。

参见图1，图1是根据本发明实施例的文本生成的方法主要流程的示意图，通过更新词的分布概率建立解码词表，进而生成原始文本的进化文本。如图1所示，具体包括以下步骤：

S101、将原始文本输入指针生成网络。

在本发明的实施例中，将待处理的文本称为原始文本。即，原始文本是包括多个字符，需要指针生成网络处理的文本。

为了提高指针生成网络处理文本的效率，可以先筛选原始文本，再将筛选后的原始文本，输入指针生成网络中。这是因为，原始文本中原有的非标准字符会增加处理文本的处理时长。筛选后的原始文本中，去除非标准字符，进而提高处理文本的效率。

指针生成网络(Pointer-Generator Networks)是一个基于seq2seq+attention的生成模型，相比于seq2seq+attention的生成模型，它能够在一定的程度上解决OOV的问题。

S102、在指针生成网络中，按照原始文本中词汇的权重，更新原始文本中被解码的词的分布概率。

在已有指针生成网络中，最终解码某个时间序列上的词不仅来自采用注意力机制捕捉到的权重，而是加权原始文本中每个词的权重，以捕捉到原始文本中一些无法在Attention阶段捕捉的关键词。

需要注意的是，加入原始文本的词汇的前提条件是，所有词汇都具有相同的权重。然而，实际应用过程中，不难发现最常用的词汇比罕见的词汇提供的信息要少。因此，在构建解码表的时候，如果把所有词汇考虑成一样的权重是不合理。

在本发明实施例中，通过更新词的分布概率以建立解码词表，而且解码词表中每个词的权重并不相同。

下面结合附图，具体说明更新原始文本中被解码的词的分布概率。原始文本中的词汇需要被解码，每个词汇具有权重，进而依据原始文本中词汇的权重，更新原始文本中被解码的词的分布概率。

在本发明的一个实施例中，考虑到指针生成网络中，原始文本中指针系数与原始文本中词汇的权重相关，基于原始文本中指针系数就能够更新原始文本中被解码的词的分布概率。

在本发明的一个实施例中，指针生成网络包括Transformer模型。Transformer模型的结构也是由编码器和解码器组成。Transformer模型的特点是能根据固定的词汇表生成新词，又能根据原始文本处理新词或者处理一些在模型算法里无法生成的关键词。

在具体实现时，P(w)是被解码的词的分布概率，因为引入指针生成网络，P(w)被修正为：

P(w)＝P

其中，∑αti为transformers模型捕捉到的attention权重。P

更新原始文本中被解码的词的分布概率，涉及到原始文本中词汇的权重，下面结合附图举例说明更新的具体过程。

参见图2，图2是根据本发明实施例的更新原始文本中被解码的词的分布概率的流程示意图，具体包括以下步骤：

S201、在指针生成网络中，基于原始文本中每个词汇出现次数，确定原始文本中词汇的权重。

在原始文本中包括多个词汇，上述多个词汇中可能会出现不止一次。对于每个词汇而言，均有对应的权重。原始文本中每个词汇的权重weight

1＝∑weight

原始文本中每个词汇的权重，可以按照公式3计算获得。

其中，P(word

参见图3，图3是根据本发明实施例的确定原始文本中词汇的权重的流程示意图，具体包括以下步骤：

S301、在预设范围内，调整采样系数，并确定预设采样系数。

P(word

其中，Z(word

按照公式4，为了确定原始文本中词汇的权重，则需要确定词汇出现次数和预设采样系数两个参数。词汇出现次数可以通过统计原始文本中每个词汇获得。预设采样系数需要经调整后获得。

在本发明实施例中，调整采样系数是在预设范围内实现的。作为一个示例，预设范围是0到1的区间。即，预设范围包括大于等于0，且小于等于1的区间。也就是说，采样系数的最大值是1，采样系数的最小值是0。

参见图4，图4是根据本发明实施例的词汇出现次数与分布概率的关系示意图。图4中的横轴代表词汇出现次数，纵轴代表分布概率。图4中包括四条曲线，分别为采样系数β＝0.1，0.01,0.001,0.0001对应的曲线。

从图4中可知，通过改变β控制平滑程度。作为一个示例，当β＝0.001和词汇出现次数小于等于0.00089,分布概率等于1.0。这意味着采样罕见的词汇将会被大概率采样，如：姓名或地址。在原始文本的词频仅为0.00089，但是经过平滑之后被采样的概率接近1。

随着β的降低，词汇被采样的概率会有明显的下降。那么在指针生成网络阶段计算原始文本输入的时候，原始样本的输入矩阵将变得稀疏，会导致欠拟合。相反，随着β的增加，词汇被采用的概率会有明显的上升，采样的平滑效果将消失。

考虑到在确定采样系数的过程中，需要按照顺序调整采样系数，为了尽快确定采用系数，可以按照从大到小的顺序调整采样系数，以确定预设采样系数。作为一个示例，将多次尝试，预设采样系数设置0.001的情况下，采样率能够满足文本生成的需求。

通过控制采样系数β，控制采样的平滑程度，适应于各种场景下的数据分布，增加了指针生成网络在文本生成过程中的普适性。

S302、在指针生成网络中，基于原始文本中每个词汇出现次数和预设采样系数，平滑原始文本中词汇的权重后，确定原始文本中词汇的权重。

在指针生成网络中，通过原始文本中每个词汇出现次数和预设采样系数，能够平滑原始文本中词汇的权重。具体来说，为了平滑掉无用高频词的权重，采用调整预设采用系数的方式。

在确定预设采样系数以平滑原始文本中词汇的权重后，按照公式2、公式3和公式4，确定原始文本中词汇的权重。

从公式5中，可以看出通过原始文本中每个词汇w，所组成矩阵，与原始文本中每个词汇的权重的乘积，能到得到原始文本输入P

将原始文本中词汇的概率分布做进一步平滑，使原始文本输入的概率矩阵更加符合原始文本本身信息结构，降低部分弱信息量的词汇权重，增加部分包含重要信息的词汇权重，使最终在解码阶段获得的词概率分布更加合理，同时也增强了词分布的可解释性。

在图3的实施例中，通过调整采样系数平滑调无用高频词的权重，进而确定原始文本中词汇的权重。

S202、按照原始文本中词汇的权重，更新原始文本中被解码的词的分布概率。

确定原始文本中词汇的权重之后，就可以按照原始文本中词汇的权重，在公式1的基础上，更新原始文本中被解码的词的分布概率。

在本发明的一个实施例中，按照原始文本中词汇的权重调整词汇的分布概率。具体来说，按照原始文本中词汇的权重，降低原始文本中被解码的常用词的分布概率，并提高原始文本中被解码的非常用词的分布概率。

在图2的实施例中，通过调整词汇的权重，以更新词汇的分布概率，进而提高非常用词被选择的概率。

S103、基于被解码的词的分布概率建立解码词表，以按照解码词表在指针生成网络中，生成原始文本的进化文本。

对于解码词表的构建，传统方法会基于词频，tfidf等标量来选取词表。如：语料中有N个词，考虑到训练效率以及规避过拟合，一般会选择K，K

参见图5，图5是根据本发明实施例的生成原始文本的进化文本的流程示意图，具体包括：

S501、基于被解码的词的分布概率建立解码词表。

在确定被解码的词的分布概率后，将分布概率大于预设概率阈值的词，存储在解码词表中。被解码的词的分布概率是调整后的概率，降低原始文本中被解码的常用词的分布概率，并提高原始文本中被解码的非常用词的分布概率，那么解码词表中的词能够兼顾到进化文本输出的连贯性，以及低频词即非常用词的重要性。

可以理解的是，解码词表包括原始文本中非常用词和原始文本中常用词，非常用词的分布概率与常用词的分布概率可能不同。

S502、在指针生成网络中，依据解码词表中的词汇，生成原始文本的进化文本。

在指针生成网络中，在解码词表中词汇的基础上，生成原始文本的进化文本。进化文本是经指针生成网络处理并输出的文本。作为一个示例，进步文本包括摘要文本和/或关键词文本。

在图5的实施例中，以解码词表为基础，生成原始文本的进化文本。由于解码词表中非常用词汇的分布概率较原有概率增大，在进化文本中增加非常用词汇的出现概率。

相比Word2Vec中计算的词分布以及词采样率，采用图5中的技术方案，更符合词汇的真实概率分布。

S104、指针生成网络输出原始文本的进化文本。

为了提高进化文本的获取速度，指针生成网络在预设文档中，输出原始文本的进化文本。这样无需搜索，在预设文档中能够直接获取原始文本的文本。

在上述实施例中，将原始文本输入指针生成网络；在所述指针生成网络中，按照所述原始文本中词汇的权重，更新所述原始文本中被解码的词的分布概率；基于所述被解码的词的分布概率建立解码词表，以按照所述解码词表在所述指针生成网络中，生成所述原始文本的进化文本；所述指针生成网络输出所述原始文本的进化文本。针对超出词表的词所生成的文本，更新词的分布概率，继而能够提高准确性和降低重复性。

参见图6，图6是根据本发明实施例的文本生成的装置的主要结构的示意图，文本生成的装置可以实现文本生成的方法，如图7所示，文本生成的装置具体包括：

输入模块601，用于将原始文本输入指针生成网络；

更新模块602，用于在所述指针生成网络中，按照所述原始文本中词汇的权重，更新所述原始文本中被解码的词的分布概率；

生成模块603，用于基于所述被解码的词的分布概率建立解码词表，以按照所述解码词表在所述指针生成网络中，生成所述原始文本的进化文本；

输出模块604，用于所述指针生成网络输出所述原始文本的进化文本。

在本发明的一个实施例中，输入模块601，具体用于将筛选后的原始文本，输入所述指针生成网络。

在本发明的一个实施例中，更新模块602，具体用于在所述指针生成网络中，按照所述原始文本中词汇的权重，调整所述原始文本中指针系数，以更新所述原始文本中被解码的词的分布概率。

在本发明的一个实施例中，更新模块602，具体用于在所述指针生成网络中，基于所述原始文本中每个词汇出现次数，确定所述原始文本中词汇的权重；

按照所述原始文本中词汇的权重，更新所述原始文本中被解码的词的分布概率。

在本发明的一个实施例中，更新模块602，具体用于在所述指针生成网络中，基于所述原始文本中每个词汇出现次数和预设采样系数，确定所述原始文本中词汇的权重。

在本发明的一个实施例中，更新模块602，具体用于在预设范围内，调整采样系数，并确定所述预设采样系数；

在所述指针生成网络中，基于所述原始文本中每个词汇出现次数和预设采样系数，确定所述原始文本中词汇的权重。

在本发明的一个实施例中，所述预设范围包括大于等于0，且小于等于1的区间。

在本发明的一个实施例中，更新模块602，具体用于在预设范围内，按照从大到小的顺序调整采样系数，并确定所述预设采样系数。

在本发明的一个实施例中，所述预设采样系数等于0.001。

在本发明的一个实施例中，更新模块602，具体用于在所述指针生成网络中，基于所述原始文本中每个词汇出现次数和预设采样系数，平滑所述原始文本中词汇的权重后，确定所述原始文本中词汇的权重。

在本发明的一个实施例中，更新模块602，具体用于按照所述原始文本中词汇的权重，降低所述原始文本中被解码的常用词的分布概率，并提高所述原始文本中被解码的非常用词的分布概率。

在本发明的一个实施例中，所述指针生成网络包括Transformer模型。

在本发明的一个实施例中，生成模块603，具体用于基于所述被解码的词的分布概率建立解码词表；

在所述指针生成网络中，依据所述解码词表中的词汇，生成所述原始文本的进化文本。

在本发明的一个实施例中，所述解码词表包括所述原始文本中非常用词和所述原始文本中常用词，所述非常用词的分布概率与所述常用词的分布概率不同。

在本发明的一个实施例中，输出模块604，具体用于所述指针生成网络在预设文档中，输出所述原始文本的进化文本。

在本发明的一个实施例中，所述进化文本包括摘要文本。

在本发明的一个实施例中，所述进化文本包括关键词文本。

图7示出了可以应用本发明实施例的文本生成的方法或文本生成的装置的示例性系统架构700。

如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的文本生成的方法一般由服务器705执行，相应地，文本生成的装置一般设置于服务器705中。

应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算机系统800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括输入模块、更新模块、生成模块和输出模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，输入模块还可以被描述为“用于将原始文本输入指针生成网络”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

将原始文本输入指针生成网络；

在所述指针生成网络中，按照所述原始文本中词汇的权重，更新所述原始文本中被解码的词的分布概率；

基于所述被解码的词的分布概率建立解码词表，以按照所述解码词表在所述指针生成网络中，生成所述原始文本的进化文本；

所述指针生成网络输出所述原始文本的进化文本。

根据本发明实施例的技术方案，将原始文本输入指针生成网络；在所述指针生成网络中，按照所述原始文本中词汇的权重，更新所述原始文本中被解码的词的分布概率；基于所述被解码的词的分布概率建立解码词表，以按照所述解码词表在所述指针生成网络中，生成所述原始文本的进化文本；所述指针生成网络输出所述原始文本的进化文本。针对超出词表的词所生成的文本，更新词的分布概率，继而能够提高准确性和降低重复性。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。