掌桥专利:专业的专利平台
掌桥专利
首页

文本调整方法、装置、电子设备和存储介质

文献发布时间:2023-06-19 11:22:42


文本调整方法、装置、电子设备和存储介质

技术领域

本公开涉及自然语言处理技术领域,尤其涉及一种文本调整方法、装置、电子设备和存储介质。

背景技术

近年来,随着自然语言处理技术Natural Language Processing(NLP)的不断发展,作为自然语言处理技术的重要研究领域之一的人机对话系统,也受到了人们的广泛关注。在人机对话的过程中,用户可以根据自身需求输入相应的文本,并由机器基于用户输入的文本给出响应。但是,在用户与机器进行一轮对话时,由于用户输入的文本通常比较简略且口语化,机器可能获取不到表达完整的文本,此时机器难以确定用户需求,需要与用户进行多轮对话,以明确用户需求,才能给出满足用户需求的响应。

发明内容

为克服相关技术中存在的问题,本公开提供一种文本调整方法、装置、电子设备和存储介质。

根据本公开实施例的第一方面,提供一种文本调整方法,所述方法包括:

获取待处理文本;

根据所述待处理文本和所述待处理文本的上下文文本,确定是否对所述待处理文本进行调整;

在确定对所述待处理文本进行调整的情况下,根据所述上下文文本确定所述待处理文本的调整字符信息和调整位置信息;

根据所述调整字符信息和所述调整位置信息,确定调整后的待处理文本。

在一些实施例中,所述根据所述待处理文本和所述待处理文本的上下文文本,确定是否对所述待处理文本进行调整,包括:

对所述上下文文本和所述待处理文本进行拼接,得到处理文本;

根据所述处理文本,通过预先训练的分类模型,确定是否对所述待处理文本进行调整。

在一些实施例中,所述根据所述上下文文本确定所述待处理文本的调整字符信息和调整位置信息,包括:

对所述上下文文本和所述待处理文本进行拼接,得到处理文本;

将所述处理文本作为预先训练的标注模型的输入,得到所述标注模型输出的所述调整字符信息和所述调整位置信息。

在一些实施例中,所述调整字符信息包括指示所述上下文文本中的调整字符对应的调整方式的第一调整标签,所述调整位置信息包括指示所述调整字符对应的所述待处理文本中的目标字符的字符位置的第二调整标签;

所述根据所述调整字符信息和所述调整位置信息,确定调整后的待处理文本,包括:

按照所述第一调整标签指示的调整方式,将所述调整字符调整至所述字符位置对应的指定位置,得到所述调整后的待处理文本。

在一些实施例中,所述按照所述第一调整标签指示的调整方式,将所述调整字符调整至所述字符位置对应的指定位置,得到所述调整后的待处理文本,包括:

在所述第一调整标签指示的调整方式为所述字符插入的情况下,将所述调整字符插入至所述字符位置对应的指定位置上,得到所述调整后的待处理文本。

在一些实施例中,所述按照所述第一调整标签指示的调整方式,将所述调整字符调整至所述字符位置对应的指定位置,得到所述调整后的待处理文本,包括:

在所述第一调整标签指示的调整方式为所述字符替换的情况下,利用所述调整字符替换所述字符位置上的目标字符,得到所述调整后的待处理文本。

在一些实施例中,所述根据所述调整字符信息和所述调整位置信息,确定调整后的待处理文本,包括:

根据所述调整字符信息和所述调整位置信息,对所述待处理文本进行调整,得到候选文本,并确定所述候选文本是否满足预设调整条件;

在所述候选文本满足所述预设调整条件的情况下,将所述候选文本作为所述调整后的待处理文本;

在所述候选文本不满足所述预设调整条件的情况下,将所述待处理文本作为所述调整后的待处理文本。

在一些实施例中,所述预设调整条件包括:

根据预先构建的语言模型确定的所述候选文本对应的语言模型概率,大于或等于预设概率阈值;和/或,

所述候选文本对应的频次大于或等于预设访问频次。

在一些实施例中,所述根据所述待处理文本和所述待处理文本的上下文文本,确定是否对所述待处理文本进行调整,以及所述根据所述上下文文本确定所述待处理文本的调整字符信息和调整位置信息是通过文本调整模型得到的;

其中,所述文本调整模型包括分类模型和标注模型,所述分类模型用于根据所述待处理文本和所述上下文文本,确定是否对所述待处理文本进行调整,所述标注模型用于根据所述上下文文本确定所述调整字符信息和所述调整位置信息。

在一些实施例中,所述文本调整模型是通过以下方式训练的:

获取训练样本集;所述训练样本集包括训练文本,所述训练文本的训练上下文文本,训练调整字符信息以及训练调整位置信息;

根据所述训练样本集对预设模型进行训练,得到所述文本调整模型。

根据本公开实施例的第二方面,提供一种文本调整装置,所述装置包括:

获取模块,被配置为获取待处理文本;

确定模块,被配置为根据所述待处理文本和所述待处理文本的上下文文本,确定是否对所述待处理文本进行调整;

所述确定模块,还被配置为在确定对所述待处理文本进行调整的情况下,根据所述上下文文本确定所述待处理文本的调整字符信息和调整位置信息;

调整模块,被配置为根据所述调整字符信息和所述调整位置信息,确定调整后的待处理文本。

在一些实施例中,所述确定模块包括:

第一拼接子模块,被配置为对所述上下文文本和所述待处理文本进行拼接,得到处理文本;

第一处理子模块,被配置为根据所述处理文本,通过预先训练的分类模型,确定是否对所述待处理文本进行调整。

在一些实施例中,所述确定模块包括:

第二拼接子模块,被配置为对所述上下文文本和所述待处理文本进行拼接,得到处理文本;

第二处理子模块,被配置为将所述处理文本作为预先训练的标注模型的输入,得到所述标注模型输出的所述调整字符信息和所述调整位置信息。

在一些实施例中,所述调整字符信息包括指示所述上下文文本中的调整字符对应的调整方式的第一调整标签,所述调整位置信息包括指示所述调整字符对应的所述待处理文本中的目标字符的字符位置的第二调整标签;

所述调整模块被配置为:

按照所述第一调整标签指示的调整方式,将所述调整字符调整至所述字符位置对应的指定位置,得到所述调整后的待处理文本。

在一些实施例中,所述调整模块被配置为:

在所述第一调整标签指示的调整方式为所述字符插入的情况下,将所述调整字符插入至所述字符位置对应的指定位置上,得到所述调整后的待处理文本。

在一些实施例中,所述调整模块被配置为:

在所述第一调整标签指示的调整方式为所述字符替换的情况下,利用所述调整字符替换所述字符位置上的目标字符,得到所述调整后的待处理文本。

在一些实施例中,所述调整模块包括:

调整子模块,被配置为根据所述调整字符信息和所述调整位置信息,对所述待处理文本进行调整,得到候选文本,并确定所述候选文本是否满足预设调整条件;

确定子模块,被配置为在所述候选文本满足所述预设调整条件的情况下,将所述候选文本作为所述调整后的待处理文本;

所述确定子模块,还被配置为在所述候选文本不满足所述预设调整条件的情况下,将所述待处理文本作为所述调整后的待处理文本。

在一些实施例中,所述预设调整条件包括:

根据预先构建的语言模型确定的所述候选文本对应的语言模型概率,大于或等于预设概率阈值;和/或,

所述候选文本对应的频次大于或等于预设访问频次。

在一些实施例中,所述根据所述待处理文本和所述待处理文本的上下文文本,确定是否对所述待处理文本进行调整,以及所述根据所述上下文文本确定所述待处理文本的调整字符信息和调整位置信息是所述确定模块通过文本调整模型得到的;

其中,所述文本调整模型包括分类模型和标注模型,所述分类模型用于根据所述待处理文本和所述上下文文本,确定是否对所述待处理文本进行调整,所述标注模型用于根据所述上下文文本确定所述调整字符信息和所述调整位置信息。

在一些实施例中,所述文本调整模型是通过以下方式训练的:

获取训练样本集;所述训练样本集包括训练文本,所述训练文本的训练上下文文本,训练调整字符信息以及训练调整位置信息;

根据所述训练样本集对预设模型进行训练,得到所述文本调整模型。

根据本公开实施例的第三方面,提供一种电子设备,包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为执行本公开第一方面所提供的文本调整方法的步骤。

根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的文本调整方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果:本公开首先获取待处理文本,并根据待处理文本和待处理文本的上下文文本,确定是否对待处理文本进行调整,在确定对待处理文本进行调整的情况下,根据上下文文本确定待处理文本的调整字符信息和调整位置信息,根据调整字符信息和调整位置信息,确定调整后的待处理文本。本公开是利用上下文文本确定的调整字符信息和调整位置信息,对待处理文本进行调整,以得到调整后的待处理文本,不需要从零开始解码出整个调整后的待处理文本,能够提高对待处理文本调整的准确率,同时能够生成完整度高的调整后的待处理文本。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。

图1是根据本公开一示例性实施例示出的一种文本调整方法的流程图。

图2是根据本公开一示例性实施例示出的另一种文本调整方法的流程图。

图3是根据本公开一示例性实施例示出的又一种文本调整方法的流程图。

图4是根据本公开一示例性实施例示出的一种对待处理文本进行调整的示意图。

图5是根据本公开一示例性实施例示出的再一种文本调整方法的流程图。

图6是根据本公开一示例性实施例示出的一种训练文本调整模型的流程图。

图7是根据本公开一示例性实施例示出的一种文本调整装置的结构示意图。

图8是根据本公开一示例性实施例示出的另一种文本调整装置的结构示意图。

图9是根据本公开一示例性实施例示出的又一种文本调整装置的结构示意图。

图10是根据本公开一示例性实施例示出的再一种文本调整装置的结构示意图。

图11是根据本公开一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在介绍本公开提供的文本调整方法、装置、电子设备和存储介质之前,首先对本公开各个实施例所涉及应用场景进行介绍。该应用场景可以是任一种需要利用某一文本的上下文文本对该文本进行调整,以完善该文本的场景,该应用场景例如可以是多轮对话、智能检索以及文章调整等场景。以应用场景为多轮对话场景为例,用户可以通过终端向对话系统输入包含用户具体需求的待处理文本,以便对话系统根据用户在输入待处理文本之前输入的文本对待处理文本进行调整,以完善待处理文本,得到调整后的待处理文本。该终端例如可以是智能手机、平板电脑、智能手表、智能手环、PDA(英文:Personal DigitalAssistant,中文:个人数字助理)等移动终端,也可以是台式计算机等固定终端。

图1是根据本公开一示例性实施例示出的一种文本调整方法的流程图。如图1所示,该方法可以包括以下步骤:

在步骤101中,获取待处理文本。

在步骤102中,根据待处理文本和待处理文本的上下文文本,确定是否对待处理文本进行调整。

举例来说,首先可以获取待处理文本以及待处理文本的上下文文本。其中,待处理文本可以是用户输入的文本,也可以是包括多个文本的文本集中的某一文本(文本集例如可以是文章)。在待处理文本为用户输入的文本时,上下文文本可以包括用户在输入待处理文本之前输入的文本,和/或用户在输入待处理文本之后输入的文本。在待处理文本为文本集中的某一文本时,上下文文本可以为与该文本相邻的文本。例如,在多轮对话场景中,待处理文本可以是用户在当前轮的对话中输入的对话语句,即当前用户输入的查询或对话(query),此时上下文文本可以为用户在历史轮的对话中输入的全部历史对话语句,即之前用户输入的query。再例如,在智能检索场景中,待处理文本可以是当前用户输入的检索语句,此时上下文文本可以为之前用户输入的检索语句。又例如,在文章调整场景中,待处理文本可以是待调整文章中的某一个文本语句,此时上下文文本为与该文本语句相邻的语句。

然后,可以根据待处理文本和上下文文本,确定是否调整待处理文本。例如,可以预先训练一个用于根据待处理文本和上下文文本确定是否调整待处理文本的分类模型,并将待处理文本和上下文文本输入到训练好的分类模型中,得到分类模型输出的是否调整待处理文本的结果。

在步骤103中,在确定对待处理文本进行调整的情况下,根据上下文文本确定待处理文本的调整字符信息和调整位置信息。

在本步骤中,在获取到待处理文本和上下文文本后,还可以根据上下文文本确定待处理文本的调整字符信息和调整位置信息。例如,可以预先训练一个用于根据待处理文本和上下文文本确定调整字符信息和调整位置信息的标注模型,并将待处理文本和上下文文本输入到训练好的标注模型中,得到标注模型输出的调整字符信息和调整位置信息。其中,调整字符信息用于指示上下文文本中的调整字符对应的调整方式,调整字符可以理解为,上下文文本中需要用来对待处理文本进行调整的文本片段所包含的字符,调整方式用于表征将调整字符调整到待处理文本中的方式,例如,调整方式可以包括字符插入或字符替换。而调整位置信息用于指示待处理文本中的目标字符的字符位置,目标字符可以理解为,待处理文本中需要进行调整的位置上的字符。

若确定对待处理文本进行调整,说明待处理文本的表达完整,则可以保留调整字符信息和调整位置信息。若确定不对待处理文本进行调整,那么则不考虑调整字符信息和调整位置信息,即不保留调整字符信息和调整位置信息。

在步骤104中,根据调整字符信息和调整位置信息,确定调整后的待处理文本。

示例地,若确定不对待处理文本进行调整,则可以直接将待处理文本作为调整后的待处理文本。若确定对待处理文本进行调整,可以通过调整字符信息和调整位置信息对待处理文本进行调整,得到调整后的待处理文本。

以应用场景为多轮对话场景为例,当用户与对话系统进行两轮对话,用户在第一轮对话中输入的对话语句为“定个晚上8点的闹钟”,且用户在第二轮对话中输入的对话语句为“再定个9点的”时,第二轮对话中的对话语句为表达不完整的语句,第二轮对话中的对话语句完整的表达应该为“再定个9点的闹钟”。若将“定个晚上8点的闹钟”作为上下文文本,将“再定个9点的”作为待处理文本,此时需要将上下文文本中的“闹钟”插入到待处理文本中的“的”之后,也就是说,上下文文本中的调整字符为“闹”和“钟”,调整方式为字符插入,待处理文本中的目标字符为“的”。那么根据上下文文本确定的调整字符信息则用于指示“闹”和“钟”对应的调整方式为字符插入,根据上下文文本确定的调整位置信息用于指示字符“的”所处的字符位置。若确定对待处理文本进行调整,可以根据所确定的待处理文本和上下文文本,将上下文文本中的“闹钟”插入到待处理文本中的“的”之后,得到调整后的待处理文本“再定个9点的闹钟”。在得到调整后的待处理文本之后,可以根据调整后的待处理文本执行相应的动作。例如,在多轮对话场景中,可以将得到的调整后的待处理文本发送给自然语言理解Natural Language Understanding(NLU)模型,得到NLU模型输出的对调整后的待处理文本的意图理解结果,并根意图理解结果给出满足用户需求的响应。

本公开首先获取待处理文本,并根据待处理文本和待处理文本的上下文文本,确定是否对待处理文本进行调整,在确定对待处理文本进行调整的情况下,根据上下文文本确定待处理文本的调整字符信息和调整位置信息,根据调整字符信息和调整位置信息,确定调整后的待处理文本。本公开是利用上下文文本确定的调整字符信息和调整位置信息,对待处理文本进行调整,以得到调整后的待处理文本,不需要从零开始解码出整个调整后的待处理文本,能够提高对待处理文本调整的准确率,同时能够生成完整度高的调整后的待处理文本。

图2是根据本公开一示例性图1所示实施例示出的另一种文本调整方法步骤102的流程图。如图2所示,所述根据所述待处理文本和所述待处理文本的上下文文本,确定是否对所述待处理文本进行调整,可以包括以下步骤:

在步骤1021中,对上下文文本和待处理文本进行拼接,得到处理文本。

在步骤1022中,根据处理文本,通过预先训练的分类模型,确定是否对待处理文本进行调整。

示例地,可以预先训练一个分类模型,分类模型用于根据上下文文本和待处理文本所包含的信息,确定是否对待处理文本进行调整。在获取到上下文文本和待处理文本之后,可以对上下文文本和待处理文本进行拼接,得到处理文本,并将处理文本输入到分类模型中,以得到分类模型输出的是否调整待处理文本的结果。

图3是根据本公开一示例性图1所示实施例示出的又一种文本调整方法步骤103的流程图。如图3所示,所述根据所述上下文文本确定所述待处理文本的调整字符信息和调整位置信息,可以包括以下步骤:

在步骤1031中,对上下文文本和待处理文本进行拼接,得到处理文本。

在步骤1032中,将处理文本作为预先训练的标注模型的输入,得到标注模型输出的调整字符信息和调整位置信息。

示例地,可以预先训练一个标注模型,标注模型用于根据上下文文本和待处理文本所包含的信息,识别上下文文本中的调整字符以及待处理文本中的目标字符,并根据识别结果输出调整字符信息和调整位置信息。在获取到上下文文本和待处理文本之后,可以对上下文文本和待处理文本进行拼接,得到处理文本,并将处理文本输入到标注模型中,以得到标注模型输出的调整字符信息和调整位置信息。在一些实施例中,调整字符信息包括指示上下文文本中的调整字符对应的调整方式的第一调整标签,调整位置信息包括指示调整字符对应的待处理文本中的目标字符的字符位置的第二调整标签。

在一些实施例中,所述根据调整字符信息和调整位置信息,确定调整后的待处理文本,可以包括:

按照第一调整标签指示的调整方式,将调整字符调整至字符位置对应的指定位置,得到调整后的待处理文本。

举例来说,若确定对待处理文本进行调整,可以在第一调整标签指示的调整方式为字符插入的情况下,将调整字符插入至字符位置对应的指定位置上,得到调整后的待处理文本。或者,在第一调整标签指示的调整方式为字符替换的情况下,利用调整字符替换字符位置上的目标字符,得到调整后的待处理文本。其中,字符位置对应的指定位置可以是目标字符与目标字符的下一个字符之间的位置,即将调整字符插入至目标字符与目标字符的下一个字符之间。

如图4所示,图4中的SEP表示分隔符,用于分隔上下文文本和待处理文本。若将“明天六点叫我起床”作为上下文文本,将“以后每天”作为待处理文本,那么待处理文本的完整表达应该为“以后每天六点叫我起床”,此时调整字符为“六”、“点”、“叫”、“我”、“起”和“床”,目标字符为“天”。其中,调整字符“六”对应的第一调整标签可以用“B”表示,第一调整标签“B”用于指示调整字符的调整方式为字符插入,且调整字符为需要用来对待处理文本进行调整的文本片段中的第一个字符,而调整字符“点”、“叫”、“我”、“起”和“床”对应的第一调整标签可以用“I”表示,第一调整标签“I”用于指示调整字符的调整方式为字符插入,且调整字符为需要用来对待处理文本进行调整的文本片段中除第一个字符外的其他字符。同时目标字符为“天”对应的第二调整标签可以用“P”表示,第二调整标签“P”用于指示目标字符的字符位置。若确定对待处理文本进行调整,此时第一调整标签“B”和“I”指示的调整方式为字符插入,可以将上下文文本中的调整字符“六”、“点”、“叫”、“我”、“起”和“床”插入到待处理文本中的目标字符“天”之后,得到调整后的待处理文本“以后每天六点叫我起床”。

图5是根据本公开一示例性实施例示出的再一种文本调整方法的流程图。如图5所示,所述根据调整字符信息和调整位置信息,确定调整后的待处理文本,可以包括以下步骤:

在步骤1041中,根据调整字符信息和调整位置信息,对待处理文本进行调整,得到候选文本,并确定候选文本是否满足预设调整条件。

在步骤1042中,在候选文本满足预设调整条件的情况下,将候选文本作为调整后的待处理文本。

在步骤1043中,在候选文本不满足预设调整条件的情况下,将待处理文本作为调整后的待处理文本。

在一种场景中,为了进一步提高对待处理文本进行调整的准确率,可以在标注模型之后增加一个过滤模块,以过滤掉在语法上存在不规范的调整后的待处理文本,提升调整后的待处理文本的质量。具体的,首先可以在确定调整字符信息和调整位置信息之后,根据调整字符信息和调整位置信息,对待处理文本进行调整,得到候选文本。其中,根据调整字符信息和调整位置信息,对待处理文本进行调整的方式已在之前的实施例中进行了描述,此处不再详细赘述。然后,由过滤模块确定候选文本是否满足预设调整条件,若候选文本满足预设调整条件,将候选文本作为调整后的待处理文本,若候选文本不满足预设调整条件,将待处理文本作为调整后的待处理文本。

其中,预设调整条件是由候选文本的语言模型概率以及候选文本在历史上被用户使用的频次确定的。例如,预设调整条件可以包括以下任意一种或多种:1)根据预先构建的语言模型确定的候选文本对应的语言模型概率,大于或等于预设概率阈值;2)候选文本对应的频次大于或等于预设访问频次。其中,预设概率阈值和预设访问频次可以根据需要进行设置,本公开对此不作限定。例如,可以将预设概率阈值设置为0.2,将预设访问频次设置为10次/月。通过过滤模块利用预设调整条件对候选文本进行判断,实际上是判断根据调整字符信息和调整位置信息对待处理文本进行调整后的文本是否符合语法规范,以避免出现语法不规范的调整后的待处理文本,从而提高对待处理文本进行调整的准确率以及调整后的待处理文本的质量。

在一些实施例中,根据待处理文本和待处理文本的上下文文本,确定是否对待处理文本进行调整,以及根据上下文文本确定待处理文本的调整字符信息和调整位置信息是通过文本调整模型得到的。

其中,文本调整模型包括分类模型和标注模型,分类模型用于根据待处理文本和上下文文本,确定是否对待处理文本进行调整,标注模型用于根据上下文文本确定调整字符信息和调整位置信息。

示例地,确定是否对待处理文本进行调整,以及确定调整字符信息和调整位置信息可以是通过同一个模型完成的,也可以是通过不同模型来完成的。例如,当通过文本调整模型来确定是否对待处理文本进行调整,以及确定调整字符信息和调整位置信息时,此时文本调整模型可以包括分类模型和标注模型(即文本调整模型可以分别执行分类模型和标注模型的任务),分类模型和标注模型的底层均可以采用BERT(英文:BidirectionalEncoder Representations from Transformers)模型,同时可以在BERT模型的句子级编码输出上加softmax层来实现分类模型的任务,并在BERT模型的字符级编码输出上加softmax层来实现标注模型的任务。需要说明的是,使用基于BERT模型与softmax层构成的文本调整模型,相比于使用基于encoder-decoder框架的模型,在训练阶段对标注数据的规模要求较低,能够降低标注数据的获取成本。并且,分类模型和标注模型采用了同一个BERT模型,可以降低文本调整模型的结构复杂度,同时通过同一个BERT模型不需要分类模型和标注模型再分别进行特征编码,能够实现特征编码的共享,从而提高文本调整模型的训练和预测速度。

图6是根据本公开一示例性实施例示出的一种训练文本调整模型的流程图。如图6所示,文本调整模型可以通过以下方式训练:

在步骤201中,获取训练样本集。

其中,训练样本集包括训练文本,训练文本的训练上下文文本,训练调整字符信息以及训练调整位置信息。

在步骤202中,根据训练样本集对预设模型进行训练,得到文本调整模型。

举例来说,在训练文本调整模型时,可以预先获取包括大量文本的语料数据集,再按照预设规则对语料数据集进行挖掘,以确定语料数据集中疑似需要进行调整的文本,并将语料数据集中疑似需要进行调整的文本作为训练待处理文本。例如,在多轮对话场景中,可以将用户与对话系统进行对话时产生的所有历史对话作为语料数据集,此时,预设规则可以是选取具有相似片段的对话作为疑似需要进行调整的文本。

之后可以获取每个训练待处理文本的上下文文本作为该训练待处理文本的训练上下文文本,并将每个训练待处理文本和该训练待处理文本的训练上下文文本作为一个训练文本。然后,对每个训练文本进行人工标注,以标注出是否需要对该训练文本中的训练待处理文本进行调整,以及在需要调整时该训练文本中的训练待处理文本对应的正确的调整结果,并根据标注结果生成该训练文本对应的训练调整字符信息以及训练调整位置信息。最后,利用每个训练文本和每个训练文本对应的训练调整字符信息以及训练调整位置信息,生成训练样本集,并利用训练样本集通过Multi-task(中文:多任务)的方式,对预设模型进行训练,得到文本调整模型。通过Multi-task的方式对文本调整模型进行训练,可以使分类模型所要执行的任务和标注模型所要执行的任务在学习过程中,共享所学到的信息,相比于单任务学习的方式,能够提高文本调整模型的泛化效果。

需要说明的是,还可以在训练样本集中加入一定比例的不需要进行调整的训练文本作为负样本,以便文本调整模型学习到不需要对待处理文本进行调整的模式,以进一步提高对待处理文本进行调整的准确率。

图7是根据本公开一示例性实施例示出的一种文本调整装置的结构示意图。如图7所示,该装置300包括获取模块301,确定模块302和调整模块303。

获取模块301,被配置为获取待处理文本。

确定模块302,被配置为根据待处理文本和待处理文本的上下文文本,确定是否对待处理文本进行调整。

确定模块302,还被配置为在确定对待处理文本进行调整的情况下,根据上下文文本确定待处理文本的调整字符信息和调整位置信息。

调整模块303,被配置为根据调整字符信息和调整位置信息,确定调整后的待处理文本。

图8是根据本公开一示例性实施例示出的另一种文本调整装置的结构示意图。如图8所示,确定模块302包括:

第一拼接子模块3021,被配置为对上下文文本和待处理文本进行拼接,得到处理文本。

第一处理子模块3022,被配置为根据处理文本,通过预先训练的分类模型,确定是否对待处理文本进行调整。

图9是根据本公开一示例性实施例示出的又一种文本调整装置的结构示意图。如图9所示,确定模块302包括:

第二拼接子模块3023,被配置为对上下文文本和待处理文本进行拼接,得到处理文本。

第二处理子模块3024,被配置为将处理文本作为预先训练的标注模型的输入,得到标注模型输出的调整字符信息和调整位置信息。

在一些实施例中,调整字符信息包括指示上下文文本中的调整字符对应的调整方式的第一调整标签,调整位置信息包括指示调整字符对应的待处理文本中的目标字符的字符位置的第二调整标签。

调整模块303被配置为:

按照第一调整标签指示的调整方式,将调整字符调整至字符位置对应的指定位置,得到调整后的待处理文本。

在一些实施例中,调整模块303被配置为:

在第一调整标签指示的调整方式为字符插入的情况下,将调整字符插入至字符位置对应的指定位置上,得到调整后的待处理文本。

在一些实施例中,调整模块303被配置为:

在第一调整标签指示的调整方式为字符替换的情况下,利用调整字符替换字符位置上的目标字符,得到调整后的待处理文本。

图10是根据本公开一示例性实施例示出的再一种文本调整装置的结构示意图。如图10所示,调整模块303包括:

调整子模块3031,被配置为根据调整字符信息和调整位置信息,对待处理文本进行调整,得到候选文本,并确定候选文本是否满足预设调整条件。

确定子模块3032,被配置为在候选文本满足预设调整条件的情况下,将候选文本作为调整后的待处理文本。

确定子模块3032,还被配置为在候选文本不满足预设调整条件的情况下,将待处理文本作为调整后的待处理文本。

在一些实施例中,预设调整条件包括:

根据预先构建的语言模型确定的候选文本对应的语言模型概率,大于或等于预设概率阈值。和/或,

候选文本对应的频次大于或等于预设访问频次。

在一些实施例中,根据待处理文本和待处理文本的上下文文本,确定是否对待处理文本进行调整,以及根据上下文文本确定待处理文本的调整字符信息和调整位置信息是确定模块通过文本调整模型得到的。

其中,文本调整模型包括分类模型和标注模型,分类模型用于根据待处理文本和上下文文本,确定是否对待处理文本进行调整,标注模型用于根据上下文文本确定调整字符信息和调整位置信息。

在一些实施例中,文本调整模型是通过以下方式训练的:

获取训练样本集。

其中,训练样本集包括训练文本,训练文本的训练上下文文本,训练调整字符信息以及训练调整位置信息。

根据训练样本集对预设模型进行训练,得到文本调整模型。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的文本调整方法的步骤。

图11是根据一示例性实施例示出的一种电子设备的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。

参照图11,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。

处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的文本调整方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。

电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。

在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的文本调整方法。

在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述的文本调整方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的文本调整方法的代码部分。

本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。

应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

相关技术
  • 文本调整方法、装置、电子设备和存储介质
  • 文本处理方法、文本处理装置、电子设备以及计算机可读存储介质
技术分类

06120112900351