自然语言处理方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理领域，具体而言，涉及一种自然语言处理方法、装置、电子设备及存储介质。

背景技术

自然语言处理(Natural Language Processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、情感分析和中文OCR等方面。

自然语言处理一般采用机器学习模型来实现。目前，自然语言处理通常采用基于增量式学习的持续学习方法，使用在线学习算法，在不停机的情况下，利用新数据进行模型更新。然而采用增量式学习算法的模型的学习效果和稳定性较差，从而影响自然语言处理的准确度。

发明内容

有鉴于此，本申请的目的在于提供一种自然语言处理方法、装置、电子设备及存储介质，其能够改善因基于增量式学习的模型的学习效果和稳定性差，影响然语言处理的准确度的问题。

为了实现上述目的，本申请实施方式采用的技术方案如下：

第一方面，本申请实施方式提供一种自然语言处理方法，所述方法包括：

获取待处理数据，并将所述待处理数据输入预设的语言处理模型；其中，所述语言处理模型为采用新增训练样本对应的注意力矩阵对已训练模型进行更新得到，所述已训练模型为采用原始训练样本对初始模型进行训练得到，所述注意力矩阵为对所述原始训练样本和所述新增训练样本进行注意力处理得到；

通过所述语言处理模型对所述待处理数据进行识别和处理，得到初步处理结果；其中，所述初步处理结果包括至少一个预测数据以及每个所述预测数据的置信度；

根据每个预测数据的置信度，从所有预测数据中选择至少一个预测数据作为所述待处理数据的处理结果。

可选的，所述方法还包括采用新增训练样本的注意力矩阵对已训练模型进行更新，得到语言处理模型的步骤，包括：

提取各所述新增训练样本的特征，将每个所述特征转换为特征向量，形成所述新增训练样本对应的新增子矩阵；

根据所述新增子矩阵，更新原始训练样本的多个原始子矩阵的权重，并得到所述新增子矩阵的权重；

结合所述新增子矩阵和所述多个原始子矩阵的权重，对所述新增子矩阵和所述原始子矩阵的各特征向量的表示进行更新，得到注意力矩阵；

采用所述注意力矩阵对已训练模型进行更新，得到语言处理模型。

可选的，所述结合所述新增子矩阵和所述多个原始子矩阵的权重，对所述新增子矩阵和所述原始子矩阵的各特征向量的表示进行更新，得到注意力矩阵的步骤，包括：

结合所述新增子矩阵的权重和所述多个原始子矩阵的权重，对每个子矩阵进行重要性计算，得到每个所述子矩阵的重要性得分；其中，所述子矩阵为所述新增子矩阵和所述多个原始子矩阵中的任一个；

针对每个子矩阵，根据所述子矩阵的权重，对所述子矩阵的各特征向量的表示进行更新，得到所述子矩阵的新子矩阵；

根据所有所述新子矩阵对应的子矩阵的重要性得分，计算出注意力矩阵。

可选的，所述结合所述新增子矩阵的权重和所述多个原始子矩阵的权重，对每个子矩阵进行重要性计算，得到每个所述子矩阵的重要性得分的步骤，包括：

计算出所述新增子矩阵和所述多个原始子矩阵的权重和；

针对每个所述子矩阵，将所述子矩阵的权重与所述权重和的比值，作为所述子矩阵的重要性得分。

可选的，所述根据所述子矩阵的权重，对所述子矩阵的各特征向量的表示进行更新，得到所述子矩阵的新子矩阵的步骤，包括：

针对所述子矩阵的每个特征向量，将所述特征向量与所述特征向量的乘积，作为所述特征向量的新表示；

将各所述特征向量的新表示构成的矩阵作为所述子矩阵的新子矩阵。

可选的，所述根据所有所述新子矩阵对应的子矩阵的重要性得分，计算出注意力矩阵的步骤，包括：

采用注意力矩阵公式，结合所有所述新子矩阵和所述新子矩阵对应的子矩阵的重要性得分，计算出注意力矩阵；

所述注意力矩阵公式包括：

其中，A表示注意力矩阵，S

可选的，所述根据所述新增子矩阵，更新原始训练样本的多个原始子矩阵的权重，并得到所述新增子矩阵的权重的步骤，包括：

计算所述多个原始子矩阵和所述新增子矩阵中的所有特征向量的权重和，得到总权重和；

针对任一子矩阵，计算出所述子矩阵的所有特征向量的权重和，得到子矩阵权重和，将所述子矩阵权重和所述总权重和的比值，作为所述子矩阵的权重；其中，所述子矩阵为所述新增子矩阵和所述多个原始子矩阵中的任一个。

第二方面，本申请实施方式提供一种自然语言处理装置，包括数据输入模块、数据处理模块和结果确定模块；

所述数据输入模块，用于获取待处理数据，并将所述待处理数据输入预设的语言处理模型；其中，所述语言处理模型为采用新增训练样本对应的注意力矩阵对已训练模型进行更新得到，所述已训练模型为采用原始训练样本对初始模型进行训练得到，所述注意力矩阵为对所述原始训练样本和所述新增训练样本进行注意力处理得到；

所述数据处理模块，用于通过所述语言处理模型对所述待处理数据进行识别和处理，得到初步处理结果；其中，所述初步处理结果包括至少一个预测数据以及每个所述预测数据的置信度；

所述结果确定模块，用于根据每个预测数据的置信度，从所有预测数据中选择至少一个预测数据作为所述待处理数据的处理结果。

第三方面，本申请实施方式提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现如第一方面中的任一种可能的实施方式所述的自然语言处理方法。

第四方面，本申请实施方式提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中的任一种可能的实施方式所述的自然语言处理方法。

本申请实施方式提供的自然语言处理方法、装置、电子设备及存储介质，将获取的待处理数据输入预设的语言处理模型中，该语言处理模型为采用新增训练样本对应的注意力矩阵对已训练模型进行更新得到，而已训练模型为采用原始训练样本对初始模型进行更新得到，注意力矩阵为对原始训练样本和新增训练样本进行注意力处理得到，从而使得语言处理模型能够很好得适应新增训练样本，从而通过语言处理模型对待处理数据进行识别和处理，能够得到准确度更高的初步处理结果，从而能够使从初步处理结果的所有预测数据中选择得到的处理结果的精确度更高，极大地提高了自然语言处理的准确度。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施方式，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施方式提供的自然语言处理系统的方框示意图。

图2示出了本申请实施方式提供的自然语言处理方法的流程示意图之一。

图3示出了本申请实施方式提供的自然语言处理方法的流程示意图之二。

图4示出了图3中步骤S23的部分子步骤的流程示意图。

图5示出了图3中步骤S25的部分子步骤的流程示意图。

图6示出了本申请实施方式提供的自然语言处理装置的方框示意图。

图7示出了本申请实施方式提供的电子设备的结构示意图。

附图标记说明：1000-自然语言处理系统；10-处理设备；20-控制设备；30-自然语言处理装置；301-数据输入模块；302-数据处理模块；303-结果确定模块；40-电子设备。

具体实施方式

下面将结合本申请实施方式中附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。通常在此处附图中描述和示出的本申请实施方式的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施方式的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施方式。基于本申请的实施方式，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式，都属于本申请保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

基于增量式学习算法的自然语言处理模型是基于先前的知识和新数据之间的联系，对模型进行增量更新，以逐步改进模型的性能。增量式学习算法使用在线学习算法，可以在不停机的情况下，利用新数据进行模型更新。该方法的优点在于可以实现模型的快速更新，使得模型可以及时适应变化的数据分布。然而，该方法得到模型的学习效果好稳定性较差，即存在以下缺点：

(1)当模型学习新数据时，旧数据可能会被遗忘，导致模型性能下降。

(2)随着时间的推移，模型的决策边界可能会漂移，导致模型在新数据上的性能下降。

(3)数据分布的变化可能导致模型无法很好地适应新的数据，从而影响模型的性能。

基于上述考虑，本申请实施方式提供了一种自然语言处理方法，其能够改善采用增量式学习算法的模型的学习效果和稳定性较差而影响自然语言处理的准确度的问题。

本申请实施方式提供的自然语言处理方法，可以应用于图1所示的自然语言处理系统1000中，该自然语言处理系统1000包括处理设备10和控制设备20，控制设备20可以通过有线或无线的方式与处理设备10通信连接。

控制设备20，用于将新增数据发送至处理设备10，以及将待处理数据传输至处理设备10。

处理设备10，用于基于新增数据对已训练模型进行训练，得到语言处理模型，基于语言处理模型对待处理数据进行处理，得到初步处理结果，并根据初步处理结果中每个预测数据的置信度，从所有预测数据中选择至少一个预测数据作为待处理数据的类型待处理数据的类型。

控制设备20可以是但不限于是：个人计算机、笔记本电脑、移动终端、手机、平板电脑和可穿戴式便携设备中的任一种。处理设备10包括但不限于是：独立服务器、服务器集群和个人计算机。

在一种可能的实施方式中，本申请提供了一种自然语言处理方法，参照图2，可以包括以下步骤。在本实施方式中，以该方法应用于图1中的处理设备10来举例说明。

S11，获取待处理数据，并将待处理数据输入预设的语言处理模型。

在本实施方式中，语言处理模型为采用新增训练样本对应的注意力矩阵对已训练模型进行更新得到，已训练模型为采用原始训练样本对初始模型进行训练得到，注意力矩阵为对原始训练样本和新增训练样本进行注意力处理得到。

S13，通过语言处理模型对待处理数据进行识别和处理，得到初步处理结果。

需要说明的是，初步处理结果包括至少一个预测数据以及每个预测数据的置信度。

S15，根据每个预测数据的置信度，从所有预测数据中选择至少一个预测数据作为待处理数据的处理结果。

待处理数据可以是待分类文本、待翻译文本、待识别的语音数据、待回答的问题和需提取观点的文本等中的任一种。当待处理数据为待分类文本时，初步处理结果可以包括至少一个预测类型以及每个预测类型的置信度，处理结果可以是初步处理结果中置信度最高的预测类型，预测类型可以是但不限于是：情感类型和舆情类型等。当待处理数据为待翻译文本时，初步处理结果可以包括至少一个预测文本以及每个预测文本的置信度，处理结果可以是初步处理结果中置信度最高的预测文本。

控制设备20在获取到用于对已训练模型进行更新的新增数据时，控制设备20对该新增数据进行划分处理后，将该新增数据发送至处理设备10。应当理解的是，该新增数据包括新增训练样本和新增测试样本，该新增数据的内容和标签可以与原始训练样本不同。

处理设备10接收到该新增数据后，对原始训练样本和新增训练样本进行注意力处理得到注意力矩阵，并使用该注意力矩阵对已训练模型进行训练，得到语言处理模型。

控制设备20在确认处理设备10的语言处理模型已处于训练完成状态时，将获取到的待处理数据发送至处理设备10。处理设备10将该待处理数据输入语言处理模型，以通过语言处理模型对待处理数据进行识别和分类，得到包括至少一个预测数据以及每个预测数据的置信度的初步处理结果。进而控制设备20根据每个预测数据的置信度，从所有预测数据中选择至少一个预测数据作为待处理数据的处理结果。例如，可以选择置信度最高的预测数据作为处理结果，也可以选择置信度超过预设阈值的预测数据作为处理结果，在本实施方式中不作具体限定。

与传统的自然语言处理方法相比，上述自然语言处理方法中使用的语言处理模型为采用新增训练样本对应的注意力矩阵对已训练模型进行更新得到，而已训练模型为采用原始训练样本对初始模型进行更新得到，注意力矩阵为对原始训练样本和新增训练样本进行注意力处理得到，使得语言处理模型能够在适应新增训练样本的同时不遗忘原始训练数据，且减小决策边界的偏移。从而，通过语言处理模型对待处理数据进行识别和处理，能够得到准确度更高的初步处理结果，从而能够使从初步处理结果的所有预测数据中选择得到的处理结果的精确度更高，极大地提高了自然语言处理的准确度。

在一种可能的实施方式中，为了得到在适应新增训练样本的同时不遗忘原始训练数据的语言处理模型，并减小语言处理模型的决策边界，引入采用新增训练样本的注意力矩阵对已训练模型进行训练，得到语言处理模型的方式。参照图3，可以通过以下步骤得到语言处理模型。

S21，提取各新增训练样本的特征，将每个特征转换为特征向量，形成新增训练样本对应的新增子矩阵。

S23，根据新增子矩阵，更新原始训练样本的多个原始子矩阵的权重，并得到新增子矩阵的权重。

S25，结合新增子矩阵和多个原始子矩阵的权重，对新增子矩阵和原始子矩阵的各特征向量的表示进行更新，得到注意力矩阵。

S27，采用注意力矩阵对已训练模型进行更新，得到语言处理模型。

原始训练样本可以包括多个样本集，每个样本集有对应的原始子矩阵，每个样本集的原始子矩阵包括该样本集中的每个原始训练样本的特征向量。

上述步骤S21至S27中，根据新增子矩阵，对原始训练样本的多个原始子矩阵的权重进行更新，并同时得到新增子矩阵的权重，进而结合新增子矩阵的权重和多个原始子矩阵的权重，对新增子矩阵和原始子矩阵的各特征向量的表示进行更新，得到注意力矩阵。使得注意力矩阵在考虑新增训练样本的同时，能够考虑新增训练样本对原始训练样本，即不遗忘旧数据，从而能够提高根据注意力矩阵训练出的语言处理模型的学习效果和稳定性，进而有助于提升数据处理的准确度。

步骤S21中，提取新增训练样本的特征采用的是现有的任一种特征提取方法，例如，主成分分析方法、MDS(Muli-demision scaling)算法等，在本实施方式中不作具体限定。同理，将征转换为特征向量可以采用任一种向量化方法，例如，TF-IDF文本向量化、哈希向量化等，在本实施方式中也不作具体限定。

在一种可能的实施方式中，参照图4，步骤S23可以进一步实施为以下步骤。

S231，计算多个原始子矩阵和新增子矩阵中的所有特征向量的权重和，得到总权重和。

在本实施方式中，每个特征向量的权重为预先的赋值，例如，可以是根据特征向量对应的样本数据的标签对该特征向量的权重进行复制，也可以是根据特征向量对应的样本数据的内容类别对该特征向量的权重进行复制，在本实施方式中，不作具体限定。

S232，针对任一子矩阵，计算出子矩阵的所有特征向量的权重和，得到子矩阵权重和，将子矩阵权重和总权重和的比值，作为子矩阵的权重。

基于上述步骤S231和步骤S231，子矩阵(包括新增子矩阵和)的权重计算公式可以表示为：

通过上述步骤S231至S231，可以计算每个子矩阵在注意力机制下的权重，从而调整子矩阵的贡献程度(即权重)，使得每个子矩阵的重要性能够得到平衡。

在一种可能的实施方式中，参照图5，步骤S25可以进一步实施为以下步骤。

S251，结合新增子矩阵的权重和多个原始子矩阵的权重，对每个子矩阵进行重要性计算，得到每个子矩阵的重要性得分。

在本实施方式中，子矩阵为新增子矩阵和多个原始子矩阵中的任一个。

S252，针对每个子矩阵，根据子矩阵的权重，对子矩阵的各特征向量的表示进行更新，得到子矩阵的新子矩阵。

S253，根据所有新子矩阵和新增子矩阵的重要性得分，计算出注意力矩阵。

步骤S251中，得到新增子矩阵的重要性得分的方式可以灵活设置，例如，可以使用机器学习模型计算出子矩阵的重要性得分，也可以按预设规则计算，在本实施方式中不作具体限定。

在一种可能的实施方式中，步骤S251可以进一步实施为：计算出新增子矩阵和多个原始子矩阵的权重和，针对每个子矩阵，将该子矩阵的权重与权重和的比值，作为该子矩阵的重要性得分。

在上述实施方式中，子矩阵的重要性得分可以表示为：

通过上述步骤方式，将新增子矩阵的权重在所有子矩阵的权重和的占比作为新增子矩阵的重要性得分，能够考虑旧训练数据的影响，能够进一步提升模型的学习效果和稳定性，进而有助于提升自然语言处理的准确度。

另外，重要性得分决定了在模型更新过程中每个子矩阵的贡献程度，即重要性得分用于衡量每个子矩阵对模型改进的重要性。在模型更新过程中，可以根据子矩阵的重要性得分分配资源和注意力，较高的重要性得分的子矩阵会获得更多的资源和更新迭代次数。通过调整资源分配和注意力机制，使模型能够更加高效地学习和改进。

对于步骤S252，针对子矩阵的每个特征向量，可以将特征向量与特征向量的乘积，作为特征向量的新表示，并将各特征向量的新表示构成的矩阵作为子矩阵的新子矩阵。

上述方式中的新子矩阵可以表示为：

在一种可能的实施方式中，步骤S253可以进一步实施为：采用注意力矩阵公式，结合所有新子矩阵和新子矩阵对应的子矩阵的重要性得分，计算出注意力矩阵。

采用注意力矩阵公式可以表示为：

通过上述方式，根据重要性得分对每个新子矩阵进行加权平均来获得注意力子矩阵，从而使得注意力矩阵既能考虑新增训练样本，也能考虑新增训练样本对原始训练样本的影响而产生的数据分布变化，从而在重新训练语言处理模型时，可以在不丢失之前训练知识的同时，继续学习新的知识，以能够得到学习效果更好且更稳定的语言处理模型。

使用注意力矩阵对已训练模型进行更新的方法可以是任一种模型训练方法，本实施方式中，不作具体限定。

在本申请中，在新增数据到达时，可以根据其对应的子矩阵，只更新相关部分的模型参数，然后重新计算注意力矩阵，以注意力矩阵对模型进行更新。以此，可以在新数据上获得更好的预测效果，同时保持模型的持续学习能力，且无需对整个模型重新进行训练，从而得到学习效果更好且稳定性更高的语言处理模型，进而能够提升自然语言处理的准确度。

以有一个包含100个样本的数据集，其中每个样本有10个特征为例。使用目前的持续学习方法对这个数据集进行训练，每次只输入一个样本，并且使用10个子矩阵进行训练，每个子矩阵有5个特征。

首先，将数据集划分为训练集和测试集，其中，训练集包含前80个样本，测试集包含后20个样本。然后，采用上述步骤S21至S27及其子步骤的方法(可以称为不可知式持续学习)对已训练模型进行再次训练，使用随机初始化的注意力矩阵和模型参数，对训练集进行训练，直到模型收敛为止。在训练过程中，每输入一个样本，就计算一次损失函数，并更新模型参数和注意力矩阵。在计算损失函数时，可以使用交叉熵损失函数，并加上正则化项以避免过拟合。

使用训练好的模型和注意力矩阵，对测试集进行预测，并计算预测结果的准确率和召回率。为了比较不同方法的效果，还使用了传统的随机森林方法进行训练和测试，并计算其准确率和召回率。

下表1给出了使用基于不可知式和注意力矩阵的持续学习方法和随机森林方法对测试集进行预测的结果。

表1

从上表可以看出，使用不可知式持续学习方法(即步骤S21至S27及其子步骤提供的模型训练方法)进行预测的准确率和召回率都比使用传统的随机森林方法更高，表明步骤S21至S27及其子步骤提供的模型训练方法可以有效提高模型的性能和泛化能力。

本申请中基于注意力矩阵，通过实时学习新的数据并更新已训练模型，使得模型可以不断适应不断变化的数据分布，从而在实际应用中带来以下几个有益效果：

(一)更高的预测准确性：传统机器学习方法需要重新训练模型来适应新的数据分布，而本申请可以学习新数据来更新旧数据的权重和重要性，以得到新的注意力矩阵，以该注意力矩阵更新模型，从而使模型更好地适应不断变化的数据分布，提高预测准确性。

(二)更好的数据利用效率：传统机器学习方法需要重新训练模型来适应新的数据分布，而本申请可以实时学习新的数据并更新模型，充分利用了所有可用的数据，提高数据利用效率。

(三)更低的系统开销：传统机器学习方法需要重新训练模型来适应新的数据分布，而本申请可以在原有模型的基础上实时学习新的数据并更新模型，减少了系统开销。

基于与上述自然语言处理方法相同的构思，在一种可能的实施方式中，还提供了一种自然语言处理装置30，可以应用于图1中的处理设备10。参照图6，自然语言处理装置30可以包括数据输入模块301、数据处理模块302和结果确定模块303。

数据输入模块301，用于获取待处理数据，并将待处理数据输入预设的语言处理模型。其中，语言处理模型为采用新增训练样本对应的注意力矩阵对已训练模型进行更新得到，已训练模型为采用原始训练样本对初始模型进行训练得到，注意力矩阵为对原始训练样本和新增训练样本进行注意力处理得到。

数据处理模块302，用于通过语言处理模型对待处理数据进行识别和处理，得到初步处理结果。其中，初步处理结果包括至少一个预测数据以及每个预测数据的置信度。

结果确定模块303，用于根据每个预测数据的置信度，从所有预测数据中选择至少一个预测数据作为待处理数据的处理结果。

进一步的，还可以包括模型更新模块，用于：

提取各新增训练样本的特征，将每个特征转换为特征向量，形成新增训练样本对应的新增子矩阵；

根据新增子矩阵，更新原始训练样本的多个原始子矩阵的权重，并得到新增子矩阵的权重；

结合新增子矩阵和多个原始子矩阵的权重，对新增子矩阵和原始子矩阵的各特征向量的表示进行更新，得到注意力矩阵。

采用注意力矩阵对已训练模型进行更新，得到语言处理模型。

上述自然语言处理装置30中，通过数据输入模块301、数据处理模块302和结果确定模块303的协同作用，语言处理模型为采用新增训练样本对应的注意力矩阵对已训练模型进行更新得到，而已训练模型为采用原始训练样本对初始模型进行更新得到，注意力矩阵为对原始训练样本和新增训练样本进行注意力处理得到，使得语言处理模型能够在适应新增训练样本的同时不遗忘原始训练数据，且减小决策边界的偏移。从而，通过语言处理模型对待处理数据进行识别和处理，能够得到准确度更高的初步处理结果，从而能够使从初步处理结果的所有预测数据中选择得到的处理结果的精确度更高，极大地提高了自然语言处理的准确度。

关于自然语言处理装置30的具体限定可以参见上文中对于自然语言处理方法的限定，在此不再赘述。上述自然语言处理装置30中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备40中的处理器中，也可以以软件形式存储于电子设备40的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一种实施方式中，提供了一种电子设备40，该电子设备40可以是服务器，其内部结构图可以如图7所示。该电子设备40包括通过系统总线连接的处理器、存储器、通信接口和输入装置。其中，该电子设备40的处理器用于提供计算和控制能力。该电子设备40的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备40的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该计算机程序被处理器执行时实现如上述实施方式提供的自然语言处理方法。

图7中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的电子设备40的限定，具体的电子设备40可以包括比图7中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一种实施方式中，本发明提供的应用于被部署设备的自然语言处理装置30可以实现为一种计算机程序的形式，计算机程序可在如图7所示的电子设备40上运行。电子设备40的存储器中可存储组成该自然语言处理装置30的各个程序模块，比如，图6所示的数据输入模块301、数据处理模块302和结果确定模块303。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的自然语言处理方法中的步骤。

例如，图7所示的电子设备40可以通过如图6所示的自然语言处理装置30中的数据输入模块301执行步骤S11。电子设备40可以通过数据处理模块302执行步骤S13。电子设备40可以通过结果确定模块303执行步骤S15。

在一种实施方式中，提供了一种电子设备40，包括存储器和处理器，该存储器存储有机器可执行指令，该处理器执行机器可执行指令时实现以下步骤：获取待处理数据，并将待处理数据输入预设的语言处理模型；通过语言处理模型对待处理数据进行识别和处理，得到初步处理结果；根据每个预测数据的置信度，从所有预测数据中选择至少一个预测数据作为待处理数据的处理结果。

在一种实施方式中，提供了一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如下步骤：获取待处理数据，并将待处理数据输入预设的语言处理模型；通过语言处理模型对待处理数据进行识别和处理，得到初步处理结果；根据每个预测数据的置信度，从所有预测数据中选择至少一个预测数据作为待处理数据的处理结果。

在本申请所提供的几个实施方式中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的优选实施方式而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。