自然语言处理方法、语言模型训练方法及其相关设备

技术领域

本申请涉及人工智能领域，尤其涉及一种自然语言处理方法、语言模型训练方法及其相关设备。

背景技术

目前，基于深度神经网络的语言模型在语义理解、文本生成等诸多领域都取得了突出效果，但当前绝大多数语言模型都依赖海量数据支撑的有监督学习模式，随之而来的是模型的容量越来越大，从而带来了训练和部署模型的巨大挑战。其中一个方面体现在：训练样本数据量往往达到TB级别；且现有技术中，常对现有的训练语料直接进行使用，导致训练时间大幅增加，资源消耗较大。因此，如何提高模型训练效率，缩短训练时间，减少资源消耗成为了亟待解决的问题。

发明内容

本申请提供了一种自然语言处理方法、语言模型训练方法及其相关设备，以解决现有技术中对模型训练效率较低且消耗较大的问题。

第一方面，本申请提供了一种语言模型训练方法，包括：

获取语料集；

利用多种特征提取模型对所述语料集进行特征提取，得到所述语料集中各文档对应的多个特征向量；

基于各所述文档对应的多个所述特征向量，得到各所述文档对应的语义向量；

将所述语料集中各文档对应的语义向量利用聚类模型进行聚类，得到多个语义簇；

根据各语义簇分别对语言模型采用强化学习进行训练，最终得到各语义簇对应的训练后的语言模型的参数；

根据各语义簇对应的训练后的语言模型的参数，以确定最终语言模型。

进一步的，所述多种特征提取模型包括隐含特征提取模型、主题特征提取模型和实体特征提取模型，所述利用多种特征提取模型对所述语料集进行特征提取，得到所述语料集中各文档对应的多个特征向量包括：

通过所述隐含特征提取模型对所述语料集中的各所述文档进行隐含特征提取，得到各所述文档对应的第一特征向量；

利用所述主题特征提取模型对所述语料集中的各文档进行主题特征提取，得到各所述文档对应的第二特征向量；

利用所述实体特征提取模型对所述语料集中的各文档进行实体特征提取，得到各所述文档对应的第三特征向量。

进一步的，所述利用所述主题特征提取模型对所述语料集中的各文档进行主题特征提取，得到各所述文档对应的第二特征向量包括：

通过所述主题特征提取模型对所述语料集中的各所述文档进行主题词提取，得到多个主题词并进行排列；

将排列后的多个所述主题词，通过主题特征提取模型下的Bert模型进行向量化处理，得到各所述文档对应的第二特征向量。

进一步的，所述利用所述实体特征提取模型对所述语料集中的各文档进行实体特征提取，得到各所述文档对应的第三特征向量包括：

通过实体特征提取模型中的命名实体识别技术和关系抽取技术识别各所述文档中的实体以及实体间的关系；

基于所述实体以及实体间的关系，构建知识图谱；

通过实体特征提取模型中的图卷积神经网络对所述知识图谱进行特征提取，得到第三特征向量。

进一步的，所述基于各所述文档对应的多个所述特征向量，得到各所述文档对应的语义向量包括：

基于层次分析法获得所述第一特征向量、第二特征向量、第三特征向量的权重；

根据所述第一特征向量、第二特征向量、第三特征向量的权重，对所述第一特征向量、第二特征向量、第三特征向量进行加权求和，得到所述文档对应的语义向量。

进一步的，所述根据各语义簇分别对语言模型采用强化学习进行训练包括：

在每一训练周期中，当一语义簇对应的语言模型的性能指标达到预设阈值时，获取所述语言模型此时的状态信息，将所述语言模型的状态信息，向各语义簇对应的语言模型进行广播；

各所述语义簇对应的语言模型在接收到所述状态信息后，更新自身的参数，并且根据选取概率选择处理路径；其中，所述选取概率为根据该训练周期所使用的多个语义向量经深度学习神经网络进行处理得到；

根据各所述语义簇对应的语言模型选择的处理路径，给予不同的收益；

根据各所述语言模型的收益，得到本训练周期的总收益；

所述深度学习神经网络根据所述总收益进行调参，经过多个训练周期的训练，直至所述总收益收敛。

进一步的，所述根据各语义簇对应的训练后的语言模型的参数，以确定最终语言模型包括：

当全部训练周期结束后，将各语义簇对应的语言模型最终的梯度数据汇总至同一语言模型对应的训练器；

所述训练器根据所有语言模型对应的最终的梯度数据进行平均处理，得到平均梯度；

将所述平均梯度发送至各所述语义簇对应的语言模型，以更新自身的参数，得到所述最终语言模型。

第二方面，本申请还提供一种自然语言处理方法，所述方法包括：

获取待处理文本数据；

根据如上所述的最终语言模型，对所述待处理文本数据进行处理，得到所述待处理文本数据对应的处理结果。

第三方面，本申请还提供一种语言模型训练装置，所述装置包括：

获取模块，用于获取语料集；

特征提取模块，用于利用多种特征提取模型对所述语料集进行特征提取，得到所述语料集中各文档对应的多个特征向量；

合并模块，用于基于各所述文档对应的多个所述特征向量，得到各所述文档对应的语义向量；

聚类模块，用于将所述语料集中各文档对应的语义向量利用聚类模型进行聚类，得到多个语义簇；

训练模块，用于根据各语义簇分别对语言模型采用强化学习进行训练，最终得到各语义簇对应的训练后的语言模型的参数；

确定模块，用于根据各语义簇对应的训练后的语言模型的参数，以确定最终语言模型。

第四方面，本申请还提供一种计算机设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的语言模型训练方法。

第五方面，本申请还提供一种非易失性的计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的语言模型训练方法。

根据本申请实施例提供的一种自然语言处理方法、语言模型训练方法及其相关设备，与现有技术相比至少具有以下有益效果：

通过获取语料集，利用多种特征提取模型对语料集进行特征提取，得到语料集中各文档对应的多个特征向量，得到语料集中各文档对应的多个特征向量，实现多维度提取语料集中的文本特征；基于各所述文档对应的多个所述特征向量，得到各所述文档对应的语义向量，通过将多个特征向量进行组合，得到对应的语义向量，实现对文本特征的整合，将所述语料集中各文档对应的语义向量利用聚类模型进行聚类，得到多个语义簇，根据各语义簇分别对语言模型采用强化学习进行训练，得到各语义簇对应的训练后的语言模型的参数，根据各语义簇对应的训练后的语言模型的参数，以确定最终语言模型。通过利用语料集中语义关联的强弱程度，划分不同的语义簇并行训练，并采用强化学习思路，使得语言模型尽早学习到更多更深层次的语言规律，缩短了训练时间，从而加快模型收敛，减少语言模型的训练开销。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图做一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的语言模型训练方法的流程示意图；

图2为本申请另一实施例提供的语言模型训练方法的流程示意图；

图3为图2中的步骤S220的一种具体实施方式的流程图；

图4为图2中的步骤S230的一种具体实施方式的流程图；

图5为图1中的步骤S5的另一种具体实施方式的流程图；

图6为本申请一实施例提供的语言模型训练装置的模块示意图；

图7为本申请一实施例的计算机设备的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是是相同的实施例，也不是与其它实施例相互排斥的独立的或备选的实施例。本领域技术人员显式地或隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请提供一种语言模型训练方法。参照图1所示，图1为本申请一实施例提供的语言模型训练方法的流程示意图。

在本实施例中，语言模型训练方法包括：

S1、获取语料集；

具体的，本申请可直接从数据库中获取到语料集，或与其他系统连接，从其他系统中直接获取语料集，所述语料集即用于语言模型训练所用的文档语料的集合当文档带有标签。

S2、利用多种特征提取模型对所述语料集进行特征提取，得到所述语料集中各文档对应的多个特征向量；

具体的，通过采用隐含特征提取模型、主题特征提取模型和实体特征提取模型都对所述语料集进行特征提取，分别得到所述语料集中各文档对应的第一特征向量、第二特征向量和第三特征向量。

进一步的，如图2所示，所述多种特征提取模型包括隐含特征提取模型、主题特征提取模型和实体特征提取模型，所述利用多种特征提取模型对所述语料集进行特征提取，得到所述语料集中各文档对应的多个特征向量包括：

S210、通过所述隐含特征提取模型对所述语料集中的各所述文档进行隐含特征提取，得到各所述文档对应的第一特征向量；

S220、利用所述主题特征提取模型对所述语料集中的各文档进行主题特征提取，得到各所述文档对应的第二特征向量；

S230、利用所述实体特征提取模型对所述语料集中的各文档进行实体特征提取，得到各所述文档对应的第三特征向量。

具体的，所述隐含特征提取模型为直接提取文档的隐含特征，得到第一特征向量，所述第一特征向量为文档级的特征向量，所述隐含特征提取模型可基于TextCNN模型来训练得到；

所述主题特征提取模型为提取文档中的关键词，并将关键词排序后，进行向量化，得到第二特征向量，所述第二特征向量文档主题词整体向量；

所述实体特征提取模型为提取各文档中的实体，来构建知识图谱，再通过利用图卷积神经网络提取知识图谱中的特征向量，得到所述第三特征向量。

通过利用多种特征提取模型来对文档进行处理，可以得到多个维度的特征向量，能更好的体现文本特征。

再进一步的，如图3所示，所述利用所述主题特征提取模型对所述语料集中的各文档进行主题特征提取，得到各所述文档对应的第二特征向量包括：

S221、通过所述主题特征提取模型对所述语料集中的各所述文档进行主题词提取，得到多个主题词并进行排列；

S222、将排列后的多个所述主题词，通过主题特征提取模型下的Bert模型进行向量化处理，得到各所述文档对应的第二特征向量。

具体的，通过主题特征提取模型对所述语料集中的各文档仅主题词提取，主题词的个数各根据需要自行设定，通过将多个主题词进行拼接排序形成序列，输入到已训练的Bert模型中，经Bert模型的转换，输出所述第二特征向量。

通过利用主题特征提取模型进行主题词抽取，并在排序后，输入Bert模型进行向量化处理，从而得到文档的主题特征，便于后续训练时模型能更早学习到更多的内在语言规律。

再进一步的，如图4所示，所述利用所述实体特征提取模型对所述语料集中的各文档进行实体特征提取，得到各所述文档对应的第三特征向量包括：

S231、通过实体特征提取模型中的命名实体识别技术和关系抽取技术识别各所述文档中的实体以及实体间的关系；

S232、基于所述实体以及实体间的关系，构建知识图谱；

S233、通过实体特征提取模型中的图卷积神经网络对所述知识图谱进行特征提取，得到第三特征向量。

具体的，通过命名实体识别技术，在本申请中采用的是Bert-Bi_LSTM-CRF来对各文档中的实体进行识别，并且在关系抽取技术来对实体间的关系进行抽取，在得到实体与实体间的关系后，可采用TransE及其后续改进方计算得到实体与实体间关系的嵌入向量。

通过以实体与实体间的关系，这样的三元组，来构建知识图谱。

通过实体特征提取模型中的图卷积神经网络对所述知识图谱进行特征提取，得到第三特征向量，其中，图卷积神经网络的层数可根据需要自行设定；例如当所述知识图谱中有n个顶点时，即n个实体时，每个顶点的嵌入向量维度为m，定义矩阵X∈R

通过对文档进行实体与实体间关系的抽取，来得到知识图谱，并利用图卷积神经网络来对知识图谱进行特征提取，便于后续训练时模型能更早学习到更多的内在语言规律。

S3、基于各所述文档对应的多个所述特征向量，得到各所述文档对应的语义向量；

具体的，根据各文档对应的第一特征向量、第二特征向量和第三特征向量,进行加权求和，得到各所述文档对应的语义向量。

进一步的，所述基于各所述文档对应的多个所述特征向量，得到各所述文档对应的语义向量包括：

基于层次分析法获得所述第一特征向量、第二特征向量、第三特征向量的权重；

根据所述第一特征向量、第二特征向量、第三特征向量的权重，对所述第一特征向量、第二特征向量、第三特征向量进行加权求和，得到所述文档对应的语义向量。

具体的，通过层次分析法获得所述第一特征向量、第二特征向量、第三特征向量的权重；所述层次分析法(AHP，Analytic Hierarchy Process)，是指将与决策总是有关的元素分解成目标、准则、方案等层次，在此基础之上进行定性和定量分析的决策方法。根据所述第一特征向量、第二特征向量、第三特征向量的权重，对所述第一特征向量、第二特征向量、第三特征向量进行加权求和，得到所述文档对应的语义向量。

基于层次分析法来得到的权重，并基于该权重，对特征向量进行加权求和，得到文档对应的语义向量，从而实现对文档特征的完整提取，，便于后续训练时模型能更早学习到更多的内在语言规律。

S4、将所述语料集中各文档对应的语义向量利用聚类模型进行聚类，得到多个语义簇；

具体的，将各文档对应的语义向量利用聚类模型进行聚类，在本申请中由于后续可能会有训练器数量的限制，所以本申请采用的聚类模型为K-means聚类模型，其中K即为训练器的数量。而在没有训练器数量的限制时，可采用均值漂移聚类模型等来进行处理，以各文档对应的语义向量的真实情况来进行聚类。

所述K-means聚类模型为一种迭代求解的聚类分析算法，其步骤是，预将数据分为K组，则随机选取K个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。

所述均值漂移聚类模型为基于滑动窗口的算法，来找到数据点的密集区域。这是一个基于质心的算法，通过将中心点的候选点更新为滑动窗口内点的均值来完成，来定位每个组/类的中心点。然后对这些候选窗口进行相似窗口进行去除，最终形成中心点集及相应的分组。

S5、根据各语义簇分别对语言模型采用强化学习进行训练，最终得到各语义簇对应的训练后的语言模型的参数；

具体的，各语义簇中的语义向量来分别对语言模型进行训练，即有多个语义簇时，同时对应有多个语言模型进行训练，并且训练的方式为采用强化学习的方式来进行，最终使得总收益收敛且最大，从而最终得到各语义簇对应的训练后的语言模型的参数。

进一步的，如图5所示，所述根据各语义簇分别对语言模型采用强化学习进行训练包括：

S501、在每一训练周期中，当一语义簇对应的语言模型的性能指标达到预设阈值时，获取所述语言模型此时的状态信息，将所述语言模型的状态信息，向各语义簇对应的语言模型进行广播；

S502、各所述语义簇对应的语言模型在接收到所述状态信息后，更新自身的参数，并且根据选取概率选择处理路径；其中，所述选取概率为根据该训练周期所使用的多个语义向量经深度学习神经网络进行处理得到；

S503、根据各所述语义簇对应的语言模型选择的处理路径，给予不同的收益；

S504、根据各所述语言模型的收益，得到本训练周期的总收益；

S505、所述深度学习神经网络根据所述总收益进行调参，经过多个训练周期的训练，直至所述总收益收敛。

具体的，通过给每一语义簇对应训练一个语言模型，即各语言模型利用不同的语义簇中的语义向量来训练。在每个训练周期中，在各所述语言模型在训练过程中将时刻检测模型的性能指标，当性能指标达到预设阈值时，则获取所述语言模型此时的状态信息，所述状态信息包括本语言簇结束训练时使用的样本数Ns以及此时的梯度信息；将各语义簇对应的语言模型广播所述状态信息；

其他语言模型在收到状态信息后有由三种处理路径选择：

1)立即结束本周期训练，记录此刻己方性能指标值(定义为F1

2)记录此刻己方性能指标值(定义为F2

3)记录此刻己方性能指标值(F3

根据选取概率选择处理路径；其中，所述选取概率为根据该训练周期所使用的多个语义向量经深度学习神经网络进行处理得到；具体包括：

采用强化学习领域中的策略梯度方法进行优化，使得训练总收益最大化，具体过程如下。训练一个对应类别为上述3种行动的多层神经网络。以一个二层神经网络为例，输入向量v(即本训练周期所使用的语义向量)，设隐藏层权重矩阵为w1，采用relu激活函数，偏置量为b1，输出o1＝relu(w1*v+b1)；设第二隐藏层权重矩阵为w2，偏置量为b2，输出o2＝relu(w2*o1+b2)，再通过softmax层得到o3，o3即每次采取一种处理路径的概率。在实际使用中还可以采用更多隐藏层来获得更好效果。通过选择概率最大的处理路径进行处理，来得到具体的收益；

在一训练周期结束后，汇总各语言模型对应的收益，得到训练总收益；具体根据如下公式来得到训练总收益：

其中，其中，γ为收益衰减系数，n为训练周期数目，i＝1至(n-1)，S

所述深度学习神经网络根据各训练周期的所述总收益进行调参，经过多个训练周期的训练，直至所述总收益收敛。对所述升级网络的优化可采用SGD、Adam等方法进行优化。

利用训练语料之间语义关联的强弱程度，将训练样本划分到不同的语义簇进行并行训练，且采用强化学习的方式，使得模型尽早学习到更多内在语言规律，从而加快模型收敛，减少语言模型的训练开销。

在本申请的其他实施例中，可对每一语义簇对应的语言模型设置以训练代理，该代理负责整个训练过程中的训练算法程序执行、资源申请和与其它代理通信。

S6、根据各语义簇对应的训练后的语言模型的参数，以确定最终语言模型。

通过将各语义簇对应的训练后的语言模型的参数，主要为梯度数据，发送至同一语言模型进行汇总，求平均，得到平均梯度，并再发送给各语义簇对应的语言模型进行参数更新，将更新后的各语言模型汇总，得到最终语言模型。

所述最终语言模型可完成机器翻译、词性标注、句法分析以及分类等任务。

进一步的，所述根据各语义簇对应的训练后的语言模型的参数，以确定最终语言模型包括：

当全部训练周期结束后，将各语义簇对应的语言模型最终的梯度数据汇总至同一语言模型对应的训练器；

所述训练器根据所有语言模型对应的最终的梯度数据进行平均处理，得到平均梯度；

将所述平均梯度发送至各所述语义簇对应的语言模型，以更新自身的参数，得到所述最终语言模型。

具体的，当全部训练周期结束后，将各语义簇对应的语言模型最终的梯度数据汇总至同一语言模型对应的训练器；具体可以汇总至此刻工作负载最低的语言模型对应的训练器上，对所有梯度进行求平均梯度，将所述平均梯度发送至各所述语义簇对应的语言模型，以更新自身的参数，将更新后的语言模型进行汇总，得到所述最终语言模型。

通过最后再来进行求平均梯度，各语言模型还利用平均梯度来更新自身的参数，使得语言模型更进一步优化。

本申请通过获取语料集，利用多种特征提取模型对语料集进行特征提取，得到语料集中各文档对应的多个特征向量，得到语料集中各文档对应的多个特征向量，实现多维度提取语料集中的文本特征；基于各所述文档对应的多个所述特征向量，得到各所述文档对应的语义向量，通过将多个特征向量进行组合，得到对应的语义向量，实现对文本特征的整合，将所述语料集中各文档对应的语义向量利用聚类模型进行聚类，得到多个语义簇，根据各语义簇分别对语言模型采用强化学习进行训练，得到各语义簇对应的训练后的语言模型的参数，根据各语义簇对应的训练后的语言模型的参数，以确定最终语言模型。通过利用语料集中语义关联的强弱程度，划分不同的语义簇并行训练，并采用强化学习思路，使得语言模型尽早学习到更多更深层次的语言规律，缩短了训练时间，从而加快模型收敛，减少语言模型的训练开销。

本申请实施例还提供一种自然语言处理方法，所述方法包括：

获取待处理文本数据；

根据如上所述的最终语言模型，对所述待处理文本数据进行处理，得到所述待处理文本数据对应的处理结果。

具体的，获取待处理文本数据，根据上述训练好的最终语言模型，对所述待处理文本数据进行处理，具体可利用最终语言模型下的所有模型都对所述待处理文本数据进行处理，或者对待处理文本数据先进行分类，判断所述待处理文本数据属于哪一语义簇，基于所述待处理文本数据对应的语义簇，利用最终语言模型下对应的语言模型进行处理，得到对应的处理结果。

更进一步的，所述语言模型训练方法根据所述语料集中各文本所带标签，进行对应训练能较快学习到更多内在语言规律，从而加快模型收敛，减少语言模型的训练开销，根据标签的不同，所述最终的语言模型可进行机器翻译、词性标注、句法分析以及分类等任务，进而得到对应的处理结果。

通过采用最终语言模型来进行使用，使得输出的处理结果更优，且速度更快。

本实施例还提供一种语言模型训练装置，如图6所示，是本申请语言模型训练装置的功能模块图。

本申请所述语言模型训练装置100可以安装于电子设备中。根据实现的功能，所述语言模型训练装置100可以包括获取模块101、特征提取模块102、合并模块103、聚类模块104、训练模块105和确定模块106。本申请所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

获取模块101，用于获取语料集；

特征提取模块102，用于利用多种特征提取模型对所述语料集进行特征提取，得到所述语料集中各文档对应的多个特征向量；

进一步的，所述多种特征提取模型包括隐含特征提取模型、主题特征提取模型和实体特征提取模型，所述特征提取模块102包括第一提取子模块、第二提取子模块和第三提取子模块；

所述第一提取子模块，用于通过所述隐含特征提取模型对所述语料集中的各所述文档进行隐含特征提取，得到各所述文档对应的第一特征向量；

所述第二提取子模块，用于利用所述主题特征提取模型对所述语料集中的各文档进行主题特征提取，得到各所述文档对应的第二特征向量；

所述第三提取子模块，用于利用所述实体特征提取模型对所述语料集中的各文档进行实体特征提取，得到各所述文档对应的第三特征向量。

通过第一提取子模块、第二提取子模块和第三提取子模块的配合，利用多种特征提取模型来对文档进行处理，可以得到多个维度的特征向量，能更好的体现文本特征。

再进一步的，所述第二提取子模块还包括主题提取单元和向量化单元；

所述主题提取单元，用于通过所述主题特征提取模型对所述语料集中的各所述文档进行主题词提取，得到多个主题词并进行排列；

所述向量化单元，用于将排列后的多个所述主题词，通过主题特征提取模型下的Bert模型进行向量化处理，得到各所述文档对应的第二特征向量。

通过主题提取单元和向量化单元的配合，利用主题特征提取模型进行主题词抽取，并在排序后，输入Bert模型进行向量化处理，从而得到文档的主题特征，便于后续训练时模型能更早学习到更多的内在语言规律。

再进一步的，所述第三提取子模块还包括实体抽取单元、构建单元、图卷积提取单元；

所述实体抽取单元，用于通过实体特征提取模型中的命名实体识别技术和关系抽取技术识别各所述文档中的实体以及实体间的关系；

所述构建单元，用于基于所述实体以及实体间的关系，构建知识图谱；

所述图卷积提取单元，用于通过实体特征提取模型中的图卷积神经网络对所述知识图谱进行特征提取，得到第三特征向量。

通过实体抽取单元、构建单元、图卷积提取单元的配合，对文档进行实体与实体间关系的抽取，来得到知识图谱，并利用图卷积神经网络来对知识图谱进行特征提取，便于后续训练时模型能更早学习到更多的内在语言规律。

合并模块103，用于基于各所述文档对应的多个所述特征向量，得到各所述文档对应的语义向量；

进一步的，所述合并模块103包括权重获取子模块以及加权求和子模块；

所述权重获取子模块，用于基于层次分析法获得所述第一特征向量、第二特征向量、第三特征向量的权重；

所述加权求和子模块，用于根据所述第一特征向量、第二特征向量、第三特征向量的权重，对所述第一特征向量、第二特征向量、第三特征向量进行加权求和，得到所述文档对应的语义向量。

通过权重获取子模块以及加权求和子模块的配合，基于层次分析法来得到的权重，并基于该权重，对特征向量进行加权求和，得到文档对应的语义向量，从而实现对文档特征的完整提取，，便于后续训练时模型能更早学习到更多的内在语言规律。

聚类模块104，用于将所述语料集中各文档对应的语义向量利用聚类模型进行聚类，得到多个语义簇；

训练模块105，用于根据各语义簇分别对语言模型采用强化学习进行训练，最终得到各语义簇对应的训练后的语言模型的参数；

进一步的，所述训练模块105包括广播子模块、路径选择子模块，对应处理子模块、收益计算子模块以及调参子模块；

所述广播子模块，用于在每一训练周期中，当一语义簇对应的语言模型的性能指标达到预设阈值时，获取所述语言模型此时的状态信息，将所述语言模型的状态信息，向各语义簇对应的语言模型进行广播；

所述路径选择子模块，用于各所述语义簇对应的语言模型在接收到所述状态信息后，更新自身的参数，并且根据选取概率选择处理路径；其中，所述选取概率为根据该训练周期所使用的多个语义向量经深度学习神经网络进行处理得到；

所述对应处理子模块，用于根据各所述语义簇对应的语言模型选择的处理路径，给予不同的收益；

所述收益计算子模块，用于根据各所述语言模型的收益，得到本训练周期的总收益；

所述调参子模块，用于所述深度学习神经网络根据所述总收益进行调参，经过多个训练周期的训练，直至所述总收益收敛。

通过广播子模块、路径选择子模块，对应处理子模块、收益计算子模块以及调参子模块的配合，利用训练语料之间语义关联的强弱程度，将训练样本划分到不同的语义簇进行并行训练，且采用强化学习的方式，使得模型尽早学习到更多内在语言规律，从而加快模型收敛，减少语言模型的训练开销。

确定模块106，用于根据各语义簇对应的训练后的语言模型的参数，以确定最终语言模型。

进一步的，所述确定模块106包括汇总子模块、平均子模块以及发送子模块；

所述汇总子模块，用于当全部训练周期结束后，将各语义簇对应的语言模型最终的梯度数据汇总至同一语言模型对应的训练器；

所述平均子模块，用于所述训练器根据所有语言模型对应的最终的梯度数据进行平均处理，得到平均梯度；

所述发送子模块，用于将所述平均梯度发送至各所述语义簇对应的语言模型，以更新自身的参数，得到所述最终语言模型。

通过汇总子模块、平均子模块以及发送子模块的配合，最后再来进行求平均梯度，各语言模型还利用平均梯度来更新自身的参数，使得语言模型更进一步优化。

通过采用上述装置，所述语言模型训练装置100通过获取模块101、特征提取模块102、合并模块103、聚类模块104、训练模块105和确定模块106的配合使用，通过获取语料集，利用多种特征提取模型对语料集进行特征提取，得到语料集中各文档对应的多个特征向量，得到语料集中各文档对应的多个特征向量，实现多维度提取语料集中的文本特征；基于各所述文档对应的多个所述特征向量，得到各所述文档对应的语义向量，通过将多个特征向量进行组合，得到对应的语义向量，实现对文本特征的整合，将所述语料集中各文档对应的语义向量利用聚类模型进行聚类，得到多个语义簇，根据各语义簇分别对语言模型采用强化学习进行训练，得到各语义簇对应的训练后的语言模型的参数，根据各语义簇对应的训练后的语言模型的参数，以确定最终语言模型。通过利用语料集中语义关联的强弱程度，划分不同的语义簇并行训练，并采用强化学习思路，使得语言模型尽早学习到更多更深层次的语言规律，缩短了训练时间，从而加快模型收敛，减少语言模型的训练开销。

本实施例还提供一种自然语言处理装置，本申请所述自然语言处理装置可以安装于电子设备中。根据实现的功能，所述自然语言处理装置可以包括数据获取模块和处理模块。本申请所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

所述数据获取模块，用于获取待处理文本数据；

所述处理模块，用于根据如上所述的最终语言模型，对所述待处理文本数据进行处理，得到所述待处理文本数据对应的处理结果。

通过数据获取模块和处理模块的配合，采用最终语言模型来进行使用，使得输出的处理结果更优，且速度更快。

本申请实施例还提供一种计算机设备。具体请参阅图7，图7为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如语言模型训练方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述语言模型训练方法的计算机可读指令。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本实施例通过处理器执行存储在存储器的计算机可读指令时实现如上述实施例语言模型训练方法的步骤，通过获取语料集，利用多种特征提取模型对语料集进行特征提取，得到语料集中各文档对应的多个特征向量，得到语料集中各文档对应的多个特征向量，实现多维度提取语料集中的文本特征；基于各所述文档对应的多个所述特征向量，得到各所述文档对应的语义向量，通过将多个特征向量进行组合，得到对应的语义向量，实现对文本特征的整合，将所述语料集中各文档对应的语义向量利用聚类模型进行聚类，得到多个语义簇，根据各语义簇分别对语言模型采用强化学习进行训练，得到各语义簇对应的训练后的语言模型的参数，根据各语义簇对应的训练后的语言模型的参数，以确定最终语言模型。通过利用语料集中语义关联的强弱程度，划分不同的语义簇并行训练，并采用强化学习思路，使得语言模型尽早学习到更多更深层次的语言规律，缩短了训练时间，从而加快模型收敛，减少语言模型的训练开销。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的语言模型训练方法的步骤，通过获取语料集，利用多种特征提取模型对语料集进行特征提取，得到语料集中各文档对应的多个特征向量，得到语料集中各文档对应的多个特征向量，实现多维度提取语料集中的文本特征；基于各所述文档对应的多个所述特征向量，得到各所述文档对应的语义向量，通过将多个特征向量进行组合，得到对应的语义向量，实现对文本特征的整合，将所述语料集中各文档对应的语义向量利用聚类模型进行聚类，得到多个语义簇，根据各语义簇分别对语言模型采用强化学习进行训练，得到各语义簇对应的训练后的语言模型的参数，根据各语义簇对应的训练后的语言模型的参数，以确定最终语言模型。通过利用语料集中语义关联的强弱程度，划分不同的语义簇并行训练，并采用强化学习思路，使得语言模型尽早学习到更多更深层次的语言规律，缩短了训练时间，从而加快模型收敛，减少语言模型的训练开销。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

本申请上述实施例的语言模型训练装置、计算机设备、计算机可读存储介质具有与上述实施例的语言模型训练方法相同的技术效果，在此不作展开。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。