基于强化学习的文本分类方法、装置、计算机设备及介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于强化学习的文本分类方法、装置、计算机设备及介质。

背景技术

文本分类作为自然语言理解领域的常见任务，已经形成了较多方法，总体而言可分为有监督学习和无监督学习两大派别。在有监督学习领域，主要是用各种提取能够代表文本语义的特征信息，通过训练模型完成分类；在无/半监督领域，主要是通过聚类等方法自主学习文本的特征，将具有相似特征的文本形成聚簇，从而完成分类。

但是，目前文本分类的模型忽略了样本的不平衡性，模型倾向于学到更多数量占优类别的特征，而忽略了数量不占优类别的特征，从而导致学习得到的算法容易出现过拟合，造成文本分类的不准确。

发明内容

本申请实施例的目的在于提出一种基于强化学习的文本分类方法、装置、计算机设备及介质，以解决相关技术中由于样本的不平衡性，造成文本分类不准确的技术问题。

为了解决上述技术问题，本申请实施例提供一种基于强化学习的文本分类方法，采用了如下所述的技术方案：

获取训练文本语料，对所述训练文本语料进行语义特征提取，得到语义特征向量；

将所述语义特征向量输入训练好的聚类模型，输出语义簇；

对所有所述语义簇进行关键词提取，根据提取的关键词形成每个所述语义簇对应的语义特征队列；

从每个所述语义特征队列中选取关键词作为目标关键词，基于所述目标关键词生成词语义向量；

将所述词语义向量输入预构建的初始分类模型进行训练，得到训练好的目标分类模型；

获取待分类文本，将所述待分类文本输入所述目标分类模型，输出文本分类结果。

进一步的，在所述将所述语义特征向量输入训练好的聚类模型，输出语义簇的步骤之前还包括：

将所述语义特征向量输入预构建的神经网络模型，输出聚类结果；

根据所述聚类结果确定聚类损失函数；

基于所述聚类损失函数调整所述神经网络模型的模型参数；

当满足迭代结束条件时，根据所述模型参数生成聚类模型。

进一步的，所述根据所述聚类结果确定聚类损失函数的步骤包括：

计算所述聚类结果中每个聚类簇的轮廓系数；

根据所述轮廓系数得到训练奖励分数；

基于所述聚类结果和所述训练奖励分数得到所述聚类损失函数。

进一步的，所述根据提取的关键词形成每个所述语义簇对应的语义特征队列的步骤包括：

计算每个所述语义簇的关键词之间的相似度；

根据所述相似度对所述关键词进行排序，得到排序结果；

基于所述排序结果生成每个所述语义簇对应的语义特征队列。

进一步的，所述基于所述目标关键词生成词语义向量的步骤包括：

对所述目标关键词进行特征提取，得到关键词向量；

将所述关键词向量和所述语义特征向量进行拼接，得到词语义向量。

进一步的，所述将所述词语义向量输入预构建的初始分类模型进行训练，得到训练好的目标分类模型的步骤包括：

将所述词语义向量输入预构建的初始分类模型中，得到预测分类结果；

根据所述预测分类结果确定分类损失函数；

根据所述分类损失函数调整所述初始分类模型的模型参数；

当满足迭代结束条件时，基于所述模型参数生成目标分类模型。

进一步的，所述根据所述预测分类结果确定分类损失函数的步骤包括：

根据所述预测分类结果计算得到分类奖励值；

基于所述分类奖励值和所述预测分类结果得到分类损失函数。

为了解决上述技术问题，本申请实施例还提供一种基于强化学习的文本分类装置，采用了如下所述的技术方案：

语义特征提取模块，用于获取训练文本语料，对所述训练文本语料进行语义特征提取，得到语义特征向量；

聚类模块，用于将所述语义特征向量输入训练好的聚类模型，输出语义簇；

关键词提取模块，用于对所有所述语义簇进行关键词提取，根据提取的关键词形成每个所述语义簇对应的语义特征队列；

向量生成模块，用于从每个所述语义特征队列中选取关键词作为目标关键词，基于所述目标关键词生成词语义向量；

训练模块，用于将所述词语义向量输入预构建的初始分类模型进行训练，得到训练好的目标分类模型；

分类模块，用于获取待分类文本，将所述待分类文本输入所述目标分类模型，输出文本分类结果。

为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：

该计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的基于强化学习的文本分类方法的步骤。

为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的基于强化学习的文本分类方法的步骤。

与现有技术相比，本申请实施例主要有以下有益效果：

本申请通过获取训练文本语料，对训练文本语料进行语义特征提取，得到语义特征向量；将语义特征向量输入训练好的聚类模型，输出语义簇；对所有语义簇进行关键词提取，根据提取的关键词形成每个语义簇对应的语义特征队列；从每个语义特征队列中选取关键词作为目标关键词，基于目标关键词生成词语义向量；将词语义向量输入预构建的初始分类模型进行训练，得到训练好的目标分类模型；获取待分类文本，将待分类文本输入目标分类模型，输出文本分类结果；本申请通过对训练文本语料进行语义特征提取，并对提取到的语义特征向量进行聚类，得到不同类别的语义簇，再使用不同类别语义簇对分类模型进行训练，使得分类模型学到训练文本语料中不同类别的语义特征，可以提高文本分类的精确度。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可以应用于其中的示例性系统架构图；

图2根据本申请的基于强化学习的文本分类方法的一个实施例的流程图；

图3是根据本申请的基于强化学习的文本分类装置的一个实施例的结构示意图；

图4是根据本申请的计算机设备的一个实施例的结构示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请提供了一种基于强化学习的文本分类方法，涉及人工智能，可以应用于如图1所示的系统架构100中，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。

需要说明的是，本申请实施例所提供的基于强化学习的文本分类方法一般由服务器/终端设备执行，相应地，基于强化学习的文本分类装置一般设置于服务器/终端设备中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的基于强化学习的文本分类方法的一个实施例的流程图，包括以下步骤：

步骤S201，获取训练文本语料，对训练文本语料进行语义特征提取，得到语义特征向量。

其中，训练文本语料可以从公开数据集中获取，公开数据集包括但不限于中文新闻数据集、THUCNews数据集和Online_shoppping_10_cats数据集等。从公开数据集中获取原始文本语料集，对原始文本语料集进行分词、去除停用词等预处理，并将预处理后的原始文本语料集按照预设比例随机划分为训练集和测试集，其中，训练集即为训练文本语料，是文本集合。

在本实施例中，对训练文本语料进行语义特征提取，可以使用语义特征提取模型进行语义特征提取，语义特征提取模型包括但不限于CNN(Convolutional NeuralNetworks，卷积神经网络)模型、RNN(RecurrentNeuralNetwork，循环神经网络)模型、LSTM(Long-short term memory，长短期记忆网络)模型以及BERT(Bidirectional EncoderRepresentations from Transformers，基于转换器的双向编码器表征)模型等，在此不做限制。

作为一种具体的实现方式，可以将训练文本语料输入到基于BERT的预训练语言模型进行语义特征提取。

步骤S202，将语义特征向量输入训练好的聚类模型，输出语义簇。

在本实施例中，可以通过训练好的聚类模型对语义特征向量进行聚类操作，其中，聚类模型采用的聚类算法包括但不限于K-means算法、Single-Pass算法。

以Single-Pass算法为例，对聚类过程进行详细说明，步骤包括：

步骤A，选取任一语义特征向量作为第一类簇的类簇中心；

步骤B，从未处理的其他语义特征向量中选择任一未被处理的语义特征向量，计算该语义特征向量与现有所有类簇的相似度值，选择相似度值最大的类簇最为该语义特征向量的最相近类簇，并获取该最相近类簇的相似度值。

应当理解，算法刚开始时，只有一个类簇，即步骤A产生的类簇，这时的“现有所有类簇”即该类簇。随着算法运行，语义特征向量被新建一个类簇或归到不同类簇，类簇数目也越来越多，这时的“现有所有类簇”就是指当前已经产生的所有的类簇。

步骤C，判断最相近类簇的相似度值与一相似度阈值的大小；若相似度值大于相似度阈值，则将所述步骤B中选择的语义特征向量归入最相近类簇，并更新最相近类簇的中心；否则，则将步骤B中选择的语义特征向量作为一新类簇的类簇中心。

在本实施例中，类簇中心即该类簇中语义特征向量的平均值。采用如下方式计算：

其中，C表示类簇的质心向量；n表示该类簇的语义特征向量数目；d

“更新”就是加入一个语义特征向量后，重新计算该类簇的语义特征向量平均值。

步骤D，判断待处理语义特征向量集中语义特征向量是否处理完，若没有处理完，则返回步骤C，否则，输出聚类结果。

步骤S203，对所有语义簇进行关键词提取，根据提取的关键词形成每个语义簇对应的语义特征队列。

在本实施例中，对每个语义簇提取预设数量的关键词，提取关键词的方法包括但不限于TF-IDF(词频-逆文档频率)算法、LDA算法等。

将提取出来的关键词进行相似度排序，形成语义特征序列。具体的，计算每个语义簇的关键词之间的相似度，根据相似度对关键词进行排序，得到排序结果，基于排序结果生成每个语义簇对应的语义特征队列。

其中，计算每个语义簇关键词之间的相似度可以采用包括但不限于余弦相似度(Cosine Similarity)、莱文斯坦距离(Levenshtein distance)等相似度算法。计算出关键词之间相似度后，根据相似度对关键词进行升序排列，形成相似度由高到低排列的该语义簇的语义特征队列。

步骤S204，从每个语义特征队列中选取关键词作为目标关键词，基于目标关键词生成词语义向量。

在本实施例中，通过强化学习来训练文本分类模型，在训练之前，预先进行如下定义：

定义强化学习的每次行动：每一轮训练之前，从每个语义特征队列随机选择一个关键词，采用上述语义特征提取模型得到其对应的向量，再乘以一个预设系数。

定义分类奖励值：预测的标签类别数值除以该条样本的正确标签数值，再乘以其类别在整体样本中所占比例的倒数，作为分类奖励值。例如，设样本一共有5个类别，第1类占1/10，第2类占1/5，第3类占1/4，第4类占1/3，第5类占7/60，则第1类奖励系数为10，第2类奖励系数为5，第3类奖励系数为4，第4类奖励系数为3，第5类奖励系数约为8.57。

在每一轮训练之前，从每个语义特征队列随机选择预设数量的关键词作为目标关键词，具体的，随机一个关键词。

对目标关键词进行特征提取，可以使用上述语义特征提取模型得到目标关键词对应的向量，并将该向量乘以预设系数，得到该目标关键词对应的词语义向量。

需要说明的是，预设系数为目标关键词所在语义簇的轮廓系数绝对值的倒数。

将关键词向量和上述通过语义特征提取模型得到的语义特征向量进行拼接，得到词语义向量。

本实施例中通过将从不同语义簇中选取的关键词向量与语义特征向量进行拼接，用得到的词语义向量训练分类模型，可以使得分类模型学到训练样本中不同的语义特征，提升模型分类的准确度。

步骤S205，将词语义向量输入预构建的初始分类模型进行训练，得到训练好的目标分类模型。

在本实施例中，预构建的初始分类模型为对应类别为N个行动的多层神经网络模型，将词语义向量输入多层神经网络模型中，根据分类奖励值对多层神经网络模型进行训练更新，以使得分类奖励值最大化，其中，N为大于零的自然数。

作为一种具体的实现方式，多层神经网络模型包括输入层、第一隐藏层、第二隐藏层以及输出层，输入层输入词语义向量v；设置第一隐藏层权重矩阵为w

为了实现更好的文本分类效果，可以根据实际设置更多的隐藏层。

步骤S206，获取待分类文本，将待分类文本输入目标分类模型，输出文本分类结果。

获取到待分类文本，将其输入至目标分类模型则可以，输出文本分类结果。

本申请通过对训练文本语料进行语义特征提取，并对提取到的语义特征向量进行聚类，得到不同的语义簇，再根据不同语义簇对分类模型进行训练，使得分类模型学到训练文本语料中不同类别的语义特征，可以提高文本分类的精确度。

在本实施例的一些可选的实现方式中，上述在将语义特征向量输入训练好的聚类模型，输出语义簇的步骤之前还包括：

将语义特征向量输入预构建的神经网络模型，输出聚类结果；

根据聚类结果确定聚类损失函数；

基于聚类损失函数调整神经网络模型的模型参数；

当满足迭代结束条件时，根据模型参数生成聚类模型。

在本实施例中，预构建的神经网络模型可以和上述分类模型采用相同的结构，包括输入层、第一隐藏层、第二隐藏层以及输出层，输入层输入语义特征向量x；设置第一隐藏层权重矩阵为w

在本实施例中，基于损失函数调整神经网络模型的模型参数，当满足迭代结束条件时，根据模型参数生成聚类模型。

具体的，基于损失函数的损失函数值调整神经网络模型的模型参数，继续进行迭代训练，模型训练到一定程度，此时，模型的性能达到最优状态，损失函数值几乎不再变化，即收敛。满足迭代结束条件即为模型收敛，模型收敛后，根据最终调整的模型参数输出最终的神经网络模型作为聚类模型。

本申请通过强化学习训练预构建的神经网络模型作为聚类模型，可以提高聚类的精度，进而可以提升文本分类效率。

在一些可选的实现方式中，上述根据聚类结果确定聚类损失函数的步骤包括：

计算聚类结果中每个聚类簇的轮廓系数；

根据轮廓系数得到训练奖励分数；

基于聚类结果和训练奖励分数得到聚类损失函数。

其中，轮廓系数可以采用聚类算法中用于衡量聚类效果的指标-轮廓系数来进行计算。

对于聚类簇D中的每个语义特征向量o，计算o与o所属的聚类簇内其他对象

b(o)是o到不包含o的所有簇的最小平均距离，公式如下：

轮廓系数则为：

在本实施例中，通过强化学习来训练聚类模型，在训练之前，预先进行如下定义：

定义奖励值为：当轮廓系数小于预设阈值Tg时，给予奖励值1+1/|s(o)|；否则给予奖励值-|s(o)|。

每个训练周期结束时，计算截至该时刻的训练奖励分数S

其中，γ为收益衰减系数，n为训练周期数目，i＝1～(n-1)，S

在实施例中，基于聚类结果和训练奖励分数得到聚类损失函数，具体包括：

计算聚类结果的对数值，将对数值和训练奖励分数进行乘积，得到乘积值，取乘积值的负值作为聚类损失函数，则聚类损失函数的计算方法如下：

Loss＝-S

其中，Pc

本实施例中，通过聚类结果和训练奖励分数得到的聚类损失函数进行模型迭代更新，以使得训练奖励分数最大化，保证模型的精确度。

在本实施例的一些可选的实现方式中，上述将词语义向量输入预构建的初始分类模型进行训练，得到训练好的目标分类模型的步骤包括：

将词语义向量输入预构建的初始分类模型中，得到预测分类结果；

根据预测分类结果确定分类损失函数；

根据分类损失函数调整初始分类模型的模型参数；

当满足迭代结束条件时，基于模型参数生成目标分类模型。

具体的，基于分类损失函数的损失函数值调整初始分类模型的模型参数，继续进行迭代训练，模型训练到一定程度，此时，模型的性能达到最优状态，损失函数值几乎不再变化，即收敛。满足迭代结束条件即为模型收敛，模型收敛后，根据最终调整的模型参数输出最终的分类模型作为目标分类模型。

本实施例根据不同语义簇的关键词向量和语义特征向量拼接得到的词语义向量训练分类模型，可以使得分类模型学到训练文本语料中不同类别以及隐含的语义特征，进一步提高文本分类的精确度。

在本实施例中，根据预测分类结果确定分类损失函数的步骤包括：

根据预测分类结果计算得到分类奖励值；

基于分类奖励值和预测分类结果得到分类损失函数。

具体的，计算预测分类结果Pa的对数值，将对数值和分类奖励值S

Loss＝-S

其中，Pa

本实施例通过预测分类结果和分类奖励值得到的分类损失函数进行模型迭代更新，以使得分类奖励值最大化，保证分类模型的精确度，提升文本分类的准确性。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种基于强化学习的文本分类装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图3所示，本实施例所述的基于强化学习的文本分类装置300包括：语义特征提取模块301、聚类模块302、关键词提取模块303、向量生成模块304、训练模块305以及分类模块306。其中：

语义特征提取模块301用于获取训练文本语料，对所述训练文本语料进行语义特征提取，得到语义特征向量；

聚类模块302用于将所述语义特征向量输入训练好的聚类模型，输出语义簇；

关键词提取模块303用于对所有所述语义簇进行关键词提取，根据提取的关键词形成每个所述语义簇对应的语义特征队列；

向量生成模块304用于从每个所述语义特征队列中选取关键词作为目标关键词，基于所述目标关键词生成词语义向量；

训练模块305用于将所述词语义向量输入预构建的初始分类模型进行训练，得到训练好的目标分类模型；

分类模块306用于获取待分类文本，将所述待分类文本输入所述目标分类模型，输出文本分类结果。

上述基于强化学习的文本分类装置，通过对训练文本语料进行语义特征提取，并对提取到的语义特征向量进行聚类，得到不同类别的语义簇，再使用不同类别语义簇对分类模型进行训练，使得分类模型学到训练文本语料中不同类别的语义特征，可以提高文本分类的精确度。

在本实施例的一些可选的实现方式中，基于强化学习的文本分类装置300还包括聚类训练模块，包括聚类子模块、计算子模块、调整子模块以及生成子模块，其中：

聚类子模块用于将所述语义特征向量输入预构建的神经网络模型，输出聚类结果；

计算子模块用于根据所述聚类结果确定聚类损失函数；

调整子模块用于基于所述聚类损失函数调整所述神经网络模型的模型参数；

生成子模块用于当满足迭代结束条件时，根据所述模型参数生成聚类模型。

本实施例通过强化学习训练预构建的神经网络模型作为聚类模型，可以提高聚类的精度，进而提升文本分类效率。

在本实施例中，计算子模块进一步用于：

计算所述聚类结果中每个聚类簇的轮廓系数；

根据所述轮廓系数得到训练奖励分数；

基于所述聚类结果和所述训练奖励分数得到所述聚类损失函数。

本实施例中，通过聚类结果和训练奖励分数得到的聚类损失函数进行模型迭代更新，以使得训练奖励分数最大化，保证模型的精确度。

在本实施例的一些可选的实现方式中，关键词提取模块303包括相似度计算子模块、排序子模块和生成子模块，其中：

相似度计算子模块用于计算每个所述语义簇的关键词之间的相似度；

排序子模块用于根据所述相似度对所述关键词进行排序，得到排序结果；

生成子模块用于基于所述排序结果生成每个所述语义簇对应的语义特征队列。

在本实施例中，向量生成模块304包括提取子模块和拼接子模块，其中：

提取子模块用于对所述目标关键词进行特征提取，得到关键词向量；

拼接子模块用于将所述关键词向量和所述语义特征向量进行拼接，得到词语义向量。

本实施例中通过将从不同语义簇中选取的关键词向量与语义特征向量进行拼接，用得到的词语义向量训练分类模型，可以使得分类模型学到训练样本中不同的语义特征，提升模型分类的准确度。

在本实施例的一些可选的实现方式中，训练模块305包括分类子模块、计算子模块、调整子模块和输出子模块，其中：

分类子模块用于将所述词语义向量输入预构建的初始分类模型中，得到预测分类结果；

计算子模块用于根据所述预测分类结果确定分类损失函数；

调整子模块用于根据所述分类损失函数调整所述初始分类模型的模型参数；

输出子模块用于当满足迭代结束条件时，基于所述模型参数生成目标分类模型。

本实施例根据不同语义簇的关键词向量和语义特征向量拼接得到的词语义向量训练分类模型，可以使得分类模型学到训练文本语料中不同类别以及隐含的语义特征，进一步提高文本分类的精确度。

在本实施例中，计算子模块进一步用于：

根据所述预测分类结果计算得到分类奖励值；

基于所述分类奖励值和所述预测分类结果得到分类损失函数。

本实施例通过预测分类结果和分类奖励值得到的分类损失函数进行模型迭代更新，以使得分类奖励值最大化，保证分类模型的精确度，提升文本分类的准确性。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如基于强化学习的文本分类方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述基于强化学习的文本分类方法的计算机可读指令。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本实施例通过处理器执行存储在存储器的计算机可读指令时实现如上述实施例基于强化学习的文本分类方法的步骤，通过对训练文本语料进行语义特征提取，并对提取到的语义特征向量进行聚类，得到不同的语义簇，再根据不同语义簇对分类模型进行训练，使得分类模型学到训练文本语料中不同类别的语义特征，可以提高文本分类的精确度。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于强化学习的文本分类方法的步骤，通过对训练文本语料进行语义特征提取，并对提取到的语义特征向量进行聚类，得到不同的语义簇，再根据不同语义簇对分类模型进行训练，使得分类模型学到训练文本语料中不同类别的语义特征，可以提高文本分类的精确度。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。