情感识别模型的训练方法、装置、设备和存储介质
文献发布时间:2023-06-19 09:36:59
技术领域
本公开涉及数据处理技术领域,尤其涉及一种情感识别模型的训练方法、装置、设备和存储介质。
背景技术
目前,在信息流广告中,广告推荐系统会给用户推荐相应的视频广告,在视频广告的属性中,用户评论作为用户的隐式反馈行为数据,对广告推荐系统进行用户满意度的评估有着重要的作用。
具体地,用户在视频广告中的评论,可以表达出用户的情感和喜爱,如果用户喜爱广告,则会在评论中对其加以赞赏;而如果用户对广告很反感,则也会通过评论表达出来。
相关技术中,通过人工收集用户在广告下面的评论信息,并对评论信息进行审核和处理,使得评论信息处理效率和准确率比较低。
发明内容
本公开提供一种情感识别模型的训练方法以及装置,以至少解决相关技术中评论信息处理效率和准确率比较低的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种情感识别模型的训练方法,包括:
获取样本评论信息,其中,所述样本评论信息具有标注标签;
对所述样本评论信息进行切词以生成多个字;
分别获取所述多个字的索引值、掩码值和文本编号,并根据所述多个字对对应的索引值、掩码值和文本编号生成所述多个字的编码向量;
根据所述多个字的编码向量生成所述多个字的词向量,并根据所述多个字的词向量生成所述样本评论信息的句向量;
根据所述句向量生成所述样本评论信息的预测标签;以及
根据所述标注标签和所述预测标签对情感识别模型进行训练。
在本公开的一个实施例中,在所述获取样本评论信息之后,还包括:获取所述样本评论信息的长度;以及如果所述样本评论信息的长度大于预设长度,则将所述样本评论信息之中大于所述预设长度的部分删除。
在本公开的一个实施例中,所述情感识别模型的损失函数为:L=-[y logy'+(1-y)log(1-y')];其中,为所述标注标签,为所述预测标签。
在本公开的一个实施例中,所述根据所述多个字对对应的索引值、掩码值和文本编号生成所述多个字的编码向量,包括:将所述多个字对应的索引值、所述掩码值和所述文本编号进行加权相加以生成所述多个字的编码向量。
在本公开的一个实施例中,其中,所述样本评论信息包括N个字,所述根据所述多个字的词向量生成所述样本评论信息的句向量,包括:对所述N个字分别进行编码以生成所述N个字对应的初始编码;分别对所述N个字的初始编码进行转换编码以形成所述N个字分别对应的句向量,其中,所述N个字之中的第一个字对应的句向量为所述样本评论信息的句相量,且在对第i个字进行转换编码时,将所述N个字之中其他字对应的转换编码作为参考编码。
在本公开的一个实施例中,所述根据所述句向量生成所述样本评论信息的预测标签,包括:对所述句向量进行多层卷积以生成卷积值;对所述卷积值进行分类以生成所述预测标签。
根据本公开实施例的第二方面,提供一种情感识别模型的训练装置,包括:
第一获取单元,被配置为获取样本评论信息,其中,所述样本评论信息具有标注标签;
切词单元,被配置为对所述样本评论信息进行切词以生成多个字;
第一生成单元,被配置为分别获取所述多个字的索引值、掩码值和文本编号,并根据所述多个字对对应的索引值、掩码值和文本编号生成所述多个字的编码向量;
第二生成单元,被配置为根据所述多个字的编码向量生成所述多个字的词向量;
第三生成单元,被配置为根据所述多个字的词向量生成所述样本评论信息的句向量;
第四生成单元,被配置为根据所述句向量生成所述样本评论信息的预测标签;以及
训练单元,被配置为根据所述标注标签和所述预测标签对情感识别模型进行训练。
在本公开的一个实施例中,所述的情感识别模型的训练装置,其特征在于,还包括:第二获取单元,被配置为获取所述样本评论信息的长度;以及删除单元,被配置为如果所述样本评论信息的长度大于预设长度,则将所述样本评论信息之中大于所述预设长度的部分删除。
在本公开的一个实施例中,所述情感识别模型的损失函数为:
L=-[y logy'+(1-y)log(1-y')];
其中,y为所述标注标签,y'为所述预测标签。
在本公开的一个实施例中,所述第一生成单元,具体被配置为:
将所述多个字对应的索引值、所述掩码值和所述文本编号进行加权相加以生成所述多个字的编码向量。
在本公开的一个实施例中,其中,所述样本评论信息包括N个字,所述第三生成单元,具体被配置为:对所述N个字分别进行编码以生成所述N个字对应的初始编码;分别对所述N个字的初始编码进行转换编码以形成所述N个字分别对应的句向量,其中,所述N个字之中的第一个字对应的句向量为所述样本评论信息的句相量,且在对第i个字进行转换编码时,将所述N个字之中其他字对应的转换编码作为参考编码。
在本公开的一个实施例中,所述第四生成单元,具体被配置为:对所述句向量进行多层卷积以生成卷积值;对所述卷积值进行分类以生成所述预测标签。
根据本公开实施例的第三方面,提供一种服务器,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为所述指令,以实现第一方面实施例所述的情感识别模型的训练方法。
根据本公开实施例的第四方面,提供一种存储介质,当所述存储介质中的指令由服务器的处理器执行时,使得服务器能够执行第一方面实施例所述的情感识别模型的训练方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,使得服务器能够执行第一方面实施例所述的情感识别模型的训练方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
通过获取样本评论信息,其中,样本评论信息具有标注标签;对样本评论信息进行切词以生成多个字;分别获取多个字的索引值、掩码值和文本编号,并根据多个字对对应的索引值、掩码值和文本编号生成多个字的编码向量;根据多个字的编码向量生成多个字的词向量,并根据多个字的词向量生成样本评论信息的句向量;根据句向量生成样本评论信息的预测标签;以及根据标注标签和预测标签对情感识别模型进行训练。由此,可以训练情感识别模型,以使通过情感识别模型对评论信息进行处理,使得无需人工审核评论信息并处理,提高了评论信息处理效率和准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种情感识别模型的应用场景图;
图2是根据一示例性实施例示出的终端设备的评论界面图;
图3是根据一示例性实施例示出的一种情感识别模型的训练方法的流程图;
图4是根据一示例性实施例示出的另一种情感识别模型的训练方法的流程图;
图5是根据一示例性实施例示出的情感识别模型的训练方法的流程图;
图6是根据一示例性实施例示出的终端设备的评论界面图;
图7是根据一示例性实施例示出的终端设备的评论界面图;
图8是根据一示例性实施例示出的一种情感识别模型的训练装置的框图;
图9是根据一示例性实施例示出的服务器200的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在实际应用场景中,用户可以针对视频广告、商品和文章等进行评论,表达出用户对于广告、商品和文章等评论对象的情感,通常用户喜爱评论对象,则会在评论中对其加以赞赏;而如果用户对评论对象很反感,则也会通过评论表达出来,因此,通过对评论信息进行分析和处理,有利于基于用户偏好进行对应的调整以进一步满足相关用户需求。
相关技术中,通过人工收集用户在广告下面的评论信息,并对评论信息进行审核和处理,使得评论信息处理效率和准确率比较低。
本公开针对上述问题,本申请提出一种情感识别模型的训练方法,通过获取具有标注标签的样本评论信息;对样本评论信息进行切词以生成多个字;分别获取多个字的索引值、掩码值和文本编号,并根据多个字对对应的索引值、掩码值和文本编号生成多个字的编码向量;根据多个字的编码向量生成多个字的词向量,并根据多个字的词向量生成样本评论信息的句向量;根据句向量生成样本评论信息的预测标签;以及根据标注标签和预测标签对情感识别模型进行训练,以使通过情感识别模型对评论信息进行处理,使得无需人工审核评论信息并处理,提高了评论信息处理效率和准确性,进一步能够根据需要对评论信息进行删除、置顶等处理,有利于广告等评论对象的正向宣传,满足用户使用需求。
本公开的情感识别模型的训练方法中训练后的情感识别模型可以应用于图1所示的场景中,图1是根据一示例性实施例示出的一种情感识别模型的应用场景图,该应用场景可以包括多个终端设备10和服务器20,其中,服务器20可以通过网络分别与多个终端设备10进行通信连接。服务器20可以同时接收多个终端设备10发送的评论信息,并将评论信息发送给多个终端设备10进行显示。
以短视频广告为例,通过终端设备10针对发布的短视频广告进行评论,如图2所示,图2是根据一示例性实施例示出的终端设备的评论界面图,终端设备10在播放短视频广告的过程中可以在图2所示的评论框中输入针对短视频广告进行评论,不限于文本、音频和图像形式等评论信息,同时在图2所示的评论信息显示区域显示相关用户对本视频广告的评论信息,本公开实施例中,服务器20通过本公开训练后的情感识别模型对评论信息进行处理,使得图2所示的评论信息显示区域的评论信息可以不断更新,提供给终端设备更多正向评论,有利于广告等评论对象的正向宣传,满足用户使用需求。
具体地,图3是根据一示例性实施例示出的一种情感识别模型的训练方法的流程图,如图3所示,包括以下步骤:
步骤S101,获取样本评论信息,其中,样本评论信息具有标注标签。
在本公开的实施例之中,样本评论信息可以是任何的评论信息,例如文本评论信息、音频信息和图像信息等。在本公开的其他实施例之中,该评论信息可以针对文字,视频等。在本公开的一个实施例之中,该评论信息是针对短视频的评论信息。
在本公开实施例中,可以针对具体应用场景获取对应的样本评论信息来训练情感识别模型,以提高情感识别模型识别的准确性,还可以基于不同场景获取多种样本评论信息来训练情感识别模型,以提高情感识别模型的通用性,具体可以根据实际需求进行选择设置。
具体地,以视频广告场景为例,抽取视频广告的评论信息作为样本评论信息,根据情感分类的标注规则,对样本评论信息的情感语义进行标注标签,比如负向情感的标注标签为1;其他标注标签为0;比如标注标签为1的评论信息为:“广告太多了!”、“这个平台就是垃圾!”、“这个产品是假的,大家别买”;标注标签为0的评论信息比如:“虽然这个吹风机有点丑,但是,很好用”、“我带你”。
需要说明的是,标签可以根据实际训练需求进行标注,也可以将正向情感的标注标签为1;其他的标注标签为0。
在本公开实施例中,在用户通过手机、平板电脑、智能佩戴设备和电脑等终端设备发送评论信息后,服务器可以获取一个或者多个评论信息并存储在数据库中,因此,可以从数据库中获取一个或者多个样本评论信息,也可以实时获取终端设备发送的一个或者多个评论信息作为样本评论信息,可以根据实际应用场景进行选择设置,举例说明如下:
第一种示例,以视频广告场景为例,直接实时获取终端设备发送的一个或者多个评论信息作为样本评论信息。
第二种示例,以文章场景为例,针对文章的评论信息,主要是避免一些虚假广告宣传等评论信息,因为可以从数据库中获取一个或者多个样本评论信息。
可以理解的是,训练需要大量样本评论信息,可以通过样本标识快速检索到样本评论信息,进一步提高情感识别模型的训练效率,作为一种可能实现方式,获取样本评论信息的评论标识,以及根据评论标识生成样本评论信息的样本标识,其中,样本标识用于检索样本评论信息,从而在获取目标标识后可以根据目标标识进行检测以获取目标标识对应的样本评论信息。
可以理解的是,不同终端设备发送的评论信息可以相同也可以不同,针对同一个终端设备和同一评论对象,不同时间段发送的评论信息也可能不同,比如视频广告场景为例,评论信息评论的对象可以包括;广告中的电商产品,也可以是视频中的任何东西,或者是对视频发布平台的评论等。
步骤S102,对样本评论信息进行切词以生成多个字。
具体地,评论信息一般以文字形式出现,也可以包括网页链接、数字和字母等,本公开实施例中的样本评论信息主要为文本信息,并对样本评论信息进行切词生成多个分词。在本公开的其他实施例之中,如果样本评论信息为音频信息或视频信息,则将音频信息转换为文本信息,或从视频信息之中提取文本信息;同理,如果样本评论信息为图像信息,则将图像信息转换为文本信息,或者从图像信息中提取文本信息。
在本公开实施例中,如果样本评论信息为文本信息,则对评论信息进行切词生成多个分词的方式有很多种,举例说明是如下:
第一种示例,基于字符串匹配的分词方法对样本评论信息进行处理,将样本评论信息与机器词典中的词条进行配,若在词典中找到某个字符串,则识别出一个分词,从而生成多个分词。
第二种示例,基于理解的分词方法对样本评论信息进行处理,对进行样本评论信息进行分词同时进行句法、语义分析,利用句法信息和语义信息进行词性标注,从而生成多个分词。
第三示例,基于分词模型对样本评论信息进行分词,该分词模型可采用目前已有的分词模型进行分词。
步骤S103,分别获取多个字的索引值、掩码值和文本编号,并根据多个字对对应的索引值、掩码值和文本编号生成多个字的编码向量。
在本公开实施例中,对样本评论信息进行切词以生成多个字后,分别获取多个字的索引值、掩码值和文本编号,其中,索引值可以理解为样本评论信息按字粒度进行分词后,在中文字词典的索引;掩码值可以理解为样本评论信息在进行训练时,将分隔后的字进行遮掩的位置,文本编号可以理解为如果只输入一个样本评论信息,则为0,如果输入是一对样本评论信息,则用字符比如[SEP]进行分隔,以及两个样本评论信息的文本编号不同,比如第一个样本评论信息A的文本编号为0,第二个评论信息的文本编号为1。
需要说明的是,掩码值的目的是为了更好地进行情感识别模型的训练,训练后情感识别模型不仅学习遮掩的位置,还学习被遮掩的单词是什么,也就是说情感识别模型已经对整个评论信息的语义学习比较透彻了,知道哪个词出现在评论信息中的哪个位置上。
进一步,根据每个字对对应的索引值、掩码值和文本编号生成每个字的编码向量,作为一种可能实现方式,将多个字对应的索引值、掩码值和文本编号进行加权相加以生成多个字的编码向量,实现快速获取每个字的编码向量,提高后续训练效率。
举例而言,比如样本评论信息为“我爱北京天安门”,进行切词以生成“我”,“爱”,“北”,“京”,“天”,“安”,“门”七个字,接着对上述七个字进行特征提取得到七个字的索引值、掩码值和文本编号,根据七个字的索引值、掩码值和文本编号进行加权相加以生成七个字的编码向量。
继续以样本评论信息“我爱北京天安门”为例进行举例说明,样本评论信息对应多个索引值的矩阵T1为[1 1 1 1 1 1 1],掩码值的矩阵T2为[2 2 2 2 2 2 2],文本编号的矩阵T3为[0 0 0 0 0 0 0];首先将T1、T2和T3进行加权相加处理得到编码向量的矩阵为[33 3 3 3 3 3]。
步骤S104,根据多个字的编码向量生成多个字的词向量,并根据多个字的词向量生成样本评论信息的句向量。
步骤S105,根据句向量生成样本评论信息的预测标签。
在本公开实施例中,情感识别模型可以使用循环神经网络、卷积神经网络等基于样本评论信息进行训练生成,具体地,在本公开实施例中,情感识别模型包括BERT(Bidirectional Encoder Representations from Transformer基于机器翻译的双向编码表示)模块和CNN(Convolutional Neural Networks卷积神经网络)模块。
其中,BERT模块是深度学习的预训练模型,可以更好地抽取出评论信息的句法特征、单词特征和上下文语义特征,从而利用句法特征、单词特征和上下文语义特征构建评论信息的句向量,比如“苹果”,这个词,既代表手机,又代表水果,通过BERT模块可以获取整个文本的句向量,从而最终确定“苹果”指的是手机还是水果,因此,针对本公开实施例中情感识别任务上,可以学习到评论信息所表达的语义,通过语义学习到评论信息的标签。
需要说明的是,句向量可以理解为是文本中各个字融合了全文语义信息后的向量表示,也就是说BERT模块对文本中每个字分别增强其语义向量表示,提高后续情感分类的准确率。
在本公开实施例中,在获取多个字的编码向量后,根据多个字的编码向量生成多个字的词向量,其中,词向量包括句法特征,语义特征等。
举例而言,样本评论信息为“我爱用苹果玩游戏”,经过上述处理后具有七个编码向量,每一个编码向量都有对应的词向量,比如“苹”对应编码向量A1,“果”对应编码向量A2,“苹果”对应的词向量为A1+A2,且和“手机”、“华为”等词向量在语义空间比较接近,而与“香蕉”等水果的词向量在语义空间比较远。
进一步地,根据多个字的词向量生成样本评论信息的句向量的方式有很多种,作为一种可能实现方式,样本评论信息包括N个字,对N个字分别进行编码以生成N个字对应的初始编码;分别对N个字的初始编码进行转换编码以形成N个字分别对应的句向量,其中,N个字之中的第一个字对应的句向量为样本评论信息的句相量,且在对第i个字进行转换编码时,将N个字之中其他字对应的转换编码作为参考编码,由此,能够实现样本评论信息中各个字融合了全文语义信息后的向量表示,提高后续获取预测标签的准确性。
最后,根据句向量生成样本评论信息的预测标签的方式有很多种,作为一种可能实现方式,对句向量进行多层卷积以生成卷积值,对卷积值进行分类以生成预测标签,由此,通过卷积神经网络对句向量进行处理,进一步提高情感识别模型训练的准确性和效率。
其中,情感识别模型中的CNN模块包括卷积层和池化层,CNN模块中的卷积层例如可以采用1维卷积,池化层例如采用最大池化层,来实现句向量挖掘以及降维过程,将句向量输入到CNN模块中经过卷积层和池化层处理后可以得到文本深层语义特征即生成卷积值,经过分类器对卷积值进行分类得到预测标签。
需要说明的是,也可以通过其它多层神经网络层对句向量进行处理比如循环网络层得到的数值再进行分类以生成预测标签。
步骤S106,根据标注标签和预测标签对情感识别模型进行训练。
在本公开实施例中,根据标注标签和预测标签的误差不断调整情感识别模型的参数,从而提高情感识别模型的识别精确度,更具体地,可以通过损失函数的方式进行离线训练,其中,损失函数是情感识别模型输出的预测标签和真实标注的标注标签的交叉熵损失。在本公开的一个示意性的实施例之中,损失函数可为:L=-[ylogy'+(1-y)log(1-y')];其中,y为所述标注标签,y'为所述预测标签。
在本公开实施例中,可以使用随机梯度下降算法进行情感识别模型的梯度更新,具体地,从样本评论信息中随机抽出一组,训练后按梯度更新一次,然后再抽取一组,再更新一次,直到上述损失函数获得一个损失值L在可接受范围之内的情感识别模型即可。
本公开实施例的情感识别模型的训练方法,通过获取样本评论信息,其中,样本评论信息具有标注标签;对样本评论信息进行切词以生成多个字;分别获取多个字的索引值、掩码值和文本编号,并根据多个字对对应的索引值、掩码值和文本编号生成多个字的编码向量;根据多个字的编码向量生成多个字的词向量,并根据多个字的词向量生成样本评论信息的句向量;根据句向量生成样本评论信息的预测标签;以及根据标注标签和预测标签对情感识别模型进行训练。由此,可以训练情感识别模型,以使通过情感识别模型对评论信息进行处理,使得无需人工审核评论信息并处理,提高了评论信息处理效率和准确性。
图4是根据一示例性实施例示出的另一种情感识别模型的训练方法的流程图,如图4所示,包括以下步骤:
步骤S201,获取样本评论信息的评论标识,根据评论标识生成样本评论信息的样本标识,其中,样本标识用于检索样本评论信息。
步骤S202,获取目标标识,根据目标标识进行检测以获取目标标识对应的样本评论信息。
在本公开实施例中,可以针对具体应用场景获取对应的样本评论信息来训练情感识别模型,以提高情感识别模型识别的准确性,还可以基于不同场景获取多种样本评论信息来训练情感识别模型,以提高情感识别模型的通用性,具体可以根据实际需求进行选择设置。
具体地,以视频广告场景为例,抽取视频广告的评论信息作为样本评论信息,根据情感分类的标注规则,对样本评论信息的情感语义进行标注标签,比如负向情感的标注标签为1;其他标注标签为0;比如标注标签为1的评论信息为:“广告太多了!”、“这个平台就是垃圾!”、“这个产品是假的,大家别买”;标注标签为0的评论信息比如:“虽然这个吹风机有点丑,但是,很好用”、“我带你”。
需要说明的是,可以根据实际训练需求进行标注标签,也可以将正向情感的标注标签为1;其他的标注标签为0。
在本公开实施例中,获取样本评论信息的评论标识,根据评论标识生成样本评论信息的样本标识,样本标识是为了区分评论信息的唯一标识,后续可以通过样本标识快速检索到样本评论信息,进一步提高情感识别模型的训练效率。
其中,评论标识可以是基于不同样本评论信息赋予不同的编号,比如01、01和03等,从而根据评论标识生成样本评论信息的样本标识可以是A01、A02和A03等,能够唯一标识样本评论信息即可,可以根据实际应用需要进行选择设置。
进一步地,获取目标标识比如A01,根据目标标识A01进行检测匹配到样本标识为A01,从而获取A01对应的样本评论信息。
步骤S203,获取样本评论信息的长度;以及如果样本评论信息的长度大于预设长度,则将样本评论信息之中大于预设长度的部分删除。
在本公开实施例中,为了更好地对情感识别模型进行训练,可以对样本评论信息进行预处理,在分词时是按照字粒度进行分词,因此,评论信息的长度即为评论的字数,通常评论信息的句子长度越长,模型训练时间越长,因此,对整体的评论信息的句子长度做了一个统计,在资源有限的情况下,使训练和预测的性能达到最优,比如评论信息的字数的统计分布的四分之三作为评论的最大长度,四分之三的长度为128字符,超过128的句子就截断了,低于128字符的句子可以进行补齐,进一步提高处理效率。
步骤S204,对样本评论信息进行切词以生成多个字,分别获取多个字的索引值、掩码值和文本编号,并将多个字对应的索引值、掩码值和文本编号进行加权相加以生成多个字的编码向量,根据多个字的编码向量生成多个字的词向量。
在本公开实施例中,情感识别模型可以包括BERT模块,BERT模块的输入包括多个字的索引值、掩码值和文本编号,可以通过对样本评论信息进行切词以生成多个字,分别获取多个字的索引值、掩码值和文本编号,并将多个字对应的索引值、掩码值和文本编号进行加权相加以生成多个字的编码向量,根据多个字的编码向量生成多个字的词向量。
其中,索引值可以理解为评论信息按字粒度进行分词后,在中文字词典的索引;掩码值可以理解为评论信息在进行训练时,将分隔后的字进行遮掩的位置,文本编号可以理解为如果情感识别模型中的BERT模块只输入一个评论信息,则为0,如果BERT模块输入是一对评论信息,则用字符比如[SEP]进行分隔,且第一个评论信息A的文本编号为0,第二个评论信息的文本编号为1。
需要说明的是,掩码值的目的是为了更好地进行BERT模块训练,训练后模型不仅学习了遮掩的位置,还学习被遮掩的单词是什么,也就是说BERT模块已经对整个评论信息的语义学习比较透彻了,知道哪个词出现在评论信息中的哪个位置上。
需要说明的是,情感识别模型中的BERT模块进行预先训练任务之一是预测文本信息B是否在文本信息A的下文,比如文本信息A:“今天天气下雨”,文本信息B:“路面上有点滑”,那么BERT模块就需要去预测,文本信息A后面是否跟文本信息B,因此,文本信息A的文本编号向量用0表示,文本信息B的文本编号向量用1表示。在本公开实施例中,因为在情感识别的任务中,输入的是单个文本信息,所以,文本编号都为0。
举例而言,以真实视频广告评论信息为例,样本评论信息为“广告太多了,都不让推荐还一直推荐”,进行切词处理后为:[CLS]|广|告|太|多|了|,|都|不|让|推|荐|还|一|直|推|荐|[SEP],其中,评论信息的开头以“[CLS]”标识表示开始,文本的结尾以[SEP]标识结束。
索引值为:[101 2408 1440 1922 1914 749 8024 6963 679 6375 2972 57736820 671 4684 2972 5773 102 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0]。
掩码值为:[1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0];其中,标识为1为遮掩位置,在遮掩位置中,有80%的概率是将标记为1的这个位置的词替换成掩码,有10%的概率会随机替换成其他词,有10%的概率会替换成本身的词。
文本编号为:[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]。
进一步地,将多个字对应的索引值、掩码值和文本编号进行加权相加以生成多个字的编码向量,即将上述矩阵向量进行相加处理得到多个字的编码向量,实现快速获取每个字的编码向量,提高后续训练效率。
在本公开实施例中,在获取多个字的编码向量后,根据多个字的编码向量生成多个字的词向量,其中,词向量包括句法特征,语义特征等。
举例而言,样本评论信息为“我爱用苹果玩游戏”,经过上述处理后具有七个编码向量,每一个编码向量都有对应的词向量,比如“苹”对应编码向量A1,“果”对应编码向量A2,“苹果”对应的词向量为A1+A2,且和“手机”、“华为”等词向量在语义空间比较接近,而与“香蕉”等水果的词向量在语义空间比较远。
步骤S205,样本评论信息包括N个字,对N个字分别进行编码以生成N个字对应的初始编码;分别对N个字的初始编码进行转换编码以形成N个字分别对应的句向量,其中,N个字之中的第一个字对应的句向量为样本评论信息的句相量,且在对第i个字进行转换编码时,将N个字之中其他字对应的转换编码作为参考编码。
在本公开实施例中,样本评论信息包括N个字,其中,i和N都为正整数,在根据多个字的词向量生成样本评论信息的句向量的过程中,可以通过编码器等方式针对每个字进行编码得到每个字对应的初始编码,即初始语义特征学习结果,对每个字的初始编码进行转换编码以形成每个字分别对应的句向量,即根据每个字的初始语义特征学习结果参考其他字对应的转换编码进行学习,最终能够得到样本评论信息对应的句向量,即得到样本评论信息中各个字融合了全文语义信息后的向量表示,提高后续获取预测标签的准确性。
步骤S206,对句向量进行多层卷积以生成卷积值,对卷积值进行分类以生成预测标签。
在本公开实施例中,情感识别模型中包括卷积神经网络模块,卷积神经网络模块包括卷积层和池化层,卷积神经网络模块中的卷积层例如可以采用1维卷积,池化层例如采用最大池化层,来实现句向量挖掘以及降维过程,将句向量输入到卷积神经网络模块中经过卷积层和池化层处理后可以得到文本深层语义特征即生成卷积值,经过分类器对卷积值进行分类得到预测标签,通过卷积神经网络对句向量进行处理,进一步提高情感识别模型训练的准确性和效率。
步骤S207,根据标注标签和预测标签对情感识别模型进行训练。
在本公开实施例中,根据标注标签和预测标签的误差不断调整情感识别模型的参数,从而提高情感识别模型的识别精确度,更具体地,可以通过损失函数的方式进行离线训练,其中,损失函数是情感识别模型输出的预测标签和真实标注的标注标签的交叉熵损失,在本公开的一个示意性的实施例之中,损失函数可:L=-[ylogy'+(1-y)log(1-y')];其中,y为所述标注标签,y'为所述预测标签。
在本公开实施例中,可以使用随机梯度下降算法进行情感识别模型的梯度更新,具体地,从样本评论信息中随机抽出一组,训练后按梯度更新一次,然后再抽取一组,再更新一次,直到上述损失函数获得一个损失值L在可接受范围之内的情感识别模型即可。
为了领域人员更加清楚上述过程,下面结合图5以具体例子进行详细描述。
具体地,如图5所示,样本评论信息X为“广告太多了,不让推荐还一直推荐”,对评论信息进行切词后,变成“广”、“告”、“太”、“多”、“了”、“不”、“让”、“推”、“荐”、“还”、“一”、“直”“推”和“荐”多个字X01,根据多个字会抽取多个字的索引值X02、掩码值X03和文本编号X04,接着根据多个字的索引值、掩码值和文本编号生成多个字的编码向量输入至BERT模块之中以生成样本评论信息对应的句向量,也就是根据多个字的编码向量生成多个字的词向量,并根据多个字的词向量生成样本评论信息的句向量,句向量包括整个样本评论信息的语义信息,包括上下文特征,因此将句向量输入到CNN模块实现对句向量进行多层卷积以生成卷积值,再经过一层分类器对卷积值进行分类,最终就会输出成评论信息对应的标签。
本公开实施例的情感识别模型的训练方法,通过获取样本评论信息的评论标识,根据评论标识生成样本评论信息的样本标识,其中,样本标识用于检索样本评论信息,获取目标标识,根据目标标识进行检测以获取目标标识对应的样本评论信息,获取样本评论信息的评论标识,获取样本评论信息的长度;以及如果样本评论信息的长度大于预设长度,则将样本评论信息之中大于预设长度的部分删除,对样本评论信息进行切词以生成多个字,分别获取多个字的索引值、掩码值和文本编号,并将多个字对应的索引值、掩码值和文本编号进行加权相加以生成多个字的编码向量,根据多个字的编码向量生成多个字的词向量,样本评论信息包括N个字,对N个字分别进行编码以生成N个字对应的初始编码;分别对N个字的初始编码进行转换编码以形成N个字分别对应的句向量,其中,N个字之中的第一个字对应的句向量为样本评论信息的句相量,且在对第i个字进行转换编码时,将N个字之中其他字对应的转换编码作为参考编码,对句向量进行多层卷积以生成卷积值,对卷积值进行分类以生成预测标签,根据标注标签和预测标签对情感识别模型进行训练。由此,通过上述方式可以训练情感识别模型,以使通过情感识别模型对评论信息进行处理,提高了评论信息的审核效率。
基于上述实施例的描述,在训练好情感识别模型可以对评论信息进行处理,具体地,在本公开实施例中,在获取评论信息进行分词得到多个分词之后,将多个分词输入至情感识别模型之中进行处理生成评论信息的分数值,也就是说,将多个分词作为情感知识模型的输入,可以输出评论信息的分数值。
其中,情感识别模型是基于上述实施例描述预先训练生成的。
在本公开实施例,评论信息对应的情感可以是正向的也可以是负向,分数值可以根据应用需要设置,用于表示评论信息对应的正向情感以及负向情感的程度,比如预设阈值,大于该预设阈值表示为正向评论,越大表示正向情感越厉害;小于该阈值表示为负向评论,越小表示负向情感越厉害。
在本公开实施例中,还可以直接为正向情感以及负向情感设置对应分数值区间,比如分数值区间[0-1]表示负向情感,在分数值区间[0-1]中分数值越高,表示负向情感越厉害。
进一步地,根据评论信息的分数值对评论信息进行处理,可以根据应用场景需要选择如何根据评论信息的分数值对评论信息进行处理,举例说明如下:
第一种示例,如果评论信息的分数值低于预设阈值,则将评论信息删除或对评论信息的权限进行设置。
举例而言,将训练好的情感识别模型部署到线上服务,比如当有用户在广告下面进行评论,评论信息为“垃圾游戏广告太多,什么假传奇之类的,看着就烦”,对“垃圾游戏广告太多,什么假传奇之类的,看着就烦”进行分词处理,得到“圾”、“圾”、“游”、“戏”、“广”、“告”、“太”、“多”、“什”、“么”、“假”、“传”、“奇”“之”“类”、“的”、“看”、“着”“就”和“烦”多个分词,将多个分词转换为多个分词向量,根据多个分词向量生成多个输入向量输入到情感识别模型进行处理得到分数值为0.9871095,其中,分数值区间[0-1]表示负向情感,分数值越高,表示负向情感越厉害。
同理,评论信息“垃圾中的战斗机”得到的分数值为0.9559605,评论信息“广告中的优惠卷在哪领的?”得到的分数值为0.030765,由此,设置预设阈值,可以将评论信息的负向情感得分划分为负向评论和正常评论,也就是说,超过预设阈值的为负向评论,低于预设阈值为正向评论,对于负向评论,可对其进行删除等操作,从而大大减少了人工审核的工作量,提高评论信息处理效率和准确性。
以短视频广告为例,针对发布的短视频广告进行评论,如图6所示,图6是根据一示例性实施例示出的终端设备的评论界面图,通过情感识别模型获取评论信息的分数值,比如获取图6A所示中评论信息显示区域显示的评论信息1至评论信息5对应的分数值,并基于预设阈值的判断,确定比如评论信息1为负向评论,将评论信息1进行删除操作,或者将评论信息1设置为评论者自己可见,从而针对其它用户评论信息显示区域显示的评论信息如图6B所示,不再显示评论信息1。由此,实现快速审核评论信息并删除,提供给终端设备更多正向评论,有利于广告等评论对象的正向宣传,满足用户使用需求。
第二种示例,根据评论信息的分数值对评论信息的排序位置进行调整。
举例而言,通过情感识别模型可以对某广告下的所有评论信息进行情感识别得到对应的分数值,根据分数值越大,负向情感越严重,分数值越小,说明正向情感越好,广告发布者可以根据该分数值进行相应的运营操作,比如将正向情感的评论在广告评论下进行置顶,以吸引更多对广告的正向评价,来减少负向评论对广告的宣传的影响。
以短视频广告为例,针对发布的短视频广告进行评论,如图7所示,图7是根据一示例性实施例示出的终端设备的评论界面图,通过情感识别模型获取评论信息的分数值,比如获取图7A所示中评论信息显示区域显示的评论信息1至评论信息5对应的分数值,按照评论信息对应的分数值进行排序,评论信息1没有排序前五,针对其它用户评论信息显示区域显示的评论信息如图7B所示,不再显示评论信息1,从而分数值比较低的评论信息不再前面显示。由此,通过将正向情感的评论在评论信息显示区域进行置顶显示,提供给终端设备更多正向评论,有利于广告等评论对象的正向宣传,满足用户使用需求。
由此,通过情感识别模型获取评论信息的分数值,并基于评论信息的分数值对评论信息进行处理,使得无需人工审核评论信息并处理,提高了评论信息处理效率和准确性,进一步能够根据需要对评论信息进行删除、置顶等处理,有利于广告等评论对象的正向宣传,满足用户使用需求。
图8是根据一示例性实施例示出的一种情感识别模型的训练装置框图。参照图7,该情感识别模型的训练装置30包括;第一获取单元301,切词单元302、第一生成单元303、第二生成单元304、第三生成单元305、第四生成单元306和训练单元307。
第一获取单元301,被配置为获取样本评论信息,其中,样本评论信息具有标注标签。
在本公开的实施例之中,样本评论信息可以是任何的评论信息,例如文本评论信息、音频信息和图像信息等。在本公开的其他实施例之中,该评论信息可以针对文字,视频等。在本公开的一个实施例之中,该评论信息是针对短视频的评论信息。
在本公开实施例中,可以针对具体应用场景获取对应的样本评论信息来训练情感识别模型,以提高情感识别模型识别的准确性,还可以基于不同场景获取多种样本评论信息来训练情感识别模型,以提高情感识别模型的通用性,具体可以根据实际需求进行选择设置。
具体地,以视频广告场景为例,抽取视频广告的评论信息作为样本评论信息,根据情感分类的标注规则,对样本评论信息的情感语义进行标注标签,比如负向情感的标注标签为1;其他标注标签为0;比如标注标签为1的评论信息为:“广告太多了!”、“这个平台就是垃圾!”、“这个产品是假的,大家别买”;标注标签为0的评论信息比如:“虽然这个吹风机有点丑,但是,很好用”、“我带你”。
需要说明的是,标签可以根据实际训练需求进行标注,也可以将正向情感的标注标签为1;其他的标注标签为0。
在本公开实施例中,在用户通过手机、平板电脑、智能佩戴设备和电脑等终端设备发送评论信息后,服务器可以获取一个或者多个评论信息并存储在数据库中,因此,可以从数据库中获取一个或者多个样本评论信息,也可以实时获取终端设备发送的一个或者多个评论信息作为样本评论信息,可以根据实际应用场景进行选择设置,举例说明如下:
第一种示例,以视频广告场景为例,直接实时获取终端设备发送的一个或者多个评论信息作为样本评论信息。
第二种示例,以文章场景为例,针对文章的评论信息,主要是避免一些虚假广告宣传等评论信息,因为可以从数据库中获取一个或者多个样本评论信息。
可以理解的是,训练需要大量样本评论信息,可以通过样本标识快速检索到样本评论信息,进一步提高情感识别模型的训练效率,作为一种可能实现方式,获取样本评论信息的评论标识,以及根据评论标识生成样本评论信息的样本标识,其中,样本标识用于检索样本评论信息,从而在获取目标标识后可以根据目标标识进行检测以获取目标标识对应的样本评论信息。
可以理解的是,不同终端设备发送的评论信息可以相同也可以不同,针对同一个终端设备和同一评论对象,不同时间段发送的评论信息也可能不同,比如视频广告场景为例,评论信息评论的对象可以包括;广告中的电商产品,也可以是视频中的任何东西,或者是对视频发布平台的评论等。
切词单元302,被配置为对样本评论信息进行切词以生成多个字。
具体地,评论信息一般以文字形式出现,也可以包括网页链接、数字和字母等,本公开实施例中的样本评论信息主要为文本信息,并对样本评论信息进行切词生成多个分词。在本公开的其他实施例之中,如果样本评论信息为音频信息或视频信息,则将音频信息转换为文本信息,或从视频信息之中提取文本信息;同理,如果样本评论信息为图像信息,则将图像信息转换为文本信息,或者从图像信息中提取文本信息。
在本公开实施例中,如果样本评论信息为文本信息,则对评论信息进行切词生成多个分词的方式有很多种,举例说明是如下:
第一种示例,基于字符串匹配的分词方法对样本评论信息进行处理,将样本评论信息与机器词典中的词条进行配,若在词典中找到某个字符串,则识别出一个分词,从而生成多个分词。
第二种示例,基于理解的分词方法对样本评论信息进行处理,对进行样本评论信息进行分词同时进行句法、语义分析,利用句法信息和语义信息进行词性标注,从而生成多个分词。
第三示例,基于分词模型对样本评论信息进行分词,该分词模型可采用目前已有的分词模型进行分词。
第一生成单元303,被配置为分别获取多个字的索引值、掩码值和文本编号,并根据多个字对对应的索引值、掩码值和文本编号生成所述多个字的编码向量。
在本公开实施例中,对样本评论信息进行切词以生成多个字后,分别获取多个字的索引值、掩码值和文本编号,其中,索引值可以理解为样本评论信息按字粒度进行分词后,在中文字词典的索引;掩码值可以理解为样本评论信息在进行训练时,将分隔后的字进行遮掩的位置,文本编号可以理解为如果只输入一个样本评论信息,则为0,如果输入是一对样本评论信息,则用字符比如[SEP]进行分隔,以及两个样本评论信息的文本编号不同,比如第一个样本评论信息A的文本编号为0,第二个评论信息的文本编号为1。
需要说明的是,掩码值的目的是为了更好地进行情感识别模型的训练,训练后情感识别模型不仅学习遮掩的位置,还学习被遮掩的单词是什么,也就是说情感识别模型已经对整个评论信息的语义学习比较透彻了,知道哪个词出现在评论信息中的哪个位置上。
进一步,根据每个字对对应的索引值、掩码值和文本编号生成每个字的编码向量,作为一种可能实现方式,第一生成单元303,具体被配置为将多个字对应的索引值、掩码值和文本编号进行加权相加以生成多个字的编码向量。
举例而言,比如样本评论信息为“我爱北京天安门”,进行切词以生成“我”,“爱”,“北”,“京”,“天”,“安”,“门”七个字,接着对上述七个字进行特征提取得到七个字的索引值、掩码值和文本编号,根据七个字的索引值、掩码值和文本编号进行加权相加以生成七个字的编码向量。
继续以样本评论信息“我爱北京天安门”为例进行举例说明,样本评论信息对应多个索引值的矩阵T1为[1 1 1 1 1 1 1],掩码值的矩阵T2为[2 2 2 2 2 2 2],文本编号的矩阵T3为[0 0 0 0 0 0 0];首先将T1、T2和T3进行加权相加处理得到编码向量的矩阵为[33 3 3 3 3 3]。
第二生成单元304,被配置为根据多个字的编码向量生成多个字的词向量。
第三生成单元305,被配置为根据多个字的词向量生成样本评论信息的句向量。
第四生成单元306,被配置为根据句向量生成样本评论信息的预测标签。
在本公开实施例中,情感识别模型可以使用循环神经网络、卷积神经网络等基于样本评论信息进行训练生成,具体地,在本公开实施例中,情感识别模型包括BERT(Bidirectional Encoder Representations from Transformer基于机器翻译的双向编码表示)模块和CNN(Convolutional Neural Networks卷积神经网络)模块。
其中,BERT模块是深度学习的预训练模型,可以更好地抽取出评论信息的句法特征、单词特征和上下文语义特征,从而利用句法特征、单词特征和上下文语义特征构建评论信息的句向量,比如“苹果”,这个词,既代表手机,又代表水果,通过BERT模块可以获取整个文本的句向量,从而最终确定“苹果”指的是手机还是水果,因此,针对本公开实施例中情感识别任务上,可以学习到评论信息所表达的语义,通过语义学习到评论信息的标签。
需要说明的是,句向量可以理解为是文本中各个字融合了全文语义信息后的向量表示,也就是说BERT模块对文本中每个字分别增强其语义向量表示,提高后续情感分类的准确率。
在本公开实施例中,在获取多个字的编码向量后,根据多个字的编码向量生成多个字的词向量,其中,词向量包括句法特征,语义特征等。
举例而言,样本评论信息为“我爱用苹果玩游戏”,经过上述处理后具有七个编码向量,每一个编码向量都有对应的词向量,比如“苹”对应编码向量A1,“果”对应编码向量A2,“苹果”对应的词向量为A1+A2,且和“手机”、“华为”等词向量在语义空间比较接近,而与“香蕉”等水果的词向量在语义空间比较远。
进一步地,根据多个字的词向量生成样本评论信息的句向量的方式有很多种,作为一种可能实现方式,第三生成单元305,具体被配置为样本评论信息包括N个字,对N个字分别进行编码以生成N个字对应的初始编码;分别对N个字的初始编码进行转换编码以形成N个字分别对应的句向量,其中,N个字之中的第一个字对应的句向量为样本评论信息的句相量,且在对第i个字进行转换编码时,将N个字之中其他字对应的转换编码作为参考编码。
最后,根据句向量生成样本评论信息的预测标签的方式有很多种,作为一种可能实现方式,第四生成单元306,具体被配置为对句向量进行多层卷积以生成卷积值,对卷积值进行分类以生成预测标签。
其中,情感识别模型中的CNN模块包括卷积层和池化层,CNN模块中的卷积层例如可以采用1维卷积,池化层例如采用最大池化层,来实现句向量挖掘以及降维过程,将句向量输入到CNN模块中经过卷积层和池化层处理后可以得到文本深层语义特征即生成卷积值,经过分类器对卷积值进行分类得到预测标签。
需要说明的是,也可以通过其它多层神经网络层对句向量进行处理比如循环网络层得到的数值再进行分类以生成预测标签。
训练单元306,被配置为根据标注标签和预测标签对情感识别模型进行训练。
在本公开实施例中,根据标注标签和预测标签的误差不断调整情感识别模型的参数,从而提高情感识别模型的识别精确度,更具体地,可以通过损失函数的方式进行离线训练,其中,损失函数是情感识别模型输出的预测标签和真实标注的标注标签的交叉熵损失。在本公开的一个示意性的实施例之中,损失函数可为:L=-[ylogy'+(1-y)log(1-y')];其中,y为所述标注标签,y'为所述预测标签。
在本公开实施例中,可以使用随机梯度下降算法进行情感识别模型的梯度更新,具体地,从样本评论信息中随机抽出一组,训练后按梯度更新一次,然后再抽取一组,再更新一次,直到上述损失函数获得一个损失值L在可接受范围之内的情感识别模型即可。
在本公开实施例中,获取样本评论信息的评论标识,根据评论标识生成样本评论信息的样本标识,样本标识是为了区分评论信息的唯一标识,后续可以通过样本标识快速检索到样本评论信息,进一步提高情感识别模型的训练效率。
其中,评论标识可以是基于不同样本评论信息赋予不同的编号,比如01、01和03等,从而根据评论标识生成样本评论信息的样本标识可以是A01、A02和A03等,能够唯一标识样本评论信息即可,可以根据实际应用需要进行选择设置。
在本公开实施例中,为了更好地对BERT模块进行训练,可以对样本评论信息进行预处理,BERT模块在分词时是按照字粒度进行分词,因此,评论信息的长度即为评论的字数,通常评论信息的句子长度越长,模型训练时间越长,因此,对整体的评论信息的句子长度做了一个统计,在资源有限的情况下,使训练和预测的性能达到最优,比如评论信息的字数的统计分布的四分之三作为评论的最大长度,四分之三的长度为128字符,超过128的句子就截断了,低于128字符的句子可以进行补齐,进一步提高处理效率。
本公开实施例的情感识别模型的训练装置,通过获取样本评论信息,其中,样本评论信息具有标注标签;对样本评论信息进行切词以生成多个字;分别获取多个字的索引值、掩码值和文本编号,并根据多个字对对应的索引值、掩码值和文本编号生成多个字的编码向量;根据多个字的编码向量生成多个字的词向量,并根据多个字的词向量生成样本评论信息的句向量;根据句向量生成样本评论信息的预测标签;以及根据标注标签和预测标签对情感识别模型进行训练。由此,可以训练情感识别模型,以使通过情感识别模型对评论信息进行处理,使得无需人工审核评论信息并处理,提高了评论信息处理效率和准确性。
图9是根据一示例性实施例示出的服务器200的框图。
如图9所示,上述服务器200包括:
存储器210及处理器220,连接不同组件(包括存储器210和处理器220)的总线230,存储器210存储有计算机程序,当处理器220执行所述程序时实现本公开实施例所述的情感识别模型的训练方法。
总线230表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
服务器200典型地包括多种电子设备可读介质。这些介质可以是任何能够被服务器200访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器210还可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)240和/或高速缓存存储器250。服务器200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统260可以用于读写不可移动的、非易失性磁介质(图9未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块270的程序/实用工具280,可以存储在例如存储器210中,这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本公开所描述的实施例中的功能和/或方法。
服务器200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信,还可与一个或者多个使得用户能与该服务器200交互的设备通信,和/或与使得该服务器200能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口292进行。并且,服务器200还可以通过网络适配器293与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器293通过总线230与服务器200的其它模块通信。应当明白,尽管图中未示出,可以结合服务器200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器220通过运行存储在存储器210中的程序,从而执行各种功能应用以及数据处理。
需要说明的是,本实施例的服务器的实施过程和技术原理参见前述对本公开实施例的情感识别模型的训练方法的解释说明,此处不再赘述。
本公开实施例提供的服务器,可以执行如前所述的情感识别模型的训练方法,通过获取样本评论信息,其中,样本评论信息具有标注标签;对样本评论信息进行切词以生成多个字;分别获取多个字的索引值、掩码值和文本编号,并根据多个字对对应的索引值、掩码值和文本编号生成多个字的编码向量;根据多个字的编码向量生成多个字的词向量,并根据多个字的词向量生成样本评论信息的句向量;根据句向量生成样本评论信息的预测标签;以及根据标注标签和预测标签对情感识别模型进行训练。由此,可以训练情感识别模型,以使通过情感识别模型对评论信息进行处理,使得无需人工审核评论信息并处理,提高了评论信息处理效率和准确性。
为了实现上述实施例,本公开还提出一种存储介质。
其中,该存储介质中的指令由服务器的处理器执行时,使得服务器能够执行如前所述的情感识别模型的训练方法。
为了实现上述实施例,本公开还提供一种计算机程序产品,该计算机程序由服务器的处理器执行时,使得服务器能够执行如前所述的情感识别模型的训练方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
- 情感识别模型的训练方法、情感识别方法、装置、设备及存储介质
- 情感识别模型的训练方法、装置、计算机设备和存储介质