情感分析方法、装置、设备以及存储介质

技术领域

本申请涉及自然语言处理技术领域，特别是涉及一种情感分析方法、装置、设备以及存储介质。

背景技术

属性级情感分析是自然语言处理（Natural Language Processing，NLP）中的重要任务，其目的在于检测带观点的评论句子中针对某个属性的情感极性。

目前，可以通过将图神经网络(如图卷积网络)对语句的句法依存树进行运算，缩短属性词和上下文词之间的距离并利用它们间的句法依赖关系来获得情感分析结果，

然而，发明人在研究过程中发现，一方面，基于句法依存树的图卷积模型，其特征提取过程中的表示向量并不是为了属性词特制的，这可以会导致得到的表示向量并非最优，从而引入与任务无关的噪声，另一方面，偏口语化的评论句子因为含有不规则的句法结构，特征提取也会引入噪声，降低了情感分析结果的准确性。因此，如何提高情感分析的准确性是一个需要解决的技术问题。

发明内容

基于此，本申请的目的在于，提供一种情感分析方法、装置、设备以及存储介质，其具有提高情感分析的准确性的优点。

根据本申请实施例的第一方面，提供一种情感分析方法，所述情感分析方法包括：

获取目标语句以及所述目标语句中的属性词；

将所述目标语句对应的向量表示输入至训练好的门控循环神经网络中，获得上下文隐藏向量，以及将所述属性词对应的向量表示输入至所述门控循环神经网络中，获得属性词隐藏向量；

根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示，其中，所述第一隐藏表示包含的信息去除了与所述属性词无关的信息；

根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示，其中，所述第二隐藏表示为包含属性词语义信息的上下文句法语义信息；

根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示，其中，所述第三隐藏表示为降低了不规则句法信息的噪声的信息；

将所述第二隐藏表示以及所述第三隐藏表示进行拼接，获得情感特征表示；

根据所述情感特征表示，生成情感分析结果。

根据本申请实施例的第二方面，提供一种情感分析装置，所述情感分析装置包括：

获取模块，用于获取目标语句以及所述目标语句中的属性词；

输入模块，用于将所述目标语句对应的向量表示输入至训练好的门控循环神经网络中，获得上下文隐藏向量，以及将所述属性词对应的向量表示输入至所述门控循环神经网络中，获得属性词隐藏向量；

第一生成模块，用于根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示，其中，所述第一隐藏表示包含的信息去除了与所述属性词无关的信息；

第二生成模块，用于根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示，其中，所述第二隐藏表示为包含属性词语义信息的上下文句法语义信息；

第三生成模块，用于根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示，其中，所述第三隐藏表示为降低了不规则句法信息的噪声的信息；

拼接模块，用于将所述第二隐藏表示以及所述第三隐藏表示进行拼接，获得情感特征表示；

第四生成模块，用于根据所述情感特征表示，生成情感分析结果。

根据本申请实施例的第三方面，提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行任意一项所述的情感分析方法。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上储存有计算机程序，其特征在于，该计算机程序被处理器执行时实现任意一项所述的情感分析方法。

本发明中，可以通过属性词的门机制模型，去除与属性词不相关的信息，针对属性词的屏蔽操作可以用于进一步获取面向属性词的特征，有利于所述第一隐藏表示包含更针对于属性词的句法信息，通过注意力机制学习属性词语义信息与上下文语义信息的交互过程，生成的所述第二隐藏表示能够学习到更针对属性词的上下文句法语义信息，在一定程度上能够减少不规则句法信息带来的噪声，通过引入含有上下文原始语义信息的所述上下文隐藏向量，并通过注意力机制增强上下文和属性词的交互作用获得的所述第三隐藏表示，能够进一步降低噪声对检测结果的影响，从而提高了情感分析的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

为了更好地理解和实施，下面结合附图详细说明本申请。

附图说明

图1为本申请一个实施例提供的一种情感分析方法的流程图；

图2为本申请一个实施例提供的情感分析装置的结构示意图；

图3为本申请一个实施例提供的一种电子设备的结构示意框图；

图4为本发明一个实施例提供的情感分析模型的整体结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非目标句子清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。

实施例一：

请参阅图1，图1为本发明实施例提供的一种情感分析方法的流程图，可以应用在电子设备中，包括如下步骤：

S101：获取目标语句以及所述目标语句中的属性词。

本发明实施例中，假设含有n个词语的所述目标语句

S102：将所述目标语句对应的向量表示输入至训练好的门控循环神经网络中，获得上下文隐藏向量，以及将所述属性词对应的向量表示输入至所述门控循环神经网络中，获得属性词隐藏向量。

其中，所述门控循环神经网络（Gated Recurrent Unit，GRU）是长短期记忆网络（Long short-term memory，LSTM）的一种变体，具有更加简单的结构、更少的参数以及更好的收敛性。

其中，所述上下文隐藏向量为

S103：根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示，其中，所述第一隐藏表示包含的信息去除了与所述属性词无关的信息。

可选的，所述根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示包括如下步骤：

S1031：根据所述目标语句中每个词语与所述属性词的距离，确定所述目标语句中每个词语的位置权重；

S1032：将所述目标语句对应的邻接矩阵、所述位置权重以及所述上下文隐藏向量输入至训练好的图卷积网络中进行卷积运算，获得图卷积网络的隐藏层输出，其中，确定所述图卷积网络的隐藏层输出的公式如下：

其中，

S1033：根据所述属性词隐藏向量和所述属性词的门机制模型，对所述图卷积网络的隐藏层输出进行调整，获得门机制调整表示；其中，获得所述门机制调整表示的公式为：

其中，

S1034：根据所述属性词的屏蔽操作，对所述门机制调整表示中的非属性词隐藏层状态进行屏蔽，获得属性词屏蔽表示；

S1035：根据所述属性词屏蔽表示以及所述上下文隐藏向量，生成所述第一隐藏表示，其中，生成所述第一隐藏表示的公式为：

其中，

在该可选的实施方式中，为了使生成的所述第一隐藏表示能够包含所述目标语句的句法信息，可以在数据的预处理阶段，使用句法依存树生成工具生成关于所述目标语句的句法依存树，再通过邻接矩阵生成工具将所述句法依存树转换为所述邻接矩阵，将所述邻接矩阵参与进所述图卷积网络的卷积运算中。

其中，由于图卷积网络生成的隐藏层状态是在不知道属性词的情况下计算的，这 可能会在生成的隐藏层输出中保留与属性词不相关的或混淆特定目标情感分析的信息（例 如，一个句子中，含有2个情感极性不同的属性词）。为了调整图卷积网络的隐藏层输出，使 得隐藏层输出更集中于属性词，可以在图卷积网络的每一层的卷积运算中，使用所述属性 词的门机制模型，通过逐点相乘的方法应用到图卷积网络第

获得的所述属性词屏蔽表示包含有句法依赖关系和长距离的多词关系等信息。

其中，基于所述属性词屏蔽表示，可以从上下文隐藏向量中，检索出与属性词语义相关的重要特征，并相应地为每个词语设置注意力权重，最终得到含有句法信息的所述第一隐藏表示。

其中，词语与节点一一对应，所述目标语句具有n个词语，则对应有n个节点，节点的不同阶段的表现形式不同，一开始是词嵌入矩阵中的词嵌入向量，后面是隐藏层输出即隐藏表示，然后到图卷积网络的输出等。

可选的，所述根据所述目标语句中每个词与所述属性词的距离，确定所述目标语句中每个词语的位置权重的方式具体为：

获取所述目标语句中的每个词语与所述属性词的距离；

根据所述距离以及预设的位置权重公式，确定所述词语的位置权重，其中，所述预设的位置权重公式如下：

其中，

在该可选的实施方式中，所述预设的位置权重公式是一个高阶的位置衰减函数，可以通过超参数来对调节位置衰减函数对距离的敏感度，所述词语的位置权重能够使体现所述目标语句中词语的位置信息。

S104：根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示，其中，所述第二隐藏表示为包含属性词语义信息的上下文句法语义信息。

可选的，所述根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示包括如下步骤：

S1041：根据所述第一隐藏表示以及所述属性词隐藏向量，通过所述协同注意力机制的交互式学习，获得上下文和所述属性词之间的第一注意力机制权重矩阵，其中，获得所述第一注意力机制权重矩阵的公式如下：

其中，

S1042：根据所述第一注意力机制权重矩阵，确定注意力上下文表示，其中，获得所述注意力上下文表示的公式如下：

其中，

S1043：根据所述注意力上下文表示以及所述自注意力机制，确定上下文注意力机制权重，其中，获得所述上下文注意力机制权重的公式如下：

其中，

S1044：根据所述上下文注意力机制权重以及所述注意力上下文表示，生成所述第二隐藏表示，其中，生成所述第二隐藏表示的公式如下：

其中，

在该可选的实施方式中，为了进一步利用所述属性词的信息并增强所述目标语句与所述属性词之间的交互作用，可以通过协同注意力机制的交互式学习来确认所述目标语句和所述属性词之间的第一注意力机制权重矩阵，然后根据所述第一注意力机制权重矩阵进一步确定所述注意力上下文表示；进一步地，可以使用自注意力机制对所述目标语句的上下文信息进行凝练，通过自注意力机制得到上下文注意力机制权重，然后加权求和得到所述第二隐藏表示。

S105：根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示，其中，所述第三隐藏表示为降低了不规则句法信息的噪声的信息。

可选的，所述根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示包括如下步骤：

S1051：根据所述上下文隐藏向量以及所述属性词隐藏向量，通过所述协同注意力机制的交互式学习生成第二注意力机制权重矩阵，其中，生成所述第二注意力机制权重矩阵的公式如下：

其中，

S1052：根据所述第二注意力机制权重矩阵、所述上下文隐藏向量、所述属性词隐藏向量以及所述自注意力机制，生成所述第三隐藏表示，其中，生成所述第三隐藏表示的公式如下：

其中，

在该可选的实施方式中，可以使用协同注意力机制，用以增强所述上下文隐藏向量与所述属性词隐藏向量之间的交互作用，通过协同注意力机制的交互式学习所述上下文隐藏向量与所述属性词隐藏向量之间的所述第二注意力机制权重矩阵；进一步地，使用自注意力机制对交互后的语义信息（交互后的语义信息包括所述第二注意力机制权重矩阵、所述上下文隐藏向量、所述属性词隐藏向量）进行凝练，得到所述第三隐藏表示，由于所述上下文隐藏向量中保留了含有所述目标语句原始的语义信息，可以降低不规则语句的句法信息带来的噪声的影响。

S106：将所述第二隐藏表示以及所述第三隐藏表示进行拼接，获得情感特征表示。

其中，所述情感特征表示为：

S107：根据所述情感特征表示，生成情感分析结果。

可选的，所述根据所述情感特征表示，生成情感分析结果包括如下步骤：

S1071：将所述情感特征表示输入至预设的输出层中，获得所有情感类别的输出概率分布，其中，获得所述所有情感类别的输出概率分布的公式如下：

其中，

S1072：根据所述所有情感类别的输出概率分布，确定与所述情感特征表示对应的情感分析结果。

在该可选的实施方式中，可以根据所述输出概率分布确定所述情感特征表示对应的情感类别，即确定所述情感分析结果，假设所述输出概率分布为情感类别A的输出概率为50%、情感类别B的输出概率为30%、情感类别C的输出概率为20%，可以通过取输出概率最大的情感类别A，为所述情感特征对应的情感类别。

可选的，所述门控循环神经网络、所述图卷积网络、所述属性词的门机制模型以及所述输出层构成情感分析模型，所述情感分析模型进行训练的损失函数为交叉熵损失函数，其中，所述交叉熵损失函数的公式如下：

其中，

可见，本方法实施例中，可以通过属性词的门机制模型，去除与属性词不相关的信息，针对属性词的屏蔽操作可以用于进一步获取面向属性词的特征，有利于所述第一隐藏表示包含更针对于属性词的句法信息，通过注意力机制学习属性词语义信息与上下文语义信息的交互过程，生成的所述第二隐藏表示能够学习到更针对属性词的上下文句法语义信息，在一定程度上能够减少不规则句法信息带来的噪声，通过引入含有上下文原始语义信息的所述上下文隐藏向量，并通过注意力机制增强上下文和属性词的交互作用获得的所述第三隐藏表示，能够进一步降低噪声对检测结果的影响，从而提高了情感分析的准确性。

请参阅图4，图4为本发明一个实施例提供的情感分析模型的整体结构示意图，所述情感分析模型对应本申请实施例中所提出的情感分析方法。该模型通过获取目标语句以及所述目标语句中的属性词；将所述目标语句对应的向量表示输入至训练好的门控循环神经网络中，获得上下文隐藏向量，以及将所述属性词对应的向量表示输入至所述门控循环神经网络中，获得属性词隐藏向量；根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示，其中，所述第一隐藏表示包含的信息去除了与所述属性词无关的信息；根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示，其中，所述第二隐藏表示为包含属性词语义信息的上下文句法语义信息；根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示，其中，所述第三隐藏表示为降低了不规则句法信息的噪声的信息；将所述第二隐藏表示以及所述第三隐藏表示进行拼接，获得情感特征表示；根据所述情感特征表示，生成情感分析结果。该模型能够提高情感分析的准确性。

下面将对本申请实施例提出的情感分析方法进行实验论证，论证过程如下：

针对本发明方法进行实验论证，具体包括：

1）实验语料：

选用五个数据集：TWITTER（推特数据集），REST14（2014年餐厅数据集），LAP14（笔记本电脑数据集），REST15（2015年餐厅数据集），REST16（2016年餐厅数据集）。数据集分为训练数据和测试数据，并且数据集中每个句子都包含了一个标注的属性词和属性词的情感极性。表格1显示了五个数据集的统计数据

表格 1：实验数据集统计

2）实验参数设定：使用300维度的Glove预训练的词向量去初始化所有的模型。模型中所有的参数矩阵均采用均匀分布进行初始化，模型中偏置都初始化为0。学习率为0.001，正则化为，batch-size（每次训练选择的批量）为16或32，GCN（Graph ConvolutionalNetwork，图卷积神经网络）的层数为1，2，3，4，位置衰减指数γ=1，2，3，以上可变参数的最后确定，以模型在数据集上的最佳效果为准。模型优化方法使用Adam（Adaptive momentestimation，自适应矩估计）优化器。

3)模型对比：为了能够有效的评估模型的效果，本发明模型(情感分析模型)将会和如下基线模型（模型1：SVM、模型2：LSTM、模型3：MemNet、模型4：AOA、模型5：IAN、模型6：TNet-LF、模型7：ASGCN-DT、模型8：ASGCN-DG、模型9：CAN）进行对比。基线模型主要分为两类，建模过程中主要使用注意力机制的模型和在建模过程中利用句法信息的模型。实验结果如下：

表格2：实验结果

表格2分别显示了本发明一个实施例提供的情感分析模型（Ours）与其他基线模型在五个数据集上的表现，主要指标为准确率和宏观综合值（F1值），宏观综合值是衡量模型精确度的一种指标，其中最好的实验结果通过加粗表示。本发明提出的情感分析模型，在TWITTER以外的数据集上，优于所有的比较模型。在TWITTER数据集上，与CAN相比，实验结果稍显逊色。本发明提出的情感分析模型无人工特征提取，并且在Twitter，lap14和restaurant14数据集上，相比依赖于人工特征提取的SVM的准确率分别提高了10.15%，6.47%和2.25%。由于结合了句法信息，比起没有考虑句法信息的模型，例如LSTM,AOA,IAN，本发明提出的情感分析模型取得了更好的效果。尽管IAN，CAN通过交互式学习提高了上下文和目标词的交互程度，但除了CAN在TWITTER数据集上的准确率略优于本发明情感分析模型外，本发明取得的实验结果均优于上述模型。在Twitter数据集上，本发明提出的情感分析模型效果略差于CAN，一个可能的原因在于，TWITTER数据集偏向口语化，含有不符合句法的句子，使用基于句法信息的模型，可能会引入不利于情感分类的噪声，从而影响模型的效果，同时，在该数据集上，本发明提出的模型优于使用句法信息的ASGCN（ASGCN-DT、ASGCN-DG）模型，说明本发明保留的原始语义信息，能在一定程度上，减轻句法噪声带来的影响。

4)消融实验：

表格 3：数据集消融研究的结果

通过移除不同模块获得不同模型变体，分别在五个数据集上得到相应的实验结果，如表格3所示。

宏观综合值（F1值）是衡量模型精确度的一种指标，在表格3中的“情感分析模型（移除基于属性词的门机制）”中，由于移除了基于属性词的门机制，除Twitter的F1值，其余数据集的准确率和F1值均有所降低。实验结果表明，基于属性词的门机制有利于图卷积学习到更针对于属性词的句法信息，从而提高模型的性能。

在表格3中的“情感分析模型（移除基于上下文句法语义学习和属性词语义信息的协同注意力机制）”,由于去除了上下文句法语义信息和属性词语义信息的交互式学习过程，实验数据集的所有准确率和大多数F1值均有所下降。实验结果表明：通过与属性词语义信息的交互式学习过程，能学习到更针对属性词的句法语义信息，从而提高模型的性能。

在表格3中的“情感分析模型（移除基于上下文语义信息和属性词语义信息的协同注意力机制）”，由于去除了上下文语义信息和属性词语义信息的交互式学习过程，所有实验数据集的准确率和F1值均有所下降，其中，Twitter数据集性能下降更为明显，我们推测，句法不规则的Twitter数据集对语义信息更加敏感。实验结果表明，基于上下文语义信息和属性词语义信息的协同注意力网络对特定目标情感分析任务是有帮助的，它能够在一定程度上，缓解不规则句法信息带来的噪声。

实施例二：

本实施例提供一种情感分析装置，可以用于执行本申请实施例一的情感分析方法。对于本实施例中未披露的细节，请参照本申请的实施例一。

请参阅图2，图2是本申请实施例公开的一种情感分析装置的结构示意图。所述的情感分析装置可以运行于电子设备中。如图2所示，该情感分析装置包括：

获取模块201，用于获取目标语句以及所述目标语句中的属性词。

输入模块202，用于将所述目标语句对应的向量表示输入至训练好的门控循环神经网络中，获得上下文隐藏向量，以及将所述属性词对应的向量表示输入至所述门控循环神经网络中，获得属性词隐藏向量。

第一生成模块203，用于根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示，其中，所述第一隐藏表示包含的信息去除了与所述属性词无关的信息。

第二生成模块204，用于根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示，其中，所述第二隐藏表示为包含属性词语义信息的上下文句法语义信息。

第三生成模块205，用于根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示，其中，所述第三隐藏表示为降低了不规则句法信息的噪声的信息。

拼接模块206，用于将所述第二隐藏表示以及所述第三隐藏表示进行拼接，获得情感特征表示。

第四生成模块207，用于根据所述情感特征表示，生成情感分析结果。

可选的，所述第一生成模块203根据所述属性词隐藏向量、所述上下文隐藏向量、训练好的图卷积网络、训练好的所述属性词的门机制模型以及预设的所述属性词的屏蔽操作，生成第一隐藏表示的方式具体为：

根据所述目标语句中每个词语与所述属性词的距离，确定所述目标语句中每个词语的位置权重；

将所述目标语句对应的邻接矩阵、所述位置权重以及所述上下文隐藏向量输入至训练好的图卷积网络中进行卷积运算，获得图卷积网络的隐藏层输出，其中，确定所述图卷积网络的隐藏层输出的公式如下：

其中，

根据所述属性词隐藏向量和所述属性词的门机制模型，对所述图卷积网络的隐藏层输出进行调整，获得门机制调整表示；其中，获得所述门机制调整表示的公式为：

其中，

根据所述属性词的屏蔽操作，对所述门机制调整表示中的非属性词隐藏层状态进行屏蔽，获得属性词屏蔽表示；

根据所述属性词屏蔽表示以及所述上下文隐藏向量，生成所述第一隐藏表示，其中，生成所述第一隐藏表示的公式为：

其中，

可选的，所述第一生成模块203根据所述目标语句中每个词与所述属性词的距离，确定所述目标语句中每个词语的位置权重的方式具体为：

获取所述目标语句中的每个词语与所述属性词的距离；

根据所述距离以及预设的位置权重公式，确定所述词语的位置权重，其中，所述预设的位置权重公式如下：

其中，

可选的，所述第二生成模块204根据所述第一隐藏表示、所述属性词隐藏向量、协同注意力机制以及自注意力机制，生成第二隐藏表示的方式具体为：

根据所述第一隐藏表示以及所述属性词隐藏向量，通过所述协同注意力机制的交互式学习，获得上下文和所述属性词之间的第一注意力机制权重矩阵，其中，获得所述第一注意力机制权重矩阵的公式如下：

其中，

根据所述第一注意力机制权重矩阵，确定注意力上下文表示，其中，获得所述注意力上下文表示的公式如下：

其中，

根据所述注意力上下文表示以及所述自注意力机制，确定上下文注意力机制权重，其中，获得所述上下文注意力机制权重的公式如下：

其中，

根据所述上下文注意力机制权重以及所述注意力上下文表示，生成所述第二隐藏表示，其中，生成所述第二隐藏表示的公式如下：

其中，

可选的，所述第三生成模块205根据所述上下文隐藏向量、所述属性词隐藏向量、所述协同注意力机制以及所述自注意力机制，生成第三隐藏表示的方式具体为：

根据所述上下文隐藏向量以及所述属性词隐藏向量，通过所述协同注意力机制的交互式学习生成第二注意力机制权重矩阵，其中，生成所述第二注意力机制权重矩阵的公式如下：

其中，

根据所述第二注意力机制权重矩阵、所述上下文隐藏向量、所述属性词隐藏向量以及所述自注意力机制，生成所述第三隐藏表示，其中，生成所述第三隐藏表示的公式如下：

其中，

可选的，所述第四生成模块207根据所述情感特征表示，生成情感分析结果的方式具体为：

将所述情感特征表示输入至预设的输出层中，获得所有情感类别的输出概率分布，其中，获得所述所有情感类别的输出概率分布的公式如下：

其中，

根据所述所有情感类别的输出概率分布，确定与所述情感特征表示对应的情感分析结果。

实施例三：

本实施例提供一种电子设备，可以用于执行本申请实施例一的情感分析方法的全部或部分步骤。对于本实施例中未披露的细节，请参照本申请的实施例一。

请参阅图3，图3为本申请实施例提供的电子设备的结构示意图。所述电子设备900可以但不限于是各种服务器、个人计算机、笔记本电脑、智能手机、平板电脑等设备的一个或多个的组合。

在本申请较佳实施例中，所述电子设备900包括存储器901、至少一个处理器902、至少一条通信总线903及收发器904。

本领域技术人员应该了解，图3示出的电子设备的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述电子设备900还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。

在一些实施例中，所述电子设备900是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述电子设备900还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。

需要说明的是，所述电子设备900仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。

在一些实施例中，所述存储器901中存储有计算机程序，所述计算机程序被所述至少一个处理器902执行时实现如所述实施例一的情感分析方法中的全部或者部分步骤。所述存储器901包括只读存储器（Read-Only Memory，ROM）、可编程只读存储器（ProgrammableRead-Only Memory，PROM）、可擦除可编程只读存储器（ErasableProgrammable Read-OnlyMemory，EPROM）、一次可编程只读存储器（One-timeProgrammable Read-Only Memory，OTPROM）、电子擦除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

在一些实施例中，所述至少一个处理器902是所述电子设备900的控制核心（Control Unit），利用各种接口和线路连接整个电子设备900的各个部件，通过运行或执行存储在所述存储器901内的程序或者模块，以及调用存储在所述存储器901内的数据，以执行电子设备900的各种功能和处理数据。例如，所述至少一个处理器902执行所述存储器中存储的计算机程序时实现本申请实施例中所述的情感分析方法的全部或者部分步骤；或者实现情感分析装置的全部或者部分功能。所述至少一个处理器902可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（CentralProcessing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。

在一些实施例中，所述至少一条通信总线903被设置为实现所述存储器901以及所述至少一个处理器902等之间的连接通信。

所述电子设备900还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。

实施例四：

本实施例提供一种计算机可读存储介质，其上储存有计算机程序，所述指令适于由处理器加载并执行本申请实施例一的情感分析方法，具体执行过程可以参见实施例一的具体说明，在此不进行赘述。

对于设备实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的设备实施例仅仅是示意性的，其中所述作为分离部件说明的组件可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。