一种基于交互注意力网络的方面级情感分析方法

技术领域

本发明属于数据自然语言处理中的细粒度情感分析领域，涉及一种基于交互注意力网络的方面级情感分析方法

背景技术

在自然语言处理领域，方面词在情感分类中十分重要，目前已发展了各种算法，目的是通过生成基于特定方面词的表示来更加准确地建模上下文。然而，之前的研究常常忽略对方面词进行单独的建模，而只有当方面词的表示和上下文表示相匹配才能真正提高情感分类的效果。事实上，方面词也不仅仅限于一个词，因此方面词和上下文内容都需要特殊处理，并且需要通过交互地注意力网络学习来学习上下文和方面中的注意力分数，最后分别生成方面和上下文的表示。为了能够同时准确地建模方面和上下文，让方面词和上下文可以相互影响促进彼此的表示，需要将方面词和上下文通入长短时记忆网络单独建模。

交互式注意网络模型能够很好地表示方面词及其上下文，有助于情感分类。交互式注意网络模型由两部分组成，分别将方面词序列和上下文序列以单词嵌入的形式输入，利用LSTM网络分别获取方面和上下文的单词级隐藏状态。利用目标的隐藏状态和上下文的隐藏状态的平均值来监督注意向量的生成，并采用注意机制来捕获上下文和方面中的重要信息。通过这种设计，方面词和上下文可以交互地影响它们表示的生成。最后，将方面词表示和上下文表示连接起来作为最终表示，并将其输入到SoftMax函数中进行方面级情感分析。

在交互注意力网络中，虽然已经开始利用注意力机制学习上下文中不同部分与方面之间的关系，做到了一定程度的交互，但是大部分方面序列不仅仅是一个单词，如果把方面序列和上下文序列的隐藏层输出直接进行池化，这将损失掉上下文和方面序列的词级别的交互信息，这样得到的注意力分数也不是全面细致的，会影响最终的分类效果。

发明内容

本发明的目的是针对交互注意力网络的上述不足，提供一种基于上下文的方面级情感分析系统，提升方面级别情感分析的精度。

本发明的技术方案如下：

一种基于交互注意力网络的方面级情感分析方法，其特征在于，包括输入层、特征提取层、注意力层以及分类层，各层的实现方法如下：

(1)输入层：首先构建一个词向量矩阵

(2)特征提取层：将上下文句子向量

用同样的方法得到方面词的隐藏层状态h

(3)注意力层：首先计算交互注意力权重矩阵I∈R

然后针对权重矩阵的每一行和每一列计算得到α和β，其中α表示每个方面词对全部上下文文本单词的注意力权重分数，β表示每个文本对每个方面词的注意力权重分数。

对β进行平均得到整个文本对方面词的注意力分数

利用得到的文本对方面以及方面对文本的注意力分数乘上隐藏层输出的文本和方面表示，得到最终的文本和方面表示，用于最终的情感分类。

r＝[r

(4)分类层：将文本和方面表示连接到一起送入一个三个神经元的全连接层，然后送入SoftMax函数进行分类，得到和为1的三个概率值，概率最大的即为最终的情感类别。

x＝W

其中W

本发明主要思想是建模上下文序列和方面序列之间词与词的关系，进行词与词之间的相互注意力计算，再利用两个注意力来学习方面和上下文中的重要的部分，再分别更新上下文序列和方面序列的表示。利用上下文对方面进行词级别注意力往往是被其他方法所忽略的，与那些基线方法相比，本发明具有更好的性能，可以很好的关注到影响方面序列情感极性的文本序列，结果优于普通的交互注意力模型。

附图说明

图1是本发明的系统结构图。

具体实施方式

如图1所示，本发明可分为输入层、特征提取层、注意力层以及分类层。在方面级别的情感分析问题中，假设给定一个句子s＝[w

(1)输入层：首先构建一个词向量矩阵

(2)特征提取层：LSTM网络通过门控机制来控制传输状态，可以使网络忘记不重要的信息，并且进行长距离记忆，解决了长序列训练过程中的梯度消失和梯度爆炸问题，在长序列中有很好的表现，并且由于双向LSTM网络可以同时学习到前后的信息，因此，我们采用双向LSTM网络对上下文文本和方面序列及进行特征抽取。

具体的做法是将上下文句子向量

用同样的方法得到方面词的隐藏层状态h

(3)词级别交互注意力层：该层的目的是为了计算文本对于方面的注意力分数，以及方面对文本的注意力分数，从而利用注意力分数更新上下文和方面表示。具体的做法如下：首先计算交互注意力权重矩阵I∈R

然后针对权重矩阵的每一行和每一列计算得到α和β，其中α表示每个方面词对全部上下文文本单词的注意力权重分数，β表示每个文本对每个方面词的注意力权重分数。

对β进行平均得到整个文本对方面词的注意力分数

利用得到的文本对方面以及方面对文本的注意力分数乘上隐藏层输出的文本和方面表示，得到最终的文本和方面表示，用于最终的情感分类。

r＝[r

(4)全连接层和SoftMax函数：将文本和方面表示连接到一起送入一个三个神经元的全连接层，因为分类结果分为积极、消极和中性三个类别，然后送入SoftMax函数进行分类，得到和为1的三个概率值，概率最大的即为最终的情感类别。

x＝W

其中W