一种情感分析模型训练优化方法、系统和存储介质

技术领域

本发明涉及情感分析技术领域，特别是涉及一种情感分析模型训练优化方法、系统和存储介质。

背景技术

情感分析(Sentiment Analysis)是指利用自然语言处理和挖掘文本技术，对带有情感色彩的主观性文本进行分析、处理和抽取的过程；目前，文本情感分析研究涵盖了包括自然语言处理、文本挖掘、信息检索、信息抽取、机器学习和本体学等多个领域，得到了许多学者以及研究机构的关注，近几年持续成为自然语言处理和文本挖掘领域研究的热点问题之一。

现在情感分析解决方案大多是将其视为一个多分类任务，即输入待分析文本后，经过BERT模型将句子表示成一个向量，然后基于该向量进行多分类预测，输出正向、中性和负向情感的概率，最后取概率最高的情感类别做为输出类别；现有技术的缺陷在于，在表示阶段仅仅使用输入文本信息，情感标签只在最后输出层做为概率计算的依据，缺乏情感标签的表示，导致情感分析不够准确。

发明内容

本发明主要解决的技术问题是提供一种情感分析模型训练优化方法、系统和存储介质，能够解决缺乏情感标签的表示，导致情感分析不够准确的问题。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种情感分析模型训练优化方法，模型包括自注意力机制模块和多层感知器模块，所述方法包括如下步骤：

第一步，获取文本和情感标签，并输入所述模型的所述自注意力机制模块；

第二步，通过所述自注意力机制模块将所述文本和所述情感标签进行特征融合，得到融合表示标识；

第三步，将所述融合表示标识输入所述多层感知器模块并进行计算，得到所述文本和所述情感标签的匹配度；基于所述匹配度优化损失函数使所述模型达到收敛状态，得到优化模型；

第四步，通过所述优化模型对输入的待预测文本进行情感分析。

作为一种改进方案，所述获取文本和情感标签，进一步包括如下步骤：

将文本和情感标签使用分隔符进行连接。

进一步具体地，所述文本包括至少一个文本，所述情感标签包括至少一个情感标签。

作为一种改进方案，所述通过所述自注意力机制模块将所述文本和所述情感标签进行特征融合，得到融合表示标识，进一步包括如下步骤：

通过所述自注意力机制模块将所述文本进行特征融合；

通过所述自注意力机制模块将所述情感标签进行特征融合；

通过所述自注意力机制模块将特征融合后的文本和特征融合后的情感标签进行特征融合，得到所述融合表示标识。

作为一种改进方案，所述基于所述匹配度优化损失函数使所述模型达到收敛状态，进一步包括如下步骤：

基于所述匹配度采用梯度回传算法优化损失函数使所述模型达到收敛状态。

作为一种改进方案，所述通过所述优化模型对输入的待预测文本文本进行情感分析，进一步包括如下步骤：

获取待预测文本和若干情感标签，所述优化模型输出所述待预测文本和每个所述情感标签的匹配度；

将所述待预测文本和每个所述情感标签的匹配度降序排列，输出排序第一的匹配度对应的所述情感标签，作为所述待预测文本的所述情感标签。

本发明还提供一种情感分析模型训练优化系统，模型包括自注意力机制模块和多层感知器模块，所述情感分析模型训练优化系统包括：

特征融合单元：用于将获取的文本和情感标签通过所述自注意力机制模块进行特征融合，得到融合表示标识；

模型训练单元：用于将所述融合表示标识输入所述多层感知器模块并进行计算，得到所述文本和所述情感标签的匹配度；基于所述匹配度采用梯度回传算法优化损失函数使所述模型达到收敛状态，得到优化模型；

情感分析单元：用于获取待预测文本和若干情感标签，通过所述优化模型输出所述待预测文本和每个所述情感标签的匹配度；用于将所述待预测文本和每个所述情感标签的匹配度降序排列，输出排序第一的匹配度对应的所述情感标签。

本发明还提供一种计算机存储介质，用于储存为上述情感分析模型训练优化方法所用的计算机软件指令，其包含用于执行上述为情感分析模型训练优化方法所设计的程序。

本发明的有益效果是：

1、本发明所述的情感分析模型训练优化方法，通过将情感标签和文本一同输入BERT模型，并进行特征融合，使得对文本的情感分析更加准确。

2、本发明所述的情感分析模型训练优化系统，采用特征融合单元使得文本信息包括了情感标签信息，使输入信息更加充分，情感分析更加准确。

3、本发明所述的数据传输存储介质，通过执行上述情感分析模型训练优化方法，实现了对文本的情感分析。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将具体实施方式或现有技术描述中所需要使用的附图作简单地介绍；在所有附图中，类似的元件或部分一般由类似的附图标记标识；附图中，各元件或部分并不一定按照实际比例绘制。

图1是本发明实施例1所述的情感分析模型训练优化方法流程图；

图2是本发明实施例1所述的特征融合示意图；

图3是本发明实施例2所述的情感分析模型训练优化系统示意图。

附图中各部件的标记如下：

1-特征融合单元，2-模型训练单元，3-情感分析单元，100-情感分析模型训练优化系统。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接；对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，如MLP(Muti-Layer Perception) 是多层感知器模块，BERT(Bidirectional Encoder Representation from Transformers)是基于转换器的双向编码表征，是一个预训练的语言表征模型。

实施例1

本实施例1提供一种情感分析模型训练优化方法，如图1所示，包括如下步骤：

在S100步骤中，将文本X和情感标签L使用分隔符进行连接，并输入BERT模型；所述BERT模型包括自注意力机制模块和多层感知器模块；将一个文本X和一个情感标签L组合为一个样本，由于优化训练时使用了三个情感标签L的打分，则需要输入三个样本；该三个样本放在同一个组内；在本实施例中，需要输入的样本排列如下：

样本1：<“我喜欢晴天”，“正向”>；

样本2：<“我喜欢晴天”，“负向”>；

样本3：<“我喜欢晴天”，“中性”>。

在S200步骤中，如图2所示，通过BERT模型的自注意力机制模块将文本X内部、情感标签L内部、文本X和情感标签L进行充分融合，得到融合表示标识CLS，使得文本X信息融合了情感标签L信息，情感标签L信息也融合了文本X信息；经过BERT模型的多层融合表示后，融合了BERT模型每一个编码层输出的方面特征，并通过卷积层提取层之间的关键语义特征，减少冗余信息的影响，充分利用了每个编码层学习到的信息，最终融合表示标识CLS就融合了文本X信息和情感标签L信息；

融合表示标识CLS可表示为：

H

在S300步骤中，将融合表示标识CLS输入BERT模型的多层感知器模块(Muti-LayerPerception，MLP)并进行计算，得到文本X和情感标签L的匹配度(score)；匹配度计算表示为：

Score＝MLP(H

根据匹配度采用梯度回传算法优化损失函数使BERT模型达到收敛状态，得到优化BERT模型；损失函数表示为：

其中，Bactch_size为输入的样本数量，S

在S400步骤中，分别将正向、中性、负向的情感标签L和文本 X输入优化BERT模型中计算情感标签L和文本X的匹配度，然后取匹配度最高的情感标签L作为文本X的情感标签L输出；本实施例中要预测“我觉得晴天不错”的情感倾向，则分别有如下三个输入：

输入1：<“我觉得晴天不错”,“正向”>；

输入2：<“我觉得晴天不错”,“中性”>；

输入3：<“我觉得晴天不错”,“负向”>；

三个输入在BERT模型中进行融合，得到融合表示标识CLS，将融合表示标识CLS输入MLP中计算匹配度，得到[0.8，0.2，0.1]，表示输入1匹配度最高，则输出“我觉得晴天不错”的情感倾向为“正向”。

实施例2

本实施例2提供一种情感分析模型训练优化系统，BERT模型包括自注意力机制模块和多层感知器模块；如图3所示，所述情感分析模型训练优化系统100包括：

特征融合单元1：用于将获取的文本和情感标签通过BERT模型的自注意力机制模块进行特征融合，得到融合表示标识，使得文本信息融合情感标签信息，情感标签信息也融合了文本信息；融合表示标识融合了文本信息和情感标签信息；

模型训练单元2：用于将融合表示标识输入BERT模型的多层感知器模块(Muti-Layer Perception，MLP)并进行计算，得到文本和情感标签的匹配度；基于匹配度采用梯度回传算法优化损失函数使BERT 模型达到收敛状态，得到优化BERT模型；

情感分析单元3：用于将待预测文本和若干情感标签输入优化 BERT模型中，优化BERT模型计算待预测文本和每个情感标签的匹配度；比较每个情感标签和待预测文本的匹配度，输出最高匹配度对应的情感标签，作为待预测文本的情感标签，实现对待预测文本的情感分析。

实施例3

本实施例3提供一种计算机可读存储介质，所述存储介质用于储存将上述实施例1所述情感分析模型训练优化方法实现所用的计算机软件指令，其包含用于执行上述为情感分析模型训练优化方法所设计的程序；具体地，该可执行程序可以内置在情感分析模型训练优化系统100中，这样，情感分析模型训练优化系统100就可以通过执行内置的可执行程序实现所述实施例1的情感分析模型训练优化方法。

此外，本实施例提供的计算机可读存储介质可以采用一个或多个可读存储介质的任意组合，其中，可读存储介质包括电、光、电磁、红外线或半导体的系统、装置或器件，或者以上任意组合。

上述实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。