金融舆情要素抽取方法及装置

技术领域

本发明涉及要素抽取，具体而言，涉及一种金融舆情要素抽取方法及装置。

背景技术

随着信息技术的快速发展，互联网已经成为人们传播和获取各种信息的重要手段。鉴于网络发展速度的突飞猛进及网络舆情存在的匿名性、易传播等特点，对舆情中事件要素准确抽取尤为必要。事件抽取是舆情监控领域和金融领域的重要任务之一，“事件”在金融领域是投资分析、资产管理的重要决策，事件抽取是进行图谱推理、事件分析的必要过程，而事件要素抽取是事件抽取任务中的首要环节。

目前大多采用文本分类的思想处理金融舆情要素抽取任务，将其转换为多标签分类任务，以识别舆情事件中多种关键要素。通过对大量真实金融舆情事件的分析发现，金融舆情事件要素通常与银行专业知识有紧密的联系，但现有方法经常忽略银行专业知识的相关信息，导致舆情要素抽取不够准确。

在现实的金融舆情监测中，金融知识描述部分是完整舆情事件的重要组成，其不同描述将影响舆情事件的严重程度。相关监测人员在审查舆情事件时，一般都以银行专业知识为指导，寻找可以决定判断结果的关键要素句。显然，金融舆情事件要素抽取与银行专业知识有着密切的联系，而传统的要素抽取办法往往忽略这一关键信息。因此，如何基于银行专业知识进行金融舆情事件要素抽取，以提高金融舆情要素抽取的准确性，是本领域急需解决的技术问题。

发明内容

本发明为了解决上述背景技术中的至少一个技术问题，提出了一种金融舆情要素抽取方法及装置。

为了实现上述目的，根据本发明的一个方面，提供了一种金融舆情要素抽取方法，该方法包括：

通过预设的舆情编码器将金融舆情描述转化为句子级别的金融舆情描述表示；

通过预设的金融专业知识编码器将金融专业知识转化为句子级别的金融专业知识描述表示；

根据所述金融舆情描述表示以及所述金融专业知识描述表示确定金融舆情与金融专业知识的关联度；

根据所述关联度以及所述金融舆情描述表示确定金融专业知识加权的金融舆情描述表示；

将金融专业知识加权的金融舆情描述表示输入到预设的金融舆情描述-要素预测器中，得到所述金融舆情描述-要素预测器输出的要素。

为了实现上述目的，根据本发明的另一方面，提供了一种金融舆情要素抽取装置，该装置包括：

金融舆情描述表示生成单元，用于通过预设的舆情编码器将金融舆情描述转化为句子级别的金融舆情描述表示；

金融专业知识描述表示生成单元，用于通过预设的金融专业知识编码器将金融专业知识转化为句子级别的金融专业知识描述表示；

关联度计算单元，用于根据所述金融舆情描述表示以及所述金融专业知识描述表示确定金融舆情与金融专业知识的关联度；

金融专业知识加权的金融舆情描述表示确定单元，用于根据所述关联度以及所述金融舆情描述表示确定金融专业知识加权的金融舆情描述表示；

要素提取单元，用于将金融专业知识加权的金融舆情描述表示输入到预设的金融舆情描述-要素预测器中，得到所述金融舆情描述-要素预测器输出的要素。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述金融舆情要素抽取方法的步骤。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述金融舆情要素抽取方法的步骤。

为了实现上述目的，根据本发明的另一方面，还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述金融舆情要素抽取方法的步骤。

本发明的有益效果为：

本发明实施例根据金融舆情描述表示以及金融专业知识描述表示确定金融舆情与金融专业知识的关联度，然后根据所述关联度以及所述金融舆情描述表示确定金融专业知识加权的金融舆情描述表示，最后将金融专业知识加权的金融舆情描述表示输入到预设的金融舆情描述-要素预测器中，得到所述金融舆情描述-要素预测器输出的要素，本发明将金融专业知识作为金融舆情貌似与真实要素的“桥梁”，在金融舆情要素抽取时结合了金融专业知识，有助于提高金融舆情要素抽取的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明实施例金融舆情要素抽取方法的第一流程图；

图2是本发明实施例金融舆情要素抽取方法的第二流程图；

图3是本发明实施例金融舆情要素抽取方法的第三流程图；

图4是本发明实施例金融舆情要素抽取方法的第四流程图；

图5是本发明实施例金融舆情要素抽取方法的第五流程图；

图6是本发明的模型示意图；

图7是本发明注意力机制序列编码器示意图；

图8是本发明实施例金融舆情要素抽取装置的结构框图；

图9是本发明实施例计算机设备示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

需要说明的是，本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

需要说明的是，本发明金融舆情要素抽取方法和装置可用于金融领域，也可用于除金融领域之外的任意领域，本发明金融舆情要素抽取方法和装置的应用领域不做限定。

图1是本发明实施例金融舆情要素抽取方法的第一流程图，如图1所示，在本发明一个实施例中，本发明的金融舆情要素抽取方法包括步骤S101至步骤S105。

步骤S101，通过预设的舆情编码器将金融舆情描述转化为句子级别的金融舆情描述表示。

如图6所示，本发明将单词级的金融舆情描述输入到舆情编码器中，得到句子级别的金融舆情描述表示，用

步骤S102，通过预设的金融专业知识编码器将金融专业知识转化为句子级别的金融专业知识描述表示。

本发明预先准备了金融专业知识，金融专业知识为金融舆情中要素的专业性的介绍。

如图6所示，本发明将单词级的金融专业知识输入到金融专业知识编码器中，得到句子级别的金融专业知识描述表示，用a

步骤S103，根据所述金融舆情描述表示以及所述金融专业知识描述表示确定金融舆情与金融专业知识的关联度。

本发明使用注意力交互机制计算金融舆情描述表示

步骤S104，根据所述关联度以及所述金融舆情描述表示确定金融专业知识加权的金融舆情描述表示。

如图6所示，本发明以关联度α

步骤S105，将金融专业知识加权的金融舆情描述表示输入到预设的金融舆情描述-要素预测器中，得到所述金融舆情描述-要素预测器输出的要素。

在本发明一个实施例中，金融舆情描述-要素预测器具体包括全连接层和Softmax分类器。

如图2所示，在本发明一个实施例中，上述步骤S103的根据所述金融舆情描述表示以及所述金融专业知识描述表示确定金融舆情与金融专业知识的关联度，具体包括步骤S201和步骤S202。

步骤S201，将所述金融专业知识描述表示中的每个句子输入到预设的金融专业知识-要素预测器中，得到每个句子各自对应的要素，进而根据每个句子各自对应的要素生成金融专业知识要素表示。

在本发明一个实施例中，金融专业知识-要素预测器具体包括全连接层和Softmax分类器。

相较于舆情编码器，本发明对金融专业知识编码器额外增加了一个“金融专业知识-要素预测器”，具体原因为：引入金融专业知识作为要素的语义扩充，这种替代式的做法可能会引入噪声从而影响其语义表达的准确性。为了减少噪声导致的语义偏差，借鉴自编码器思想，构建“金融专业知识-要素预测器”，以金融知识的隐层表示a

步骤S202，计算所述金融舆情描述表示中的每一项与所述金融专业知识要素表示中的每一项的关联度，得到第一关联度矩阵。

在本发明一个实施例中，上述步骤S104具体根据第一关联度矩阵确定金融专业知识加权的金融舆情描述表示。

如图3所示，在本发明一个实施例中，上述步骤S103的根据所述金融舆情描述表示以及所述金融专业知识描述表示确定金融舆情与金融专业知识的关联度，具体还包括步骤S301至步骤S303。

步骤S301，将所述第一关联度矩阵输入到多层感知机中通过ReLU激活函数对所述第一关联度矩阵中的各行进行处理得到第一参数。

步骤S302，对所述第一参数进行最大池化处理，得到第二参数。

步骤S303，根据所述第二参数确定第二关联度矩阵。

本发明金融舆情描述-金融专业知识关联机制为：一篇金融舆情描述包含多个句子，但并非每一句对要素的区分都起关键作用。为了减小舆情描述编码中由不相关句子产生噪声的影响，受阅读理解任务中原文与问句的交互机制的启发，本发明使用一种近似的方式计算“句子-金融专业知识”的相似度，并以该相似度作为句子重要性的度量标准。具体做法为，先基于

其中，V∈R

该初始关联度I(即第一关联度矩阵)仅仅通过事实和法条的隐层表示直接计算得到，而难以基于不同的上下文输入动态调整。本方法希望关联度值的计算基于但不完全依赖于

q

u

u

在本发明一个实施例中，上述步骤S104具体根据第二关联度矩阵确定金融专业知识加权的金融舆情描述表示。

在本发明一个实施例中，上述步骤S103的根据所述金融舆情描述表示以及所述金融专业知识描述表示确定金融舆情与金融专业知识的关联度，具体包括：

计算所述金融舆情描述表示中的每一项与所述金融专业知识描述表示中的每一项的关联度，得到第一关联度矩阵。

本发明计算所述金融舆情描述表示中的每一个句子与所述金融专业知识描述表示中的每一个句子的关联度，得到第一关联度矩阵。

在本发明一个实施例中，上述步骤S104具体可以根据第一关联度矩阵确定金融专业知识加权的金融舆情描述表示。

如图4所示，在本发明一个实施例中，上述步骤S101的通过预设的舆情编码器将金融舆情描述转化为句子级别的金融舆情描述表示，具体包括步骤S401至步骤S403。

步骤S401，将所述金融舆情描述的词向量输入到双向门控循环单元中，得到词语隐层表示。

步骤S402，根据所述词语隐层表示计算注意力值。

步骤S403，根据所述词语隐层表示以及所述注意力值计算出句子级别的金融舆情描述表示。

对于本发明的舆情编码器，在进行词级到句级的舆情描述编码时，使用基于注意力机制的序列编码器实现，如图7所示，其主要由两部分组成：双向门控循环单元Bi-GRU和自注意力机制。词向量X

随后设置全局上下文向量u

最终，句子的隐层向量表示(即句子级别的金融舆情描述表示)s

在本发明一个实施例中，上述步骤S102的通过预设的金融专业知识编码器将金融专业知识转化为句子级别的金融专业知识描述表示，具体包括以下步骤：

将所述金融专业知识的词向量输入到双向门控循环单元中，得到词语隐层表示；

根据所述词语隐层表示计算注意力值；

根据所述词语隐层表示以及所述注意力值计算出句子级别的金融专业知识描述表示。

对于步骤S102的金融专业知识编码器部分：本发明构建注意力交互机制的初衷是希望直接建立起金融舆情描述和要素的关联映射，用于在编码阶段引入要素语义信息，提升编码的准确性。但由于要素标签多为词语或短语，蕴含的语义信息有限，而金融专业知识给出了要素的准确定义和适用场景，其可认为是要素的语义延申和扩充。因此，本发明引入金融专业知识作为金融舆情描述和要素关联交互的中间“桥梁”。

为了使编码后的金融舆情描述和金融专业知识的隐层表示分布在同一向量空间，金融专业知识编码器与舆情编码器保持一致。但由于金融舆情描述和金融专业知识在表达方式上存在差异，本发明没有共享两组编码器的网格参数。金融专业知识编码器的隐层(输出句子级别的金融专业知识描述表示)计算如下所示：

本发明一个实施例中，本发明的金融舆情要素抽取方法，还包括：

在进行预测器训练过程中，将金融专业知识-要素预测器产生的损失与金融舆情描述-要素预测器的损失线性组和并优化。

在本发明中，训练过程中，“金融专业知识-要素预测器”产生的损失将与“金融舆情描述-要素预测器”的损失线性组和并优化。

如图5所示，本发明一个实施例中，上述步骤的将金融专业知识-要素预测器产生的损失与金融舆情描述-要素预测器的损失线性组和并优化，具体包括步骤S501和步骤S502。

步骤S501，确定金融专业知识-要素预测器的真实概率分布和预测概率分布的交叉熵损失以及金融舆情描述-要素预测器的真实概率分布和预测概率分布的交叉熵损失。

步骤S502，根据金融专业知识-要素预测器的交叉熵损失和金融舆情描述-要素预测器的交叉熵损失确定总损失，并采用优化算法使所述总损失最小化。

本发明优化目标包括两部分：(1)金融舆情描述-要素预测，希望最小化真实概率分布y

各部分的损失计算如下所示：

其中b代表输入的batch-size，c代表金融知识的条数，γ代表金融专业知识-要素预测损失部分的权重因子，本发明可以使用Adam优化算法最小化总损失L

由以上实施例可以看出，本发明与现有技术相比的优点在于：

(1)将金融专业知识作为金融舆情貌似与真实要素的“桥梁”，构建基于注意力交互机制的金融舆情描述-金融专业知识关系关联矩阵，借此自动赋予金融舆情描述中各个句子相应的权重，使得整体语义表示更准确；

(2)使用联合学习的方式同时学习出金融舆情描述和金融专业知识的隐层表示；

(3)因为使用金融专业知识作为中间介质，使要素抽取具备可解释性。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

基于同一发明构思，本发明实施例还提供了一种金融舆情要素抽取装置，可以用于实现上述实施例所描述的金融舆情要素抽取方法，如下面的实施例所述。由于金融舆情要素抽取装置解决问题的原理与金融舆情要素抽取方法相似，因此金融舆情要素抽取装置的实施例可以参见金融舆情要素抽取方法的实施例，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图8是本发明实施例金融舆情要素抽取装置的结构框图，如图8所示，在本发明一个实施例中，本发明的金融舆情要素抽取装置包括：

金融舆情描述表示生成单元1，用于通过预设的舆情编码器将金融舆情描述转化为句子级别的金融舆情描述表示；

金融专业知识描述表示生成单元2，用于通过预设的金融专业知识编码器将金融专业知识转化为句子级别的金融专业知识描述表示；

关联度计算单元3，用于根据所述金融舆情描述表示以及所述金融专业知识描述表示确定金融舆情与金融专业知识的关联度；

金融专业知识加权的金融舆情描述表示确定单元4，用于根据所述关联度以及所述金融舆情描述表示确定金融专业知识加权的金融舆情描述表示；

要素提取单元5，用于将金融专业知识加权的金融舆情描述表示输入到预设的金融舆情描述-要素预测器中，得到所述金融舆情描述-要素预测器输出的要素。

在本发明一个实施例中，所述关联度计算单元3，具体包括：

金融专业知识要素表示生成模块，用于将所述金融专业知识描述表示中的每个句子输入到预设的金融专业知识-要素预测器中，得到每个句子各自对应的要素，进而根据每个句子各自对应的要素生成金融专业知识要素表示；

第一关联度矩阵计算模块，用于计算所述金融舆情描述表示中的每一项与所述金融专业知识要素表示中的每一项的关联度，得到第一关联度矩阵。

在本发明一个实施例中，所述关联度计算单元3，还包括：

第一参数计算模块，用于将所述第一关联度矩阵输入到多层感知机中通过ReLU激活函数对所述第一关联度矩阵中的各行进行处理得到第一参数；

第二参数计算模块，用于对所述第一参数进行最大池化处理，得到第二参数；

第二关联度矩阵计算模块，用于根据所述第二参数确定第二关联度矩阵。

在本发明一个实施例中，所述关联度计算单元3，具体包括：

第三关联度矩阵计算模块，用于计算所述金融舆情描述表示中的每一项与所述金融专业知识描述表示中的每一项的关联度，得到第一关联度矩阵。

在本发明一个实施例中，所述金融舆情描述表示生成单元1，具体包括：

第一词语隐层表示生成模块，用于将所述金融舆情描述的词向量输入到双向门控循环单元中，得到词语隐层表示；

第一注意力值计算模块，用于根据所述词语隐层表示计算注意力值；

第一金融舆情描述表示计算模块，用于根据所述词语隐层表示以及所述注意力值计算出句子级别的金融舆情描述表示。

在本发明一个实施例中，所述金融专业知识描述表示生成单元2，具体包括：

第二词语隐层表示生成模块，用于将所述金融专业知识的词向量输入到双向门控循环单元中，得到词语隐层表示；

第二注意力值计算模块，用于根据所述词语隐层表示计算注意力值；

第二金融舆情描述表示计算模块，用于根据所述词语隐层表示以及所述注意力值计算出句子级别的金融专业知识描述表示。

在本发明一个实施例中，本发明的金融舆情要素抽取装置，还包括：

损失优化单元，用于在进行预测器训练过程中，将金融专业知识-要素预测器产生的损失与金融舆情描述-要素预测器的损失线性组和并优化。

在本发明一个实施例中，所述损失优化单元，具体包括：

交叉熵损失确定模块，用于确定金融专业知识-要素预测器的真实概率分布和预测概率分布的交叉熵损失以及金融舆情描述-要素预测器的真实概率分布和预测概率分布的交叉熵损失；

总损失优化模块，用于根据金融专业知识-要素预测器的交叉熵损失和金融舆情描述-要素预测器的交叉熵损失确定总损失，并采用优化算法使所述总损失最小化。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机设备。如图9所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。

处理器可以为中央处理器(Central Processing Unit，CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。

上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述金融舆情要素抽取方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

为了实现上述目的，根据本申请的另一方面，还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述金融舆情要素抽取方法的步骤。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。