一种文本信息中事件类型提取方法、装置、介质及设备

技术领域

本发明涉及计算机技术领域，尤其涉及一种文本信息中事件类型提取方法、装置、介质及设备。

背景技术

在现有技术中，获取到文本信息后，再将文本信息输入至一个预先配置好的网络模型中，这一个网络模型再从文本信息中分别提取出对应的句子级特征、语法级特征和上层事件类型特征，再根据上述所有特征，从网络模型中查找得到与文本信息对应的事件类型，其中语法级特征只取决于其对应的文本信息中的某个句子。

可见，现有技术提取得到的多个语法级特征之间并无关联，从而无法从文本信息中提取得到更加符合语法逻辑的事件类型，并且句子级特征、语法级特征和上层事件类型特征只由同一个模型分别提取得到，无法针对不同的特征设置更适合的模型，从而无法从文本信息中提取得到更精准的事件类型。

发明内容

为了解决上述技术问题，本发明实施例提出了一种文本信息中事件类型提取方法、装置、介质及设备，通过针对不同的特征设置更适合的模型，从文本信息中分别提取得到句子级特征、语法级特征和上层特征，再综合考虑上述所有特征来获得与文本信息对应的事件类型，从而可以从文本信息中提取得到更精准的事件类型。

为了实现上述目的，本发明实施例提供了一种文本信息中事件类型提取方法，包括：

获取文本信息；其中，所述文本信息包括文本句子和文本语法；

将所述文本句子输入至预设的记忆网络模型；

从所述记忆网络模型中获得与所述文本句子对应的句子表示向量；

从所述记忆网络模型的动态多池层中获得与所述句子表示向量对应的句子级特征；

从所述记忆网络模型中获得与所述文本句子对应的隐藏嵌入信息，并将所述隐藏嵌入信息发送至预设的神经网络模型；

从所述神经网络模型中获得与所述隐藏嵌入信息对应的上层特征；

将所述文本语法输入至预设的图注意力网络模型，并根据所述文本语法，从所述图注意力网络模型中获得对应的语法级特征；

根据所述句子级特征、所述语法级特征和所述上层特征，从预设的分类层中得到与不同事件类型对应的概率，并将概率最大的事件类型作为与所述文本信息对应的事件类型。

进一步的，所述从所述记忆网络模型中获得与所述文本句子对应的句子表示向量，具体为：根据所述文本句子，按照文本顺序获得若干个句子；采用所述记忆网络模型对每一所述句子编码，获得一一对应的句子表示向量。

进一步的，所述从所述记忆网络模型的动态多池层中获得与所述句子表示向量对应的句子级特征，具体为：从所述动态多池层中获得与每一所述句子表示向量一一对应的句子功能向量；将所有的句子功能向量划分为两组，获得第一句子功能向量组和第二句子功能向量组；采用所述动态多池层对所述第一句子功能向量组计算获得第一最大池结果，对所述第二句子功能向量组计算获得第二最大池结果；根据所述第一最大池结果和所述第二最大池结果，通过所述动态多池层获得句子级特征。

进一步的，所述从所述神经网络模型中获得与所述隐藏嵌入信息对应的上层特征，具体为：根据所述隐藏嵌入信息，从所述神经网络模型中查找得到与预设的若干个事件类型一一对应的注意力得分；对所有注意力得分计算得到加权和值，并将所述加权和值作为与所述隐藏嵌入信息对应的上层特征。

进一步的，所述对所有注意力得分计算得到加权和值，并将所述加权和值作为与所述隐藏嵌入信息对应的上层特征，具体为：通过注意力机制聚合所有注意力得分，再计算得到加权和值，并将所述加权和值作为与所述隐藏嵌入信息对应的上层特征。

进一步的，所述将所述文本语法输入至预设的图注意力网络模型，并根据所述文本语法，从所述图注意力网络模型中获得对应的语法级特征，具体为：将所述文本语法输入至预设的图注意力网络模型；采用所述图注意力网络模型从所述文本语法中提取获得若干个一阶句法图；根据每一所述一阶句法图，从所述图注意力网络模型中获得一一对应的k阶句法图；通过注意力机制聚合所有k阶句法图，获得与所述文本语法对应的语法级特征。

进一步的，所述根据所述句子级特征、所述语法级特征和所述上层特征，从预设的分类层中得到与不同事件类型对应的概率时，还包括：通过偏置损失函数修正从预设的分类层中得到的与不同事件类型对应的概率。

本发明实施例还提供了一种文本信息中事件类型提取装置，包括：

文本信息获取模块，用于获取文本信息；其中，所述文本信息包括文本句子和文本语法；

文本句子传输模块，用于将所述文本句子输入至预设的记忆网络模型；

句子表示向量获取模块，用于从所述记忆网络模型中获得与所述文本句子对应的句子表示向量；

句子级特征获取模块，用于从所述记忆网络模型的动态多池层中获得与所述句子表示向量对应的句子级特征；

隐藏嵌入信息获取模块，用于从所述记忆网络模型中获得与所述文本句子对应的隐藏嵌入信息，并将所述隐藏嵌入信息发送至预设的神经网络模型；

上层特征获取模块，用于从所述神经网络模型中获得与所述隐藏嵌入信息对应的上层特征；

语法级特征获取模块，用于将所述文本语法输入至预设的图注意力网络模型，并根据所述文本语法，从所述图注意力网络模型中获得对应的语法级特征；

事件类型提取模块，用于根据所述句子级特征、所述语法级特征和所述上层特征，从预设的分类层中得到与不同事件类型对应的概率，并将概率最大的事件类型作为与所述文本信息对应的事件类型。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一项所述的文本信息中事件类型提取方法的步骤。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并由处理器运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述的文本信息中事件类型提取方法的步骤。

本发明具有以下有益效果：

采用本发明实施例，通过获取文本信息；将所述文本句子输入至预设的记忆网络模型；从所述记忆网络模型中获得与所述文本句子对应的句子表示向量；从所述记忆网络模型的动态多池层中获得与所述句子表示向量对应的句子级特征；从所述记忆网络模型中获得与所述文本句子对应的隐藏嵌入信息，并将所述隐藏嵌入信息发送至预设的神经网络模型；从所述神经网络模型中获得与所述隐藏嵌入信息对应的上层特征；将所述文本语法输入至预设的图注意力网络模型，并根据所述文本语法，从所述图注意力网络模型中获得对应的语法级特征；根据所述句子级特征、所述语法级特征和所述上层特征，从预设的分类层中得到与所述文本信息对应的事件类型。本发明实施例在进行文本信息中事件类型提取的过程中，针对文本信息，分别使用记忆网络模型提取句子级特征和隐藏嵌入信息、使用图注意力网络模型提取语法级特征，并使用神经网络模型从隐藏嵌入信息中提取上层特征，从而可以针对不同特征的特点设置更合适的模型，其中图注意力网络模型获得的语法级特征整合了文本信息中的每个句子所对应的语法信息，从而可以获得综合考虑文本信息中所有句子的语法级特征，进而得到更加符合语法逻辑的事件类型，此外使用分类层将所有特征聚合关联，从而再据此从文本信息中提取更精准的事件类型。

附图说明

图1是本发明提供的一种文本信息中事件类型提取方法的一个实施例的流程示意图；

图2是本发明提供的一种文本信息中事件类型提取装置的一个实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明提供的一种文本信息中事件类型提取方法的一个实施例的流程示意图，该方法包括步骤S1至S8，具体如下：

S1，获取文本信息；其中，所述文本信息包括文本句子和文本语法；

S2，将所述文本句子输入至预设的记忆网络模型；

S3，从所述记忆网络模型中获得与所述文本句子对应的句子表示向量；

优选地，所述从所述记忆网络模型中获得与所述文本句子对应的句子表示向量，具体为：根据所述文本句子，按照文本顺序获得若干个句子；采用所述记忆网络模型对每一所述句子编码，获得一一对应的句子表示向量。

具体的，采用BIO(BIO三位标注B-begin，I-inside，O-outside)模式进行标注，则长度为n的句子表示为X＝x

具体的，所述记忆网络模型的一个实施例为双向长短时记忆网络(Bi-LSTM)，并将Bi-LSTM作为句子编码器，将句子上下文信息编码到表示向量H＝h

其中，

S4，从所述记忆网络模型的动态多池层中获得与所述句子表示向量对应的句子级特征；

优选地，所述从所述记忆网络模型的动态多池层中获得与所述句子表示向量对应的句子级特征，具体为：从所述动态多池层中获得与每一所述句子表示向量一一对应的句子功能向量；将所有的句子功能向量划分为两组，获得第一句子功能向量组和第二句子功能向量组；采用所述动态多池层对所述第一句子功能向量组计算获得第一最大池结果，对所述第二句子功能向量组计算获得第二最大池结果；根据所述第一最大池结果和所述第二最大池结果，通过所述动态多池层获得句子级特征。

具体的，使用双向长短时记忆网络(Bi-LSTM)的动态多池层来得到句子级的功能S＝s

[·]

S5，从所述记忆网络模型中获得与所述文本句子对应的隐藏嵌入信息，并将所述隐藏嵌入信息发送至预设的神经网络模型；

S6，从所述神经网络模型中获得与所述隐藏嵌入信息对应的上层特征；

优选地，所述从所述神经网络模型中获得与所述隐藏嵌入信息对应的上层特征，具体为：根据所述隐藏嵌入信息，从所述神经网络模型中查找得到与预设的若干个事件类型一一对应的注意力得分；对所有注意力得分计算得到加权和值，并将所述加权和值作为与所述隐藏嵌入信息对应的上层特征。

优选地，所述对所有注意力得分计算得到加权和值，并将所述加权和值作为与所述隐藏嵌入信息对应的上层特征，具体为：通过注意力机制聚合所有注意力得分，再计算得到加权和值，并将所述加权和值作为与所述隐藏嵌入信息对应的上层特征。

S7，将所述文本语法输入至预设的图注意力网络模型，并根据所述文本语法，从所述图注意力网络模型中获得对应的语法级特征；

优选地，所述将所述文本语法输入至预设的图注意力网络模型，并根据所述文本语法，从所述图注意力网络模型中获得对应的语法级特征，具体为：将所述文本语法输入至预设的图注意力网络模型；采用所述图注意力网络模型从所述文本语法中提取获得若干个一阶句法图；根据每一所述一阶句法图，从所述图注意力网络模型中获得一一对应的k阶句法图；通过注意力机制聚合所有k阶句法图，获得与所述文本语法对应的语法级特征。

具体的，所述图注意力网络模型的一个实施例为多阶图注意网络。用邻接矩阵A表示一阶句法图，A包含三个子n×n矩阵A

其中+是按元素进行的加法，

σ是指数线性单，W

然后利用注意聚合机制来获得完整的多阶表示，即语法级嵌入如下式：

H

使用图注意力网络(Graph Attent ion Network,GAT)可以挖掘句子的句法依存关系来丰富句子的语义信息表示。

S8，根据所述句子级特征、所述语法级特征和所述上层特征，从预设的分类层中得到与不同事件类型对应的概率，并将概率最大的事件类型作为与所述文本信息对应的事件类型。

具体的，使用注意力机制来聚合来自几个特征的分数。计算公式如下

W

u

最后，计算上层事件类型特征的加权和:

/>

将句子级特征S、上层特征E和语法级特征H

Z＝S⊕E⊕H

W

经过softmax分类后，以概率最大的事件标签作为结果。

优选地，所述根据所述句子级特征、所述语法级特征和所述上层特征，从预设的分类层中得到与不同事件类型对应的概率时，还包括：通过偏置损失函数修正从预设的分类层中得到的与不同事件类型对应的概率。

具体的，利用偏置损失函数来增强事件类型标签在训练中的影响，损失函数定义如下:

N

若标签为“O”则I(O)＝1，否则为0。

相应地，本发明的实施例还提供一种文本信息中事件类型提取装置，用于实现上述实施例提供的文本信息中事件类型提取方法的所有流程。

参见图2，是本发明提供的文本信息中事件类型提取装置的一个实施例的结构示意图。

本发明实施例提供的一种文本信息中事件类型提取装置，包括：

文本信息获取模块101，用于获取文本信息；其中，所述文本信息包括文本句子和文本语法；

文本句子传输模块102，用于将所述文本句子输入至预设的记忆网络模型；

句子表示向量获取模块103，用于从所述记忆网络模型中获得与所述文本句子对应的句子表示向量；

句子级特征获取模块104，用于从所述记忆网络模型的动态多池层中获得与所述句子表示向量对应的句子级特征；

隐藏嵌入信息获取模块105，用于从所述记忆网络模型中获得与所述文本句子对应的隐藏嵌入信息，并将所述隐藏嵌入信息发送至预设的神经网络模型；

上层特征获取模块106，用于从所述神经网络模型中获得与所述隐藏嵌入信息对应的上层特征；

语法级特征获取模块107，用于将所述文本语法输入至预设的图注意力网络模型，并根据所述文本语法，从所述图注意力网络模型中获得对应的语法级特征；

事件类型提取模块108，用于根据所述句子级特征、所述语法级特征和所述上层特征，从预设的分类层中得到与不同事件类型对应的概率，并将概率最大的事件类型作为与所述文本信息对应的事件类型。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述任一项所述的文本信息中事件类型提取方法的步骤。

此外，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并由处理器运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述的文本信息中事件类型提取方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本发明具有以下有益效果：

采用本发明实施例，通过获取文本信息；将所述文本句子输入至预设的记忆网络模型；从所述记忆网络模型中获得与所述文本句子对应的句子表示向量；从所述记忆网络模型的动态多池层中获得与所述句子表示向量对应的句子级特征；从所述记忆网络模型中获得与所述文本句子对应的隐藏嵌入信息，并将所述隐藏嵌入信息发送至预设的神经网络模型；从所述神经网络模型中获得与所述隐藏嵌入信息对应的上层特征；将所述文本语法输入至预设的图注意力网络模型，并根据所述文本语法，从所述图注意力网络模型中获得对应的语法级特征；根据所述句子级特征、所述语法级特征和所述上层特征，从预设的分类层中得到与所述文本信息对应的事件类型。本发明实施例在进行文本信息中事件类型提取的过程中，针对文本信息，分别使用记忆网络模型提取句子级特征和隐藏嵌入信息、使用图注意力网络模型提取语法级特征，并使用神经网络模型从隐藏嵌入信息中提取上层特征，从而可以针对不同特征的特点设置更合适的模型，其中图注意力网络模型获得的语法级特征整合了文本信息中的每个句子所对应的语法信息，从而可以获得综合考虑文本信息中所有句子的语法级特征，进而得到更加符合语法逻辑的事件类型，此外使用分类层将所有特征聚合关联，从而再据此从文本信息中提取更精准的事件类型。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。