一种基于抽象语义图的事件参数提取方法及系统

技术领域

本发明涉及信息抽取领域，具体是一种基于抽象语义图的事件参数提取方法及系统。

背景技术

事件抽取作为一种主流的自然语言处理任务，包括一系列的抽取任务，如：事件触发词的发现、事件类型的识别、事件论元以及论元角色的提取。相比于关系抽取任务，事件抽取同样需要从文本中抽取出元素和参数。目前，对事件抽取方法研究大多聚焦在生成式事件抽取方向，这一类的方法大多通过微调预训练语言模型以适应事件抽取任务。

大模型有很强的泛化能力，fine-tun ing在对大模型微调时需要调整大量的参数，这需要庞大的资源支持。而通过设计prompt提示和指令的方式对模型进行微调，这种情况下只需要调整模型很小一部分的参数就可以让模型适应特定领域的任务。然而研究表明，通过prompt设计微调模型所带来的性能提升有限，其原因在于所设计的prompt往往是次优的。基于这样的现状，出现了前缀调优的微调形式，这些方法通过学习的方式学习最优的prompt提示，以前缀的形式插入模型的输入层中，实现对模型的微调。同时通过adapter的形式也可以实现对大模型的微调，adapter的思想是在Transformer结构的每个块中插入其他的神经网络对模型中间结果进行调整。然而经过对比发现，前缀调优的方式可能带来的性能提升并不稳定，其原因是前缀调优只在输入层调整参数，调整的参数影响有限。而利用adapter作为一个可以插入大模型每一层即插即用的插件，它在每一层都和大模型的中间层输出交互，从而能够带来更稳定和更好的性能提升。

抽象语义结构图中包含了丰富的语法知识，目前的事件抽取方法中，依然将抽象语义结构图序列化的结果通过前缀调优的方式对模型进行增强。然而，Transformer结构对序列文本有很强大学习能力，对图结构的信息关注欠佳。

发明内容

本发明的目的是为了克服现有技术的不足，提出一种基于抽象语义图的事件参数提取方法及系统，在抽象语义图的学习方式以及模型的微调方式上做出改进，以实现更好的语义和结构信息的融合。

为了实现上述目的，本发明具体采用的技术方案如下：

一种基于抽象语义图的事件参数提取方法，包括以下步骤：

S1、获取抽象语义图序列化的结果，基于序列化的抽象语义图解析出抽象语义图，其中，抽象语义图描述了文本中词语之间的语法关系，抽象语意图中的节点和文本中的词语所对应，具体过程如下：

S1.1、基于现有的Text-to-Graph预训练抽象语义表示生成模型，获得经过序列化表示的抽象语义图，其中节点和边的表示是由深度优先遍历所得到的，节点为输入文本中的词语。

其中，序列化抽象语义图表示格式，例如，(possi ble:domai n(go:arg0(boy)):po lar ity(negati ve))。其中，，和后的词为抽象语义图中的节点实体，形如“:domain”则表示的是一条边，冒号后的单词为边的属性。

S1.2、解析经过序列化的抽象语义图，序列化的抽象语义图为深度优先遍历序列，通过设计深度优先解析算法，获取图中所有的节点以及边。对于其中的节点，保留记录其对应文本中的位置，同时对于其中的边进行简化处理，忽视边的属性，将其视作关联边连接两个语义词，得到抽象语义图。

S2、基于图卷积神经网络设计adapter结构，adapter结构不同于传统的MLP全连接神经网络，而是采用图卷积神经网络学习图结构的信息，具体过程如下：

S2.1、获取adapter的输入记为G

S2.2、将G

S2.3、获取图卷积神经网络最后一层隐藏层节点表示作为adapter的输出G

S3、将所述的adapter结构插入到预训练语言模型的每一层中，其具体子步骤如下：

S3.1、将所述adapter结构插入预训练语言模型Transformer结构的每一层中；

S3.2、获取预训练语言模型每一层的输入

S3.3、将

S3.4、将预训练语言模型每一层的输入

S3.5、将

S4、构建事件模板，将事件模板提示和输入文本拼接作为预训练语言模型的输入，根据已知事件类型的模板提示，填充模板中需要的事件参数，得到最终的事件参数预测结果，其具体过程如下：

S4.1.构建事件类型本体库，事件本体库以自然语言的形式描述了所有事件类型以及其中包含的事件参数。

S4.2.对于输入文本，选择要进行事件参数抽取所对应的事件类型的模板。

S4.3.将输入文本和事件模板提示拼接得到的输入记为D，D作为步骤二中所述模型的输入，对模型进行微调。

S4.4.最后将上述D输入经过微调的预训练模型，得到的输出作为最终事件参数提取的结果，其中事件模板中的特殊词被输入文本中的词所替代；

本发明还提供了一种基于抽象语义图的事件参数提取系统，该系统采用上述的基于抽象语义图的事件参数提取方法实现事件参数的提取，包括：

抽象语义图生成模块，用于从文本中获取抽象语义图；具体地，通过抽象语义图生成模型处理输入文本，获得序列化的抽象语义图，该序列化的抽象语义图是通过深度优先遍历抽象语义图所得到；解析序列化的抽象语义图，获取图中所有的节点以及边，对于其中的节点，保留记录其对应文本中的位置，同时对于其中的边进行简化处理，忽视边的属性，将其视作关联边连接两个语义词，得到抽象语义图。

模型微调模块，用于基于图卷积神经网络的adapter结构插入预训练语言模型Transformer结构的每一层中，实现预训练语言模型的微调；具体地，将所述的adapter结构插入预训练语言模型Transformer结构的每一层中；获取预训练语言模型每一层的输入

事件要素抽取模块，用于从输入文本中，根据特定的事件模板提取事件参数。具体地，为每一个事件类型构建对应的模板提示，将事件模板提示和输入文本拼接作为微调后的预训练语言模型的输入，根据已知事件类型的模板提示，填充模板中需要的事件参数，得到最终的事件参数预测结果。

本发明具有以下的特点和有益效果：

本发明可以通过图的方式学习抽象语义图的结构化信息，解决了生成模型对结构信息关注低的问题，同时通过构建adapter形式的微调方式同预训练模型进行交互，提高了模型训练的稳定性，有效的提高了事件参数抽取的准确率。

附图说明

图1为本发明实施例一种基于抽象语义图的事件参数提取方法的流程图。

图2为本发明实施例中抽象语义图的获取过程。

图3为本发明在预训练模型中融合adapter的过程图。

图4为本发明实施例一种基于抽象语义图的事件参数提取系统的系统框图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

参见图1，一种基于抽象语义图的事件参数提取方法，具体包含以下步骤：

S1、获取输入文本所对应的抽象语义图，抽象语义图表示了输入句子中语法关系，如图2所示，其主要包含以下步骤：

S1.1、通过抽象语义表示生成模型处理输入文本，获得经过序列化的抽象语义图，该经过序列化的抽象语义图是通过深度优先遍历所得到。

具体的，本实施例所选的AMR预训练语言模型为可以从Hugg ing Face官方找到，AMRBART-large-fi netuned-AMR3.0-AMRParsing，其具体实现细节可以参考：

https://huggi ngface.co/xfbai/AMRBART-large-fi netuned-AMR3.0-AMRParsing。

S1.2、解析经过序列化的抽象语义图，获得其对应的节点的位置以及其对应图结构表示。

具体来说，这部分需要设计解析算法实现，对于图中的一个实体E，其表示方式为(E:属性名邻接实体1:属性名邻接实体2......)，其中邻接实体1与邻接实体2皆可以按上述方式展开，进而得到抽象语义图的文本表示。

需要说明的是，抽象语义图的边包含属性，在本实施例中，为了简化学习过程而将其视为关联边。

S2、基于图卷积神经网络设计adapter结构，adapter用于调整对应于抽象语意图中的节点的表示，同时adapter内部采用图神经网络的方式对聚合节点语义结构信息，其具体过程如下：

S2.1、获取adapter的输入记为G

S2.2、将G

其中，

对于抽象语义图中的每个节点i，图卷积的计算涉及到节点i的另据节点的信息聚合，并且采用归一化项

接着汇总邻居节点的表示

S2.3、获取图卷积神经网络最后一层隐藏层节点表示作为adapter的输出G

S3、将所述的adapter结构插入到预训练语言模型的每一层中，其具体子步骤如下：

S3.1、将所述adapter结构插入BART模型的每一层中。

需要说明的是，BART是Facebook AI Research提出的一种序列到序列的模型架构，BART包含六个编码器和六个解码器，具体模型的细节可以参照https://huggingface.co/facebook/bart-large。

具体的说，本实施例，将adapter结构插入到BART的每个编码器和解码器结构中。

S3.2、获取BART每一层的输入

具体的说，本实施例根据S1中所述的抽象语义图获取节点，将

需要说明的是，本实施例中，BART模型的每一层都存在一个adapter调整其在该层的输出和在下一层的输入，在adapter的内部，使用图卷积神经网络对输入的图表示进行学习。其中输入中对应的每个节点从语言模型中隐藏层表示中所提取。

S3.3、将

需要说明的是，S1.2中所述的抽象语义图图结构在adapter内部也作为图神经网络的输入。

S3.4、将预训练语言模型每一层的输入

具体的说，BART模型的编码器和解码器都包含多头注意力机制和前馈神经网络，原始输入经过多头注意力之后产生的输出和原始输入进行残差归一化，然后再作为前馈神经网络的输入而得到输出

S3.5、将

S3、构建事件模板，将事件模板提示和输入文本拼接作为预训练语言模型的输入，根据已知事件类型的模板提示，填充模板中需要的事件参数，得到最终的事件参数预测结果，其具体过程如下。

S3.1、为每一个事件类型构建对应的模板提示，模板提示由自然语言组成，其中模板中的事件参数由特殊词所替代。

具体来说，对于任意一个事件类型，本实施例定义其事件结构范式，例如，一个阻止出口的运输事件，将被描述为“start,preventsfromtransporti ng passenger from or igi n

topl ace,end”。

S3.2、将输入文本和事件模板提示拼接得到的输入记为D，D作为上述模型的输入，对模型进行微调。

S3.3最后将上述D输入经过微调的预训练模型，得到的输出作为最终事件参数提取的结果，其中事件模板中的特殊词被输入文本中的词所替代。

需要说明的是，本方法要求输入信息中需要指明事件的类型，从而确定事件对应的模板提示。

与前述一种基于抽象语义图的事件参数提取方法的实施例对应，本发明还提供一种基于抽象语义图的事件参数提取系统。

参见图4，本发明实施例提供一种基于抽象语义图的事件参数提取系统，包括UI层，应用层和数据层；UI层负责处理用户输入和界面展示；应用层包含抽象语义图生成模块、模型微调模块、事件要素抽取模块；数据层包含数据处理部分和模型训练部分。

本实施例中，抽象语义图生成模块，用于从文本中获取抽象语义图；具体地，通过抽象语义图生成模型处理输入文本，获得序列化的抽象语义图，该序列化的抽象语义图是通过深度优先遍历抽象语义图所得到；解析序列化的抽象语义图，获取图中所有的节点以及边，对于其中的节点，保留记录其对应文本中的位置，同时对于其中的边进行简化处理，忽视边的属性，将其视作关联边连接两个语义词，得到抽象语义图。具体的，序列化的抽象语义图依然是一段文本，而经过解析后将采用邻接表的形式表示图的结构。

本实施例中，模型微调模块，用于基于图卷积神经网络的adapter结构插入预训练语言模型Transformer结构的每一层中，实现预训练语言模型的微调；具体地，将所述的adapter结构插入预训练语言模型Transformer结构的每一层中；获取预训练语言模型每一层的输入

本实施例中，事件要素抽取模块，用于从输入文本中，根据特定的事件模板提取事件参数。具体地，为每一个事件类型构建对应的模板提示，将事件模板提示和输入文本拼接作为微调后的预训练语言模型的输入，根据已知事件类型的模板提示，填充模板中需要的事件参数，得到最终的事件参数预测结果

本发明通过图学习的方式学习了抽象语义图，同时通过设计adapter模块插入BART模型上进行微调，提高了BART对图结构信息的学习能力，从而能够更有效的从文本中提取事件参数，给大模型和图神经网络结合提供了参考，有重要的研究意义。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。