掌桥专利:专业的专利平台
掌桥专利
首页

用于篇章文本的事件检测方法及装置、电子设备

文献发布时间:2024-04-18 20:01:23


用于篇章文本的事件检测方法及装置、电子设备

技术领域

本发明涉及人工智能技术领域,具体而言,涉及一种用于篇章文本的事件检测方法及装置、电子设备。

背景技术

在全球信息化程度与日俱增的背景下,社会各行业领域不断产生海量的事件文本信息,其中,事件作为信息的最基本表现形式之一,包含着社会各领域重要的动态变化情况,从海量文本中有效地检测出关键事件信息,能够为信息自动化处理、突发事件检测与跟踪、市场动态分析以及智能问答等任务提供有力支持。目前,随着现实世界信息表述的复杂化和篇幅化,事件信息往往随机的分布在篇章文本中,篇章文本中的事件元素呈现跨句子分散的状态,事件触发词根据上下文信息以及事件论元的不同在篇章文本中触发不同类型的事件,句子层面事件和篇章层面事件之间存在共现关系。

现有的事件检测方法存在明显的缺陷:1,现有检测模型结构过于简单,运算能力不足,对于复杂自然语言的篇章级文本的事件特征提取能力不足;2,现有检测模型主要利用句子级别的上下文信息进行事件检测,忽略了篇章级别的全局特征和事件之间的相互关系,导致篇章层面的事件触发词定位和事件类型判别准确度不足。

针对上述的问题,目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种用于篇章文本的事件检测方法及装置、电子设备,以至少解决相关技术中对复杂篇章文本进行事件检测时全局特征提取能力不足、事件类型判别准确率低的技术问题。

根据本发明实施例的一个方面,提供了一种用于篇章文本的事件检测方法,包括:接收事件检测指令,其中,所述事件检测指令用于对目标篇章文本中的事件信息进行识别与分类,得到事件标签与事件类型;响应事件检测指令,接收待检测的所述目标篇章文本;将所述目标篇章文本输入至预设事件检测模型,输出事件检测结果,其中,所述事件检测结果至少包括:所述事件标签和所述事件类型,所述预设事件检测模型中至少包括:双向门控循环计算层和掩码条件随机场计算层,所述双向门控循环计算层用于捕捉所述目标篇章文本中各单词之间的全局依赖关系,得到全局特征向量,所述掩码条件随机场计算层用于根据所述全局特征向量对所述目标篇章文本进行识别与分类,得到所述事件标签和所述事件类型。

可选地,所述预设事件检测模型还包括:BERT编码层,将所述目标篇章文本输入至预设事件检测模型,输出事件检测结果的步骤,包括:通过所述BERT编码层对所述目标篇章文本进行分词,得到分词结果,其中,分词结果中包含N个单词,N为正整数;将所述分词结果映射至向量空间,得到单词向量集合,其中,所述单词向量集合中包含N个单词向量,每个所述单词向量与一个所述单词一一对应;基于预设注意力机制对所述单词向量集合进行编码运算,得到嵌入编码向量,其中,所述嵌入编码向量用于表征所述目标篇章文本中各单词的语义信息、各单词的位置信息以及各语句之间的分段关联信息;依据所述嵌入编码向量和预设事件触发词列表进行事件检测,得到所述事件检测结果。

可选地,依据所述嵌入编码向量和预设事件触发词列表进行事件检测,得到所述事件检测结果的步骤,包括:通过所述双向门控循环计算层对所述嵌入编码向量进行全局特征运算,得到所述全局特征向量,其中,所述全局特征向量用于表征在所述目标篇章文本中各个所述单词之间的所述全局依赖关系;通过所述掩码条件随机场计算层基于所述全局特征向量和所述单词向量集合建立观测随机场,并在所述观测随机场中对所有所述单词向量进行观测,得到观测结果,其中,所述掩码条件随机场计算层用于预置所述预设事件触发词列表,并基于该预设事件触发词列表对所有所述单词向量对应的所述单词进行匹配,得到观测结果,所述观测结果中至少包括:目标单词以及所述目标单词对应的事件触发词;将所述观测结果中的所述事件触发词作为所述事件标签,并在所述预设事件触发词列表中提取该事件标签对应的所述事件类型;基于所述事件标签和所述事件类型生成所述事件检测结果。

可选地,在所述观测随机场中对所有所述单词向量进行观测,得到观测结果的步骤,包括:基于所述观测随机场计算得到所有所述单词向量对应的条件概率值,其中,所述条件概率值是指所述单词向量对应的所述单词命中所述预设事件触发词列表中的事件触发词的概率值;选取所有所述条件概率值中的最大值作为目标概率值;基于所述目标概率值确定所述目标单词和该目标单词命中的所述事件触发词;基于所述目标单词和所述事件触发词生成所述观测结果。

可选地,在将所述目标篇章文本输入至预设事件检测模型,输出事件检测结果之前,还包括:对所述目标篇章文本进行预处理操作,其中,所述预处理操作包括以下至少之一:篇幅检测、词形还原、文本序列填充、文本序列截断、文本清洗、停用词过滤、实体标记以及删除特定词汇。

可选地,所述预设事件检测模型至少包括以下组成部分:输入层,与BERT编码层连接,用于接收所述目标篇章文本,并将所述目标篇章文本传输至所述BERT编码层;所述BERT编码层,与所述双向门控循环计算层连接,用于对所述目标篇章文本进行分词,将分词结果中的所有单词映射至向量空间,并在所述向量空间中对所有单词向量进行编码运算,得到该目标篇章文本对应的嵌入编码向量;所述双向门控循环计算层,与所述掩码条件随机场计算层连接,用于对所述嵌入编码向量进行全局特征运算,得到全局特征向量;所述掩码条件随机场计算层,与输出层连接,用于基于所述全局特征向量和所有所述单词向量建立观测随机场,并基于所述观测随机场对所有所述单词向量进行观测,得到所述事件标签和所述事件类型;所述输出层,用于基于所述事件标签和所述事件类型生成所述事件检测结果,并输出该事件检测结果。

可选地,所述预设事件检测模型是通过如下步骤得到的:接收篇章文本数据集,其中,所述篇章文本数据集中至少包括:M个篇章文本以及每个所述篇章文本对应的文本数据,所述文本数据至少包括:预定义事件类型和所述预定义事件类型对应的预定义事件标签,M为正整数;将所述篇章文本数据集中的M个篇章文本输入至初始事件检测模型,输出M个模型检测结果,其中,所述模型检测结果至少包括:模型检测事件类型和模型检测事件标签;存在所述模型检测结果指示所述模型检测事件类型与所述预定义事件类型不一致,或所述模型检测事件标签与所述预定义事件标签不一致的情况下,调整所述初始事件检测模型的模型参数;在所有所述模型检测结果指示所述模型检测事件类型与所述预定义事件类型一致,且所述模型检测事件标签与所述预定义事件标签一致的情况下,得到所述预设事件检测模型。

根据本发明实施例的另一方面,还提供了一种用于篇章文本的事件检测装置,包括:接收单元,用于接收事件检测指令,其中,所述事件检测指令用于对目标篇章文本中的事件信息进行识别与分类,得到事件标签与事件类型;响应单元,用于响应事件检测指令,接收待检测的所述目标篇章文本;输入单元,用于将所述目标篇章文本输入至预设事件检测模型,输出事件检测结果,其中,所述事件检测结果至少包括:所述事件标签和所述事件类型,所述预设事件检测模型中至少包括:双向门控循环计算层和掩码条件随机场计算层,所述双向门控循环计算层用于捕捉所述目标篇章文本中各单词之间的全局依赖关系,得到全局特征向量,所述掩码条件随机场计算层用于根据所述全局特征向量对所述目标篇章文本进行识别与分类,得到所述事件标签和所述事件类型。

可选地,所述输入单元包括:分词模块,用于通过BERT编码层对所述目标篇章文本进行分词,得到分词结果,其中,分词结果中包含N个单词,N为正整数;映射模块,用于将所述分词结果映射至向量空间,得到单词向量集合,其中,所述单词向量集合中包含N个单词向量,每个所述单词向量与一个所述单词一一对应;编码运算模块,用于基于预设注意力机制对所述单词向量集合进行编码运算,得到嵌入编码向量,其中,所述嵌入编码向量用于表征所述目标篇章文本中各单词的语义信息、各单词的位置信息以及各语句之间的分段关联信息;事件检测模块,用于依据所述嵌入编码向量和预设事件触发词列表进行事件检测,得到所述事件检测结果。

可选地,所述事件检测模块包括:特征运算子模块,用于通过所述双向门控循环计算层对所述嵌入编码向量进行全局特征运算,得到所述全局特征向量,其中,所述全局特征向量用于表征在所述目标篇章文本中各个所述单词之间的所述全局依赖关系;观测子模块,用于通过所述掩码条件随机场计算层基于所述全局特征向量和所述单词向量集合建立观测随机场,并在所述观测随机场中对所有所述单词向量进行观测,得到观测结果,其中,所述掩码条件随机场计算层用于预置所述预设事件触发词列表,并基于该预设事件触发词列表对所有所述单词向量对应的所述单词进行匹配,得到观测结果,所述观测结果中至少包括:目标单词以及所述目标单词对应的事件触发词;提取子模块,用于将所述观测结果中的所述事件触发词作为所述事件标签,并在所述预设事件触发词列表中提取该事件标签对应的所述事件类型;第一生成子模块,用于基于所述事件标签和所述事件类型生成所述事件检测结果。

可选地,所述事件检测模块还包括:计算子模块,用于基于所述观测随机场计算得到所有所述单词向量对应的条件概率值,其中,所述条件概率值是指所述单词向量对应的所述单词命中所述预设事件触发词列表中的事件触发词的概率值;选取子模块,用于选取所有所述条件概率值中的最大值作为目标概率值;确定子模块,用于基于所述目标概率值确定所述目标单词和该目标单词命中的所述事件触发词;第二生成子模块,用于基于所述目标单词和所述事件触发词生成所述观测结果。

可选地,所述用于篇章文本的事件检测装置还包括:预处理模块,用于对所述目标篇章文本进行预处理操作,其中,所述预处理操作包括以下至少之一:篇幅检测、词形还原、文本序列填充、文本序列截断、文本清洗、停用词过滤、实体标记以及删除特定词汇。

可选地,所述预设事件检测模型至少包括以下组成部分:输入层,与BERT编码层连接,用于接收所述目标篇章文本,并将所述目标篇章文本传输至所述BERT编码层;所述BERT编码层,与所述双向门控循环计算层连接,用于对所述目标篇章文本进行分词,将分词结果中的所有单词映射至向量空间,并在所述向量空间中对所有单词向量进行编码运算,得到该目标篇章文本对应的嵌入编码向量;所述双向门控循环计算层,与所述掩码条件随机场计算层连接,用于对所述嵌入编码向量进行全局特征运算,得到全局特征向量;所述掩码条件随机场计算层,与输出层连接,用于基于所述全局特征向量和所有所述单词向量建立观测随机场,并基于所述观测随机场对所有所述单词向量进行观测,得到所述事件标签和所述事件类型;所述输出层,用于基于所述事件标签和所述事件类型生成所述事件检测结果,并输出该事件检测结果。

可选地,所述用于篇章文本的事件检测装置还包括:接收模块,用于接收篇章文本数据集,其中,所述篇章文本数据集中至少包括:M个篇章文本以及每个所述篇章文本对应的文本数据,所述文本数据至少包括:预定义事件类型和所述预定义事件类型对应的预定义事件标签,M为正整数;输入模块,用于将所述篇章文本数据集中的M个篇章文本输入至初始事件检测模型,输出M个模型检测结果,其中,所述模型检测结果至少包括:模型检测事件类型和模型检测事件标签;调整模块,用于在存在所述模型检测结果指示所述模型检测事件类型与所述预定义事件类型不一致,或所述模型检测事件标签与所述预定义事件标签不一致的情况下,调整所述初始事件检测模型的模型参数;确定模块,用于在所有所述模型检测结果指示所述模型检测事件类型与所述预定义事件类型一致,且所述模型检测事件标签与所述预定义事件标签一致的情况下,得到所述预设事件检测模型。

根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的用于篇章文本的事件检测方法。

根据本发明实施例的另一方面,还提供了一种电子设备,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述任意一项所述的用于篇章文本的事件检测方法。

本发明中,提出一种用于篇章文本的事件检测方法,先接收事件检测指令,其中,事件检测指令用于对目标篇章文本中的事件信息进行识别与分类,得到事件标签与事件类型,再响应事件检测指令,接收待检测的目标篇章文本,最后将目标篇章文本输入至预设事件检测模型,输出事件检测结果,其中,事件检测结果至少包括:事件标签和事件类型,预设事件检测模型中至少包括:双向门控循环计算层和掩码条件随机场计算层,双向门控循环计算层用于捕捉目标篇章文本中各单词之间的全局依赖关系,得到全局特征向量,掩码条件随机场计算层用于根据全局特征向量对目标篇章文本进行识别,得到事件标签和事件类型。

本发明中,通过构建预设事件检测模型对目标篇章文本中的事件信息进行识别与分类,得到事件检测结果,在事件检测过程中,利用预设事件检测模型中预置的双向门控循环计算层对目标篇章文本中各单词之间的上下文依赖关系进行全局捕捉,使用全局特征向量表征这种依赖关系,还利用预设事件检测模型中预置的掩码条件随机场计算层根据全局特征向量中的所有上下文依赖关系对目标篇章文本中的事件标签进行识别和分类,得到该目标篇章文本中所有事件信息对应的事件标签和事件类型。通过上述步骤,可以实现对复杂文本信息进行篇章级别的事件元素识别与事件元素之间关系的全局捕捉、提取与分析,得到更为准确的事件标签,根据事件标签进行更为准确的事件类型判别,进而解决了相关技术中对复杂篇章文本进行事件检测时全局特征提取能力不足、事件类型判别准确率低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:

图1是根据本发明实施例的一种可选的用于篇章文本的事件检测方法的流程图;

图2是本发明实施例的一种可选的基于深度学习与掩码条件随机场的高效篇章级事件检测装置的示意图;

图3是根据本发明实施例的一种可选的基于集成化事件检测模型的事件检测方法的流程图;

图4是根据本发明实施例的一种可选的用于篇章文本的事件检测装置的示意图;

图5是根据本发明实施例的一种用于篇章文本的事件检测方法的电子设备(或移动设备)的硬件结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于本领域技术人员理解本发明,下面对本发明各实施例中涉及的部分术语或名词做出解释:

BERT,Bidirectional Encoder Representations from Transformers,基于Transformer架构的预训练语言算法,采用双向的Transformer编码器结构,能够同时利用上下文信息,从而更好地理解文本中的语义和关联关系。

BiGRU,Bidirectional Gated Recurrent Unit,双向门控循环计算单元,是一种递归神经网络(RNN)的变体,具有前向和后向两个方向的隐藏状态传播,通过同时考虑上下文信息,能够更好地捕捉序列数据中的依赖关系和长期依赖。在自然语言处理任务中常用于文本分类、情感分析、命名实体识别等任务,优势在于能够有效地处理变长序列数据,具有较强的建模能力。

MCRF,Maximum Conditional Random Field,结合条件随机场(CRF)和最大化熵原理的序列标注模型,通过引入最大化熵原理在标注过程中考虑更多的特征和约束,提高标注准确性,常用于序列标注任务,如命名实体识别、词性标注等。

需要说明的是,本发明中的用于篇章文本的事件检测方法及其装置可用于人工智能技术领域在对篇章文本进行事件检测的情况下,也可用于除人工智能领域之外的任何领域在对篇章文本进行事件检测的情况下,本发明中对用于篇章文本的事件检测方法及其装置的应用领域不做限定。

需要说明的是,本发明所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关地区的法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。例如,本系统和相关用户或机构间设置有接口,在获取相关信息之前,需要通过接口向前述的用户或机构发送获取请求,并在接收到前述的用户或机构反馈的同意信息后,获取相关信息。

本发明下述各实施例可应用于各种需要对复杂篇章文本进行事件检测和事件分类的系统/应用/设备中,能够实现对复杂文本信息进行篇章级别的事件元素识别与事件元素之间关系的全局捕捉、提取与分析,得到更为准确的事件标签,根据事件标签进行更为准确的事件类型判别。

下面结合各个实施例来详细说明本发明。

实施例一

根据本发明实施例,提供了一种用于篇章文本的事件检测方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种可选的用于篇章文本的事件检测方法的流程图,如图1所示,该方法包括如下步骤:

步骤S101,接收事件检测指令,其中,事件检测指令用于对目标篇章文本中的事件信息进行识别与分类,得到事件标签与事件类型。

步骤S102,响应事件检测指令,接收待检测的目标篇章文本。

步骤S103,将目标篇章文本输入至预设事件检测模型,输出事件检测结果,其中,事件检测结果至少包括:事件标签和事件类型,预设事件检测模型中至少包括:双向门控循环计算层和掩码条件随机场计算层,双向门控循环计算层用于捕捉目标篇章文本中各单词之间的全局依赖关系,得到全局特征向量,掩码条件随机场计算层用于根据全局特征向量对目标篇章文本进行识别与分类,得到事件标签和事件类型。

通过上述步骤,可以先接收事件检测指令,其中,事件检测指令用于对目标篇章文本中的事件信息进行识别与分类,得到事件标签与事件类型,再响应事件检测指令,接收待检测的目标篇章文本,最后将目标篇章文本输入至预设事件检测模型,输出事件检测结果,其中,事件检测结果至少包括:事件标签和事件类型,预设事件检测模型中至少包括:双向门控循环计算层和掩码条件随机场计算层,双向门控循环计算层用于捕捉目标篇章文本中各单词之间的全局依赖关系,得到全局特征向量,掩码条件随机场计算层用于根据全局特征向量对目标篇章文本进行识别,得到事件标签和事件类型。

本发明实施例中,通过构建预设事件检测模型对目标篇章文本中的事件信息进行识别与分类,得到事件检测结果,在事件检测过程中,利用预设事件检测模型中预置的双向门控循环计算层对目标篇章文本中各单词之间的上下文依赖关系进行全局捕捉,使用全局特征向量表征这种依赖关系,还利用预设事件检测模型中预置的掩码条件随机场计算层根据全局特征向量中的所有上下文依赖关系对目标篇章文本中的事件标签进行识别和分类,得到该目标篇章文本中所有事件信息对应的事件标签和事件类型。通过上述步骤,可以实现对复杂文本信息进行篇章级别的事件元素识别与事件元素之间关系的全局捕捉、提取与分析,得到更为准确的事件标签,根据事件标签进行更为准确的事件类型判别,进而解决了相关技术中对复杂篇章文本进行事件检测时全局特征提取能力不足、事件类型判别准确率低的技术问题。

下面结合上述各步骤对本发明实施例进行详细说明。

本发明实施例的实施主体可以是事件检测系统,通过集成BERT编码算法、BiGRU特征提取算法和MCRF序列标注算法构建事件检测模型,再结合人工智能技术,对事件检测模型进行预训练,使用预设事件检测模型对复杂篇章文本进行事件检测,可以更为高效的得到更准确的检测结果。

在对目标文本进行事件检测之前,要先对事件检测模型进行训练,得到可用的预设事件检测模型。

可选地,预设事件检测模型是通过如下步骤得到的:接收篇章文本数据集,其中,篇章文本数据集中至少包括:M个篇章文本以及每个篇章文本对应的文本数据,文本数据至少包括:预定义事件类型和预定义事件类型对应的预定义事件标签,M为正整数;将篇章文本数据集中的M个篇章文本输入至初始事件检测模型,输出M个模型检测结果,其中,模型检测结果至少包括:模型检测事件类型和模型检测事件标签;存在模型检测结果指示模型检测事件类型与预定义事件类型不一致,或模型检测事件标签与预定义事件标签不一致的情况下,调整初始事件检测模型的模型参数;在所有模型检测结果指示模型检测事件类型与预定义事件类型一致,且模型检测事件标签与预定义事件标签一致的情况下,得到预设事件检测模型。

本发明实施例在进行模型预训练之前,还需要准备预设事件触发词列表,该预设事件触发词列表用于存储各种事件类型、每个事件类型下包含的各种事件标签(即,事件触发词),对每个文本篇章设置的预定义事件类型和预定义事件标签应与该预设事件触发词列表保持一致。

需要说明的是,在接收篇章文本数据集之前,还需要对篇章文本数据集中的所有篇章文本数据进行篇幅检测,若篇幅过长应先进行分段再收录进篇章文本数据集,篇幅检测的依据包括但不限于:总字数、句子数以及段落数。

本发明实施例中还可以将篇章文本数据集分为训练集、验证集和测试集,初始事件检测模型可以通过学习训练集中篇章文本的特征和规律来调整自身模型参数,以最小化损失函数;通过验证集对预设事件检测模型的性能进行评估,并根据性能指标调整模型的超参数(例如,学习率、正则化参数以及批量大小等),以提高泛化能力;通过测试集对模型进行整体评估,以确保预设事件检测模型在真实场景中的可靠性。

可选地,预设事件检测模型至少包括以下组成部分:输入层,与BERT编码层连接,用于接收目标篇章文本,并将目标篇章文本传输至BERT编码层;BERT编码层,与双向门控循环计算层连接,用于对目标篇章文本进行分词,将分词结果中的所有单词映射至向量空间,并在向量空间中对所有单词向量进行编码运算,得到该目标篇章文本对应的嵌入编码向量;双向门控循环计算层,与掩码条件随机场计算层连接,用于对嵌入编码向量进行全局特征运算,得到全局特征向量;掩码条件随机场计算层,与输出层连接,用于基于全局特征向量和所有单词向量建立观测随机场,并基于观测随机场对所有单词向量进行观测,得到事件标签和事件类型;输出层,用于基于事件标签和事件类型生成事件检测结果,并输出该事件检测结果。

在准备好预设事件检测模型后,可以实时对待检测的目标篇章文本进行检测。

步骤S101,接收事件检测指令,其中,事件检测指令用于对目标篇章文本中的事件信息进行识别与分类,得到事件标签与事件类型。

步骤S102,响应事件检测指令,接收待检测的目标篇章文本。

步骤S103,将目标篇章文本输入至预设事件检测模型,输出事件检测结果。

需要说明的是,本发明实施例提及的事件检测结果至少包括:事件标签和事件类型,双向门控循环计算层用于捕捉目标篇章文本中各单词之间的全局依赖关系,得到全局特征向量,掩码条件随机场计算层用于根据全局特征向量对目标篇章文本进行识别与分类,得到事件标签和事件类型。

前后各单词之间的全局依赖关系是指某个单词在目标篇章文本中的具体含义是通过周围其他单词来最终确定的,全局依赖关系包括:1,词法依赖,是指一个单词的词法含义受到其前后相邻单词的影响,例如,在句子中出现的名词“苹果”,若前面有形容词“红色”,则易推断该名词苹果是指颜色为红色的苹果;2,语义依赖,是指一个单词的语义含义可以通过其上下文中的其他单词来进行推断,例如,在句子中出现的动词“跑”,若该动词前后有“疾驰”“飞奔”等描述速度快的词语,则推断该动词跑是指以较快的速度奔跑。

可选地,步骤S103包括:通过BERT编码层对目标篇章文本进行分词,得到分词结果,其中,分词结果中包含N个单词,N为正整数;将分词结果映射至向量空间,得到单词向量集合,其中,单词向量集合中包含N个单词向量,每个单词向量与一个单词一一对应;基于预设注意力机制对单词向量集合进行编码运算,得到嵌入编码向量,其中,嵌入编码向量用于表征目标篇章文本中各单词的语义信息、各单词的位置信息以及各语句之间的分段关联信息;依据嵌入编码向量和预设事件触发词列表进行事件检测,得到事件检测结果。

需要说明的是,在生成嵌入编码向量的过程中,BERT编码层基于单词向量集合生成目标篇章文本对应的词编码、位置编码和分段编码。其中,词编码是指BERT使用WordPiece或类似的分词算法将输入文本切分成多个子词(subword),每个子词被映射为唯一的实数向量,该实数向量用于表征各单词的语义信息;位置编码是一个与目标篇章文本长度相同的向量,用于表示每个单词在目标篇章文本序列中的位置信息;分段编码是指在目标篇章文本包含多个句子的情况下,BERT编码层在句子之间插入特殊的分隔符后为每个句子分配的标识符,用于区分不同句子之间的分段关联关系。

在本实施例中,BERT编码层基于双向注意力机制对词编码、位置编码和分段编码进行特征运算,并对高维的单词向量进行降维,最终得到嵌入编码向量。

可选地,依据嵌入编码向量和预设事件触发词列表进行事件检测,得到事件检测结果的步骤,包括:通过双向门控循环计算层对嵌入编码向量进行全局特征运算,得到全局特征向量,其中,全局特征向量用于表征在目标篇章文本中各个单词之间的全局依赖关系;通过掩码条件随机场计算层基于全局特征向量和单词向量集合建立观测随机场,并在观测随机场中对所有单词向量进行观测,得到观测结果,其中,掩码条件随机场计算层用于预置预设事件触发词列表,并基于该预设事件触发词列表对所有单词向量对应的单词进行匹配,得到观测结果,观测结果中至少包括:目标单词以及目标单词对应的事件触发词;将观测结果中的事件触发词作为事件标签,并在预设事件触发词列表中提取该事件标签对应的事件类型;基于事件标签和事件类型生成事件检测结果。

需要说明的是,双向门控循环计算层中预先置入了BiGRU计算单元,对嵌入编码向量进行正反向递归运算,计算嵌入编码向量中携带的目标篇章文本的全局序列特征,结合目标篇章文本序列中各单词和句子之间的长期依赖关系和短期依赖关系,计算得到全局特征向量。

本发明实施例中预设事件检测模型中的掩码条件随机场计算层预先置入了MCRF计算单元和预设事件触发词列表,依据全局特征向量和所有单词向量建立观测随机场,观测随机场中的路径转移矩阵对每个单词向量进行最优标注路径观测,计算每个单词向量与预设事件触发词列表中各事件触发词的匹配度,对所有的匹配度进行加权融合,得到该单词对应的条件概率值。

可选地,在观测随机场中对所有单词向量进行观测,得到观测结果的步骤,包括:基于观测随机场计算得到所有单词向量对应的条件概率值,其中,条件概率值是指单词向量对应的单词命中预设事件触发词列表中的事件触发词的概率值;选取所有条件概率值中的最大值作为目标概率值;基于目标概率值确定目标单词和该目标单词命中的事件触发词;基于目标单词和事件触发词生成观测结果。

可选地,在执行步骤S103之前,还包括:对目标篇章文本进行预处理操作,其中,预处理操作包括以下至少之一:篇幅检测、词形还原、文本序列填充、文本序列截断、文本清洗、停用词过滤、实体标记以及删除特定词汇。

需要说明的是,篇幅检测是指对目标篇章文本进行篇幅限制,若该目标篇章文本篇幅超过预设限制,需要进行篇幅分割;词形还原是指将单词还原成基本形式,多用于英文短语或句子中,例如将running还原为run,消除词形变化带来的负面影响;文本序列填充是指对较短的文本序列进行填充,以保持序列文本的统一长度;文本序列截断是指对过长的文本序列进行截断;文本清洗是指去除文本序列中的噪声和非文本字符,例如,标点符号、HTML标签等;停用词过滤是指去除文本序列中频繁出现但没有实际意义的字符,例如,的、得、地等;实体标记是指对文本序列中的特殊实体进行标注,例如,人名、地名、组织机构等;删除特定词汇是指基于遵守特定限制的原则将文本序列中的敏感词汇和保密内容进行删除。

本发明实施例结合深度学习技术和掩码条件随机场算法实现了针对复杂长篇文本的篇章级高效准确事件检测。

本发明实施例通过预训练的事件检测模型中的BERT编码层对篇章文本中的所有单词进行动态词编码表示,在动态表示的过程中考虑各个单词的位置信息和整篇文本的分段信息,得到包含所有单词语义信息、位置信息和所有句子的分段信息的词嵌入编码向量。

本发明实施例还通过预训练的事件检测模型中的双向门控循环计算层对词嵌入编码向量进行前后双向的全局特征提取和特征运算,通过掩码条件随机场计算层建立随机观测场,并在随机观测场中对所有词向量和全局特征向量进行观测,进而对条件概率值最大的词向量进行标注,双向门控循环计算层与掩码条件随机场计算层的组合使用提高了标注的准确率,进而提升了事件检测的准确度。

下面结合另一种具体的实施方式来说明本发明。

图2是本发明实施例的一种可选的基于深度学习与掩码条件随机场的高效篇章级事件检测装置的示意图,如图2所示,该装置包括:数据预处理模块、BERT上下文动态词编码模块、BiGRU双向全局特征提取模块、MCRF序列标注模块以及数据后处理模块。

其中,数据预处理模块用于对输入自然语言文本进行包括特殊符号清洗、篇章长度筛选、中英文分词在内的数据预处理操作;BERT上下文动态词编码模块基于BERT的深度双向注意力机制,能够结合单词上下文信息进行动态特征提取,避免静态语言模型的一词多义问题;BiGRU双向全局特征提取模块对BERT编码后的输入序列进行正反向递归计算,挖掘篇章文本事件触发词对上下文序列的依赖关系;MCRF序列标注模块利用MCRF对篇章级事件触发词标签进行全局层面建模,挖掘触发词之间的相互关系,实现事件触发词的标注;数据后处理模块用于对深度学习模型输出的原始预测结果进行标准化规范化处理,集成服务接口,返回结构化数据。

图3是根据本发明实施例的一种可选的基于集成化事件检测模型的事件检测方法的流程图,如图3所示,该事件检测方法包括如下步骤:

S301,获取待检测的篇章文本数据;

对篇章文本数据进行预处理,其中,预处理操作包括但不限于:特殊符号清洗、篇章长度筛选、中英文分词。

S302,将篇章文本数据输入至集成化事件检测模型的BERT编码层,输出嵌入编码向量。

集成化事件检测模型的BERT编码层对接收到的篇章文本进行词嵌入表示,通过词编码(word embedding)、位置编码(positional embedding)与分段编码(segmentembedding)的整体运算,获得篇章文本的动态词编码表示,即嵌入编码向量。

其中,通过词编码将篇章文本序列中的各单词在向量空间中映射为高维向量表示,位置编码为集成化事件检测模型提供基于注意力机制的特征学习支持,分段编码为集成化事件检测模型提供文本分段信息。

S303,将嵌入编码向量输入至集成化事件检测模型的BiGRU计算层,输出全局特征向量。

集成化事件检测模型的BiGRU计算层对BERT编码表示后的嵌入编码向量进行前后双向的全局特征提取,进一步捕获篇章文本的全局特征信息。

S304,将全局特征向量输入至集成化事件检测模型的MCRF计算层,输出事件检测结果。

事件检测模型的MCRF计算层依据全局特征向量和MCRF算法的转移矩阵掩码机制,建立掩码条件观测随机场,对篇章文本中每个字符(单词)对应的字符向量(单词向量)进行观测,对字符向量到预设事件触发词列表中各事件触发词之间的路径进行全局最优路径计算,并对潜在的非法路径进行屏蔽,提高事件触发词的预测准确率,再基于输出的事件触发词确定事件标签和事件类型,完成事件检测。

本发明实施例结合深度学习技术和掩码条件随机场算法实现了针对复杂长篇文本的篇章级高效准确事件检测。

本发明实施例通过预训练的事件检测模型中的BERT编码层对篇章文本中的所有单词进行动态词编码表示,在动态表示的过程中考虑各个单词的位置信息和整篇文本的分段信息,得到包含所有单词语义信息、位置信息和所有句子的分段信息的词嵌入编码向量。

本发明实施例还通过预训练的事件检测模型中的双向门控循环计算层对词嵌入编码向量进行前后双向的全局特征提取和特征运算,通过掩码条件随机场计算层建立随机观测场,并在随机观测场中对所有词向量和全局特征向量进行观测,进而对条件概率值最大的词向量进行标注,双向门控循环计算层与掩码条件随机场计算层的组合使用提高了标注的准确率,进而提升了事件检测的准确度。

下面结合另一种可选的实施例来说明本发明。

实施例二

本实施例中提供的一种用于篇章文本的事件检测装置包含了多个实施单元,每个实施单元对应于上述实施例一中的各个实施步骤。

图4是根据本发明实施例的一种可选的用于篇章文本的事件检测装置的示意图,如图4所示,该装置可以包括:接收单元41,响应单元42,输入单元43。

其中,接收单元41,用于接收事件检测指令,其中,事件检测指令用于对目标篇章文本中的事件信息进行识别与分类,得到事件标签与事件类型。

响应单元42,用于响应事件检测指令,接收待检测的目标篇章文本。

输入单元43,用于将目标篇章文本输入至预设事件检测模型,输出事件检测结果,其中,事件检测结果至少包括:事件标签和事件类型,预设事件检测模型中至少包括:双向门控循环计算层和掩码条件随机场计算层,双向门控循环计算层用于捕捉目标篇章文本中各单词之间的全局依赖关系,得到全局特征向量,掩码条件随机场计算层用于根据全局特征向量对目标篇章文本进行识别,得到事件标签和事件类型。

上述用于篇章文本的事件检测装置,可以先通过接收单元41接收事件检测指令,其中,事件检测指令用于对目标篇章文本中的事件信息进行识别与分类,得到事件标签与事件类型,再通过响应单元42响应事件检测指令,接收待检测的目标篇章文本,最后输入单元43将目标篇章文本输入至预设事件检测模型,输出事件检测结果,其中,事件检测结果至少包括:事件标签和事件类型,预设事件检测模型中至少包括:双向门控循环计算层和掩码条件随机场计算层,双向门控循环计算层用于捕捉目标篇章文本中各单词之间的全局依赖关系,得到全局特征向量,掩码条件随机场计算层用于根据全局特征向量对目标篇章文本进行识别,得到事件标签和事件类型。

在本发明实施例中,通过构建预设事件检测模型对目标篇章文本中的事件信息进行识别与分类,得到事件检测结果,在事件检测过程中,利用预设事件检测模型中预置的双向门控循环计算层对目标篇章文本中各单词之间的上下文依赖关系进行全局捕捉,使用全局特征向量表征这种依赖关系,还利用预设事件检测模型中预置的掩码条件随机场计算层根据全局特征向量中的所有上下文依赖关系对目标篇章文本中的事件标签进行识别和分类,得到该目标篇章文本中所有事件信息对应的事件标签和事件类型。通过上述步骤,可以实现对复杂文本信息进行篇章级别的事件元素识别与事件元素之间关系的全局捕捉、提取与分析,得到更为准确的事件标签,根据事件标签进行更为准确的事件类型判别,进而解决了相关技术中对复杂篇章文本进行事件检测时全局特征提取能力不足、事件类型判别准确率低的技术问题。

可选地,输入单元包括:分词模块,用于通过BERT编码层对目标篇章文本进行分词,得到分词结果,其中,分词结果中包含N个单词,N为正整数;映射模块,用于将分词结果映射至向量空间,得到单词向量集合,其中,单词向量集合中包含N个单词向量,每个单词向量与一个单词一一对应;编码运算模块,用于基于预设注意力机制对单词向量集合进行编码运算,得到嵌入编码向量,其中,嵌入编码向量用于表征目标篇章文本中各单词的语义信息、各单词的位置信息以及各语句之间的分段关联信息;事件检测模块,用于依据嵌入编码向量和预设事件触发词列表进行事件检测,得到事件检测结果。

可选地,事件检测模块包括:特征运算子模块,用于通过双向门控循环计算层对嵌入编码向量进行全局特征运算,得到全局特征向量,其中,全局特征向量用于表征在目标篇章文本中各个单词之间的全局依赖关系;观测子模块,用于通过掩码条件随机场计算层基于全局特征向量和单词向量集合建立观测随机场,并在观测随机场中对所有单词向量进行观测,得到观测结果,其中,掩码条件随机场计算层用于预置预设事件触发词列表,并基于该预设事件触发词列表对所有单词向量对应的单词进行匹配,得到观测结果,观测结果中至少包括:目标单词以及目标单词对应的事件触发词;提取子模块,用于将观测结果中的事件触发词作为事件标签,并在预设事件触发词列表中提取该事件标签对应的事件类型;第一生成子模块,用于基于事件标签和事件类型生成事件检测结果。

可选地,事件检测模块还包括:计算子模块,用于基于观测随机场计算得到所有单词向量对应的条件概率值,其中,条件概率值是指单词向量对应的单词命中预设事件触发词列表中的事件触发词的概率值;选取子模块,用于选取所有条件概率值中的最大值作为目标概率值;确定子模块,用于基于目标概率值确定目标单词和该目标单词命中的事件触发词;第二生成子模块,用于基于目标单词和事件触发词生成观测结果。

可选地,用于篇章文本的事件检测装置还包括:预处理模块,用于对目标篇章文本进行预处理操作,其中,预处理操作包括以下至少之一:篇幅检测、词形还原、文本序列填充、文本序列截断、文本清洗、停用词过滤、实体标记以及删除特定词汇。

可选地,预设事件检测模型至少包括以下组成部分:输入层,与BERT编码层连接,用于接收目标篇章文本,并将目标篇章文本传输至BERT编码层;BERT编码层,与双向门控循环计算层连接,用于对目标篇章文本进行分词,将分词结果中的所有单词映射至向量空间,并在向量空间中对所有单词向量进行编码运算,得到该目标篇章文本对应的嵌入编码向量;双向门控循环计算层,与掩码条件随机场计算层连接,用于对嵌入编码向量进行全局特征运算,得到全局特征向量;掩码条件随机场计算层,与输出层连接,用于基于全局特征向量和所有单词向量建立观测随机场,并基于观测随机场对所有单词向量进行观测,得到事件标签和事件类型;输出层,用于基于事件标签和事件类型生成事件检测结果,并输出该事件检测结果。

可选地,用于篇章文本的事件检测装置还包括:接收模块,用于接收篇章文本数据集,其中,篇章文本数据集中至少包括:M个篇章文本以及每个篇章文本对应的文本数据,文本数据至少包括:预定义事件类型和预定义事件类型对应的预定义事件标签,M为正整数;输入模块,用于将篇章文本数据集中的M个篇章文本输入至初始事件检测模型,输出M个模型检测结果,其中,模型检测结果至少包括:模型检测事件类型和模型检测事件标签;调整模块,用于在存在模型检测结果指示模型检测事件类型与预定义事件类型不一致,或模型检测事件标签与预定义事件标签不一致的情况下,调整初始事件检测模型的模型参数;确定模块,用于在所有模型检测结果指示模型检测事件类型与预定义事件类型一致,且模型检测事件标签与预定义事件标签一致的情况下,得到预设事件检测模型。

上述的用于篇章文本的事件检测装置还可以包括处理器和存储器,上述接收单元41,响应单元42,输入单元43等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

上述处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来将目标篇章文本输入至预设事件检测模型,输出事件检测结果。

上述存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:接收事件检测指令,其中,事件检测指令用于对目标篇章文本中的事件信息进行识别与分类,得到事件标签与事件类型;响应事件检测指令,接收待检测的目标篇章文本;将目标篇章文本输入至预设事件检测模型,输出事件检测结果,其中,事件检测结果至少包括:事件标签和事件类型,预设事件检测模型中至少包括:双向门控循环计算层和掩码条件随机场计算层,双向门控循环计算层用于捕捉目标篇章文本中各单词之间的全局依赖关系,得到全局特征向量,掩码条件随机场计算层用于根据全局特征向量对目标篇章文本进行识别,得到事件标签和事件类型。

根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的计算机程序,其中,在计算机程序运行时控制计算机可读存储介质所在设备执行上述实施例一中任意一项的用于篇章文本的事件检测方法。

根据本发明实施例的另一方面,还提供了一种电子设备,包括一个或多个处理器和存储器,存储器用于存储一个或多个程序,其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述实施例一中任意一项的用于篇章文本的事件检测方法。

图5是根据本发明实施例的一种用于篇章文本的事件检测方法的电子设备(或移动设备)的硬件结构框图。如图5所示,电子设备可以包括一个或多个(图5中采用502a、502b,……,502n来示出)处理器502(处理器502可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器504。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、键盘、电源和/或相机。本领域普通技术人员可以理解,图5所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,电子设备还可包括比图5中所示更多或者更少的组件,或者具有与图5所示不同的配置。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

相关技术
  • 指纹模组、电子设备以及指纹采集方法
  • 屏下指纹模组、电子设备及指纹图像处理方法
  • 指纹成像模组和电子设备
  • 陶瓷件的表面处理方法、壳体组件、指纹模组和电子设备
  • 指纹成像模组及其指纹采集方法和电子设备
  • 指纹成像模组及其形成方法、指纹成像模组母板、电子设备
技术分类

06120116552744