基于时序知识图谱推理的目标活动预测方法

技术领域

本发明属于人工智能技术领域，尤其涉及基于时序知识图谱推理的目标活动预测方法。

背景技术

知识图谱(Knowledge Graphs,KGs)是一种广泛应用于现实世界的知识存储结构，在自然语言处理领域发展成熟，如推荐系统，信息检索，医疗保健等。传统的KG通常存储静态事件知识，使用图结构的数据拓扑以三元组(s,p,o)的形式集成事件知识，其中s和o分别表示主题和对象实体，p作为s和o之间的关系表示。然而，现实世界的事件是不断变化发展的，这就要求KG要具有时间属性。时序知识图谱(Temporal knowledge graph,TKG)的构建和应用就用于解决这一问题。TKG通过将事件建模为包含时间t的四元组(s,p,o,t)。因此，TKG由多个KG快照组成，同一个快照内的事件在同一时间发生。图1是一个由一系列军事事件组成的基于事件的TKG示例。从图中可以看出，一些实体或事件会在不同时间再次发生，也可能发生新的事件。

TKG在政策制定，股票预测和对话系统等领域应用广泛。代表性的TKGs包括全球事件、语言和语气数据库(GDELT)和综合危机预警系统(ICEWS)等基于事件的数据存储库，用于存储特定实体实时交互的不断发展的知识。

近年来，TKG的表征学习方法成为了热点研究内容，大部分方法通常用特定于时间的嵌入对实体关系的时间演化事实进行编码，这为基于过去事实的嵌入表示来完成TKG的未来事实提供了一个通用和有效的工具。一些主流的例子，如自回归模型引用历史上已知的事件，可以很容易地预测重复或周期性事件。一些时间知识图嵌入方法只关注于单独计算每个快照的潜在表示，因此无法捕获连续时间快照中事实的长期依赖性。一些最近的尝试编码实体关系的时间演化事实通过整合来自先前快照的过去信息。然而，缺乏对同一KG快照内的事件之间的协同关系的考虑，可能导致这些方法在军事事件知识图谱上的预测能力的不足。对于军事事件，模型更应该考虑事件之间的协同关系。

发明内容

本发明关注于在TKG上预测当前和未来的未知事件(也称为图外推)，主要预测诸如(s,p,？,t)这种的缺失实体的事件，并结合该事件发生的时间t。

为此，本发明提出了一种新的基于同一快照所有事件协同机制的TKGs表征学习方法。Collaboration Mode一词，来自军事中的“协同作战”，即指不同组织不同力量为达成同一个目标而互相配合，共同作战。比如不同国家的军事力量的协同；不同军种如陆、海、空的协同；同一军种不同兵种的协同等。我们基于这种协同思想，提出了Collaboration Mode模式。Collaboration Mode模式能够充分考虑与待预测事件同一时间发生的所有事件，利用多头自注意力机制对事件间的协同关系进行建模，从而帮助生成更加合理的实体或关系的概率分布，预测未知事件。在预测t

用于时间序列知识图谱推理的公开数据主要有5个：GDELT、ICEWS14、ICEWS18、YAGO11k和Wikidata12k等，这些公开的数据集总是被用于验证基于时序知识图谱推理的方法创新的实验部分。然而，还没有数据集涉及到军事领域知识。军事知识图谱十分特殊，往往存在着数据量不足、局部先验知识欠缺、事件之间相互影响的关系难以判定等问题。本发明将提出自己抽取知识并构建的军事知识图谱公开数据集SAIKG，并创新了知识图谱推理方法，使其解决军事推理时更加精确和高效。

为实现上述目的，本发明公开的基于时序知识图谱推理的目标活动预测方法，包括以下步骤：

用s,p,o,t表示一个时序事实中的主体实体h，谓词p，对象实体o和时间步长t的嵌入向量；

对缺失时间事实的预测旨在推断给定的缺失对象实体(s,p,？,t)，或给定的主体实体(？,p,o,t)，或给定主语实体和宾语实体的谓词(s,？,o,t)，使用Collaboration Mode模式研究相同时间步内所有其他事件与待预测事件的协同关系，预测时间事实中缺失的对象实体；

在预测四元组(s,p,？,t+1)时，Collaboration Mode模式根据前t个TKG快照

将Collaboration Mode模式的概率预测与现有模型得出的概率预测结合起来，得到最终的待预测实体在整个实体词汇表中的概率分布。

进一步地，Collaboration Mode模式首先对训练集进行处理，以获得训练快照中每个时刻t上所有的事件四元组集合

其中,

进一步地，Collaboration Mode模式使用MLP生成一个嵌入矩阵E

t

E

其中

进一步地，为了考虑同一时刻t

Q＝E

其中，(W

d

进一步地，Collaboration Mode模式在给定查询(s,p，？，t)时预测实体看作是一个多类分类任务，其中每个类对应一个对象实体，学习目标是最小化训练过程中存在的TKG快照的所有事实的以下交叉熵损失L：

其中，o

进一步地，将Collaboration Mode模式添加在既有模型中进行辅助训练与预测，因而添加后的模型的损失函数为：

L

其中，α∈[0,1]，L

本发明的有益效果如下：

提出了一个军事领域事件的数据集-SAIKG，可用于静态、时序知识图谱解释方法的测试实验；

研究了具有协同性的时间事实的潜在现象，并提出在学习推断TKGs中未来事实时参考同一时刻的所有已知的事实；

提出了一种基于同一快照内事件间的协同机制的新型TKG模型CollaborationMode模式，该模型从军事领域事件的协同特征受到启发，可以基于同时刻所有事件进行预测。基于两种热门方法进行了广泛的实验，证明了Collaboration Mode模式在完成军事数据集的事实(链接)预测任务的强大性能。

附图说明

图1时序知识图谱示例；

图2本发明的网络结构图；

图3在每个快照上按顺序训练模型递归地训练模型；

图4Cygnet+Collaboration实验结果对比图；

图5Cenet+Collaboration实验结果对比图。

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

本发明首先建立一个军事知识数据集SAIKG，用于动态知识图谱的推理。军事知识数据集共包含5758个实体和38条实体间关系，时间跨度为一年。其中训练集有177220个四元组组成，测试集有14045个四元组组成。

数据集获取和形成，第一步建立schema(标签体系)，然后再抽取，然后再进行清洗。最后对获得数据进行统计，包括时间跨度，原始语料、或者句子等的抽取数等。

事件抽取采用触发词抽取和事件论元抽取的pipeline的抽取方式；先通过BERT+分类器的方式进行事件触发词抽取和分类预测；再基于触发词预测结果进行事件论元的识别。对触发词抽取和事件论元识别均是基于BERT预训练模型基础上进行finetuning，即先采用BERT预训练语言模型作为基准模型，因为BERT是采用双向Transformer作为特征抽取器，能够很好的学习到深层语义信息，以向量的形式来表示句子中的每个词。

在触发词预测的过程中，采用softmax线性分类器识别每个词属于触发词的类别，每个触发词类别的概率值为：

其中e

在事件论元识别过程中，使用了BERT+CRF(条件随机场)层网络模型；条件随机场是序列标注任务中的一种常见算法，可用于标注实体类别。序列标注模型中常使用的是线性链条件随机场，是一种根据输入序列预测输出序列的判别式模型。对于指定序列X(x

P(Y

设P(N,K)为解码层输出的权重矩阵，进而可以得出评估分数S(x,y)，即

其中，A为转移矩阵，k为标签个数，n为序列长度。每个词语对应序列标签y的最大概率可以用SoftMax函数计算，即

训练时一般使用极大似然法求解P(y|x)的最大后验概率：

线性条件随机场的训练和解码一般使用Viterbi算法。

例如，按照对应的wordpiece(词片，中文中将每一个字作为一个词片)、segment和position(位置)特征输入BERT模型，得到每个词片对应的词向量；其次，将词向量输入一个触发词分类器中获得每个词对应的触发词类型；之后，每个词对应的触发词标签作为论元预测segment参数输入到BERT预训练模型，得到新的词向量表达，通过CRF(条件随机场)层得到每个词对应的论元类型。

自注意力(Self-Attention)机制由Google团队VaswaniSPUJGKP17于2017年广泛应用并在近年不断发展在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token或者特征。

对一个输入矩阵X计算自注意力时，首先计算查询向量Q、键向量K和值向量V。本发明通过将嵌入打包到矩阵X中，并将其乘以训练的权重矩阵(W

Q＝XW

其中，X矩阵中的每一行对应于输入句子中的一个单词。然后通过softmax操作传递结果，将分数归一化。

最后将每个值向量乘以softmax分数，并对加权值向量求和，从而计算得到自注意力层的输出。

其中，d

多头自注意力机制在自注意力机制的基础上，不仅扩展了模型关注不同位置的能力，还为注意力层提供了多个“表示子空间”。增加自注意力机制的头的数量，从而增加查询/键/值权重矩阵，并在训练中将输入的嵌入表达投影到不同的表示子空间中。

通过多头注意力，为每个头维护单独的Q/K/V权重矩阵，从而产生不同的Q/K/V矩阵。进行与上述相同的自注意力计算后，连接这些矩阵，然后将它们乘以一个额外的权重矩阵W

MultiHead(Q,K,V)＝Concat(head

多头自注意力机制能够很好的建模多事件的内部关系，却并没有成为当前研究的热点。本发明基于多头自注意力机制提出Collaboration Mode模式，以建模军事数据集中特有的协同影响关系。

知识图谱中的事实/链接预测的模型Sequential Cooperation Network具体包括模型的体系结构以及它的训练和推理过程。

与传统KG相比，TKG包含了时间信息。在TKG中，每个事实在时间步长

对缺失时间事实的预测旨在推断给定的缺失对象实体(s,p,？,t)(或给定的主体实体(？,p,o,t)，或给定主语实体和宾语实体的谓词(s,？,o,t))。在不损失通用性的情况下，将模型描述为预测时间事实中缺失的对象实体，尽管该模型可以很容易地扩展到预测其他元素，包括主体实体和谓词。

如图2所示，本发明的模型使用了一种推理模式，即Collaboration Mode模式。Collaboration Mode模式尝试研究相同时间步内所有其他事件与待预测事件的协同关系，从而帮助事件的预测。图的上部分是本文提出的Collaboration Mode的核心框架，上部分展示了基于多头自注意力机制实现的Collaboration Mode。将不同时间下的知识图谱分别输入到KQV三个矩阵中，经过注意力的计算、连接、输出等得到预测实体的概率分布。在训练的时候就是把不同时刻的知识图谱依次分别放入模型进行训练。图的中间部分展示了模型实现的流程和解决的问题，已有的是不同时刻的知识图谱(中左)，模型将不同时刻的知识图谱作为上下两模型的输入。需要对缺失的实体进行预测，如预测t+1时刻的目标实体(中右)。图的下部分则简单展示了其他现有模型的框架(如cygnet和cenet)。这里没有对其他模型的特点进行展示，只画出了基本的功能框架。同样得出一个预测概率分布。实体的预测是将两部分概率分布相加，得到最终的预测结果。Collaboration Mode相当于是一个附加的着重考虑同一时刻事件协同关系的模型，它一般和其他现有模型相结合，改进其他现有模型，共同训练，共同预测出更好的实验结果。

在预测四元组(s,p,？,t+1)时(如图2所示)，Collaboration Mode模式根据前t个TKG快照

首先对训练集进行处理，以获得训练快照中每个时刻t上所有的事件四元组集合

其中,

具体来说，Collaboration Mode模式首先使用MLP生成一个嵌入矩阵E

t

E

其中

为了考虑同一时刻t

Q＝E

其中，(W

d

通过Collaboration Mode模式对嵌入矩阵的计算，能够深入挖掘同一时间下所有四元组事件之间的协同关系，考虑同时发生的事件之间的相互影响，使推理更具有时效性。

Collaboration Mode模式补充了很多模型的不足，使模型具有考虑相同时间下不同事件之间的相互影响关系。

在给定查询(s,p，？，t)时预测(对象)实体可以看作是一个多类分类任务，其中每个类对应一个对象实体。学习目标是最小化训练过程中存在的TKG快照的所有事实的以下交叉熵损失L:

其中，o

Collaboration Mode模式往往会添加在既有模型中进行辅助训练与预测，因而添加后的模型的损失函数应当修改为：

L

其中，α∈[0,1]，L

本发明通过一系列实验来验证Collaboration Mode模式的性能。我们首先介绍了实验设置，包括关于基线和数据集的详细信息。然后将当前热门的KG和TKG方法在CMIKGs数据集上进行实验。接着，将Collaboration Mode模式与当前性能较好的TKG模型CyGNet和CENET模型结合进行实验，并进行消融研究，评价Collaboration Mode模式的有效性。最后，讨论了超参数的不同设置对模型精度的影响。

使用本发明给出的军事领域知识数据集SAIKG作为基准数据集对CollaborationMode模式的实体预测和链路预测任务进行了评估。

将本发明的方法与广泛选择的静态KGE和TKGE模型进行比较。静态KGE方法包括TransE、DistMult、ComplEX、RGCN、ConvE和RotatE。时间方法包括transe，HyTE，TA-DistMult，Know-Evolve+MLP、DyRep+MLP、R-GCRN+MLP、RE-NET、CyGNet和CENET，其中CENET在所有基准测试中都提供了SOTA性能。Know-Evolve+MLP、DyRep+MLP、R-GCRN+MLP是前者与MLP解码器相结合的方法。

本发明使用RENET、CyGNet和CENET论文中github网址的代码作为基线模型，在SAIKG数据集上得出结果(大部分模型来自RENET代码中)。Cooperation模式中，头数设置为8，KQV矩阵维度分别为实体embedding的2-3倍。

在已有模型中引入Collaboration Mode模式时，除了原来的模型中的超参数外，还有一个未开发的超参数α。我们通过调整α的值来观察“CyGNet+Cooperation”和“CENET+Cooperation”在SAIKG数据集上的性能变化。结果如图4-图5所示。

超参数α旨在平衡L

本发明的有益效果如下：

表征和推断时间知识是一个具有挑战性的问题。在本发明中，基于本发明提出的一个军事领域时序知识图谱数据集SAIKG，利用协同模式来解决这个问题，基于军事领域同一时刻发生的事件之间往往存在协同影响关系的发现。所提出的Collaboration Mode模式能够与多种典型模型结合起来，综合考虑某时刻快照内所有事件间的协同关系，帮助完成实体预测等任务。实验结果表明，Collaboration Mode模式在解决军事领域实体预测、链路预测等方面的问题具有良好的性能。

本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。

综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。