基于多视角特征交互建模的动态知识图谱补全方法及装置

技术领域

本发明涉及知识图谱技术领域，尤其涉及一种基于多视角特征交互建模的动态知识图谱补全方法及装置。

背景技术

近年来，包括DBpedia和FreeBase等在内的许多大规模知识图谱已经被建立起来。知识图谱通常将现实世界中的知识抽象成由数十亿个三元组构成的复杂图。每个三元组以的形式表示，其中表示头实体(主体实体)，表示尾实体(对象实体)，表示实体之间的关系。例如，三元组(Kiel,LocatedIn,Germany)表示头实体“Kiel(基尔)”和尾实体“Germany(德国)”之间存在“LocatedIn(位于)”关系，该三元组表达了：基尔这座城市位于德国。

知识图补全是知识图谱领域的主要挑战之一，因为大多数知识图谱都是不完整的。知识图谱补全任务旨在推理和预测不完整三元组中所缺失的要素，可以分为三类子任务：(1)头实体预测：给定缺失头实体的不完整三元组，预测问号位置上的头实体；(2)尾实体预测：给定缺失尾实体的不完整三元组，预测问号位置上的尾实体；(3)关系预测：给定缺失关系的不完整三元组，预测问号位置上的关系。

然而，很多知识涉及时间信息(很多知识仅在某些特定时间点上或者特定时间区间内有效)附有时间信息的三元组变为四元组。因此，通常将传统不考虑时间信息的知识图谱称为“静态知识图谱”(对应“静态知识图谱补全”方法)，将考虑时间信息的知识图谱称为“动态知识图谱”(对应“动态知识图谱补全”方法)。动态知识图谱补全任务可以分为两类子任务：(1)头实体预测，给定缺失头实体的不完整四元组，预测问号位置上的头实体；(2)尾实体预测：给定缺失尾实体的不完整四元组，预测问号位置上的尾实体。

动态知识图谱补全近年来受到广泛关注，因为其比静态知识图谱补全更为实用。然而，传统静态知识图谱补全方法，由于忽略了时间信息，因此导致无法对涉及时间关系的动态知识图谱进行头实体预测或者尾实体预测，因此无法直接适用于动态知识图谱上。

实际上，动态知识图谱补全任务存在三类视角，分别是实体视角、关系视角、时间视角，而且时间视角与其他视角(实体视角和关系视角)是紧密耦合、存在明显交互关系的。现有的大多数关于动态知识图谱补全的方法，主要是将时间特征融合为实体和关系的向量表示中，仅生成实体和关系的向量(仅显示地关注实体视角和关系视角)，而不强调对时间信息的表示和建模(即：不强调生成时间向量)，无法对时间视角与其他视角(实体时间和关系视角)之间的交互进行理解和建模。此外，上述设置导致当前工作忽略了时间向量在下游任务中使用的可能性。同时，从客观而言：适用于三元组(关于静态知识图谱补全任务)的相似性理论不能直观地反映动态知识图谱中各种视角信息的相关性。

发明内容

本发明要解决的技术问题是，如何在知识图谱中关联必要的时间视角和其他视角(实体视角和关系视角)、以体现向量之间有益且必要的相关性和交互性；有鉴于此，本发明提供一种基于多视角特征交互建模的动态知识图谱补全方法及装置。

本发明采用的技术方案是，一种基于多视角特征交互建模的动态知识图谱补全方法，包括：

步骤S1，将知识图谱中所有元素映射到统一的语义空间中，成为该语义空间中的向量，所述向量包括实体向量，关系向量以及时间向量；

步骤S2，通过预设模型训练所述向量，以使得所述实体向量、关系向量以及时间向量关联；

步骤S3，利用所述向量构建四元组矩阵以及打分函数，其中，所述四元组矩阵包括与时间向量相关的头实体向量、尾实体向量、关系向量、时间向量；

步骤S4，基于预设算法，预测所述四元组矩阵中的缺失尾实体和/或缺失头实体。

在一个实施方式中，所述步骤S2中，使用随机梯度下降算法和反向传播算法，训练与所述实体向量、关系向量以及时间向量相关的目标函数，当模型收敛时，训练结束。

在一个实施方式中，所述步骤S3中，进一步包括：将所述四元组矩阵输入到卷积神经网络中，用预设数量的卷积滤波器进行处理，以生成多元的、语义和事件融合特征。

在一个实施方式中，所述步骤S4中，当预测尾实体时，方法具体包括：

从给定知识图谱的实体集合中，选择其向量与向量的余弦相似度最大的前预设数目个实体，作为候选尾实体，进入候选尾实体集合；

对于所述候选尾实体集合中的每个候选实体，分别确定其对应的所述打分函数值；

取打分函数之最高的候选尾实体为最终答案；

当预测头实体时，方法具体包括：

从给定知识图谱的实体集合中，选择其向量与向量的余弦相似度最大的前预设数目个实体，作为候选头实体，进入候选头实体集合

对于所述候选头实体集合中的每个候选实体，分别确定其对应的所述打分函数值；

取打分函数之最高的候选头实体为最终答案。

本发明的另一方面还提供了一种多视角特征交互建模的动态知识图谱补全装置，包括：

初始化模块，被配置为将知识图谱中所有元素映射到统一的语义空间中，成为该语义空间中的向量，所述向量包括实体向量，关系向量以及时间向量；

编码器模块，被配置为通过预设模型训练所述向量，以使得所述实体向量、关系向量以及时间向量关联；

解码器模块，被配置为利用所述向量构建四元组矩阵以及打分函数，其中，所述四元组矩阵包括与时间向量相关的头实体向量、尾实体向量、关系向量、时间向量；

推理模块，被配置为基于预设算法，预测所述四元组矩阵中的缺失尾实体和/或缺失头实体。

在一个实施方式中，所述编码器模块被进一步配置为：

使用随机梯度下降算法和反向传播算法，训练与所述实体向量、关系向量以及时间向量相关的目标函数，当模型收敛时，训练结束。

在一个实施方式中，所述解码器模块被进一步配置为：

将所述四元组矩阵输入到卷积神经网络中，用预设数量的卷积滤波器进行处理，以生成多元的、语义和事件融合特征。

在一个实施方式中，当预测尾实体时，所述推理模块被进一步配置为：

从给定知识图谱的实体集合中，选择其向量与向量的余弦相似度最大的前预设数目个实体，作为候选尾实体，进入候选尾实体集合；

对于所述候选尾实体集合中的每个候选实体，分别确定其对应的所述打分函数值；

取打分函数之最高的候选尾实体为最终答案；

当预测头实体时，所述推理模块被进一步配置为：

从给定知识图谱的实体集合中，选择其向量与向量的余弦相似度最大的前预设数目个实体，作为候选头实体，进入候选头实体集合

对于所述候选头实体集合中的每个候选实体，分别确定其对应的所述打分函数值；

取打分函数之最高的候选头实体为最终答案。

本发明的另一方面还提供了一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的基于多视角特征交互建模的动态知识图谱补全方法的步骤。

本发明的另一方面还提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的基于多视角特征交互建模的动态知识图谱补全方法的步骤。

采用上述技术方案，本发明至少具有下列优点：

本发明实施例实现了对时间视角特征与实体视角特征和关系视角特征的融合建模，提高了对时间信号的理解程度和利用效率；并且，提高了动态知识图谱补全任务(尾实体预测任务)的准确率。

附图说明

图1为根据本发明实施例的基于多视角特征交互建模的动态知识图谱补全方法流程示意图；

图2为根据本发明实施例的基于多视角特征交互建模的动态知识图谱补全方法的具体实施框架示意图；

图3为根据本发明实施例的基于多视角特征交互建模的动态知识图谱补全装置组成结构图；

图4为根据本发明实施例的电子设备结构示意图。

具体实施方式

为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明进行详细说明如后。

在附图中，为了便于说明，已稍微夸大了物体的厚度、尺寸和形状。附图仅为示例而并非严格按比例绘制。

还应理解的是，用语“包括”、“包括有”、“具有”、“包含”和/或“包含有”，当在本说明书中使用时表示存在所陈述的特征、整体、步骤、操作、元件和/或部件，但不排除存在或附加有一个或多个其它特征、整体、步骤、操作、元件、部件和/或它们的组合。此外，当诸如“...中的至少一个”的表述出现在所列特征的列表之后时，修饰整个所列特征，而不是修饰列表中的单独元件。此外，当描述本申请的实施方式时，使用“可以”表示“本申请的一个或多个实施方式”。并且，用语“示例性的”旨在指代示例或举例说明。

如在本文中使用的，用语“基本上”、“大约”以及类似的用语用作表近似的用语，而不用作表程度的用语，并且旨在说明将由本领域普通技术人员认识到的、测量值或计算值中的固有偏差。

除非另外限定，否则本文中使用的所有用语(包括技术用语和科学用语)均具有与本申请所属领域普通技术人员的通常理解相同的含义。还应理解的是，用语(例如在常用词典中定义的用语)应被解释为具有与它们在相关技术的上下文中的含义一致的含义，并且将不被以理想化或过度正式意义解释，除非本文中明确如此限定。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本发明第一实施例，一种基于多视角特征交互建模的动态知识图谱补全方法，如图1所示，包括以下步骤：

步骤S1，，将知识图谱中所有元素映射到统一的语义空间中，成为该语义空间中的向量，所述向量包括实体向量，关系向量以及时间向量；

步骤S2，通过预设模型训练所述向量，以使得所述实体向量、关系向量以及时间向量关联；

步骤S3，利用所述向量构建四元组矩阵以及打分函数，其中，所述四元组矩阵包括与时间向量相关的头实体向量、尾实体向量、关系向量、时间向量；

步骤S4，基于预设算法，预测所述四元组矩阵中的缺失尾实体和/或缺失头实体。

参考图2，下面将分步对本实施例所提供的方法进行详细说明。

步骤S1，将知识图谱中所有元素映射到统一的语义空间中，成为该语义空间中的向量，所述向量包括实体向量，关系向量以及时间向量。

将知识图谱G中所有元素(包括实体、关系、时间)映射到统一的语义空间中，成为该语义空间中的向量(本阶段所生成的向量仅是初始化向量、待更新)。具体地：使用

步骤S2，通过预设模型训练所述向量，以使得所述实体向量、关系向量以及时间向量关联；

编码器旨在通过在训练实体向量x

给定实体e，本发明定义集合Q

进一步地，本发明将四元组集合Q

直观地，四元组集合Q

其中：

■矩阵M

■符号[·；·]表示拼接操作，[x

■向量x

■ReLU(·)表示激活函数。

同理，四元组集合Q

其中：

■矩阵M

进而，对于目标实体e，利用上述注意力值，通过聚合来自集合Q

用于编码器模块训练的目标函数，定义如下：

其中：

■四元组集合Q

■四元组集合Q'

■符号[·]

■γ表示参数，随机初始化、通过模型迭代训练得到。

使用

步骤S3，利用所述向量构建四元组矩阵以及打分函数，其中，所述四元组矩阵包括与时间向量相关的头实体向量、尾实体向量、关系向量、时间向量；

采用基于时间增强的卷积解码器，如图2右侧所示。输入到的解码器的实体向量、关系向量、时间向量，均是由编码器模块训练好的向量(即：编码器模块的输出)。

为每个四元组(s,r,o,t)∈Q

因此，四元组(s,r,o,t)的打分函数定义为：

其中：

■ω

■矩阵M

■符号◇表示卷积操作。

用于解码器模块训练的目标函数，定义如下：

使用

步骤S4，基于预设算法，预测所述四元组矩阵中的缺失尾实体和/或缺失头实体。

推理任务分为：

对于预测缺失尾实体任务：给定待预测尾实体的缺失四元组(s,r,？,t)，

■首先，制造候选尾实体集合

■其次，对于候选尾实体集合中的每个候选实体

■最终，取打分函数之最高的候选尾实体为最终答案。

对于预测缺失头实体任务：给定待预测头实体的缺失四元组(？,r,o,t)，

首先，制造候选头实体集合

其次，对于候选头实体集合中的每个候选实体

最终，取打分函数之最高的候选头实体为最终答案。

相较于现有技术，本实施例至少具有以下优点：

1)本实施例实现了对时间视角特征与实体视角特征和关系视角特征的融合建模，提高了对时间信号的理解程度和利用效率，提高了动态知识图谱补全任务(尾实体预测任务)的准确率。

2)本实施例能够显式地建模和生成时间向量，时间向量可以在下游任务(例如带有时间约束的自动问答系统等)中进行使用。

本发明第二实施例，与第一实施例对应，本实施例介绍了一种基于多视角特征交互建模的动态知识图谱补全装置，如图3所示，包括以下组成部分：

初始化模块，被配置为将知识图谱中所有元素映射到统一的语义空间中，成为该语义空间中的向量，所述向量包括实体向量，关系向量以及时间向量；

编码器模块，被配置为通过预设模型训练所述向量，以使得所述实体向量、关系向量以及时间向量关联；

解码器模块，被配置为利用所述向量构建四元组矩阵以及打分函数，其中，所述四元组矩阵包括与时间向量相关的头实体向量、尾实体向量、关系向量、时间向量；

推理模块，被配置为基于预设算法，预测所述四元组矩阵中的缺失尾实体和/或缺失头实体。

本实施例中，所述编码器模块被进一步配置为：

使用随机梯度下降算法和反向传播算法，训练与所述实体向量、关系向量以及时间向量相关的目标函数，当模型收敛时，训练结束。

本实施例中，所述解码器模块被进一步配置为：

将所述四元组矩阵输入到卷积神经网络中，用预设数量的卷积滤波器进行处理，以生成多元的、语义和事件融合特征。

本实施例中，当预测尾实体时，所述推理模块被进一步配置为：

从给定知识图谱的实体集合中，选择其向量与向量的余弦相似度最大的前预设数目个实体，作为候选尾实体，进入候选尾实体集合；

对于所述候选尾实体集合中的每个候选实体，分别确定其对应的所述打分函数值；

取打分函数之最高的候选尾实体为最终答案；

当预测头实体时，所述推理模块被进一步配置为：

从给定知识图谱的实体集合中，选择其向量与向量的余弦相似度最大的前预设数目个实体，作为候选头实体，进入候选头实体集合

对于所述候选头实体集合中的每个候选实体，分别确定其对应的所述打分函数值；

取打分函数之最高的候选头实体为最终答案。

为了验证本发明所提供的方法的有效性，现提供如下实验过程作为验证。

1)数据集和评价指标

为了将本发明的模型与基线进行比较，使用了以下数据集：ICEWS14、ICEWS05-15。数据集的统计如表1所示。ICEWS14和ICEWS05-15是从基于大规模事件的数据库综合危机预警系统(ICEWS)中提取的两个最常见的动态知识图谱数据集。ICEWS是一个存储库，包含带有特定时间注释的政治事件，例如四元组(人物，行为，地点，时间)。值得注意的是，ICEWS中的时间信息都是具体时间点。ICEWS14包含2014年的事件，ICEWS05-15包含2005年至2015年间的事件。

表1

为了评估，本发明使用了(静态和动态)知识图谱补全任务中通用的度量用的指标：(1)平均倒数排名(MRR)；(2)Hits@1、Hits@3、Hits@10。上述指标值，均越高表示算法性能越好。

使用尾实体预测任务来进行试验验证：对于测试集中每个缺失尾实体的不完整四元组(s,r,？,t)，实验要求所有进行对比的方法均预测其所缺失的尾实体

2)对比算法

将本发明的方法与当前最先进的知识图谱补全方法进行比较，包括如下三类：

■传统的静态知识图谱补全模型，包括TransE模型、Distmult模型、ComplEx模型、SimplE模型；

■传统的动态知识图谱补全模型，包括TTransE模型、TA-DistMult模型、HyTE模型、DESimplE模型、ATiSE模型、TNTComplEx模型、TeRo模型、TIMEPLEX模型、TeLM模型；

■基于图神经网络的动态知识图谱补全模型，包括TeMP-GRU模型、T-GAP模型、DEGAT模型。

3)实验结果

表2列出了

可以观察到：在大多数情况下，本发明所提出的

本发明的模型在ICEWS14数据集上，在MRR指标和H@1指标上，分别以3.63％和10.41％的优势击败了DEGAT模型。本发明认为：不同数据集的各种特性导致相同算法在不同数据集上性能差距各不相同。例如：在更稀疏的ICEWS05-15数据集上，尽管所本发明提出的算法没有取得显著优势，但它仍然在MRR指标上取得了最佳结果(在ICEWS05-15数据集上，与最优对比算法DEGAT和TeMP GRU相比，本发明方法分别提高了0.26％和12.74％)。本发明所提出的方法在ICEWS14上对基线的优势，大于在ICEWS05-15数据集上的优势；与T-GAP相比，本发明所提出的方法在ICEWS14上对MRR的提高和H@1的提高分别为7.54％和16.70％。此外，基于图神经网络的动态知识图谱补全模型(例如DEGAT、T-GAP以及本发明的模型)展示出了更优化的结果，这证明了邻居实体信息聚合和编码器模块的有效性和必要性。

表2

本发明第三实施例，一种电子设备，如图4所示，可以作为实体装置来理解，包括处理器以及存储有处理器可执行指令的存储器，当指令被处理器执行时，执行如下操作：

步骤S1，将知识图谱中所有元素映射到统一的语义空间中，成为该语义空间中的向量，所述向量包括实体向量，关系向量以及时间向量；

步骤S2，通过预设模型训练所述向量，以使得所述实体向量、关系向量以及时间向量关联；

步骤S3，利用所述向量构建四元组矩阵以及打分函数，其中，所述四元组矩阵包括与时间向量相关的头实体向量、尾实体向量、关系向量、时间向量；

步骤S4，基于预设算法，预测所述四元组矩阵中的缺失尾实体和/或缺失头实体。

本发明第四实施例，本实施例的基于多视角特征交互建模的动态知识图谱补全方法的流程与第一、二或三实施例相同，区别在于，在工程实现上，本实施例可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的所述方法可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台设备执行本发明实施例所述的方法。

通过具体实施方式的说明，应当可对本发明为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图示仅是提供参考与说明之用，并非用来对本发明加以限制。