导航：首页> 塑料的加工；一般处于塑性状态物质的加工>基于图上下文的内卷积神经网络知识图谱补全方法

基于图上下文的内卷积神经网络知识图谱补全方法

文献发布时间：2024-04-18 19:58:26

技术领域

本发明涉及知识图谱下的知识表示与推理技术领域，尤其是基于图上下文的内卷积神经网络知识图谱补全方法。

背景技术

知识图谱是一种用于表示和组织知识的图结构，它将实体、概念和它们之间的关系以图方式呈现出来。知识图谱的目标是建立一个结构化的知识数据库，使计算机能够更好地理解和推理关于世界的信息。经过数年的发展，知识图谱技术已经是人工智能技术重要的一个组成部分。

知识图谱补全，旨在通过学习知识图谱中已有信息，建立关系推理出知识图谱中缺失的知识，使知识图谱的稀疏性降低，内容更加完整。知识表示学习是一种有效且可靠的知识图谱补全技术，这几年来，有关知识图谱的表示学习方法层出不穷。

近几年来，图卷积网络在建模图形结构化的数据方面取得了令人瞩目的成功。知识图谱作为一种复杂的多关系图相比于简单的无向图，是一种更为普遍的图形式，其每条边都带有方向和描述，因此将图卷积网络应用在知识图谱补全领域是非常有价值的。Vashishth等人提出的CompGCN模型，将图卷积网络与传统的基于卷积神经网络的知识图谱补全模型结合。Shang等人提出的SACN模型，由加权图卷积网络的编码器和称为Conv-TransE的卷积网络的解码器组成，可以调整局部聚合中使用的邻居的信息量。但是，CompGCN和SACN都忽略了实体和关系的交互性，这不可避免地导致了一些信息的丢失。而且，知识图谱领域中，卷积神经网络的输入通道往往是单一的，这导致卷积过程中能提取的特征数有限，且往往只能提取到浅层特征。

此外，传统的卷积核也存在诸多问题。一个问题是，传统的卷积核在同一个输入通道上应用的是完全相同的卷积核，使得它不具备从不同位置发掘不同特征的能力；另一个问题是，传统的卷积核受限于参数大小，往往采用比较小的感受野，这会约束其与大范围特征互动的能力，削弱特征提取能力；最后的问题是，传统的卷积核普遍存在冗余性，部分卷积核的权重参数可能过于稀疏，对模型性能提升的效果有限。

发明内容

本发明提出基于图上下文的内卷积神经网络知识图谱补全方法，充分利用了实体的上下文信息，模型能够挖掘知识图谱中深层次的联系，此外，有效地使用上下文信息增强实体嵌入也使得模型能够实现更精准的预测。

本发明采用以下技术方案。

基于图上下文的内卷积神经网络知识图谱补全方法，所述知识图谱为三元组G＝{(h，r，t)|(h，r，t)∈E×R×E}的集合，包括实体集合E，关系集合R，共有N个实体和M个关系，属于用于表示和组织知识的图结构，其将实体、概念和它们之间的关系以图方式呈现出来，

其中h，t∈E表示头实体和尾实体，r∈R表示关系；给定的三元组(h，r，t)，相应的嵌入为e

所述方法采用基于图上下文的内卷积神经网络知识图谱补全模型InvoE；模型的构建和训练包括以下步骤；

步骤S1、通过引入图上下文信息聚合模块来得到训练数据集的上下文信息增强后的实体表示，以充分利用训练数据集的知识图谱中的上下文信息；即：通过加权图卷积神经网络模型聚合上下文信息到每个节点，得到融合上下文信息的实体表示；

步骤S2、为了让实体和关系充分交互，使用实体-关系交互模块，通过多种方式，将实体和关系的表示拼接并重塑成多个不同的二维矩阵；

步骤S3、引入卷积与内卷积模块，使用传统卷积和内卷积两种方式，使得传统卷积和内卷积以串联结构或并联结构集成在一起，构建模型，对输入图提取特征，并得到输出的特征图；

步骤S4、使用三元组评分模块计算侯选实体的最终得分，具体为，先将特征图拉平成向量，之后通过全连接层映射到和实体嵌入相同的维度，最后与所有候选尾实体相乘得到分数，经过激活函数得到最后的得分。

步骤S1中的图上下文信息聚合模块，基于图卷积的思想，使用加权图卷积神经网络，通过聚合节点的上下文，也就是邻居节点的信息，将上下文融入进实体的嵌入表示，从而得到实体的增强嵌入表示；

加权图卷积神经网络对于不同的关系边定义一个不同的权重，将每个实体节点作为聚合的中心节点，对于每个中心节点，聚合其邻居节点在层的表示，并将其作为中心节点在l+1层的表示，如下述公式一所示：

其中，

步骤S2的实体-关系交互模块，具体为：在得到实体的增强嵌入表示

其中，

重塑操作

重塑方法包括

堆叠stack方法：将

交替alternate方法：将

混洗chequer方法：排列

乱序shuffle方法：以随机的方式排列

向量乘法multiply方法：用

步骤S2中，通过不同的重塑操作得到多个不同的矩阵，这些矩阵由实体嵌入和关系嵌入产生，是实体嵌入和关系嵌入充分融合的结果。得到了实体和关系充分交互后的二维矩阵A后，将其作为卷积网络的输入图；再将各个不同重塑方法所生成的不同矩阵A拼接起来，作为不同的输入通道，共同构成输入图X，

X＝concat(A

步骤S3中的内卷积中，一个输入通道上的所有坐标位置使用的卷积核都不同，但是不同输入通道的相同坐标位置的卷积核是相同的；

步骤S3中，一组内卷核表示为

对于大小为m×n×C的输入图，其中C是输入通道数。在输入图(i,j)处，通过核生成函数φ，生成对应位置的内卷核的中间表示，表示为

H′

再将其重塑为2维矩阵，生成(i,j)位置最终的内卷核，表示为

其中，

对于输入图的每一个位置，都使用对应位置生成的内卷核进行卷积操作，最终得到输出的特征图。特征图位于(i,j,k)的表示Y

内卷积过程中，m、n是特征图大小，C是输入通道数，K是内卷核大小，X是输入图，Y是特征图，H是内卷核，φ是核生成函数，

所述传统卷积与内卷积以串联结构或并联结构集成在一起；

在串联结构中，传统卷积和内卷积以串联的方式组织，以实体-关系交互模块生成的矩阵首先将输入图做一次传统卷积，输出的结果作为后续内卷积的输入，如公式三、公式四、公式五、公式六和下述公式七所示；

其中，X是输入图，*是卷积操作，ω

在并联结构中，传统卷积和内卷积以并联的方式组织，同时执行不同类型的卷积，然后将结果拼接在一起，如下述公式八所示：

其中，X是输入图，*是卷积操作，

步骤S4的三元组评分模块，其工作方法具体为：

首先将卷积和内卷积模块得到的特征图Y通过拉平操作，生成向量I；公式为：

I＝vec(Y) 公式九；

之后经过一个全连接层，将一维向量投影到和尾实体相同的维度；

最后与所有候选尾实体嵌入组成的矩阵进行点积，得到所有候选尾实体对应的得分；InvoE的得分函数定义如下：

F(h，r，t)＝f(IW+b)e

其中，f(·)表示激活函数ReLU，W表示全连接层的变换矩阵，b是偏置；最后使用激活函数Sigmoid将得分映射到(0,1)的区间内，得到所有候选尾实体的最终概率分布；

p(t|h，r)＝Sigmoid(F(h，r，t))公式十一；

使用交叉熵损失函数训练模型，损失函数定义如下：

其中，N是实体的个数，G是正确三元组的集合，G′是通过随机替换正确三元组的头实体或尾实体得到的错误三元组的集合。

所述内卷积神经网络知识图谱补全模型InvoE为知识图谱嵌入模型，采用链路预测性能对其性能进行基准评估，

链路预测旨在为正确的三元组(h，r，t)预测缺失的h或t，即在给定h，r的情况下预测t或在给定r，t的情况下预测h，在任务中，使用Hits@N和平均导数排名MRR作为评价指标，两项指标的计算方式如公式所示：

其中，S是三元组的集合，|S|是三元组集合个数，rank

在训练内卷积神经网络知识图谱补全模型InvoE时，使用了自适应低阶矩估计优化器Adam来优化模型，使用随机网格搜索方法寻找最合适模型的参数大小。

在训练内卷积神经网络知识图谱补全模型InvoE时，训练数据集使用自然语言处理和知识图谱研究社区创建的知识图谱WB18RR和FB15k-237，训练数据集包括训练集、验证集、测试集；

训练集用于训练知识图谱补全模型，包含了一系列的三元组，即头实体、关系和尾实体，验证集用于模型的超参数选择和性能调优，测试集用于评估模型在知识图谱补全任务上的性能。

本发明在将图卷积思想引入知识图谱补全领域的基础上，令融合了上下文信息后的实体嵌入和关系嵌入经过多种方式混洗，使得实体和关系进行充分的融合，提升实体、关系之间的交互性，捕获两者之间的复杂关系，并生成多个输入通道，有效缓解了传统模型只能提取浅层特征的问题。同时，针对传统卷积核的局限性，本发明使用超越卷积核自注意力的新算子，内卷积核来提取输入图的特征。

本发明所述方法提出了新的知识图谱补全方法InvoE，在使用图卷积神经网络的基础上，考虑了实体的上下文信息，获取增强后的实体嵌入，采用多种方式使实体嵌入和关系嵌入充分交互，并通过内卷积的方式提取特征，提升了模型在知识图谱补全任务上的性能。

本发明中，模型引入了实体-关系交互模块，能够让实体和关系充分交互，挖掘知识图谱中深层次的联系。

本发明中，模型开创性地在知识图谱补全领域使用内卷积核替换传统的卷积核，能够克服传统卷积方式的不足，提高模型的性能。

本发明所述方案中，首先，为了将上下文信息融合到实体嵌入表示中，本文通过加权图卷积神经网络模型聚合上下文信息到每个节点，得到融合了上下文信息的实体表示。接着，拼接每个三元组的实体和关系，重塑成二维的形式，将其复制多份，分别进行不同的处理，结果作为不同的输入通道，增强实体和关系之间的交互性。然后，分别使用传统的卷积方式和内卷积对输入图进行提取特征，得到的特征通过注意力机制以相应的权重进行融合，使得模型能够捕获关键且有效的特征。最后，将特征图拉平成向量，之后通过全连接层映射到和实体嵌入相同的维度，最后与所有候选尾实体相乘得到分数，经过激活函数，得到三元组最后的得分；该方案的优点还在于：

(1)现有基于结构的知识表示学习方法仅使用了三元组本身的信息，而忽略了实体的上下文信息。而本发明充分利用了实体的上下文信息，模型能够挖掘知识图谱中深层次的联系。此外，有效地使用上下文信息增强实体嵌入也使得模型能够实现更精准的预测。

(2)现有增强实体和关系之间交互的知识表示学习模型，往往采用单一的方式使实体和关系交互，并且原始图只有单一的输入通道，本发明使用多种方法生成实体和关系的混合重塑表示，并生成原始图的多个输入通道。

(3)现有基于神经网络的模型都采用传统的卷积方式，不具备从不同位置发掘不同特征的能力，且受限于参数大小，往往采用比较小的感受野。而本发明使用超越卷积核自注意力的新算子，内卷积核来提取输入图的特征，有效缓解了传统卷积核的局限性。

附图说明

下面结合附图和具体实施方式对本发明进一步详细的说明：

附图1是本发明的模型的总体框架示意图；

附图2是步骤S2中几种重塑方法的示意图(深色代表实体的嵌入表示，浅色代表关系的嵌入表示，深浅渐变色是实体和关系的融合嵌入表示)；

附图3是内卷积过程的示意图；

附图4是串联结构集成卷积和内卷积的示意图；

附图5是并联结构集成卷积和内卷积的示意图。

具体实施方式

如图所示，基于图上下文的内卷积神经网络知识图谱补全方法，所述知识图谱为三元组G＝{(h，r，t)|(h，r，t)∈E×R×E}的集合，包括实体集合E，关系集合R，共有N个实体和M个关系，属于用于表示和组织知识的图结构，其将实体、概念和它们之间的关系以图方式呈现出来，