一种基于实体上下文和关系双向旋转的知识图谱嵌入方法

技术领域

本发明属于知识图谱链接预测领域，特别涉及一种基于实体上下文和关系双向旋转的知识图谱嵌入方法。

背景技术

知识图谱(Knowledge Graph)近年来吸引了人工智能领域的广泛关注。知识图谱是提供人类知识结构化表示的大型数据集，其实例通常以三元组(h,r,t)的形式表示，其中h与t分别代表头实体和尾实体，r表示两者之间的关系。知识图谱因其简单的结构具有广泛的应用场景，例如：推荐系统、问答系统、信息检索以及阅读理解等。

知识图谱中关系的分类通常从两个角度出发：一是根据关系与实体链接的数量可分为：一对一关系、一对多关系、多对一关系和多对多关系；二是根据关系与实体链接的逻辑信息可分为：组合关系、逆关系、对称关系和非对称关系。

基于知识图谱中的结构化信息用于丰富实体的向量表示，进而使模型同时具有学习和推理多元关系和不同关系模式能力。

虽然知识图谱是由上十亿个真实实例组成，但仍具有不完整性。因此，对这些实例间缺失的信息进行链接预测变得至关重要。知识图谱嵌入(Knowledge Graph Embedding,KGE)已被证明是解决链接预测的关键技术，它将实体和关系映射到连续的、低维的向量空间。然而，这样的处理方式存在一个严重的问题：在对实体进行编码时，许多当前流行的KGE模型如TransE、Distmult、RotatE等，都认为同一个实体在不同语境环境下仅有一种单一的向量表示。这大大限制了知识图谱对常见多元关系，如：一对多、多对一和多对多关系的推理能力。同时，这些模型通常只能对其中的部分关系模式进行学习与推理，如：TransE仅能学习对称关系以外的其他关系模式，而RotatE能学习这四种基本关系模式，但其在组合关系建模时具有逻辑漏洞。

发明内容

为了解决上述现有的技术问题，本发明提供了一种基于实体上下文和关系双向旋转的知识图谱嵌入方法，引入了局部三元组内的上下文信息和复数空间来对知识图谱嵌入中实体与关系进行建模学习，将实体映射为复数空间的一组带位置信息的点，将关系映射为实体间的二维旋转操作；与此同时，引入上下文信息，为实体丰富语义信息，提高实体向量的表示能力，学习和建模知识图谱中常见的关系模式；同时在建模多元关系上有很大成效，大大提升模型在链接预测问题上的表现。

一种基于实体上下文和关系双向旋转的知识图谱嵌入方法，所述方法包括如下步骤：

第一步：根据知识图谱中关系与实体链接的数量关系和逻辑关系，定义多元关系和关系模式，过程如下：

1.1、多元关系及其形式化描述：

1.1.1、一对一关系：关系r是一对一关系，当且仅当实体集中与关系r构成三元组仅有一组。

1.1.2、一对多关系：关系r是一对多关系，当且仅当实体集中与关系r构成的三元组头实体为同一个实体，且尾实体数量大于1。

1.1.3、多对一关系：关系r是多对一关系，当且仅当实体集中与关系r构成的三元组尾实体为同一个实体，且头实体数量大于1。

1.1.4、多对多关系；关系r是多对多关系，当且仅当实体集中与关系r构成的三元组中头尾实体数量都大于1。

1.2、关系模式及其形式化描述：

1.2.1、组合关系：关系r3是关系r1和关系r2的组合关系，当且仅当

1.2.2、对称关系：关系r是对称关系，当且仅当

1.2.3、非对称关系：关系r是非对称关系，当且仅当

1.2.4、逆关系；关系r2是关系r1的逆关系，当且仅当

其中，r,r1,r2,r3,e1,e2,e3分别表示知识图谱G中的不同关系与实体。

第二步：引入实体上下文信息；

给定三元组形式为(e1,r,e2)，其中，e1为头实体,e2为尾实体，r为头尾实体间的关系。

2.1、获取实体上下文信息：一个实体的嵌入向量通常包含丰富信息，通过对实体编码，可以获得实体三种表示方式，例如：

2.2、获得实体上下文的实体表示：

第三步：引入双向关系表示，将实体关系信息映射到复平面空间，关系作为头尾实体间的旋转操作；获取对应得分函数，结合优化后的训练方法训练嵌入模型，检验嵌入模型实际预测能力以及详细的不同关系模式的建模能力。

3.1、双向关系表示：将关系映射到复平面空间，关系r则表达了e1到e2的正向旋转关系，同时也表达了一个逆向旋转关系。

3.2、将实体与关系映射到复平面空间，获取对应的得分函数。

3.2.1、首先，根据正向旋转关系r

其中，

3.2.2其次，根据逆向旋转关系r

其中，

3.2.3、最终，结合实体上下文以及双向旋转关系所得到的嵌入模型的得分函数为：

3.2.4、结合知识图谱数据集，将数据集划分为训练集、测试集以及验证集；这些数据集组成形式为三元组；设置形如(？，r，t)或(h，r，？)，测试嵌入模型的预测能力。

3.2.5、其中，提出一种新的对负样本的采样权重计算方法，公式为：

其中，h

3.2.6、其中，还提出一种新的损失函数：

其中，

四.通过损失函数训练嵌入模型，最终得到可用于预测的模型，并根据整个数据准备、数据处理、嵌入模型构建过程实现一种基于实体上下文和关系双向旋转的知识图谱嵌入系统，完成知识图谱嵌入。所述系统包括：知识图谱提取模块：使用提取工具从选定语料中获取三元组；实体上下文模块：用于获取实体的上下文表示、双向关系旋转模块：用于将实体关系映射至复平面空间，模拟旋转操作；嵌入模块：获取最后用于训练的嵌入向量；训练预测模块：对嵌入模型进行训练、进行链接预测等实验；不同模块之间按照给定逻辑顺序执行。

本发明的有益效果表现在：提出的嵌入模型在不使用三元组外的额外信息情况下，仅仅结合三元组内部位置信息将实体上下文化，减少了计算复杂度；再将实体及关系映射到复平面空间，将关系表述为实体间的双向旋转，增强了嵌入模型建模各种关系模式以及一对多、多对一以及多对多关系的能力，克服了其他嵌入模型只能解决部分关系模式的问题；在对嵌入模型训练时，优化了具体的损失函数以及采样方法以提高嵌入模型训练的精度，提高后续链接预测等实验的精准性。

附图说明

图1为嵌入模型的框架图；

图2为基于嵌入模型的系统结构图。

具体实施方式

接下来对本发明作进一步阐述。

一种基于实体上下文和关系双向旋转的知识图谱嵌入方法，包括以下内容：

第一步、根据知识图谱中关系与实体链接的数量关系和逻辑关系，定义多元关系和关系模式形式化表述：

1.1、定义多元关系形式化表述：

1.1.1、一对一关系：关系r是一对一关系，当且仅当实体集中与关系r构成三元组仅有一组。

1.1.2、一对多关系：关系r是一对多关系，当且仅当实体集中与关系r构成的三元组头实体为同一个实体，且尾实体数量大于1。

1.1.3、多对一关系：关系r是多对一关系，当且仅当实体集中与关系r构成的三元组尾实体为同一个实体，且头实体数量大于1。

1.1.4、多对多关系；关系r是多对多关系，当且仅当实体集中与关系r构成的三元组中头尾实体数量都大于1。

1.2、关系模式及其形式化描述：

1.2.1、组合关系：关系r3是关系r1和关系r2的组合关系，当且仅当

1.2.2、对称关系：关系r是对称关系，当且仅当

1.2.3、非对称关系：关系r是非对称关系，当且仅当

1.2.4、逆关系；关系r2是关系r1的逆关系，当且仅当

其中，r,r1,r2,r3,e1,e2,e3分别表示知识图谱G中的不同关系与实体。

上述理论解释了不同的关系模式，而现在很多嵌入方法并不能同时建模和推断各种不同的多元关系和关系模式，原因在于许多方法没有考虑到实体在三元组中所处位置不同，所含信息也不同。同样的一个三元组中关系的表达不仅仅只有一个单方向的，既可以表示头实体到尾实体的旋转，也可看作是尾实体到头实体的逆旋转；因此，为了同时解决不同类型的关系：定义ξ作为实体集，R作为关系集，因此知识图谱三元组即可表示为：

第二步、引入实体上下文信息和双向关系表示，其中包括同一实体三个不同维度编码，以及根据实体所处位置不同，关系具有双向性，因此获得关系的双向表示。

第三步、结合实体上下文以及双向关系表示，将实体关系信息映射到复平面空间，关系作为头尾实体间的旋转操作，获取对应得分函数。

第四步：结合优化后的训练方法训练嵌入模型，检验嵌入模型实际预测能力以及详细的不同关系模式的建模能力。

本发明实施例的嵌入模型框架如图1所示，包括实体上下文模块和关系双向旋转模块，以下进行具体说明：

实体的上下文信息可由实体的嵌入向量结合实体的位置信息获得，一个实体的嵌入向量通常包含丰富信息，通过对实体编码，可以获得实体三种表示方式，例如：

(1)当e1实体处于头实体位置时，e1＝e1*e1_h；

(2)当e1实体处于尾实体位置时，e1＝e1*e1_t；

(3)当e2实体处于尾实体位置时，e2＝e2*e1_t；

(4)当e2实体处于头实体位置时，e2＝e2*e2_h；

基于三元组中关系r表达的含义为头尾实体间的关系，那么关系r既表达了e1到e2的正向关系rf，同时也就表达了一个逆向关系rb；rf、rb根据r的三角函数变换所得；再将实体、关系对应至复平面空间，将关系视为头尾实体之间的旋转操作；而正向与反向关系正好对应复平面空间顺时针和逆时针的旋转操作。

首先，根据顺时针方向即：正向关系r

其中，

其次，根据逆时针方向即：反向关系r

其中，头尾实体e

最后，结合两个模块后所得嵌入模型ResE的得分函数为：

在此给出模型ResE建模多元关系和关系模式的分析。

通过实体上下文表示丰富了三元组中实体在不同位置上的表示，提高嵌入模型对多元关系的建模能力，而后将关系与实体映射至复平面空间，通过关系的双向旋转操作表达三元组信息，因此可以推断各种关系模式。

此外，为了测验实体上下文模块和双向关系旋转模块的有效性，提出了一种原有嵌入模型的变体XResE，其得分函数为：

其中，α+β＝1，α和β是权重指标；通过改变α与β的值，检验两个模块在比重不同时，实际对嵌入模型效果产生的影响。

在对嵌入模型进行训练之前，根据得分函数提出一种新的对负样本的采样权重计算方法，公式为：

其中，(h′

其中，

根据提出的损失函数训练模型ResE，得到最终可使用的嵌入模型。

此外，提出一种基于实体上下文和关系双向旋转的知识图谱嵌入系统，如图2所示，所述系统包括：

知识图谱提取模块，目的利用提取工具从特定语料中提取三元组，其中三元组形式为：头实体、关系及其对应尾实体；此时三元组还未做进一步处理，还不能直接用于训练。

实体上下文模块，目的是根据实体在三元组中所处位置不同，实体的嵌入向量具有不同的表示方法；据此，可得到实体的上下文表示。

双向关系旋转模块，目的是将经过实体上下文处理后与关系嵌入至复平面空间，将实体表述为复平面空间的点，关系表述为头尾实体间的双向旋转关系；据此，可得到嵌入模型距离函数。

嵌入模块，目的是结合实体上下文模块与双向关系旋转模块得到的嵌入向量与距离函数，为嵌入模型训练预测做准备。

训练预测模块，目的是基于构建好的嵌入模型以及对应的得分函数和损失函数对嵌入模型进行训练，再根据训练好的模型，进行链接预测等测试。

使用以下指标来评价嵌入模型的的预测性能：MRR表示平均倒数排名，数据介于0-1之间，数值越接近1表示预测越准确；Hits@N表示正确实体在预测实体中排序的位置，数据介于0-1之间，数值越接近1表示预测越准确；Hits@1表示预测得分最高的实体刚好是正确实体，以此类推。

在此提供模型ResE和其他基线在Kinship和Nations数据集上的链接预测任务的预测结果，如表1所示：

表1

此外还提供模型ResE和其他基线在FB15k-237和WN18RR数据集上的链接预测任务的预测结果，如表2所示：

表2

从表1和表2可以看出，ResE模型相比其他基线在不同指标上都有着更好的效果，虽然在nations数据集中Hits@10指标低于RotatE模型，但也与其他基线有竞争性。实验数据有效验证提出模型ResE的必要性。

本说明书的实施例所述内容仅仅作为发明实现的部分举例，仅用作说明用途。