一种基于实体邻域特征深度聚合的个性化推荐方法

技术领域

本发明涉及知识图谱技术领域，尤其涉及一种基于实体邻域特征深度聚合的个性化推荐方法。

背景技术

作为解决信息过载问题的有效技术，个性化推荐系统可以平衡信息过载问题与用户个性化需求之间的关系，根据用户的习惯、偏好、个性化需求和物品特性来预测用户对物品的喜好，并为用户推荐合适的物品以及帮助用户快速做出决策，提高用户满意度。

传统机器学习推荐模型长期受到数据稀疏和冷启动问题的影响，严重制约了推荐系统对数据价值的挖掘能力，导致推荐系统为用户推荐物品的相关度和准确度普遍较低。针对数据稀疏和冷启动问题，目前已提出一些方法减少其对推荐结果的影响，但是效果并不理想，例如，利用奇异值分解删除不重要用户或噪声项目，降低用户项目评分的维度。

随着一些基于深度学习的推荐模型逐渐兴起，并成为推荐系统应用的热门方法。深度学习模型通过提取大量有意义的特征作为输入来训练分类器，从而提高推荐算法在处理高维、非线性等方面的性能。与传统机器学习推荐模型相比，深度学习推荐模型能够更好地挖掘数据中的隐藏信息，表达能力更强；深度学习模型结构可以根据不同的数据特点和应用场景灵活调整模型结构。然而，大量的网络数据是以抽象的图结构存在的，具体节点及其相邻节点的位置和数目不是恒定的，这使得深度学习模型难以挖掘图结构中实体之间的隐藏信息并将神经网络应用到复杂的图网络中。

针对挖掘实体间隐藏信息问题，知识图谱卷积模型通过知识图谱为推荐系统在高维数据环境下的设计提供了一种有效方法。知识图谱通过实体间关系相互联系，形成一个网状的知识结构，使用知识图谱和特征融合对不同来源的知识进行集成，增强数据之间的关联，使得用户能够更直观地分析数据。但是，在特征向量的聚合上，实体及实体邻域的特征向量只是进行对应元素相加或拼接操作，因此在特征融合的效率和准确度方面有待提高。对此，本发明提出一种通过改变聚合操作方式，对实体邻域特征进行双层聚合，分别采用加权和内积操作来增加特征的聚合程度。并使用知识图谱嵌入方式和消息传递机制来契合模型对多样化的图数据进行处理，从而提高推荐的精确度。

发明内容

针对知识图谱中高阶结构信息特征融合不充分，易受用户评分数据稀疏、冷启动的影响，本发明的目的在于提供的问题。

本发明提供了一种基于实体邻域特征深度聚合的个性化推荐方法，对当前知识图谱中的高阶结构信息进行特征深度聚合，该个性化推荐方法，包括如下步骤：

步骤S1：基于用户对物品的行为数据信息并进行预处理，获取用户对物品的隐式反馈，得到物品预测评分；

步骤S2：基于物品及其属性数据，构建实体关系三元组，得到物品知识图谱；

步骤S3：基于知识图谱嵌入方式，将知识图谱中实体与实体间关系嵌入到连续的向量空间，得到高阶实体间特征向量；

步骤S4：基于注意力机制，对高阶实体间特征向量分配不同权重；

步骤S5：基于消息传递机制，将高阶实体间特征向量通过关系边进行传递，采用双层消息聚合方式，得到目标物品特征向量；

步骤S6：根据目标物品特征向量得到真实评分，并与预测评分建立并最优化损失函数。

优选的，所述步骤S1进一步的包括以下步骤：

获取用户对物品的行为数据信息，所述行为数据信息包括用户的历史行为特征、以及用户对物品的评分数据，形成用户-物品的特征属性矩阵R

3.根据权利要求1所述的一种基于实体邻域特征深度聚合的个性化推荐方法，其特征在于，所述步骤S1进一步的还包括以下步骤：

首先以迭代的方式逐层计算物品向量，再输入到预测函数中得到物品预测评分

其中，U表示用户，u表示用户向量，V表示物品，v表示物品向量，f(*)表示预测函数，进行评分预测；其中，

优选的，所述步骤S2进一步的包括以下步骤：

知识图谱由一系列三元组的事实(h，r，t)构成，将用户、标签信息和物品对应转换为由头实体、关系和尾实体组成的三元组，并将所述头实体和所述尾实体通过关系边进行链接，得到对应的物品知识图谱。

优选的，将用户自身已有的知识信息与邻居用户给予的信息组合起来，包括：

根据物品知识图谱中实体之间的高阶结构信息，将局部邻居结构信息通过特征聚合综合起来，对相似的信息特征进行分类，更新并获得更高阶的知识，所述的知识之间通过关系边r

其中，L(*)激活函数用来计算不同特征向量的权重，r

优选的，采用注意力机制对高阶实体间特征向量分配不同权重

其中，

优选的，将高阶实体特征向量通过关系边进行传递，包括：

通过消息传递，将高阶实体特征向量传递到实体特征向量集e

进一步，采用双层消息聚合方式，得到目标物品特征向量V：

其中，agg(*)表示特征聚合函数，W表示可学习的权重，b表示可学习的偏置， g(*)表示RELU激活函数。

优选的，根据目标物品特征向量得到真实评分，并与预测评分建立损失函数的计算公式如下：

其中，δ(*)表示交叉熵损失函数，δ的值越大表示预测评分与真实评分的关联性越强，相应地，δ的值越小表示预测评分与真实评分的关联性越弱；

本发明提供的技术方案的有益效果如下：

(1)通过知识图谱将结构化知识进行关联和显性化沉淀，解决领域内数据的复杂化、多样化以及单一数据价值不高的问题；

(2)利用知识图谱嵌入方式将实体潜在语义与向量空间表示中的包含关系进行匹配，提高算法的效率和可信度；

(3)通过双层消息聚合对实体特征与邻居实体特征进行深度聚合，有效提高个性化推荐的多样性和精确性，缓解了数据稀疏和冷启动问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种基于实体邻域特征深度聚合的个性化推荐方法的步骤图；

图2是本发明的特征深度聚合原理示意图；

图3是本发明提供的召回率评测指标示意图；

图4是本发明提供的调和平均数评测指标示意图；

图5是本发明提供的损失值示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案做进一步的详细说明：

实施例1

如图1所示，一种基于实体邻域特征深度聚合的个性化推荐方法包括如下步骤：

步骤S1：基于用户对物品的行为数据信息并进行预处理，获取用户对物品的隐式反馈，得到物品预测评分；

获取用户对物品的行为数据信息，所述行为数据信息包括用户的历史行为特征、以及用户对物品的评分数据，形成用户-物品的特征属性矩阵R

根据用户对物品的隐式反馈，首先以迭代的方式逐层计算物品向量，再输入到预测函数中得到物品预测评分

步骤S2：构建实体关系三元组，得到物品知识图谱；

根据用户、物品以及相似用户的事实行为信息，将一系列三元组的事实行为信息构成物品知识图谱。

步骤S3：将用户自身已有的知识信息与邻居用户给予的信息进行组合；

根据物品知识图谱中实体之间的高阶结构信息，采用知识图谱嵌入的方式，将局部邻居结构信息进行特征聚合，对相似的信息特征进行分类，更新并获得更高阶的知识。

步骤S4：采用注意力机制对高阶实体间特征向量分配不同权重；

其中，基于实体邻域特征深度聚合的个性化推荐方法通过注意力机制，引入softmax函数对权重进行归一化处理，避免不同权重水平之间相差过大，影响结果的可信度。

步骤S5：将高阶实体间特征向量通过关系边进行传递并进行双层消息聚合；

通过消息传递，将高阶实体间特征向量传递到实体特征向量集e

其中，对实体特征向量

步骤S6：根据目标物品特征向量得到真实评分，并与预测评分建立损失函数；

其中，预测评分的损失函数中加入了正则化项，降低模型的复杂性，用来降低过拟合。

综上所述，本发明实施例通过上述步骤S1至步骤S6提高了算法的效率和可信度，有效增强数据之间关联性，降低推荐模型的复杂程度。

实施例2

下面结合具体的计算公式、例子对实施例1中的方案进行详细描述，详见下文描述：

步骤S21：根据用户的行为数据信息预测用户评分；

获取用户对物品的行为数据信息，所述行为数据信息包括用户的历史行为特征、以及用户对物品的评分数据，形成用户-物品的特征属性矩阵R

其中，

进一步，根据用户-物品的特征属性矩阵的基础上，首先以迭代的方式逐层计算物品向量，再输入到预测函数中得到物品预测评分

U表示用户，u表示用户向量，V表示物品，v表示物品向量，f(*)表示预测函数，进行评分预测；其中

步骤S22：构建实体关系三元组，得到知识图谱；

物品知识图谱由一系列三元组的事实(h，r，t)构成，如(美国，首都，华盛顿) 便是真实世界中的知识，可用(h，r，t)进行表示，其中h，t表示头尾实体，r表示关系。将用户、标签信息和物品对应转换为由头实体、关系和尾实体组成的三元组，并将所述头实体和尾实体通过关系边进行链接，得到对应的物品知识图谱。

步骤S23：将用户自身已有的知识信息与邻居用户给予的信息组合起来；

根据物品知识图谱中实体之间的高阶结构信息，将局部邻居结构信息通过特征聚合综合起来，对相似的信息特征进行分类，更新并获得更高阶的知识，所述的知识之间通过关系边r

其中，L表示激活函数用来计算不同特征向量的权重，r

r

步骤S24：采用注意力机制对高阶实体间特征向量分配不同权重，根据下式将权重

其中，u表示用户向量，r

步骤S25：将高阶实体间特征向量通过关系边进行传递；

通过消息传递，将高阶实体间特征向量传递到实体特征向量集e

进一步，采用双层消息聚合方式，得到目标物品特征向量V：

其中，所述双层消息聚合方式，分别对特征集向量和目标向量进行相加和内积操作，并通过LeakyRelu函数调整负值信息：

其中，e表示物品V在前一轮迭代更新产生的向量，W表示为线性变换矩阵，b表示偏置项，

步骤S26：根据目标物品特征向量得到真实评分，并与预测评分建立损失函数；

其中，δ表示交叉熵损失，δ的值越大表示预测评分与真实评分的关联性越强，δ的值越小表示预测评分与真实评分的关联性越弱；P表示负采样分布，并服从均匀分布。T

综上所述，本发明实施例通过上述步骤201至步骤206提高了个性化推荐的多样性和精确性，缓解了数据稀疏和冷启动问题。

实施例3

下面结合具体的实例、图3对实施例1和2中的方案进行可行性验证，即通过与现有的推荐方法进行对比实验，验证本方法在准确率和效率方面的提高，详见下文描述：

对推荐模型评价指标召回率在不同相邻采样值k下进行对比实验，实验的评价指标召回率计算公式如下：

用户集合中随机选取其中60％的用户向量作为训练集合R(u)，余下40％的用户向量作为测试集合T(u)，其中，变量k的取值情况{1，2，5，10，20，30}，通过调整相邻采样值k，得出对应的召回率。

将本方法命名为DASN，并与其他推荐方法作对比实验，验证本方法的性能和效果。对比实验是通过对比四种推荐方法在召回率方面的性能，四种推荐方法分别是：

1)SVD:使用内积对用户项交互进行推荐；

2)KGCN:将邻居信息与偏差引入知识图谱进行推荐；

3)RippleNet:将用户偏好传播叠加形成偏好分布进行推荐；

4)KP:将双层聚合操作引入知识图谱推荐方法中进行推荐。

实验结果如图2所示，从实验结果可以看出，随着相邻采样k的升高，得到的召回率效果越好，这是因为随着k的增加，融入到实体特征向量集合中的特征向量逐渐增多，对更多的行为特征进行处理，进而提高推荐的精确度。从实验结果可以看出，将双层聚合操作引入知识图谱推荐中，通过将实体邻居特征进行深度特征融合，加入多元化的特征行为，并按照相关度赋予其不同的权重，可以有效缓解数据稀疏和冷启动问题。

实施例4

下面结合具体的实例、图4对实施例1和2中的方案进行可行性验证，即通过精确率和召回率的调和平均数F-Score，验证本方法在推荐效率方面的提高，详见下文描述：

推荐系统评价指标中，精确率和召回率没有什么必然的联系，但是，在大规模数据集中，两者往往是相互制约的，一般情况下，精确率偏高，召回率就偏低，召回率偏高，精确率就偏低。因此，在保证召回率的前提下，尽量提高精确率，即精确率和召回率的调和平均数F-Score：

其中，当β＝1时，称为F1-Score，此时，精确率和召回率权重相同。当精确率指标在实验中更重要，调整β的值小于1，相应地，当召回率指标在实验中更重要，调整β的值大于1。

相邻采样值k的取值情况{1，2，4，6，8}，通过调整相邻采样值k的范围，计算得出得出对应的调和平均数F-Score。

实验结果如图4所示，从实验结果可以看出，随着相邻采样值k的增大，F-Score 也相应的增加，这反映了精确率和召回率之间的相关度较好。从实验结果可以看出，当相邻采样值k＝3时，F-Score上升的曲线变缓，这是因为相邻采样值升高，需要处理的行为特征越多，导致相关度低的特征分配的权重较低，进而增强相关度高的行为特征影响，得出更精确的预测结果，由此得出，对邻居高阶实体进行深度特征融合可以得到更精确的推荐效果。

实施例5

下面结合具体的实例、图5对实施例1和2中的方案进行可行性验证，即通过推荐方法进行训练时损失值的变化，验证本方法在推荐损失方面的提高，详见下文描述：

推荐系统评价指标中，通过损失函数来表现预测结果与实际结果的差距程度，衡量推荐模型的好坏，损失函数越小，推荐模型的鲁棒性就越好。

本发明采用梯度下降法来最优化损失函数，加入L2正则化器，通过对所有参数进行逐元素的平方惩罚来抑制大数值的权重，从而降低模型的复杂性和减少过拟合。实验结果可以看出，用于训练数据的迭代次数增加，推荐方法的损失值快速下降，当迭代次数增加到300时，损失值下降趋势基本持平。这是因为，经过300次迭代之后，减弱或者避免无关特征行为对推荐结果的影响，由此得出采用双层聚合特征对邻居高阶实体进行深度融合可以得到更小的损失，最大程度地保留相关行为特征对推荐结果的影响，得到更精准、更高效的推荐效果。

另外，以上对本发明实施例所提供的一种基于实体邻域特征深度聚合的个性化推荐方法进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。