一种基于传播范围自适应的协同过滤方法及系统

技术领域

本发明涉及推荐技术领域，特别涉及基于图神经网络的传播范围自适应的协同过滤方法及系统。

背景技术

个性化推荐在解决几乎所有在线服务(如电子商务、社交媒体网站和在线视频网站等)中出现的信息过载问题方面发挥了关键作用。协同过滤方法利用用户与物品的交互历史来预测用户的潜在兴趣，成为主流的推荐方法。协同过滤的核心思想在于假设具有相似兴趣的用户会表现出相似的行为。因此，挖掘隐藏在用户与物品之间众多交互行为中的潜在分布模式是研究的核心问题。

针对上述问题，业界提出了多种基于协同过滤的推荐模型。大多数基于协同过滤的推荐方法所遵循的核心范式在于推荐系统中实体的学习表示，并利用相应的实体表示来完成用户与物品之间的交互预测。因此，根据表征获取和交互预测的过程，目前广泛使用的基于协同过滤的推荐方法主要可以分为三类，即(1)基于因子分解机的协同过滤，(2)基于矩阵分解的协同过滤，以及(3)基于图神经网络的协同过滤。基于因子分解机的协同过滤模型将上下文信息分解为域特征，并通过低维特征线性乘法表达高阶域的相互作用。基于矩阵分解的协同过滤模型将推荐系统中的用户和物品映射到共享的低维潜在空间中，将用户和物品的表示关联起来，并应用低秩密集矩阵乘法执行预测操作。基于图神经网络的协同过滤模型将传统的矩阵补全问题转化为二部图的连边预测问题，通过节点的嵌入表示提取个体表征，利用图的结构信息预测用户兴趣扩散过程中缺失的交互。

现有方法都将推荐系统中的个体简单地视为单个嵌入向量或分解项，不足以表达协同过滤环境下实体的属性多样性。然而，推荐系统中的实体(即用户及物品)具有多样化的属性，因此，实体的多个属性共同决定了实体之间的交互。此外，实体的不同属性具有各自不同的传播范围，实体属性的不同表现侧面对目标邻居的影响也不同。将实体作为一个嵌入表示项不能全面地反映实体间复杂多样的交互过程。因此，如果我们能够很好地利用这种属性多样性，就有可能描述实体的整体属性并提高推荐的准确性。

文献号为CN114266353A的现在技术公开了一种基于图神经网络的协同过滤模型设计方法，其对基于图神经网络的协同过滤设计空间进行了剖析，加深了领域学者对模型不同设计维度的理解，为推荐场景下的图神经网络方法设计提供了一种新的范式。但是没有区分推荐系统中实体不同属性的传播范围。

发明内容

本发明要解决的技术问题是：

本发明的目的是提供一种基于传播范围自适应的协同过滤方法及系统(即提供了一种具有传播范围自适应感知的推荐系统模型)，用以区分推荐系统中实体不同属性的传播范围，从而完成不同传播范围属性嵌入表示的差异化传播。

本发明为解决上述技术问题所采用的技术方案为：

一种基于传播范围自适应的协同过滤方法，所述方法用于预测用户-物品间的缺失交互记录，所述方法为：

针对细粒度的实体多属性以及自适应传播范围，定义PDA-GNN模型为：该模型框架利用用户和物品交互背后的实体属性多样性来提高推荐性能，框架包含四个主要部分：嵌入层、卷积层、注意力层以及预测层；

嵌入层将用户和物品的ID映射到密集的嵌入向量上，每个节点拥有多个属性嵌入，其中每个用户的嵌入数量与GNN的最大传播深度一致；接下来，卷积层完成节点嵌入的传播和聚集，形成图上的嵌入聚集过程；然后，注意力层计算每个节点的属性嵌入注意力系数，并将多个属性嵌入整合到最终的嵌入表示中；最后，预测层根据用户与物品的最终嵌入表示完成用户与物品之间交互得分的预测。

所述方法的具体实现过程为：

基本定义：已知用户集合U＝{u

目标在于预测用户-物品间的缺失交互记录

嵌入层以用户和物品ID为输入，输出其对应的密集嵌入，嵌入层的实现过程如下：

使用嵌入表示检查表来完成不同属性嵌入的初始化，在PDA-GNN中，每个节点有多个属性嵌入，不同的嵌入在图上具有不同的传播范围；用

卷积层对每个用户和物品进行属性嵌入的传播和集成，在获得嵌入层中每个节点的属性嵌入后，嵌入需要在卷积层中传播；先描述单跳属性的传播过程，再将其推广到多跳传播：

单跳属性传播

对于任意相邻的用户-物品邻居二元组(u，i)，本发明定义从物品i到用户u的信息传播如下：

其中

多跳属性传播

PDA-GNN通过叠加多个图卷积层来模拟多跳信息的传播，用于将影响扩散到更大的范围，通过将单跳卷积层上的消息传递过程扩展到更高阶的消息传播过程，单类型属性(1)嵌入的多跳信息传递可以定义如下：

其中，k∈{1，2，…，l}为嵌入传播深度，l∈{1，2，…，L}表示实体属性数；

在得到不同传播范围的精细化属性嵌入后，通过均值池化运算得到集成的单属性嵌入如下：

在池化操作过程中，初始化属性嵌入

注意力层用于对不同的单属性嵌入进行注意力权重计算，不同的属性嵌入反映实体的不同特征；为了获得不同属性的综合表征，利用注意力机制对不同的属性嵌入进行组合；

设计了一个基于K层MLP(多层感知机)架构的注意力计算模块MLP-ATT进行不同属性嵌入注意力系数的计算；任意第k层表示如下：

其中，k∈{1，2，…，K}表示多层感知机层深，具体实现使用权重矩阵和偏置向量完成，用于实现线性变换，同时使用激活函数σ(·)赋予模块非线性变换能力；即，

其中，

预测层的实现过程为：将L+1个属性嵌入与相应的注意力权重结合起来，将多属性嵌入压缩为目标嵌入并表示如下：

遵循传统协同过滤预测方法，在得到用户u和物品i的最终目标嵌入表示

在单跳属性传播过程中，

除了相邻嵌入集成之外，还对消息构建过程进行了规范化，以避免邻居数量的影响，具体如下：

其中

所述方法还包括模型训练过程，具体为：

使用BPR(贝叶斯个性化排名)损失作为损失项以优化模型中的参数，BPR将用户明确互动过的物品作为积极目标，将其他物品作为消极目标，通过假设用户更喜欢他们明确互动过的物品，BPR将积极目标排在消极目标之前，鼓励用户的潜在兴趣与其互动历史保持一致，将PDA-GNN的损失函数表示如下：

其中，

使用向量余弦函数来计算两个属性嵌入之间的相似度，如下所示：

使用α、β用于标记任意个体，两个向量的余弦函数的结果反映了两个属性嵌入的相似度；由于神经网络上的后向梯度传播目标在于损失项的减小，同时相似度分数的降低也意味着属性嵌入不相关性的增长，即可确保属性嵌入之间的独立性，因此，在BPR损失项的基础上，引入属性距离正则化项用于修正模型损失，具体如下：

即，针对目标采样三元组

除了BPR损失项和属性距离损失项外，增加了L

其中，λ

使用Θ表示PDA-GNN中的所有科学系参数，具体来说，

一种基于传播范围自适应的协同过滤系统，该系统具有与上述技术方案的步骤对应的程序模块，运行时执行上述的一种基于传播范围自适应的协同过滤方法中的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现上述的一种基于传播范围自适应的协同过滤方法的步骤。

本发明具有以下有益技术效果：

如上所述，推荐系统中同一个体的不同属性具有不同的传播范围，因此，与传统的协同过滤方法相比，本发明设计一种新的协同过滤架构来区分推荐系统中实体不同属性的传播范围，即具有传播范围自适应感知的推荐系统模型。具体而言，本发明的技术难点在于(1)信息扩散过程中，用户和物品的不同属性映射到具有不同传播深度的嵌入表示上，以完成不同传播范围的分离。(2)此外，为了保证个体属性建模的多样化和全面性，单个实体的属性应该被均匀分离和分布。

针对上述技术难点，本发明提出了一种新的差异化属性传播推荐框架，旨在深入挖掘自适应传播范围的属性扩散模式。具体而言，我们根据扩散深度将实体属性划分为多个属性方面的嵌入表示分组并完成实体属性的自适应传播。本发明的主要贡献总结如下：

(1)为突出推荐系统场景下的细粒度多属性现象，本发明赋予不同属性嵌入表示不同的传播深度并进行差分化传播建模，并提出了一种新的传播深度感知图神经网络框架——PDA-GNN，以完成不同传播范围属性嵌入表示的差异化传播。(2)本发明提出了属性嵌入表示距离正则化，用于完成个体属性的多样性建模和属性向量的均匀分布。(3)本发明完成了在Amazon-Book、Amazon-CDs和MovieLens-1M这三个公共数据集上进行的广泛实验，实验结果证明了我们提出的PDA-GNN模型所表现出的一贯的性能优越性。

附图说明

图1为PDA-GNN模型总体框架图；

图2为最大传播范围L对PDA-GNN的影响图；

图3为衰减因子λ

图4为嵌入维度d对PDA-GNN的影响图；

图5为模型可视化比较图。

具体实施方式

给合附图1-5对本发明的实现进行如下阐述：

1总体方案

问题形式化：已知用户集合U＝{u

总体方案介绍：针对细粒度的实体多属性以及自适应传播范围，我们提出了一个新的框架，称为PDA-GNN，如图1所示。该框架的核心思想是利用用户和物品交互背后的实体属性多样性来提高推荐性能。该框架包含四个主要部分，即(1)嵌入层，(2)卷积层，(3)注意力层，以及(4)预测层。具体来说，嵌入层将用户和物品的ID映射到密集的嵌入向量上，每个节点拥有多个属性嵌入，其中每个用户的嵌入数量与GNN的最大传播深度一致。接下来，卷积层完成节点嵌入的传播和聚集，形成图上的嵌入聚集过程。然后，注意力层计算每个节点的属性嵌入注意力系数，并将多个属性嵌入整合到最终的嵌入表示中。最后，预测层根据用户与物品的最终嵌入表示完成用户与物品之间交互得分的预测。

2嵌入层

嵌入层以用户和物品ID为输入，输出其对应的密集嵌入。具体来说，我们使用嵌入表示检查表来完成不同属性嵌入的初始化。与传统的图神经网络模型不同，在PDA-GNN中，每个节点有多个属性嵌入，不同的嵌入在图上具有不同的传播范围。我们用

3卷积层

卷积层对每个用户和物品进行属性嵌入的传播和集成。在获得嵌入层中每个节点的属性嵌入后，嵌入需要在卷积层中传播。我们首先介绍单跳属性的传播过程，然后将其推广到多跳传播。

3.1单跳属性传播

对于任意相邻的用户-物品邻居二元组(u，i)，本发明定义从物品i到用户u的信息传播如下：

其中

其中

3.2多跳属性传播

与卷积神经网络中的卷积操作类似，通过堆叠多个卷积层，模型将具有更大的感受野。PDA-GNN通过叠加多个图卷积层来模拟多跳信息的传播，从而将影响扩散到更大的范围。通过将单跳卷积层上的消息传递过程扩展到更高阶的消息传播过程，单类型属性(l)嵌入的多跳信息传递可以定义如下：

其中，k∈{1，2，…，l}为嵌入传播深度，l∈{1，2，…，L}表示实体属性数；

在得到不同传播范围的精细化属性嵌入后，通过均值池化运算得到集成的单属性嵌入如下：

请注意，在池化操作过程中，初始化属性嵌入

4注意力层

注意力层对不同的单属性嵌入进行注意力权重计算，不同的属性嵌入反映实体的不同特征。为了获得不同属性的综合表征，我们利用注意力机制对不同的属性嵌入进行组合。

我们设计了一个基于K层MLP(多层感知机)架构的注意力计算模块MLP-ATT进行不同属性嵌入注意力系数的计算。任意第k层表示如下：

其中，k∈{1，2，…，K}表示多层感知机层深，具体实现使用权重矩阵和偏置向量完成，用于实现线性变换，同时使用激活函数σ(·)赋予模块非线性变换能力。即，

其中，

5预测层

将L+1个属性嵌入与相应的注意力权重结合起来，将多属性嵌入压缩为目标嵌入并表示如下：

遵循传统协同过滤预测方法，在得到用户u和物品i的最终目标嵌入表示

6模型训练

BPR损失项

为了优化模型中的参数，我们使用了广泛使用的BPR(贝叶斯个性化排名)损失作为损失项。作为隐式反馈推荐问题下的知名框架，BPR将用户明确互动过的物品作为积极目标，将其他物品作为消极目标。通过假设用户更喜欢他们明确互动过的物品，BPR将积极目标排在消极目标之前，鼓励用户的潜在兴趣与其互动历史保持一致。因此，我们将PDA-GNN的损失函数表示如下：

其中，

属性距离正则化项

属性嵌入应该保持一定的距离以保证属性信息的相互独立和互不干扰，确保单个用户/物品的属性嵌入以不同的方式表达其属性。我们使用向量余弦函数来计算两个属性嵌入之间的相似度，如下所示：

我们使用α、β用于标记任意个体，两个向量的余弦函数的结果反映了两个属性嵌入的相似度。由于神经网络上的后向梯度传播目标在于损失项的减小，同时相似度分数的降低也意味着属性嵌入不相关性的增长，即可确保属性嵌入之间的独立性。因此，在BPR损失项的基础上，本发明引入了属性距离正则化项用于修正模型损失，具体如下：

即，我们针对目标采样三元组

总体损失项

除了BPR损失项和属性距离损失项外，为了提高模型泛化能力，我们还增加了L

其中，λ

我们使用Θ表示PDA-GNN中的所有科学系参数，具体来说，

针对本发明的技术效果再进行如下验证：

1实验环境及参数设置

1.1数据集

为对PDA-GNN进行公平公众的性能评估，我们在3个公共数据集上进行了对比实验。三个公共数据集分别是：Amazon-Book，Amazon-CDs，以及MovieLens-1M。三个数据集的统计结果如下所示：

表1.数据集统计

1.2评价指标

作为评估，将用户与其交互物品之间的交互视为积极目标，将其他未观察到的交互视为消极目标。在获得所有用户和商品的嵌入后，模型得到用户对商品的评分。通过屏蔽用户在训练集上与之交互的物品以进行评估。为了突出模型的有效性和评估的广泛性，我们采用了最广泛使用的评估协议Recall@K和NDCG@K，并设置K＝5，10，20来完成不同目标长度下的评估结果。

1.3基线方法

我们将实验结果与其他最先进的方法作为基线模型进行比较，以验证我们模型的有效性。这些模型被分为两类：基于传统模型的协同过滤方法和基于图神经网络的协同过滤。具体如下：

·AFM：AFM是一种先进的因子分解模型，通过神经注意网络增强信息特征交互，减少特征交互中的噪声信号。

·MF：MF是一个经典的基于矩阵分解的推荐模型，并设计提出了BPR损失。

·NeuMF：NeuMF是一种最先进的基于矩阵分解的推荐模型，它使用深度神经网络来处理用户-物品之间的交互预测，而不是直接利用相应的内积操作。

·GCMC：GCMC是一种经典的基于图的协同过滤方法，它操作图卷积网络作为编码器来生成用户和物品的嵌入。

·NGCF：NGCF提出了一种基于图的嵌入传播机制，通过沿用户-物品图之间的连边传播节点嵌入。

·STAM：STAM是一种基于图神经网络的协同过滤前沿模型，利用时空信息聚合过程同时融合空间结构信息和时间交互信息。

·LightGCN：LightGCN是一个最先进的推荐模型，它简化了图神经网络上广泛使用的传播和聚合机制，使图神经网络更适合推荐系统场景。

1.4参数设置

PDA-GNN模型关键参数设置如下：经过网格搜索，嵌入维度d的最优值被确定为256，嵌入向量通过正态分布的随机数进行初始化(期望为0，标准差为0.1)。模型的学习率lr被设置为1e-3，并使用10,240作为批处理大小。选用Adam作为模型优化器进行训练。λ

2总体实验结果对比

我们分别在表2、表3和表4中展示了PDA-GNN与其他基线方法在Amazon-Book、Amazon-CDs和MovieLens-1M上的性能比较。以下是我们的观察结果：

·传统的基于模型的方法在所有数据集上的性能表现都很差。这表明，简单地应用嵌入的内积不能充分利用分解方法的表现力。NeuMF的性能略好于MF和AFM，因为NeuMF用多层感知机代替了内积，提供了隐式的高阶嵌入交互，保持了更强的表现力。一般来说，基于矩阵分解的方法由于表示能力较差而无法达到理想的性能，这表明了基于图的模型的先进性。

表2.Amazon-Book整体性能比较

表3.Amazon-CDs整体性能比较

表4.MovieLens-1M整体性能比较

·基于图神经网络的方法相较于基于矩阵分解的方法实现了相当大的性能提升。具体而言，GCMC通过利用单跳邻接信息，实现了与MF和NeuMF相比在各项指标上一致的性能提升，显示了基于图方法的优越性。与GCMC相比，其他基于图的方法(NGCF、STAM和LightGCN)由于具有感知多跳连接的能力，在所有情况下都比GCMC表现出较大的提升，突破了性能瓶颈。这表明了在图中建模高阶连接的必要性。

·精心设计的扩散方案提高了图神经网络方法的性能。对于利用高阶邻居信息的图神经网络方法，STAM和LightGCN通过精心设计扩散方案，在所有数据集上都比NGCF取得了显著的改进。具体而言，STAM将时间信息吸收到空间邻居信息聚合过程中，而LightGCN针对推荐情况设计了个性化的轻量化图扩散方案，但NGCF只是通过通用的图神经网络架构将空间邻接节点进行简单地聚合。此外，LightGCN在大多数情况下表现更好，特别是在Amazon-CDs上，LightGCN在所有情况下都取得了一致的性能提升，从而验证了定制化和轻量化嵌入传播的有效性。

·PDA-GNN始终在所有情况下表现出了最佳性能表现。其中，PDA-GNN在Amazon-Book上针对Recall@K和NDCG@K分别实现了至少24.57％和17.80％的性能提升；在Amazon-CDs上针对Recall@K和NDCG@K分别实现了至少13.60％和16.26％的性能提升；在MovieLens-1M上针对Recall@K和NDCG@K分别实现了至少3.39％和2.39％的性能提升。有效验证了传播范围自适应属性嵌入表示在推荐系统中的重要性。

·与MovieLens-1M相比，PDA-GNN在Amazon-Book和Amazon-CDs上的性能更好。我们认为原因可能是MovieLens-1M中实体的数量相比其他两个数据集明显较少，对于自适应传播范围的多属性嵌入建模相对不充分，从而导致性能提升相对较小的现象。

3模型结构变化结果对比

本发明首先考察L的变化对PDA-GNN的结果的影响，以检验属性数量及最大传播范围与推荐模型性能之间的相关性。随后，本发明研究了注意力系数的获取方式对推荐性能的影响。

3.1最大传播范围L对模型的影响

针对PDA-GNN中卷积层的最大传播深度L，一方面表征实体的属性数量，另一方面代表着个体属性的传播范围。为了探索L对PDA-GNN的性能影响，我们探索了PDA-GNN的最佳深度L，并在MovieLens-1M上进行了演示，如图2所示。不同最大深度PDA-GNN的性能表现在Amazon-Book和Amazon-CDs上也反映出大致相同趋势。最大卷积层深度为L的PDA-GNN模型变种被标记为PDA-GNN-L。

PDA-GNN-L随L变化的趋势反映出：

·随着L的增加，PAD-GNN的性能越来越好。PDA-GNN-2和PDA-GNN-3的表现始终优于PDA-GNN-1，说明卷积层的深度与模型的表达能力是一致的。由于更多的卷积层容纳了更广泛的嵌入传播范围，因此更多的实体属性得以被描述。此外，由于重复或相似的属性嵌入会加剧模型的退化，这也证明了我们提出的基于传播范围自适应多属性的PDA-GNN模型的有效性。

·模型在叠加3层后表现出性能的退化。PDA-GNN-4的表现一直低于PDA-GNN-3。我们认为这可能是因为模型在堆叠太多层时造成了图神经网络的过度平滑问题。

·联合分析表4与图2，我们可以看出即使PDA-GNN-1在不同卷积深度PDA-GNN-L中表现最差，它仍然优于大多数其他基线方法。即使只捕获单跳邻居信息，由于0跳原始属性嵌入的互补性，它在保留中心节点的原始特征的同时丰富了相邻节点的属性。这表明了对用户和物品属性多样性进行建模的必要性。此外，与其他多层GNN方法相比，PDA-GNN的性能有了显著提高。这说明了建模多类型细粒度嵌入的必要性，而不仅仅是在图神经网络中简单叠加卷积层。

3.2嵌入整合方式对模型的影响

表5不同嵌入整合方式对PDA-GNN的影响

我们在表5中展示了Amazon-Book数据集上使用不同属性嵌入集成方法的PDA-GNN的性能。我们将K层MLP注意力模块替换为不同的嵌入集成方案，包括均值池化操作和单属性嵌入操作，以评估注意力层对PDA-GNN性能的影响。具体来说，我们对所有属性嵌入都采用均值池运算，并对属性嵌入

·PDA-GNN在几乎所有指标上都优于其他变种模型，证明了MLP-ATT模块的有效性。MLP-ATT模块可以捕获不同属性嵌入之间的非线性关系，从而提供性能优势。

·对于大多数指标，PDA-GNN-mean的性能略大于等于PDA-GNN-L。这要归功于其他属性嵌入的促进作用。多类型属性嵌入能够丰富单类型属性嵌入的表现能力。

·PDA-GNN-L优于所有基线方法。结合表5和表2，可以看到，即使PDA-GNN-L的性能低于PDA-GNN-mean和PDA-GNN，但仍然优于所有基线方法。值得一提的是，虽然PDA-GNN-L只捕获一种类型的属性，但其性能仍然比其他单属性方法有很大的性能提升，这证明了属性距离正则化项对实体属性表达多样化的促进作用。

4模型超参变化结果对比

本发明研究了PDA-GNN对不同超参设置造成的性能变化，包括属性距离正则化因子λ

4.1衰减因子λ

本发明引入属性距离衰减因子λ

结果显示，λ

4.2嵌入维度d对PDA-GNN的影响

本发明对不同属性嵌入维数(d)的PDA-GNN变体进行了实验，以探索最优嵌入尺寸。在图4中，我们给出了不同最终嵌入维数的PDA-GNN在Amazon-Book上的效果。

PDA-GNN的性能随着d的增加而增加。可以看出，模型的性能随着嵌入维数的增加而不断提高。证明了PDA-GNN不会出现单属性协同过滤模型中常见的过拟合问题。在嵌入维数处于256以内的范围限制下，模型性能没有趋于饱和，且上升趋势明显。

5模型可视化

我们在测试集中使用5个随机用户对来自PDA-GNN和LightGCN的目标嵌入进行可视化，并在图5中展示了可视化比较。

与LightGCN相比，PDA-GNN可以更清晰地区分不同的实体嵌入。具体来说，同色点(表示单个用户的所有交互物品)倾向于更紧密地聚集，这表明了属性嵌入的有效性。此外，模型显著降低了离群值的分布，验证了PDA-GNN模型的全面性。