融合多特征信息的加权图卷积神经网络评分预测模型

技术领域

本发明涉及一种融合多特征信息的加权图卷积神经网络评分预测模型，属于深度学习领域。

背景技术

近年来，随着云计算、大数据等IT技术高速发展，如今的互联网上的数据规模呈爆炸式增长。巨大的信息量中往往蕴含着丰富的使用价值和商业潜力，但同时也带来了互联网时代的“信息过载”问题。因此高效而准确的个性化推荐系统(Recommendation System，RS)也就应运而生，成为学术界和工业界上的关注热点。近年来，图神经网络(GNN,GraphNeural Network)的研究逐渐兴起，这是一种对图数据进行研究的神经网络。研究发现在推荐系统中，实体之间的关系如用户与用户、用户与项目和项目与项目都可以在图中表示出来。受图嵌入思想和卷积神经网络的启发，利用图卷积神经网络(GCN，GraphConvolutional Networks)在图领域对数据进行特征提取和表示已经成为GNN中的主要研究方法之一。目前，国内外对GCN在推荐领域中的研究已经取得了一定的进展，比如GC-MC和NGCF，这两种方法挖掘出了用户—项目二部图中蕴涵的连接关系，使用GCN直接在二部图中提取特征，但是都忽略了同质顶点相似性信息，丢弃了部分节点属性特征，即也忽视了用户与用户，项目与项目之间的实体关系。

有鉴于此，确有必要提出一种新的融合多特征信息的加权图卷积神经网络评分预测模型，以解决上述问题。

发明内容

本发明的目的在于提供一种融合多特征信息的加权图卷积神经网络评分预测模型，以解决现有图卷积神经网络忽略了同质顶点相似性信息，丢弃了部分节点属性特征的问题。

为实现上述目的，本发明提供了一种融合多特征信息的加权图卷积神经网络评分预测模型，包括以下步骤：

步骤1：建立用于提取用户特征的加权图卷积神经网络用户模型，所述加权图卷积神经网络用户模型输出用户潜在特征向量矩阵U；

步骤2：建立用于提取项目特征的加权图卷积神经网络项目模型，所述加权图卷积神经网络项目模型输出项目潜在特征向量矩阵V；

步骤3：将所述步骤1中的用户潜在特征向量矩阵U和所述步骤2中的项目潜在特征向量矩阵V进行连接，得到连接矩阵，将所述连接矩阵输入到评分预测模型中的多层感知机中，得到用户对项目的预测评分；

步骤4：将步骤3得到的预测评分与实际评分进行对比，通过优化函数对步骤3中的所述多层感知机的参数进行优化，以更新所述评分预测模型。

作为本发明的进一步改进，所述步骤1具体包括：

步骤11：获取用户对项目的历史评分数据，设m个用户对n个项目的评分矩阵为R，R∈R

步骤12：建立用于提取用户特征的加权图卷积神经网络用户模型；

步骤13：建立所述加权图卷积神经网络用户模型的用户特征矩阵X

步骤14：建立用户相似度矩阵并作为用户邻接矩阵A

步骤15：通过图卷积函数得到用户潜在特征向量矩阵U。

作为本发明的进一步改进，步骤13中所述用户特征矩阵X

步骤131：引入基于用户兴趣变化的时间加权函数：

其中，函数自变量t为用户对项目的当前评分时间和参考时间的时间间隔，参数T

步骤132：利用用户对项目评分时间通过时间加权函数f(t)对所述评分矩阵R进行修正，实现评分按时间衰减以此反应用户的兴趣变化，修正公式：

r′

其中，f(t)表示用户i在t时刻对项目j的评分时间权重，r

步骤133：将步骤132中的用户—项目修正评分矩阵R

其中，

作为本发明的进一步改进，步骤14中作为输入邻接矩阵的用户相似度矩阵A

其中

作为本发明的进一步改进，通过图卷积函数得到用户潜在特征向量矩阵U：

其中，

作为本发明的进一步改进，所述步骤2具体包括：

步骤21：建立用于提取项目特征的加权图卷积神经网络项目模型；

步骤22：建立加权图卷积神经网络项目模型的项目节点特征矩阵X

步骤23：建立项目相似度矩阵A

步骤24：通过图卷积函数得到项目潜在向量矩阵V：

其中，

作为本发明的进一步改进，将步骤132中的用户—项目修正评分矩阵R1转置后的转置矩阵R

其中，

作为本发明的进一步改进，步骤23中作为邻接矩阵的项目相似度矩阵A

其中

作为本发明的进一步改进，所述步骤3具体包括：

步骤31：将步骤2中所述用户潜在特征向量矩阵U中的用户潜在特征向量u和步骤3中所述项目潜在特征向量矩阵V中的项目潜在特征向量v进行连接操作，得到连接矩阵

步骤32：把步骤31获得的连接矩阵

g

……

g

r

其中，l是加权图卷积神经网络的隐藏层数目，r

作为本发明的进一步改进，所述步骤4的优化函数具体为：

其中，Ο＝{(u,i)|(u,i)∈R

本发明的有益效果是：本发明的融合多特征信息的加权图卷积神经网络评分预测模型通过计算用户与用户、项目与项目之间的属性相似度来利用用户和项目的辅助信息，同时考虑了用户的兴趣变化对对其评分预测模型进行修正，增强了用户和项目的特征表示，挖掘了同质图中节点相似性信息，发挥出图卷积神经网络提取节点深层嵌入表示的优势，解决了现有的基于图卷积神经网络的推荐模型仅利用用户项目的交互信息而忽略了用户和项目的自身属性特征的缺点。

附图说明

图1是本发明的步骤流程图。

图2是本发明的数据流程图。

图3是本发明加权图卷积神经网络用户模型的结构图。

图4是本发明加权图卷积神经网络项目模型的结构图。

图5是本发明模型图卷积层的数量在ML-100K数据集上的影响。

图6是本发明模型训练的Epoch(s)数量对评分预测效果的影响。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

如图1和图2所示，本发明揭示了一种融合多特征信息的加权图卷积神经网络评分预测模型，具体包括：

步骤1：建立用于提取用户特征的加权图卷积神经网络用户模型，加权图卷积神经网络用户模型输出用户潜在特征向量矩阵U；

步骤2：建立用于提取项目特征的加权图卷积神经网络项目模型，加权图卷积神经网络项目模型输出项目潜在特征向量矩阵V；

步骤3：将所述步骤1中的用户潜在特征向量矩阵U和所述步骤2中的项目潜在特征向量矩阵V进行连接，得到连接矩阵，将所述连接矩阵输入到评分预测模型中的多层感知机中，得到用户对项目的预测评分；

步骤4：将步骤3得到的预测评分与实际评分进行对比，通过优化函数对步骤3中的多层感知机的参数进行优化，以更新所述评分预测模型。

请参阅图3所示，步骤1具体包括：

步骤11：获取用户对项目的历史评分数据，设m个用户对n个项目的评分矩阵为R，R∈R

步骤12：建立用于提取用户特征的加权图卷积神经网络用户模型；

步骤13：建立加权图卷积神经网络用户模型的用户特征矩阵X

步骤14：建立用户相似度矩阵并作为用户邻接矩阵A

步骤15：通过图卷积函数得到用户潜在特征向量矩阵U。

步骤13中用户特征矩阵X

步骤131：在个性化推荐领域中，用户的兴趣变化是不可忽视的重要问题。具体表现为旧的兴趣在不断衰减，同时产生新的兴趣。因此引入基于用户兴趣变化的时间加权函数：

其中，函数自变量t为用户对项目的当前评分时间和参考时间的时间间隔，参数T

步骤132：利用用户对项目评分时间通过时间加权函数f(t)对评分矩阵R进行修正，实现评分按时间衰减以此反应用户的兴趣变化，修正方法：使用指数遗忘函数，赋予每个项目评分一个权重，对原始评分进行放缩。修正公式：

r′

其中，f(t)表示用户i在t时刻对项目j的评分时间权重，r

步骤133：将步骤132中的用户—项目修正评分矩阵R

其中，

综上，用户特征矩阵X

步骤14中作为输入邻接矩阵的用户相似度矩阵A

其中

最后步骤15通过图卷积函数将用户特征矩阵X

其中，

请参阅图4所示，步骤2具体包括：

步骤21：建立用于提取项目特征的加权图卷积神经网络项目模型；

步骤22：建立加权图卷积神经网络项目模型的项目节点特征矩阵X

步骤23：建立项目相似度矩阵A

步骤24：通过图卷积函数得到项目潜在向量矩阵V：

其中，

步骤22具体为：将步骤132中用户—项目修正评分矩阵R1转置后的转置矩阵R

其中，

步骤23中作为邻接矩阵的项目相似度矩阵A

其中

最后步骤24通过图卷积函数将用户特征矩阵X

步骤3具体包括：

步骤31：将步骤2中用户潜在特征向量矩阵U中的用户潜在特征向量u和步骤3中项目潜在向量矩阵V的项目潜在特征向量v进行连接操作，得到连接矩阵

步骤32：把步骤31得到的连接矩阵

g

……

g

r

其中，l是加权图卷积神经网络的隐藏层数目，r

步骤4的优化函数具体为：

其中，Ο＝{(u,i)|(u,i)∈R

具体地，本发明设计的推荐算法流程如下：

输入：评分矩阵R∈R

输出：用户和项目的嵌入向量：U∈R

流程1.通过函数处理评分矩阵R∈R

流程2.fori＝1：epochdo

同时执行用户同质图和项目同质图图卷积函数：

U＝Conv(A

V＝Conv(A

将得到的用户潜在特征向量矩阵U、项目潜在特征向量矩阵V连接后输入进行多层感知机评分预测

根据优化函数计算损失并反向传播梯度更新神经网络参数；

流程3：返回流程2；

流程4：End for。

具体地，为了验证本发明所提出的融合多特征信息的加权图卷积神经网络评分预测模型的性能，在MovieLens通用电影推荐系统数据集(ML-100K)上、文献提供的Flixster及豆瓣预处理数据子集上进行了实验，并将它与主流的推荐模型进行性能对比。数据集的基本信息见表1。在MovieLens电影推荐系统数据集中，电影辅助信息包含电影元数据(风格类型，年代)将其用one-hot编码转化成词向量；用户辅助信息包含用户的人口统计学数据(年龄，邮编，性别，职业等)，将其转化成二进制信息。Flixster和豆瓣数据带有3000个用户和3000个物品子图，它们都用图的形式储存了用户或者物品的辅助信息。

将所有的数据按照8：2的比例进行划分，分别用作模型的训练集与测试集，并进行5折交叉验证。对于编码函数层，设置输出维度为256；对于图卷积层，输出特征维度为64。顶点特征dropout概率设为0.7，激活函数选用ReLU()，使用Adam优化器，学习率为0.001。多层感知机(MLP)模型层数为两层。

表1实验数据集统计

为了评估推荐模型评分预测性能，评价指标采用RMSE(Root Mean Squard Error)均方根误差作为评价标准。测试集中用户实际评分与通过模型预测出来的预测值之间的均方根误差值越小，则推荐系统的推送质量越高。

其中，n为测试样本数量，R

实验中，选取4种对比方法同质交互类算法RGCNN，并选取矩阵补全MC、几何矩阵补全GMC、交替最小二乘几何矩阵补全GRALS等主流推荐模型算法作为参照。其中，GMC、GRALS和RGCNN通过k-最近邻图表示用户/项目特征。它们的评分预测误差如表2所示。

表2比较不同推荐模型的评分预测误差(RMSE)

根据表2所示，UIGCCF模型在三个数据集上的性能表现均优于其它模型，这证明了UIGCCF模型的有效性。并且在Flixster数据集上GCN类算法的效果显著优于矩阵补全类算法，这是因为Flixster数据集包含了更多的顶点信息，GCN可以更好的利用顶点相似性信息。在进行推荐时，相似用户更可能产生相近的行为，同时用户也更可能对相似项目产生兴趣。

为进一步分析UIGCCF模型取得优异性能的原因，我们给出它的变体模型，并比较它们在推荐数据集上的性能。与基本模型相比，UIGCCF-N去掉了用户模块中对评分矩阵的修正操作。表3汇总了消融实验的平均预测误差。

表3比较变体模型的评分预测误差(RMSE)

观察表3的实验结果，可以发现在去掉了去掉用户评分修正操作后的UIGCCF-N模型在数据集的测试误差相比于基本模型有一定程度增大，这表明对评分矩阵的修正操作对推荐算法在预测准确性上有较大提升。

图5是模型图卷积层的数量在ML-100K数据集上的影响，考虑到UIGCCF堆叠了多层图卷积层实现了节点的嵌入更新，通过设置不同图卷积层数量考察图卷积层数对预测结果误差情况，预测误差先是随着层数增加而降低，但超过第二层后误差又增大。这是因为图卷积会使同一连通分量内的节点的表征趋向于收敛到同一个值，于是堆叠过多的图卷积层容易产生过拟合问题。

图6是模型训练的Epoch(s)数量对评分预测效果的影响。为了分析模型训练Epoch数量对评分预测结果的影响，对于UIGCCF模型，在ML-100K数据集上设置了200轮Epoch数量进行实验。从图5可以看出，当模型训练20个Epoch时，训练集和测试集数据评分预测值与真实值偏差(RMSE)都比较大，此时的模型还无法学习到用户与电影的隐层特征，模型的预测效果较差。当模型训练到了第30个Epochs时，训练集和测试集数据RMSE快速下降，此时的模型已经初步完成用户以及电影特征的学习，但模型的预测效果一般。随着模型训练到第100个Epochs时，训练集和测试集数据RMSE在一定范围内波动，总体呈平稳下降趋势，此时的模型已经具有比较良好的评分预测效果。而随着Epoch(s)数量的进一步增加，模型最终会收敛，用户对电影评分预测效果会达到最优值。

综上所述，本发明的融合多特征信息的加权图卷积神经网络评分预测模型通过计算用户与用户、项目与项目之间的属性相似度来利用用户和项目的辅助信息，同时考虑了用户的兴趣变化对对其评分预测模型进行修正，从而增强了用户和项目的特征表示，实现挖掘同质图中节点相似性信息，发挥出图卷积神经网络提取节点深层嵌入表示的优势，解决了现有的基于图卷积神经网络的推荐模型仅利用用户项目的交互信息而忽略了用户和项目的自身属性特征的缺点。

以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。