基于异质注意力网络的社交网络标签的传播预测方法、装置

技术领域

本发明涉及社交网络信息传播领域，具体涉及基于异质注意力网络的社交网络标签的传播预测方法、装置。

背景技术

社交网络平台，例如新浪，推特等，通过分享信息和推送热点的形式，吸引了数以亿级的用户。社交网络标签(Hashtag)的出现，为用户提供了用户传播相同兴趣话题的便捷机制。因此，社交平台的实时热点事件经常会伴随着事件相关的标签被大量的传播。同时，标签作为一种信息共享的形式，符合信息传播过程。针对用户传播过程，分析用户参与的标签传播的预测技术，能够应用到多种任务场景，例如话题分析、社会热点监测、商业推荐等。

信息传播用户预测研究中，预测谁会成为级联下一个用户的任务，近年来得到了广泛的研究。随着深度学习技术在不同领域成功应用，进一步促进用户预测任务性能的提升。大多任务针对传统的信息项(例如某条推文，某张图片等)展开，并使用深度学习方法来捕捉用户之间的依赖关系，但网络标签的传播不可观测，用户可直接在推文中添加标签即可造成传播，无法从数据流中确定造成用户传播的上一级用户来源是谁，因此在数据中存在隐式传播关系，很难捕获到真实的传播级联图，并且现有的传播用户预测方法大多建立在用户之间的影响关系的基础上，例如使用朋友关系作为底层的传播网络。但真实的标签传播场景中，用户发表标签/转发标签时，不仅是受到上一级用户的影响，还有诱因在于对标签本身偏好的影响。因此，现有的传播用户预测方法，不能很好的实现对于社交网络标签的传播预测。

发明内容

本发明旨在提供基于异质注意力网络的社交网络标签的传播预测方法、装置，解决目前存在的问题。

其技术方案是这样的：基于异质注意力网络的社交网络标签的传播预测方法，其特征在于，包括以下步骤：

步骤1：在社交网络媒体中，采集与关注社交网络事件相关的标签传播的级联数据、用户交互关系，所述标签传播的级联数据包括所有参与标签传播用户数据以及行为时间数据，所述用户交互关系包括参与标签传播的所有用户的好友关系以及交互关系；

步骤2：由采集的数据构造标签-用户异质影响关系图和用户时序偏好图，所述异质影响关系图的节点关系包含用户与用户的影响关系、用户与标签的影响关系、标签与标签的影响关系，所述用户时序偏好图的节点关系包含用户对于不同标签在时间上的偏好；

步骤3：建立基于用户偏好的异质时序注意力网络模型，所述异质时序注意力网络模型包括顺序设置的：

同质影响关系学习模块，所述同质影响关系学习模块包括多层的GCN模型，通过同质影响关系学习模块对标签-用户异质影响关系图在不同特征空间的节点表示进行学习，分别获得用户节点的嵌入表示和标签的嵌入表示；

异质影响关系学习模块，所述异质影响关系学习模块采用多层的GAT网络，将异质的用户节点的嵌入表示和标签的嵌入表示进行融合，然后与标签-用户异质影响关系图一起输入所述异质影响关系学习模块进行迭代，然后经所述异质影响关系学习模块投影到相同的特征空间，学习两种节点的关联，并获得异质用户节点的嵌入表示和异质标签的嵌入表示；

异质用户时序偏好学习模块，所述异质用户时序偏好学习模块包括：

时间表示单元，所述时间表示单元采用全局分层时间戳表示用户对标签产生行为的时间特征，通过所述时间表示单元将时间特征进行嵌入表示；

用户时序注意力学习单元，用于将通过异质影响关系学习模块得到异质用户节点的嵌入表示、异质标签的嵌入表示和时间表示单元得到的时间嵌入表示作为输入，通过用户时序注意力学习单元投影到可调参的注意力矩阵，获得带有背景知识的用户节点的嵌入表示；

特征融合模块，所述特征融合模块采用了多头注意力机制学习标签级联的嵌入表示；通过将带有背景知识的用户节点的嵌入表示作为输入，带入到标签传播级联中，并通过多头注意力机制学习用户之间的交互特点，并获得整个标签传播级联的表示矩阵，再通过MLP网络将标签传播级联的表示矩阵映射为标签级联向量表示；

标签传播预测模块，将获得的标签级联向量表示输入标签传播预测模块，输出候选用户的参与标签传播的概率；

使用交叉熵作为损失函数对基于用户偏好的异质时序注意力网络模型进行训练，得到训练好的基于用户偏好的异质时序注意力网络模型；

步骤4：将待预测用户和标签进行处理输入训练好的基于用户偏好的异质时序注意力网络模型，输出待预测用户参与标签传播的预测结果。

进一步的，在步骤1中，在标签传播的级联数据的采集过程中，以网络标签为数据源，采集所有参与标签h传播用户的u

其中，c

进一步的，在步骤2中，构造标签-用户异质影响关系图，具体如下执行：

构造标签-用户异质影响关系图

其中节点集合

进一步的，在步骤2中，构造用户时序偏好图，具体如下执行：

构造用户时序偏好图

每个用户-时间-标签三元组(u，t，h)表征用户u针对标签h在时序t上的历史传播行为。

进一步的，在步骤3中，标签-用户异质影响关系图中同质节点网络包括：用户-用户关系网络

在同质影响关系学习模块中，采用多层的GCN模型对用户-用户关系网络G

其中，σ表示Relu激活函数，

对于标签关系图

其中

当采用GAT网络完成L次迭代后，得到：

其中，

和/>

进一步的，其特征在于，在异质用户时序偏好学习模块的时间表示单元中，采用全局分层时间戳(秒，分，时，日，周)来表示用户对标签产生行为的时间特征，表示为：

t′

其中，[s，m，h，d，w]的五个指标分别代表时间戳t所在的秒/分/时/日/周，并将这些指标归一化到[-0.5，0.5]的数值区间中，表示不同时间粒度的偏移量；然后使用一层MLP网络对时间特征进行d维度空间的映射，表示为

t

其中，W表示可训练权重，b表示偏移量，σ表示激活函数；

在用户时序注意力学习单元中，首先将异质用户的嵌入表示和标签的嵌入表示进行拼接，然后结合时间特征的投影反映用户和标签关系在时序上的注意相关性，并通过注意力机制学习用户对标签的偏好表示，最终生成带有背景知识的用户的嵌入表示

其中，

进一步的，通过特征融合模块映射后的用户特征表示向量表示为：

其中，

式中的t

t

t

其中j∈{1，…，|d/2|}，|c

式中的Mask表示掩码矩阵，式中加入了掩码矩阵Mask屏蔽未来的节点，形式化如下：

整个标签传播级联的表示矩阵表示为：

其中，W

将整个标签传播级联的表示矩阵C

X

其中，W，W′是可以训练的参数矩阵，b

进一步的，在标签传播预测模块中进行预测时，当给定可观测的传播级联序列

针对最后传播序列的用户预测，标签传播预测模块计算用户参与标签的传播概率

其中W是可训练的参数矩阵，该矩阵将序列X

其中θ表示基于用户偏好的异质时序注意力网络模型中所有可训练的参数，如果用户u

一种计算机装置，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如上述的基于异质注意力网络的社交网络事件标签传播预测方法。

一种计算机可读存储介质，其上存储有程序，其特征在于：程序被处理器执行时实现如上述的基于异质注意力网络的社交网络事件标签传播预测方法。

本发明建立了一种基于用户偏好的异质时序注意力网络模型，具体来说，模型首先引入了用户-标签的异质影响网络，并使用图神经网络捕捉两种节点之间的影响关系。此外，为了建模用户对标签在时序上的偏好，设计了融合标签偏好和行时间特征的异质时序注意力机制。利用用户和标签的历史交互关系，并分析用户对标签的兴趣偏好和时序行为的数据特征，可以更准确的捕获用户和标签之间的潜在关联并预测网络标签传播的用户行为。

附图说明

图1为本发明的一个实施例中的异质时序注意力神经网络的标签传播用户预测方法的步骤示意图；

图2为本发明的一个实施例中的异质时序注意力神经网络的标签传播用户预测方法步骤的流程示意图；

图3为一个实施例中计算机装置的内部结构图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如背景技术所述，鉴于现有的传播用户预测方法，不能很好的实现对于社交网络标签的传播预测，而在标签-用户的传播影响关系和用户的历史标签偏好层面进行建模并预测网络标签传播的用户行为，对于社交网络事件标签的网络监测具有重要的应用意义。

为此，见图1，本发明的一种基于异质注意力网络的社交网络标签的传播预测方法，方法至少包括以下步骤：

步骤1：在社交网络媒体中，采集与关注社交网络事件相关的标签传播的级联数据、用户交互关系，标签传播的级联数据包括所有参与标签传播用户数据以及行为时间数据，用户交互关系包括参与标签传播的所有用户的好友关系以及交互关系；

步骤2：由采集的数据构造标签-用户异质影响关系图和用户时序偏好图，异质影响关系图的节点关系包含用户与用户的影响关系、用户与标签的影响关系、标签与标签的影响关系，用户时序偏好图的节点关系包含用户对于不同标签在时间上的偏好；

步骤3：建立基于用户偏好的异质时序注意力网络模型，异质时序注意力网络模型包括顺序设置的：

同质影响关系学习模块，同质影响关系学习模块包括多层的GCN模型，通过同质影响关系学习模块对标签-用户异质影响关系图在不同特征空间的节点表示进行学习，分别获得用户节点的嵌入表示和标签的嵌入表示，嵌入指把离散的数据投影到连续向量表达的过程，嵌入表示即得到的向量；

异质影响关系学习模块，异质影响关系学习模块采用多层的GAT网络，将异质的用户节点的嵌入表示和标签的嵌入表示进行融合与标签-用户异质影响关系图一起输入异质影响关系学习模块进行迭代，然后经异质影响关系学习模块投影到相同的特征空间，学习两种节点的关联，并获得异质用户节点的嵌入表示和异质标签的嵌入表示；

异质用户时序偏好学习模块，异质用户时序偏好学习模块包括：

时间表示单元，时间表示单元采用全局分层时间戳表示用户对标签产生行为的时间特征，通过时间表示单元将时间特征进行嵌入表示；

用户时序注意力学习单元，用于将通过异质影响关系学习模块得到异质用户节点的嵌入表示、异质标签的嵌入表示和时间表示单元得到的时间嵌入表示作为输入，通过用户时序注意力学习单元投影到可调参的注意力矩阵，获得带有背景知识的用户节点的嵌入表示；

特征融合模块，特征融合模块采用了多头注意力机制学习标签级联的嵌入表示；通过将带有背景知识的用户节点的嵌入表示作为输入，带入到标签传播级联中，并通过多头注意力机制学习用户之间的交互特点，并获得整个标签传播级联的表示矩阵，再通过MLP网络将标签传播级联的表示矩阵映射为标签级联向量表示；

标签传播预测模块，将获得的标签级联向量表示输入标签传播预测模块，输出候选用户的参与标签传播的概率；

使用交叉熵作为损失函数对基于用户偏好的异质时序注意力网络模型进行训练，得到训练好的基于用户偏好的异质时序注意力网络模型；

步骤4：将待预测用户和标签进行处理输入训练好的基于用户偏好的异质时序注意力网络模型，输出待预测用户参与标签传播的预测结果。

本发明针对标签传播级联用户预测任务，利用用户和标签的历史交互关系，并分析了用户对标签的兴趣偏好和时序行为的数据特征，以更准确的建模并预测标签传播路径上可能参与的用户。

本发明提出了一个名为基于用户偏好的异质时序注意力网络模型(UP-HTAN)的新模型，通过异质影响关系学习用户和标签之间的相互影响，传统的研究通过随机分布来初始化用户特征，这种冷启动方法可能带来的误差问题，然后应用异质时序注意力机制学习用户对标签在时间特征上的行为偏好和历史规律。

本发明利用了信息传播中时序、标签、用户自身的特征，针对标签的传播预测场景有更可靠的预测准确性，所以针对不同的场景，可以通过训练获得针对性不同的深度学习模型参数，更好的预测网络标签传播的用户行为的问题。

本发明提供的方法可以用于在线舆情事件分析，数据挖掘领域，尤其可以用于监测语义较为集中的事件的预测与监管，例如社会问题，司法问题，民生问题等，也可用于企业的网络信息监管，预测企业关注的标签的传播可能得路径，以辅助传播引流或阻断工作。

具体在本发明的一个实施例中，在步骤1中，在标签传播的级联数据的采集过程中，以网络标签为数据源，采集所有参与标签h传播用户的u

其中，c

在本发明的一个实施例中，在步骤2中，由采集的数据构造标签-用户异质影响关系图和用户时序偏好图，异质影响关系图的节点关系包含用户与用户的影响关系、用户与标签的影响关系、标签与标签的影响关系，用户时序偏好图的节点关系包含用户对于不同标签在时间上的外部偏好；

实施例中，构造标签-用户异质影响关系图，具体如下执行：

构造标签-用户异质影响关系图

其中节点集合

实施例在步骤2中，构造用户时序偏好图，具体如下执行：

构造用户时序偏好图

每个用户-时间-标签三元组(u，t，h)表征用户u针对标签h在时序t上的历史传播行为。

实施例在步骤3中，构建了基于用户偏好的异质时序注意力网络模型，具体来说，异质时序注意力网络模型包括顺序设置的：同质影响关系学习模块、异质影响关系学习模块、异质用户时序偏好学习模块、特征融合模块、标签传播预测模块。

首先在同质影响关系学习模块，考虑到用户节点和标签节点具备不同的特征空间，首先根据同质节点的关系学习用户节点和标签节点的嵌入表示，然后将特征矩阵组合后，再通过GAT方法投影到相同的特征空间。

标签-用户异质影响关系图中同质节点网络包括：用户-用户关系网络

其中，σ表示Relu激活函数，

同样的，对于标签关系图

为了学习异质节点间不同的影响，本发明的基于用户偏好的异质时序注意力网络模型通过异质影响关系学习模块，将异质节点嵌入到同一向量空间中，异质影响关系学习模块使用图注意力网络学习(GAT)来计算不同类型节点之间的影响程度。

将异质的用户节点的嵌入表示

其中

当采用GAT网络完成L次迭代后，得到：

其中，

和/>

为了更好的捕获用户对于不同标签在时序上的偏好选择，受图注意力机制的启发，在异质时序注意力网络模型的用户时序偏好学习模块中，模型设计了基于注意力机制的时序感知嵌入层的深度学习方法，用以学习用户-标签时间关系图中用户对标签的偏好的注意力表示。使用用户嵌入、其感兴趣标签的嵌入以及时序关系的嵌入三种表示作为背景知识投影到具有参数化的注意力矩阵的特定表示。具体的，模型改进了传统的GAT算法，该机制融合了二部图中用户对时序边以及标签的注意力聚合关系，以建立不同用户对于标签的兴趣偏好的机制，最终生成带有背景知识的用户节点的嵌入表示。

实施例的在异质用户时序偏好学习模块的时间表示单元中，考虑到用户在传播过程中行为时间特征，传统的序列位置信息不足以描述用户的发文时间偏好，异质用户时序偏好学习模块采用全局分层时间戳(秒，分，时，日，周)来表示用户对标签产生行为的时间特征，表示为：

t′

其中，[s，m，h，d，w]的五个指标分别代表时间戳t所在的秒/分/时/日/周，并将这些指标归一化到[-0.5，0.5]的数值区间中，表示不同时间粒度的偏移量，值得注意的是，选择以一周为最粗粒度的原因在于最长的用户潜在周期的粒度为“周”，以此表示用户在全局时间戳上的行为时序特征；为了将全局时间特征映射到统一的空间，使用一层MLP网络对时间特征进行d维度空间的映射，表示为：

t

其中，W表示可训练权重，b表示偏移量，σ表示激活函数。

为了更好的表示用户在传播时序过程中的兴趣偏好的相关性，在模型的用户时序偏好学习模块的用户时序注意力学习单元中，将用户在标签和时间特征上的背景知识投影到具有可调参的注意力矩阵中。

在用户时序注意力学习单元中，首先将用户和标签的嵌入表示进行拼接，然后结合参数矩阵和时间特征的投影反映用户和标签关系在时序上的相关性，并通过注意力机制学习用户对标签的偏好表示，最终生成带有背景知识的用户的嵌入表示，具体形式化如下：

/>

其中，

实施例在在特征融合模块中，对于标签传播级联c

其中，

式中的t

t

t

其中j∈{1，…，|d/2|}，|c

式中的Mask表示掩码矩阵，式中加入了掩码矩阵Mask屏蔽未来的节点，形式化如下：

整个标签传播级联的表示矩阵表示为：

其中，W

将整个标签传播级联的表示矩阵C

X

其中，W，W′是可以训练的参数矩阵，b

实施例中，在标签传播预测模块中，对传播级联序列进行预测，当给定可观测的传播级联序列

针对最后传播序列的用户预测，标签传播预测模块计算用户参与标签的传播概率

其中W是可训练的参数矩阵，该矩阵将序列X

其中θ表示基于用户偏好的异质时序注意力网络模型中所有可训练的参数，如果用户u

实施例中，在标签传播预测模块中预测的传播概率

随着深度学习技术的不断进步，信息传播用户预测研究中，预测谁会成为级联下一个用户的任务性能不断提升。目前，大多任务针对传统的信息项(例如某条推文，某张图片等)展开，并使用深度学习方法来捕捉用户之间的依赖关系，但网络标签的传播不可观测，用户可直接在推文中添加标签即可造成传播，无法从数据流中确定造成用户的上一级来源是谁，因此很难捕获到真实的传播级联图。并且现有的传播用户预测方法大多建立在用户之间的影响关系的基础上，例如使用朋友关系作为底层的传播网络。但真实的标签传播场景中，用户发表标签/转发标签时，不仅是受到上一级用户的影响，还有诱因在于对标签本身偏好的影响。基于此，本实施提出了一种基于用户偏好的异质时序注意力网络模型(UP-HTAN)。具体来说，通过异质图神经网络建模标签和用户之间的影响关系，对标签和用户之间的相互依赖进行表示学习。其次，提出异质时序注意力机制，完成用户对标签在时序上的偏好的建模，并通过这些模型获得的用户表示驱动到真实的标签传播级联中以更准确的预测网络标签传播的用户行为。

这样的架构具有两个优势：

(1)更细粒度的建模分析能力。本发明针对热点标签的传播态势进行分析，通过构造关注标签的用户传播数据，抽取用户对标签的偏好特征，对用户关系以及用户的偏好进行细粒度的建模，更充分的学习用户特点，为更准确的预测标签传播级联用户提供支持。

(1)更准确的模型预测能力。本发明考虑了用户-标签节点的影响关系和用户对标签内容的偏好两个因素，通过构造用户节点和标签节点共存的异质影响网络，并使用图神经网络捕捉两种节点之间的影响关系，然后利用异质时序注意力机制学习用户对标签在时间特征上的行为偏好和历史规律。以更准确的捕获用户和标签之间的潜在关联。在4个真实的传播数据集上的实验结果表明，提出的模型在标签传播的用户预测任务中，比最先进的基线方法MS-HGAT模型(论文题目：MS-HGAT：Memory-Enhanced Sequential HypergraphAttention Network for Information Diffusion Prediction)，该工作建立在同质用户分析的基础上，没有考虑标签和用户的异质交互关系，因此本发明的UP-HTAN模型具备更优秀的预测性能，预测指标Hits@100和MAP100指标平均提高了9.12％，7.45％。具体如表1所示。

表1

UP-HTAN预测任务对比实验结果-Hits@指标

基于级联的深度学习模型

UP-HTAN预测任务对比实验结果-MAP@指标

在本发明的实施例中，还提供了一种计算机装置，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如上述的基于异质注意力网络的社交网络标签的传播预测方法。

该计算机装置可以是终端，其内部结构图可以如图3所示。该计算机装置包括通过总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机装置的处理器用于提供计算和控制能力。该计算机装置的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机装置的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现基于异质注意力网络的社交网络标签的传播预测方法。该计算机装置的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机装置的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机装置外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

存储器可以是，但不限于，随机存取存储器(Random Access Memory，简称：RAM)，只读存储器(Read Only Memory，简称：ROM)，可编程只读存储器(Programmable Read-OnlyMemory，简称：PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，简称：EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，简称：EEPROM)等。其中，存储器用于存储程序，处理器在接收到执行指令后，执行程序。

处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称：CPU)、网络处理器(NetworkProcessor，简称：NP)等。该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机装置的限定，具体的计算机装置可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在本发明的实施例中，还提供了一种计算机可读存储介质，其上存储有程序，其特征在于：程序被处理器执行时实现如上述的基于异质注意力网络的社交网络标签的传播预测方法。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、计算机装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、计算机装置、或计算机程序产品的流程图和/或框图来描述的。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图和/或中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图中指定的功能。

以上对本发明所提供的基于异质注意力网络的社交网络标签的传播预测方法、计算机装置、计算机可读存储介质的应用进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。