基于信息扩散预测的交互网络中交互关系的提取方法

技术领域

本发明属于信息扩散预测技术领域，尤其涉及基于信息扩散预测的交互网络中交互关系的提取方法。

背景技术

信息扩散预测任务旨在给定一组初始种子用户的情况下预测交互网络中后续受影响的用户。在过去的几年中，人们对该领域进行了广泛的研究。

一般来说，主流的信息扩散预测方法可以大致分为预定义传播方法、概率生成方法和表示学习方法。一些预定义传播方法，例如独立级联(IC)模型和线性阈值(LT)模型，可以学习所有交互链接的扩散概率。还有方法将信息扩散视为时域中的一系列事件。尽管这些方法具有一定的效果，但由于它们依赖于预定义的传播假设，因此在分析现实世界信息级联的能力方面存在局限性。概率生成方法主要依赖于特征工程，这需要手工制作的特征，例如角色和结构模式。此类方法需要手动工作和相应的领域知识，导致效率较低。

为了克服这些限制，研究人员提出了表示学习方法。先前的研究将信息级联视为动态序列，并使用循环神经网络(RNN)来预测后续受影响的用户。此外，一些方法认为静态用户交互网络在信息传播预测中发挥着重要的支持作用，因此设计了利用网络结构来辅助预测的策略。然而，这些方法仍然存在几个突出的问题。首先，它们未能有效地模拟静态用户交互依赖性和动态用户转发偏好之间的交互。其将静态用户交互表示直接合并到动态扩散表示中以获得最终的扩散表示，忽略了两种类型信号之间的相互作用，并产生不太令人满意的结果。其次，当前的研究直接对原始图上的静态用户交互依赖进行建模，但这不足以表征信息传播过程。例如，在现实世界的媒体平台中，一些用户由于共同的兴趣而转发陌生人的帖子，而他们在原始图中是不相邻的节点。图1进一步说明了上述问题，以便更好地理解。

图1是信息扩散预测的例子。给定一系列信息级联和底层交互网络，目标是预测下一个受感染的端用户。先前的解决方案同时使用交互网络和信息级联信息来进行预测。具体来说，它们利用Asher和James之间的交互关系来帮助预测James的转发。然而，它们的交互策略较为简单。

此外，从图1中的原始交互网络中可以看出，James和Henry没有直接关系，但Henry转发了James发送的信息，如信息级联所示。因此，以前仅考虑原始图结构的方法不足以对基于特征的扩散过程进行建模。

交互网络上信息传播的调查是研究人员的热门话题。已经确定了三个主要应用，包括底层交互网络推理、信息级联大小预测和信息扩散预测。在本发明中，重点关注信息扩散预测，即在给定一组初始活跃种子用户的情况下预测后续受影响的端用户。

早期的研究基于预定义的传播方法进行预测，然而这些方法依赖于预定义的传播假设，可能不适合现实世界的级联。另一方面，概率生成方法需要手动特征选择和相应的领域知识，导致效率低下。当前的研究工作中经常采用表示学习方法来提供端到端的解决方案。例如，Islam等人通过结合注意力机制和循环神经网络(RNN)，结合时间戳信息来预测未来被感染的节点。Yang等人利用卷积神经网络和基于两个启发式假设的注意力机制构建了一个模型。然而，这些方法仅关注级联，而忽略级联中未描述的用户交互关系。Yang等人通过结合GRU和结构上下文提取方法来增强预测能力。这使得信息级联建模和用户交互网络信息的利用成为可能。Sankar等人开发了一种变分自动编码器来对用户交互同质性进行建模，从而解释级联中未公开的交互联系。为了准确地建模用户扩散行为并增强对用户动态交互偏好的识别，Yuan等人和Sun等人结合交互网络和信息级联进行预测。前者为信息级联生成异构图，而后者构建顺序超图。

发明内容

当前的方法无法充分模拟静态用户交互依赖性和动态用户转发偏好之间的交互，也无法捕获交互网络中的隐式关系。对此，本发明的模型引入了对比学习和超图来解决上述问题。

为了解决上述问题，本发明提出了基于信息扩散预测的交互网络中交互关系的提取方法。首先，本发明通过使用静态端用户交互表示来模拟级联的动态扩散过程来构建静态级联表示，从而得到静态扩散表示，如图1右下角所示。然后，利用对比学习来明确地通过对比双状态(即静态和动态)扩散表示，对静态端用户交互依赖和动态用户转发偏好之间的交互进行建模，如图1中的弯曲双箭头所示。通过上述措施，特征充分挖掘端用户的交互依赖性以协助预测。

此外，本发明通过构建超图来识别在特征空间中位置相邻的端用户，即使这些端用户在原始图中没有链接。与边仅连接两个节点的普通图不同，超边链接超图中任意数量的节点，因此能够表示多个节点之间的高阶相关性。如图1所示，超边(多边形)连接三个端用户，即James、Joy和Henry。因此，利用超边可以发现James和Henry之间的隐式关系，从而有助于预测。

具体地，本发明第一方面公开的交互网络的用户及级联的交互特征提取方法，包括以下步骤：

输入网络G

通过超图学习端用户之间的隐式邻居关系；

通过顺序超图学习端用户与级联之间的交互；

构建静态扩散表示以提供更全面的预测信号，并引入对比学习来建模静态和动态扩散视图中端用户交互依赖与扩散行为之间的交互；

学习双状态视图中的交互特征并计算候选者的感染概率。

进一步地，所述通过超图学习端用户之间的隐式邻居关系，包括：

为了解释隐式邻居关系，构建超图来揭示端用户之间的高阶相关性；所述超图中的超边连接多个节点；构造的超图G

给定一个网络G

其中U

随后，利用KNN算法构建交互超图；由于每个端用户都可能成为扩散级联中的受感染端用户，因此单独计算所有端用户的k最近邻居以生成N个超边；为了提高计算效率，在每次迭代之前创建一次交互超图；

获取超图后，通过超图神经网络生成超边和节点的表示，然后获得静态扩散表示。

进一步地，给定一个超图G

其中，σ(·)是ReLU激活函数，W

获取超边表示后，通过合并节点v

其中σ(·)是ReLU激活函数，

为了减轻每次迭代之前构建超图所造成的准确性损失，对交互网络和超图的端用户表示进行加权融合，表示如下：

其中α是融合系数。

进一步地，所述使用静态扩散表示来表征静态端用户交互表示中包含的潜在扩散行为，包括：

通过模仿扩散级联生成静态级联表示

然后，将它们聚合以生成静态扩散表示

其中f

进一步地，所述通过顺序超图学习端用户与级联之间的交互，包括：

将信息级联划分为几个时间间隔并构建动态顺序超图；然后，通过每个超图中的交互式超图注意网络IHGAT深入了解端用户的扩散行为；

所述交互式超图注意力网络IHGAT首先应用HGAT在每个时间间隔生成端用户表示

其中，h

按时间顺序连接多个IHGAT以学习不同时间间隔内的特征交互：

其中，f

在获得每个时间间隔内的节点和超边的表示后，从多个时间间隔中提取端用户和级联表示；为了防止信息泄漏，从端用户参与级联之前的时间间隔中提取端用户表示；随后，引入GRU来学习端用户和级联表示之间的长期交互；最后，将端用户的表示和超边组合起来获得动态扩散表示

其中

进一步地，所述构建静态扩散表示以提供更全面的预测信号，并引入对比学习来建模静态和动态扩散视图中端用户交互依赖与扩散行为之间的交互，包括：

为了增强用户交互依赖性和扩散行为之间的相互作用，使用一个对比目标来区分静态扩散视图和动态扩散视图下的扩散表示：

给定一个端用户集v

其中，θ(·)表示衡量相似性的评分函数，l

最后，整体对比损失如下：

M为扩散级联数量。

进一步地，所述学习双状态视图中的交互特征并计算候选者的感染概率，包括：

为了分别捕获静态和动态信息级联中的特征交互，应用了多头自注意力模块；

给定静态扩散嵌入

随后，计算静态注意力头，表示为：

其中W

为了获得包含两种状态的扩散特征的表示，通过以下方式将它们组合起来：

其中λ为加权系数；

最后，计算用户的扩散概率

其中W

为了进行预测，使用交叉熵损失函数作为目标函数，形式如下：

总体目标函数分为两个部分：交叉熵损失和对比学习损失：

L＝L

其中β是用于平衡上述两个目标函数的可调整超参数。

本发明第二方面公开的交互网络的用户及级联的交互特征提取设备，包括：

输入模块：输入网络G

端用户隐式交互依赖学习模块：通过超图学习端用户之间的隐式邻居关系；

端用户动态扩散行为学习模块：通过顺序超图学习端用户与级联之间的交互；

双态对比学习模块：构建静态扩散表示以提供更全面的预测信号，并引入对比学习来建模静态和动态扩散视图中端用户交互依赖与扩散行为之间的交互；

双态交互和预测模块：学习双状态视图中的交互特征并计算候选者的感染概率；

输出模块：预测并输出用户v

本发明的有益技术效果如下：

这是本技术领域首次尝试使用对比学习，通过对端用户交互依赖和传播行为之间的交互进行建模来改进信息传播预测。

本发明使用端用户交互嵌入构建静态级联表示，它补充了动态扩散表示，并且双状态嵌入为预测扩散提供了更全面的信号；

本发明引入超图来对交互网络中隐含的交互依赖进行建模，从而可以捕获端用户之间的高阶相关性，并最终提高预测的准确性。

附图说明

图1信息扩散预测的示例图；

图2本发明的框架图。

具体实施方式

下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。

本发明主要研究信息扩散预测的任务，目的是在给定一组初始激活端用户的情况下预测随后将受到影响的用户。下面，我们提供交互网络和扩散级联的定义。

交互网络：交互网络被表示为G

扩散级联：扩散级联由一系列按时间升序排列的端用户激活组成，称为

信息扩散预测：给定一个交互网络G

本小节将详细介绍双状态超图对比学习模型(DSHCL)。DSHCL的整体架构如图2所示，主要分为四个部分：(1)端用户隐式交互依赖学习模块，通过超图学习端用户之间的隐式邻居关系；(2)端用户动态扩散行为学习模块，通过顺序超图学习端用户与级联之间的交互；(3)双态对比学习模块，构建静态扩散表示以提供更全面的预测信号，并引入对比学习来建模静态和动态扩散视图中端用户交互依赖与扩散行为之间的交互；(4)双态交互和预测模块，学习双状态视图中的交互特征并计算候选者的感染概率。下面详细介绍该模型的每个子模块。(1)端用户隐式交互依赖学习

直观上，端用户很有可能会转发其它端用户的消息，并且如果端用户喜欢某些端用户发布的信息，通常会关注这些端用户。因此，交互网络内的交互关系可以帮助预测端用户是否会转发消息。为此，大多数先前的方法都对交互网络中的显式邻居关系进行建模，而忽略了隐式关系。

为了解释隐式邻居关系，本发明构建一个超图，揭示端用户之间的高阶相关性。超图与普通图不同，超边可以连接多个节点。本发明将构造的超图定义为G

给定一个交互网络G

其中U

随后，本发明利用KNN算法构建交互超图。由于每个端用户都可能成为扩散级联中的受感染端用户，因此本发明单独计算所有用户的k最近邻居以生成N个超边。为了提高计算效率，在每次迭代之前创建一次交互超图。

获取超图后，通过超图神经网络(HNN)生成超边和节点的表示，然后获得静态扩散表示。

超边级聚合。给定一个交互超图G

其中，σ(·)是ReLU激活函数，

节点级聚合。获取超边表示后，通过合并节点v

其中σ(·)是ReLU激活函数，

为了减轻每次迭代之前构建超图所造成的准确性损失，本发明对交互网络和交互超图的端用户表示进行加权融合，表示如下：

其中α是融合系数，本发明设置α＜0.1以最大限度地保留超图中获得的用户表示。

静态扩散表示生成。级联中的端用户扩散行为反映了他们的动态转发偏好。相应地，使用静态扩散表示来表征静态端用户交互表示中包含的潜在扩散行为，这可以对动态扩散表示进行补充。具体来说，基于静态用户交互表示，本发明通过模仿扩散级联生成静态级联表示

其中f

(2)端用户动态扩散行为学习

端用户的交互表征无法准确地描绘他们的动态偏好，而这些动态偏好可以通过信息级联来捕获。本发明将信息级联划分为几个时间间隔并构建动态顺序超图。然后，通过每个超图中的交互式超图注意网络(IHGAT)深入了解用户的扩散行为。

交互式超图注意力网络(IHGAT)。首先应用HGAT网络(Hierarchical GraphAttention Network)在每个时间间隔生成端用户表示

其中，h

顺序超图之间的交互。由于IHGAT只能学习每个时间间隔内的短期特征交互，因此本发明按时间顺序连接多个IHGAT以学习不同时间间隔内的特征交互：

其中

动态扩散表示。在获得每个时间间隔内的节点和超边的表示后，从多个时间间隔中提取端用户和级联表示。为了防止信息泄漏，从用户参与级联之前的时间间隔中提取端用户表示。例如，如果用户v

其中

且

(3)双态对比学习

为了增强端用户交互依赖性和扩散行为之间的相互作用，使用一个对比目标来区分静态扩散视图和动态扩散视图下的扩散表示。给定一个用户集v

其中，θ(·)表示衡量相似性的评分函数，l

M为扩散级联数量。

(4)双态交互与预测

为了分别捕获静态和动态信息级联中的特征交互，本发明应用了多头自注意力模块。为了分别捕获静态和动态信息级联中的特征交互，应用了多头自注意力模块；

给定静态扩散嵌入

随后，计算静态注意力头，表示为：

其中W

为了获得包含两种状态的扩散特征的表示，通过以下方式将它们组合起来：

其中λ为加权系数；

最后，计算用户的扩散概率

其中W

为了进行预测，使用交叉熵损失函数作为目标函数，形式如下：

总体目标函数分为两个部分：交叉熵损失和对比学习损失：

L＝L

其中β是用于平衡上述两个目标函数的可调整超参数。

本发明的有益技术效果如下：

本发明提出了一种交互网络的用户及级联的交互特征提取方法。通过引入对比学习并构建静态级联表示来形成静态扩散表示，不仅可以增强端用户依赖性和扩散行为之间的交互作用，而且可以提供更全面的预测信号。此外，构建端用户交互超图可以捕获用户之间的隐式邻居关系。最后，通过实现顺序IHGAT和多头自注意力机制以及上述方法，本发明可以从端用户-端用户、级联-级联和端用户-级联的角度有效地捕获特征交互。

本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。

而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。

本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。

综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。