图表征增强模型训练方法、图表征方法及装置
文献发布时间:2024-04-18 19:58:26
技术领域
本说明书实施例通常涉及人工智能领域,尤其涉及图表征增强模型训练方法、图表征方法及装置。
背景技术
由于图神经网络(Graph Convolution Networks,GNN)在图表征学习时可以很好地利用高阶邻域关系,由此学习出准确的图表征,从而使得图神经网络被广泛地应用于比如推荐系统的各种图表征应用场景中。然而,这些基于图神经网络的图表征方法没有考虑长尾图中的头部节点和尾部节点之间的巨大差异,从而导致在长尾图的应用场景下所生成的图节点表征分布不均匀。
发明内容
本说明书实施例提供图表征增强模型训练方法、图表征方法及装置。利用该图表征增强模型训练方法及装置,通过对原始长尾图中的真头部节点进行邻域剪枝来生成伪尾部节点,并且使用伪尾部节点和原始长尾图中的对应真头部节点来训练用于预测节点的邻域缺失信息的图表征增强模型,可以使得所训练出的图表征增强模型在应用时可以基于尾部节点的中心节点信息和可观测邻居节点的邻居节点信息来预测尾部节点的邻域缺失信息,而不是基于尾部节点的中心节点信息来进行邻域缺失信息预测,从而使得所预测出的邻域缺失信息不受可观测邻居节点信息的限制,由此提升邻域缺失信息预测精度,进而提升尾部节点表征增强效果。
根据本说明书实施例的一个方面,提供一种图表征增强模型训练方法,包括:基于原始长尾图构建稀疏图,所述稀疏图包括真尾部节点和伪尾部节点,所述伪尾部节点通过对所述原始长尾图中的真头部节点进行邻域剪枝生成;使用图表征增强模型来对所述稀疏图中的各个节点进行图表征增强以得到各个节点的增强节点表征,各个节点的增强节点表征基于增强稀疏图学习出,所述增强稀疏图通过为所述稀疏图中的各个节点增强邻域缺失信息得到,各个节点的邻域缺失信息通过所述图表征增强模型来基于该节点的中心节点表征和邻居节点表征预测出;根据所述伪尾部节点的增强节点表征以及所述原始长尾图中的对应真头部节点的节点表征,确定邻域信息预测损失函数;以及基于所述邻域信息预测损失函数,调整所述图表征增强模型的模型参数。
可选地,在上述方面的一个示例中,所述图表征增强模型包括单层图表征增强模型。使用图表征增强模型来对所述稀疏图中的各个节点进行图表征增强可以包括:使用图表征增强模型来基于所述稀疏图中的各个节点的初始中心节点表征和初始邻居节点表征预测各个节点的邻域缺失信息,所预测出的各个节点的邻域缺失信息作为所述增强稀疏图中的各个节点的伪邻居节点的初始节点表征;以及使用图神经网络模型来基于所述增强稀疏图进行图学习,以学习出各个节点的增强节点表征。
可选地,在上述方面的一个示例中,所述图表征增强模型包括多层图表征增强模型。使用图表征增强模型来对所述稀疏图中的各个节点进行图表征增强可以包括:循环执行下述过程,直到得到所述稀疏图中的各个节点的增强节点表征:使用当前图表征增强模型来基于所述稀疏图中的各个节点的当前中心节点表征和当前邻居节点表征预测各个节点的当前邻域缺失信息,所预测出的各个节点的邻域缺失信息作为所述增强稀疏图中的各个节点的伪邻居节点的当前节点表征;以及使用图神经网络模型来基于所述增强稀疏图进行图学习,以学习出各个节点的当前增强节点表征。
可选地,在上述方面的一个示例中,所述图表征增强模型训练方法还可以包括:使用头部节点生成对抗网络来执行头部节点生成对抗任务,并根据头部节点生成任务执行结果确定头部节点对抗损失函数。相应地,基于所述邻域信息预测损失函数,调整所述图表征增强模型的模型参数可以包括:基于所述邻域信息预测损失函数和所述头部节点对抗损失函数,调整所述图表征增强模型的模型参数。
可选地,在上述方面的一个示例中,所述图表征增强模型训练方法还可以包括:使用所述稀疏图中的各个节点的增强节点表征执行下游任务并基于下游任务执行结果确定下游任务损失函数。相应地,基于所述邻域信息预测损失函数,调整所述图表征增强模型的模型参数可以包括:基于所述邻域信息预测损失函数和所述下游任务损失函数,调整所述图表征增强模型的模型参数。
可选地,在上述方面的一个示例中,所述图表征增强模型训练方法还可以包括:基于所述稀疏图中的各个节点的增强节点表征执行对比学习任务并基于对比学习任务执行结果确定对比学习任务损失函数。相应地,基于所述邻域信息预测损失函数,调整所述图表征增强模型的模型参数可以包括:基于所述邻域信息预测损失函数和所述对比学习任务损失函数,调整所述图表征增强模型的模型参数。
可选地,在上述方面的一个示例中,基于原始长尾图构建稀疏图可以包括:使用自适应采样模型来基于原始长尾图构建稀疏图。
可选地,在上述方面的一个示例中,所述图表征增强模型训练方法还可以包括:使用尾部节点生成对抗网络来执行尾部节点生成对抗任务,并根据尾部节点生成对抗任务执行结果确定尾部节点对抗损失函数;以及基于所述尾部节点对抗损失函数调整所述自适应采样模型的模型参数。
可选地,在上述方面的一个示例中,所述原始长尾图可以包括用户-物品交互图。
根据本说明书的实施例的另一方面,提供一种用于长尾图的图表征方法,包括:将待表征长尾图中的头部节点提供给图神经网络模型来进行图学习,以学习出所述头部节点的节点表征;以及使用图表征增强模型来对所述待表征长尾图中的尾部节点进行图表征增强以得到所述尾部节点的节点表征,各个尾部节点的节点表征基于增强长尾图学习出,所述增强长尾图通过为所述待表征长尾图的各个尾部节点增强邻域缺失信息得到,各个尾部节点的邻域缺失信息通过所述图表征增强模型来基于该尾部节点的中心节点表征和邻居节点表征预测出。
根据本说明书的实施例的另一方面,提供一种物品推荐方法,包括:将用户-物品交互图中的头部节点提供给图神经网络模型来进行图学习,以学习出所述头部节点的节点表征,所述头部节点包括头部用户节点和头部物品节点;使用图表征增强模型来对所述用户-物品交互图中的尾部节点进行图表征增强以得到所述尾部节点的节点表征,各个尾部节点的节点表征基于增强用户-物品交互图学习出,所述增强用户-物品交互图通过为所述用户-物品交互中的各个尾部节点增强邻域缺失信息得到,各个尾部节点的邻域缺失信息通过所述图表征增强模型来基于该尾部节点的中心节点表征和邻居节点表征预测出,所述尾部节点包括用户尾部节点和物品尾部节点;以及根据所述用户-物品交互图中的目标用户和候选物品的节点表征进行物品推荐决策。
根据本说明书的实施例的另一方面,提供一种图表征增强模型训练装置,包括:稀疏图构建单元,基于原始长尾图构建稀疏图,所述稀疏图包括真尾部节点和伪尾部节点,所述伪尾部节点通过对所述原始长尾图中的真头部节点进行邻域剪枝生成;图表征增强单元,使用图表征增强模型来对所述稀疏图中的各个节点进行图表征增强以得到各个节点的增强节点表征,各个节点的增强节点表征基于增强稀疏图学习出,所述增强稀疏图通过为所述稀疏图中的各个节点增强邻域缺失信息得到,各个节点的邻域缺失信息通过所述图表征增强模型来基于该节点的中心节点表征和邻居节点表征预测出;第一损失函数确定单元,根据所述伪尾部节点的增强节点表征以及所述原始长尾图中的对应真头部节点的节点表征确定邻域信息预测损失函数;以及第一模型调整单元,基于所述邻域信息预测损失函数调整所述图表征增强模型的模型参数。
可选地,在上述方面的一个示例中,所述图表征增强模型包括单层图表征增强模型。所述图表征增强单元包括:邻域缺失信息预测模块,使用图表征增强模型来基于所述稀疏图中的各个节点的初始中心节点表征和初始邻居节点表征预测各个节点的邻域缺失信息,所预测出的各个节点的邻域缺失信息作为所述增强稀疏图中的各个节点的伪邻居节点的初始节点表征;图学习模块,使用图神经网络模型来基于所述增强稀疏图进行图学习,以学习出各个节点的增强节点表征。
可选地,在上述方面的一个示例中,所述图表征增强模型包括多层图表征增强模型。所述图表征增强单元包括:邻域缺失信息预测模块,使用当前图表征增强模型来基于所述稀疏图中的各个节点的当前中心节点表征和当前邻居节点表征预测各个节点的当前邻域缺失信息,所预测出的各个节点的邻域缺失信息作为所述增强稀疏图中的各个节点的伪邻居节点的当前节点表征;以及图学习模块,使用图神经网络模型来基于所述增强稀疏图进行图学习,以学习出各个节点的当前增强节点表征。
可选地,在上述方面的一个示例中,所述图表征模型训练装置还可以包括头部节点生成对抗任务执行单元,使用头部节点生成对抗网络来执行头部节点生成对抗任务。相应地,所述第一损失函数确定单元进一步根据头部节点生成对抗任务执行结果确定头部节点对抗损失函数,以及所述第一模型参数调整单元基于所述邻域信息预测损失函数和所述头部节点对抗损失函数,调整所述图表征增强模型的模型参数。
可选地,在上述方面的一个示例中,所述图表征增强模型训练装置还可以包括:下游任务执行单元,使用所述稀疏图中的各个节点的增强节点表征执行下游任务。所述第一损失函数确定单元进一步基于下游任务执行结果确定下游任务损失函数,以及所述第一模型参数调整单元基于所述邻域信息预测损失函数和所述下游任务损失函数,调整所述图表征增强模型的模型参数。
可选地,在上述方面的一个示例中,所述图表征增强模型训练装置还可以包括:对比学习任务执行单元,基于所述稀疏图中的各个节点的增强节点表征执行对比学习任务。所述第一损失函数确定单元进一步基于对比学习任务执行结果确定对比学习任务损失函数,以及所述第一模型参数调整单元基于所述邻域信息预测损失函数和所述对比学习任务损失函数,调整所述图表征增强模型的模型参数。
可选地,在上述方面的一个示例中,所述稀疏图构建单元使用自适应采样模型来基于原始长尾图构建稀疏图。
可选地,在上述方面的一个示例中,所述图表征增强模型训练装置还可以包括:尾部节点生成对抗任务执行单元,使用尾部节点生成对抗网络来执行尾部节点生成对抗任务;第二损失函数确定单元,根据尾部节点生成对抗任务执行结果确定尾部节点对抗损失函数;以及第二模型参数调整单元,基于所述尾部节点对抗损失函数调整所述自适应采样模型的模型参数。
根据本说明书的实施例的另一方面,提供一种用于长尾图的图表征装置,包括:头部节点表征单元,将待表征长尾图中的头部节点提供给图神经网络模型来进行图学习,以学习出所述头部节点的节点表征;以及尾部节点表征单元,使用图表征增强模型来对所述待表征长尾图中的尾部节点进行图表征增强以得到所述尾部节点的节点表征,各个尾部节点的节点表征基于增强长尾图学习出,所述增强长尾图通过为所述待表征长尾图中的各个尾部节点增强邻域缺失信息得到,各个尾部节点的邻域缺失信息通过所述图表征增强模型来基于该尾部节点的中心节点表征和邻居节点表征预测出。
根据本说明书的实施例的另一方面,提供一种图表征增强模型训练装置,包括:至少一个处理器;与所述至少一个处理器耦合的存储器;以及存储在所述存储器中的计算机程序,所述至少一个处理器执行所述计算机程序来实现如上所述的图表征增强模型训练方法。
根据本说明书的实施例的另一方面,提供一种用于长尾图的图表征装置,包括:至少一个处理器;与所述至少一个处理器耦合的存储器;以及存储在所述存储器中的计算机程序,所述至少一个处理器执行所述计算机程序来实现如上所述的用于长尾图的图表征方法。
附图说明
通过参照下面的附图,可以实现对于本说明书内容的本质和优点的进一步理解。在附图中,类似组件或特征可以具有相同的附图标记。
图1A和图1B示出了用户-物品交互图中的头部节点和尾部节点的示例示意图。
图2示出了尾部节点结构信息增强方案的示例示意图。
图3示出了根据本说明书的实施例的长尾图表征增强方案的应用架构的示例示意图。
图4示出了根据本说明书的实施例的图表征增强模型训练方法的示例流程图。
图5示出了根据本说明书的实施例的稀疏图构建过程的示例流程图。
图6示出了根据本说明书的实施例的稀疏图构建过程的示例示意图。
图7A和图7B示出了根据本说明书的实施例的图表征增强模型的示例架构图。
图8示出了根据本说明书的实施例的图表征增强过程的示例流程图。
图9示出了根据本说明书的实施例的图表征增强过程的示例示意图。
图10示出了根据本说明书的实施例的图表征增强过程的另一示例流程图。
图11示出了根据本说明书的实施例的图表征增强过程的另一示例示意图。
图12示出了根据本说明书的实施例的图表征增强模型训练过程的示例示意图。
图13示出了根据本说明书的实施例的用于长尾图的图表征方法的示例流程图。
图14示出了根据本说明书的实施例的物品推荐方法的示例流程图。
图15示出了根据本说明书的实施例的图表征增强模型训练装置的示例方框图。
图16示出了根据本说明书的实施例的图表征增强单元的示例方框图。
图17示出了根据本说明书的实施例的图表征装置的示例方框图。
图18示出了根据本说明书的实施例的物品推荐装置的示例方框图。
图19示出了根据本说明书的实施例的基于计算机系统实现的图表征增强模型训练装置的示例示意图。
图20示出了根据本说明书的实施例的基于计算机系统实现的图表征装置的示例示意图。
图21示出了根据本说明书的实施例的基于计算机系统实现的物品推荐装置的示例示意图。
具体实施方式
现在将参考示例实施方式讨论本文描述的主题。应该理解,讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题,并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书内容的保护范围的情况下,对所讨论的元素的功能和排列进行改变。各个示例可以根据需要,省略、替代或者添加各种过程或组件。例如,所描述的方法可以按照与所描述的顺序不同的顺序来执行,以及各个步骤可以被添加、省略或者组合。另外,相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的,术语“包括”及其变型表示开放的术语,含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义,无论是明确的还是隐含的。除非上下文中明确地指明,否则一个术语的定义在整个说明书中是一致的。
本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解,流程图的操作可以不按顺序实现。相反,操作可以以反转顺序或同时实现。此外,可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
推荐系统被广泛地应用于各种在线服务场景来进行物品推荐,比如,电商服务场景、在线广告等。在本说明书中,术语“物品”用于指代可以提供或推荐给用户的任何对象,比如,商品、广告、图片、应用小程序、应用服务、比如长/短音/视频、影视节目等的内容等。在进行物品推荐时,可以根据可观测的用户-物品交互信息(比如,点击、转化等)来表示用户表征(embedding)和物品表征,随后基于用户表征和物品表征来进行物品推荐预测,并根据物品推荐预测结果来进行物品推荐。
基于图神经网络的推荐方案将用户-物品交互数据表示为用户-物品交互图,并且迭代地传播邻域信息(例如,高阶邻域信息)来高效地学习出高准确度的用户表征和物品表征,从而提升物品推荐精度。
然而,这种基于图神经网络的推荐方案在进行图表征学习时依赖于节点的丰富图结构信息,而现实世界中的图结构在节点度数上呈现幂律分布(即,长尾分布),即,少部分节点具有较多的邻居节点,进而具有丰富的邻域信息,而大部分节点具有较少的邻居节点,所具有的邻域信息也相应较少。具有较多邻居节点的节点被称为头部节点,而具有较少邻居节点的节点被称为尾部节点。图1A和图1B分布示出了用户-物品交互图中的头部节点和尾部节点的示例示意图。具有长尾分布的图结构可以称为长尾图。长尾图中的头部节点和尾部节点之间的这种结构信息差异性,使得尾部节点相较于头部节点具有较差的图节点表征效果。
为此,本说明书的实施例提出了考虑长尾图中的长尾分布的长尾图表征方案。在该长尾图表征方案中,建模用于预测尾部节点的邻域缺失信息的图表征增强模型,并且使用通过对长尾图的头部节点进行邻域信息剪枝得到的伪尾部节点作为训练样本来训练图表征增强模型。随后,使用所训练出的图表征增强模型来预测尾部节点的邻域缺失信息,并利用所预测出的邻域缺失信息作为尾部节点的缺失邻域结构信息来对长尾图进行图结构信息增强。图2示出了尾部节点结构信息增强方案的示例示意图。在如上进行图结构信息增强后,在经过图结构信息增强后的长尾图的基础上进行图表征学习,由此缓解长尾图结构中的头部节点和尾部节点之间的结构信息差异性,增强尾部节点的图节点表征效果。此外,由于所训练出的图表征增强模型可以基于尾部节点的中心节点信息和可观测邻居节点的邻域信息,从而使得所预测出的邻域缺失信息不受可观测邻居节点信息的限制,由此提升邻域缺失信息预测精度,进而提升尾部节点表征增强效果。
下面将结合附图详细描述根据本说明书的实施例的图表征增强模型训练方法、图表征方法、物品推荐方法及装置。
图3示出了根据本说明书的实施例的长尾图表征增强方案的应用架构300的示例示意图。
如图3所示,应用架构300包括图表征增强模型训练装置310、图表征增强模型存储装置320、图表征装置330和物品推荐装置340。图表征增强模型训练装置310、图表征增强模型存储装置320、图表征装置330和物品推荐装置340可以通过网络350相互通信来进行数据传输。在一些实施例中,网络350可以是有线网络或无线网络中的任意一种或多种。网络350的示例可以包括但不限于电缆网络、光纤网络、电信网络、企业内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络(ZigZee)、近场通讯(NFC)、设备内总线、设备内线路等或其任意组合。在一些实施例中,图表征增强模型训练装置310、图表征增强模型存储装置320、图表征装置330和物品推荐装置340中的部分或全部组件之间可以直接通信,而无需网络350。
图表征增强模型训练装置310根据长尾图数据训练用于预测长尾图中的尾部节点的邻域缺失信息的图表征增强模型。所训练出的图表征增强模型存储在图表征增强模型存储装置320中,以供下游设备使用,比如供图表征装置330进行图节点表征,或者供物品推荐装置340使用来进行物品推荐。要说明的是,下游设备还可以包括其它类型的图表征应用设备。
图表征装置330使用图表征增强模型来对长尾图中的尾部节点进行邻域缺失信息预测,并基于所预测的邻域缺失信息来对尾部节点进行图节点表征增强,由此提升长尾图中的尾部节点表征效果。物品推荐装置340使用图表征增强模型来对用户-物品交互图中的尾部节点进行图节点表征增强,并基于经过图节点表征增强后的用户和物品的节点表征来进行物品推荐。
可选地,在一些实施例中,图表征装置330和/或物品推荐装置340可以具有存储能力,由此所训练出的图表征增强模型可以存储在图表征装置330和/或物品推荐装置340的本地,从而无需图表征增强模型存储装置320。
图4示出了根据本说明书的实施例的图表征增强模型训练方法400的示例流程图。
如图4所示,在410,基于原始长尾图构建稀疏图,所构建出的稀疏图包括真尾部节点和伪尾部节点,并且伪尾部节点通过对原始长尾图中的真头部节点进行邻域剪枝生成。
原始长尾图是用于图表征增强模型训练的训练图数据,并且原始长尾图是基于各种应用场景下的真实应用数据生成的长尾图。真实应用数据可以被建模为二元图数据
例如,在物品推荐场景下,长尾图可以是基于用户-物品交互数据生成的用户-物品交互图。用户-物品交互图可以被建模为图数据
原始长尾图具有真头部节点(HN)和真尾部节点(TN)。在本说明书中,术语“真节点”用于指代基于真实数据生成的节点,而通过剪枝或增强处理得到的节点称为“伪节点”。例如,可以设定节点度阈值K,对于原始长尾图中的节点,如果该节点的节点度>K,则该节点为头部节点,如果该节点的节点度≤K,则该节点为尾部节点。这里,节点的节点度是指节点的邻居节点数。
在一些实施例中,可以通过对原始长尾图中的头部节点的邻居节点进行随机采样来生成伪尾部节点。例如,针对原始长尾图中的每个头部节点,可以从该头部节点的所有邻居节点中随机采样不多于K个邻居节点,并且剪枝未采样的邻居节点,由此生成对应的伪尾部节点。或者,从该头部节点的所有邻居节点中随机采样需要剪枝的邻居节点并进行剪枝(剪枝剩下的邻居节点的数目不多于K个),由此生成对应的伪尾部节点。
在一些实施例中,可以使用自适应采样模型来基于原始长尾图构建稀疏图。例如,针对原始长尾图中的每个头部节点,可以使用自适应采样模型来基于邻居节点的边权重进行邻域信息剪枝,由此生成对应的伪尾部节点。自适应采样模型具有可训练的采样机制,利用该可训练的采样机制可以最小化所构建的稀疏图中的伪尾部节点和原始长尾图中的真尾部节点之间的分布偏差。
图5示出了根据本说明书的实施例的稀疏图构建过程500的示例流程图。要说明的是,图5中示出的处理流程由自适应采样模型执行。
如图5所示,在510,确定原始长尾图中的每个头部节点所对应的伪尾部节点的节点度。例如,假设用于区分头部节点和尾部节点的节点度阈值为K,则对于所有头部节点,可以从数值范围[1,K]中随机采样各个头部节点i所对应的伪尾部节点的节点度k
在520,基于各个头部节点的边权重,对各个头部节点的邻居节点进行排序。
例如,可以按照公式(2)计算原始长尾图中的节点对之间的边权重矩阵S:
S=(H
其中,
在530,根据各个头部节点所对应的伪尾部节点的节点度以及各个头部节点的邻居节点排序结果,对各个头部节点进行邻域剪枝,由此构建稀疏图。
在如上进行邻域剪枝并构建稀疏图后,所得到的稀疏图的邻接矩阵
其中,δ是用于控制邻接矩阵
图6示出了根据本说明书的实施例的稀疏图构建过程的示例示意图。如图6所示,针对原始长尾图,计算出各个节点的邻居节点的边权重。随后,针对每个头部节点,基于所计算出的邻居节点对应的边权重以及所选择的伪尾部节点的节点度进行邻域剪枝,由此构建出对应的伪尾部节点。例如,可以将图中所示的头节点HN的边权重0.2和0.3所对应的邻居节点剪枝,由此构建出具有两个邻居节点的伪尾部节点PTN。
此外,可选地,还可以设置尾部节点生成对抗网络(也可以称为尾部节点生成对抗网络模型),所设置的尾部节点生成对抗网络包括第一生成器和第一鉴别器。第一生成器的目标在于可以基于伪尾部节点的节点表征和原始长尾图中的真尾部节点的节点表征,将这两类节点都分类为尾部节点。第一鉴别器的目标在于可以基于伪尾部节点的节点表征和原始长尾图中的真尾部节点的节点表征,将伪尾部节点与真尾部节点区分开。这里,伪尾部节点是通过对原始长尾图中的真头部节点进行邻域剪枝后得到的节点。
在这种情况下,可以使用尾部节点生成对抗网络来执行尾部节点生成对抗任务,即,分别使用第一生成器和第一鉴别器来基于稀疏图中的伪尾部节点的节点表征(即,未经过领域信息增强后得到的节点表征)以及原始长尾图中的真尾部节点的节点表征进行节点分类预测,并根据尾部节点生成对抗任务执行结果确定尾部节点对抗损失函数
例如,可以按照公式(4)确定尾部节点对抗损失函数
其中,CROSSENT(·)表示交叉熵函数,1(·)表示指示函数,f
鉴别器函数用于按照公式(5)确定节点是尾部节点的概率:
其中,LeakyReLU(·)是激活函数,σ(·)是Sigmoid函数,
在如上对自适应采样模型进行多轮训练后,可以使得所训练出的自适应采样模型所采样出的伪尾部节点更像原始长尾图中的真尾部节点。
回到图4,在如上构建出稀疏图后,在420,使用图表征增强模型来对稀疏图中的各个节点进行图表征增强以得到各个节点的增强节点表征,各个节点的增强节点表征基于增强稀疏图学习出,增强稀疏图通过为稀疏图中的各个节点增强邻域缺失信息得到,并且各个节点的邻域缺失信息通过图表征增强模型来基于该节点的中心节点表征和邻居节点表征预测出。
图7A和图7B示出了根据本说明书的实施例的图表征增强模型的示例架构图。在图7A的示例中,图表征增强模型被实现为单层图表征增强模型结构,即,包括单层图表征增强模型,以及在图7B的示例中,图表征增强模型被实现为多层图表征增强模型结构,例如,包括L层图表征增强模型。每个图表征增强模型例如可以被实现为具有多层感知机模型结构的知识迁移模型,即,多层感知机模型。
图8示出了根据本说明书的实施例的图表征增强过程800的示例流程图。在图8的示例中,图表征增强模型被实现为包括单层图表征增强模型。
如图8所示,在810,使用图表征增强模型来基于稀疏图中的各个节点的初始中心节点表征和初始邻居节点表征预测各个节点的邻域缺失信息。
例如,可以按照公式(6)预测稀疏图中的节点i的邻域缺失信息m
其中,f
在如上预测出各个节点的邻域缺失信息后,可以使用所预测出的邻域缺失信息来增强稀疏图,由此生成增强稀疏图。例如,可以为稀疏图中的每个节点增强一个伪邻居节点,并且将所预测出的各个节点的邻域缺失信息作为所增强的伪邻居节点的初始节点表征,由此生成增强稀疏图。
在820,使用图神经网络模型来基于增强稀疏图进行图学习,以学习出各个节点的增强节点表征。例如,可以按照本领域各种邻域信息聚合方案来将各个节点的邻居信息聚合到该节点上,由此完成基于增强稀疏图的图表征学习。例如,可以参考下面针对多层感知机模型描述的聚合方式进行邻居信息聚合。
图9示出了根据本说明书的实施例的图表征增强过程的示例示意图。
如图9所示,针对稀疏图中的各个节点(伪尾部节点PTN和真尾部节点TN),使用图表征增强模型来进行邻域缺失信息预测,并将所预测的邻域缺失信息作为节点的伪邻居节点增加到稀疏图上,由此生成伪头部节点PHN,进而构建出增强稀疏图。然后,将增强稀疏图提供给图神经网络模型进行图学习,以学习出稀疏图中的各个节点的增强节点表征。
图10示出了根据本说明书的实施例的图表征增强过程1000的另一示例流程图。在图10的示例中,图表征增强模型被实现为包括多层图表征增强模型。
如图10所示,自第一层图表征增强模型起循环执行1000到1030的操作,直到得到稀疏图中的各个节点的增强节点表征。
具体地,在1010,使用当前图表征增强模型来基于稀疏图中的各个节点的当前中心节点表征和当前邻居节点表征预测各个节点的当前邻域缺失信息,所预测出的各个节点的邻域缺失信息作为增强稀疏图中的各个节点的伪邻居节点的当前节点表征。
例如,可以按照公式(7)预测稀疏图中的节点i的当前邻域缺失信息
其中,f
在如上预测出各个节点的邻域缺失信息后,可以将所预测出的各个节点的邻域缺失信息作为增强稀疏图中的各个节点的所增强的伪邻居节点的当前节点表征。
在1020,使用图神经网络模型来基于增强稀疏图进行图学习,以学习出各个节点的当前增强节点表征。同样,可以按照本领域各种邻域信息聚合方案来将各个节点的邻居信息聚合到该节点上,由此完成基于增强稀疏图的图表征学习。
例如,可以按照公式(8)来进行第l+1层上的邻居信息聚合:
在1030,当前图表征增强模型是否是最后一层图表征增强模型。如果是最后一层图表征增强模型,则流程结束,并且将各个节点的当前增强节点表征作为各个节点的最终节点表征输出。如果不是最后一层图表征增强模型,则返回到1010,重新执行下一循环过程。
图11示出了根据本说明书的实施例的图表征增强过程的另一示例示意图。
如图11所示,针对稀疏图中的各个节点(伪尾部节点PTN和真尾部节点TN),在每轮循环时,使用当前图表征增强模型来进行邻域缺失信息预测,并将所预测的邻域缺失信息作为节点的伪邻居节点增加到稀疏图上,由此生成伪头部节点,进而构建出增强稀疏图。然后,将增强稀疏图提供给图神经网络模型的当前卷积层进行图学习,以学习出稀疏图中的各个节点的当前增强节点表征。在得到各个节点的当前增强节点表征后,如果所有图表征增强模型都完成节点增强处理,则输出各个节点的当前增强节点表征,作为各个节点的最终节点表征。如果还存在未完成节点增强处理的图表征增强模型,则进入下一图表征增强模型来重新进行预测和图学习,如此循环直到循环结束。
回到图4,在如上得到稀疏图中的各个尾部节点的增强节点表征后,在430,根据稀疏图中的伪尾部节点的增强节点表征以及原始长尾图中的对应真头部节点的节点表征,确定邻域信息预测损失函数。
例如,可以按照公式(9)和(10)确定邻域信息预测损失函数
其中,
在440,基于邻域信息预测损失函数,调整图表征增强模型的模型参数。例如,在图表征增强模型是多层模型的情况下,可以使用反向传播方式来逐层进行模型参数调整。
在一些实施例中,在进行图表征模型训练时,还可以设置头部节点生成对抗网络(也可以称为头部节点生成对抗网络模型),所设置的头部节点生成对抗网络包括第二生成器和第二鉴别器。第二生成器的目标在于可以基于伪头部节点的节点表征(即,稀疏图中的各个尾部节点经过增强后生成的增强节点表征)和原始长尾图中的真头部节点的节点表征,将这两类节点都分类为头部节点。第二鉴别器的目标在于可以基于伪头部节点的节点表征(即,稀疏图中的各个尾部节点经过增强后生成的增强节点表征)和原始长尾图中的真头部节点的节点表征,将伪头部节点与真头部节点区分开。这里,伪头部节点是通过对稀疏图中的伪尾部节点和真尾部节点进行节点增强(即,邻域缺失信息补充)后得到的节点。
在这种情况下,可以使用头部节点生成对抗网络来执行头部节点生成对抗任务,即,分别使用第二生成器和第二鉴别器来基于稀疏图中的各个节点的增强节点表征以及原始长尾图中的头部节点的节点表征进行节点分类预测,并根据头部节点生成对抗任务执行结果确定头部节点对抗损失函数。
例如,可以按照公式(11)确定头部节点对抗损失函数
其中,CROSSENT(·)表示交叉熵函数,1(·)表示指示函数,f
鉴别器函数用于按照公式(12)确定节点是头部节点的概率:
其中,LeakyReLU(·)是激活函数,σ(·)是Sigmoid函数,
在这种情况下,可以基于邻域信息预测损失函数和头部节点对抗损失函数,调整图表征增强模型的模型参数。例如,可以将邻域信息预测损失函数和头部节点对抗损失函数进行加权组合后得到总损失函数,随后,基于总损失函数来调整图表征增强模型的模型参数。在按照这种方式对图表征增强模型进行多轮训练后,可以使得所训练出的图表征增强模型所增强出的伪头部节点更像原始长尾图中的真头部节点。
此外,可选地,也可以基于头部节点对抗损失函数或者基于邻域信息预测损失函数和头部节点对抗损失函数的加权组合,调整第二鉴别器的鉴别器函数的可训练参数。利用上述训练任务,可以进一步提升邻域缺失信息的预测精度。要说明的是,第二生成器可以实现为图神经网络模型的输出层,并且第二生成器和第二鉴别器各自单独训练出,即,基于彼此独立的训练过程训练出。
在一些实施例中,在进行图表征增强模型训练时,还可以使用稀疏图中的各个节点的增强节点表征执行下游任务,并基于下游任务执行结果确定下游任务损失函数
在一些实施例中,在进行图表征增强模型训练时,还可以基于稀疏图中的各个节点的增强节点表征执行对比学习任务,并基于对比学习执行结果确定对比学习任务损失函数
例如,在基于图表征增强模型得到每个节点的增强节点表征后,可以基于特征扰动方法生成用于对比学习的两个视图(View)。这里,特征扰动可以通过给节点表征添加随机噪声的方法实现。在生成两个视图后,可以执行对比学习任务,使得不同视图中的相同节点的节点表征相距更近,而不同节点的节点表征相距更远。由于此时的节点表征都是基于图表征增强模型生成,从而无需担心尾部节点的图表征增强效果会由于特征扰动而变差。对比学习任务的训练样本构建方式以及对比学习任务损失函数
在一些实施例中,可以将邻域信息预测与头部节点生成对抗训练任务、下游任务和对比学习任务中的一个或多个组合使用来执行图表征增强模型训练。例如,在将邻域信息预测与头部节点生成对抗训练任务、下游任务和对比学习任务组合使用的情况下,可以基于公式(13)来确定总损失函数
其中,λ
然后,基于总损失函数
图12示出了根据本说明书的实施例的图表征增强模型训练过程的示例示意图。
如图12所示,原始长尾图经过自适应采样模型进行自适应采样后生成稀疏图。在生成稀疏图后,可以基于尾部节点生成对抗网络执行尾部节点生成对抗任务,并根据尾部节点生成对抗任务执行结果确定尾部节点对抗损失函数
随后,将所生成的稀疏图提供给图表征增强模型来进行邻域缺失信息预测,并将预测出的邻域缺失信息作为伪邻居节点补充到稀疏图,由此得到增强稀疏图。所得到的增强稀疏图可以提供给图卷积网络进行图学习,由此学习出稀疏图中的各个节点的增强节点表征,并根据伪尾部节点的增强节点表征和原始长尾图中的对应真头部节点的节点表征确定邻域缺失信息预测损失函数
所学习出的稀疏图中的各个节点的增强节点表征还可以被提供给下游推荐模块来执行推荐任务,并基于推荐任务执行结果来确定出推荐损失函数
此外,还可以基于所生成的各个节点的增强节点表征构建用于对比学习任务的两个对比视图,并使用所构建的两个对比视图来执行对比学习任务。在得到对比学习任务执行结果后,基于对比学习任务执行结果确定对比学习损失函数
此外,在得到增强稀疏图后,还可以基于头部节点生成对抗网络来执行头部节点生成对抗任务,并根据头部节点生成对抗任务执行结果确定头部节点对抗损失函数
在如上得到邻域缺失信息预测损失函数
如上参照附图描述了根据本说明书的实施例的图表征增强模型的训练过程。
利用上述图表征增强模型训练方案,通过对原始长尾图中的真头部节点进行邻域剪枝来生成伪尾部节点,并且使用基于伪尾部节点和原始长尾图中的对应真头部节点来训练用于预测节点的邻域缺失信息的图表征增强模型,可以使得所训练出的图表征增强模型在应用时可以基于尾部节点的中心节点信息和可观测邻居节点的邻居节点信息来预测尾部节点的邻域缺失信息,而不是基于尾部节点的中心节点信息来进行邻域缺失信息预测,从而使得所预测出的邻域缺失信息不受可观测邻居节点信息的限制,由此提升邻域缺失信息预测精度,进而提升尾部节点表征增强效果。
利用上述图表征增强模型训练方案,通过使用头部节点生成对抗网络来执行头部节点生成对抗任务,并将头部节点生成对抗任务所产生的头部节点对抗损失函数应用于图表征增强模型的模型参数调整,可以进一步提升图表征增强模型的邻域缺失信息预测精度。
利用上述图表征增强模型训练方案,相较于基于随机采样的邻域剪枝方案,通过使用自适应采样模型来进行待剪枝邻居节点的筛选,从而可以克服由于原始长尾图中的头部节点和尾部节点的分布差异导致的采样数据有偏问题。
利用上述图表征增强模型训练方法,通过将真尾部节点引入下游任务、对比学习任务和尾部节点生成对抗训练任务,并将上述任务所产生的损失函数应用于图表征增强模型的模型训练,从而可以克服真尾部节点不参与图表征增强模型的模型训练而导致的数据有偏问题。
在如上训练出图表征增强模型后,可以将所训练出的图表征增强模型应用于图表征过程和物品推荐过程。
图13示出了根据本说明书的实施例的用于长尾图的图表征方法1300的示例流程图。
如图13所示,在1310,将待表征长尾图中的头部节点提供给图神经网络模型来进行图学习,以学习出头部节点的节点表征。
在1320,使用图表征增强模型来对待表征长尾图中的尾部节点进行图表征增强以得到尾部节点的节点表征,各个尾部节点的节点表征基于增强长尾图学习出,增强长尾图通过为待表征长尾图中的各个尾部节点增强邻域缺失信息得到,并且各个尾部节点的邻域缺失信息通过图表征增强模型来基于该尾部节点的中心节点表征和邻居节点表征预测出。尾部节点的节点特征增强过程可以参考上面描述的节点特征增强过程。
图14示出了根据本说明书的实施例的物品推荐方法1400的示例流程图。
如图14所示,在1410,将用户-物品交互图中的头部节点提供给图神经网络模型来进行图学习,以学习出头部节点的节点表征,所述头部节点包括头部用户节点和头部物品节点。
在1420,使用图表征增强模型来对用户-物品交互图中的尾部节点进行图表征增强以得到尾部节点的节点表征,各个尾部节点的节点表征基于增强用户-物品交互图学习出,增强用户-物品交互图通过为用户-物品交互图中的各个尾部节点增强邻域缺失信息得到,并且各个尾部节点的邻域缺失信息通过图表征增强模型来基于该尾部节点的中心节点表征和邻居节点表征预测出,所述尾部节点包括用户尾部节点和物品尾部节点。
在1430,根据用户-物品交互图中的目标用户和候选物品的节点表征进行物品推荐决策。如何基于目标用户和候选物品的节点表征进行物品推荐决策,可以使用本领域中的任何合适的决策机制来实现。
图15示出了根据本说明书的实施例的图表征增强模型训练装置1500的示例方框图。如图15所示,图表征增强模型训练装置1500包括稀疏图构建单元1510、图表征增强单元1520、第一损失函数确定单元1530和第一模型调整单元1540。
稀疏图构建单元1510被配置为基于原始长尾图构建稀疏图,所构建的稀疏图包括真尾部节点和伪尾部节点,其中,伪尾部节点通过对原始长尾图中的真头部节点进行邻域剪枝生成。稀疏图构建单元1510的操作可以参考上面参照图4的410以及图5-图6描述的操作。
图表征增强单元1520被配置为使用图表征增强模型来对稀疏图中的各个节点进行图表征增强以得到各个节点的增强节点表征,各个节点的增强节点表征基于增强稀疏图学习出,增强稀疏图通过为稀疏图中的各个节点增强邻域缺失信息得到,并且各个节点的邻域缺失信息通过图表征增强模型来基于该节点的中心节点表征和邻居节点表征预测出。图表征增强单元1520的操作可以参考上面参照图4的420以及图7-图12描述的操作。
第一损失函数确定单元1530被配置为根据伪尾部节点的增强节点表征以及原始长尾图中的对应真头部节点的节点表征,确定邻域信息预测损失函数。第一损失函数确定单元1530的操作可以参考上面参照图4的430描述的操作。
第一模型调整单元1540被配置为基于邻域信息预测损失函数,调整图表征增强模型的模型参数。第一模型调整单元1540的操作可以参考上面参照图4的440描述的操作。
图16示出了根据本说明书的实施例的图表征增强单元1600的示例方框图。如图16所示,图表征增强单元1600包括邻域缺失信息预测模块1610和图学习模块1620。
在图表征增强模型被实现为包括单层图表征增强模型时,邻域缺失信息预测模块1610使用图表征增强模型来基于稀疏图中的各个节点的初始中心节点表征和初始邻居节点表征预测各个节点的邻域缺失信息,所预测出的各个节点的邻域缺失信息作为增强稀疏图中的各个节点的伪邻居节点的初始节点表征。随后,图学习模块1620使用图神经网络模型来基于增强稀疏图进行图学习,以学习出各个节点的增强节点表征。
在图表征增强模型被实现为包括多层图表征增强模型时,邻域缺失信息预测模块1610和图学习模块1620循环执行操作,直到输出各个节点的最终节点表征。具体地,在每轮循环时,邻域缺失信息预测模块1610使用当前图表征增强模型来基于稀疏图中的各个节点的当前中心节点表征和当前邻居节点表征预测各个节点的当前邻域缺失信息,所预测出的各个节点的邻域缺失信息作为增强稀疏图中的各个节点的伪邻居节点的当前节点表征。然后,图学习模块1620使用图神经网络模型来基于增强稀疏图进行图学习,以学习出各个节点的当前增强节点表征。
在一些实施例中,图表征增强模型训练装置还可以包括头部节点生成对抗任务执行单元。头部节点生成对抗任务执行单元可以使用头部节点生成对抗网络来执行头部节点生成对抗任务。在这种情况下,第一损失函数确定单元1530进一步根据稀疏图中的各个节点的增强节点表征以及原始长尾图中的头部节点的节点表征,确定头部节点对抗损失函数。随后,第一模型参数调整单元1540基于邻域信息预测损失函数和头部节点对抗损失函数,调整图表征增强模型的模型参数。
在一些实施例中,图表征增强模型训练装置还可以包括下游任务执行单元。下游任务执行单元使用稀疏图中的各个节点的增强节点表征执行下游任务。在这种情况下,第一损失函数确定单元1530进一步基于下游任务执行结果确定下游任务损失函数。随后,第一模型参数调整单元1540基于邻域信息预测损失函数和下游任务损失函数,调整图表征增强模型的模型参数。
在一些实施例中,图表征增强模型训练装置还可以包括对比学习任务执行单元。对比学习任务执行单元被配置为基于稀疏图中的各个节点的增强节点表征执行对比学习任务。在这种情况下,第一损失函数确定单元1530进一步基于对比学习任务执行结果确定对比学习任务损失函数。随后,第一模型参数调整单元1540基于邻域信息预测损失函数和对比学习任务损失函数,调整图表征增强模型的模型参数。
在一些实施例中,稀疏图构建单元可以使用自适应采样模型来基于原始长尾图构建稀疏图。此外,图表征增强模型训练装置还可以包括尾部节点生成对抗任务执行单元、第二损失函数确定单元和第二模型调整单元。尾部节点生成对抗任务执行单元使用尾部节点生成对抗网络模型来执行尾部节点生成对抗训练任务。第二损失函数确定单元根据稀疏图中的伪尾部节点的节点表征以及原始长尾图中的真尾部节点的节点表征,确定尾部节点对抗损失函数。随后,第二模型参数调整单元基于尾部节点对抗损失函数调整自适应采样模型的模型参数。
图17示出了根据本说明书的实施例的图表征装置1700的示例方框图。如图17所示,图表征装置1700包括头部节点表征单元1710和尾部节点表征单元1720。
头部节点表征单元1710被配置为将待表征长尾图中的头部节点提供给图神经网络模型来进行图学习,以学习出头部节点的节点表征。头部节点表征单元1710的操作可以参考上面参照图13的1310描述的操作。
尾部节点表征单元1720被配置为使用图表征增强模型来对待表征长尾图中的尾部节点进行图表征增强以得到尾部节点的节点表征,各个尾部节点的节点表征基于增强长尾图学习出,增强长尾图通过为待表征长尾图中的各个尾部节点增强邻域缺失信息得到,各个尾部节点的邻域缺失信息通过图表征增强模型来基于该尾部节点的中心节点表征和邻居节点表征预测出。尾部节点表征单元1720的操作可以参考上面参照图13的1320描述的操作。
图18示出了根据本说明书的实施例的物品推荐装置1800的示例方框图。如图18所示,物品推荐装置1800包括头部节点表征单元1810、尾部节点表征单元1820和推荐决策单元1830。
头部节点表征单元1810被配置为将用户-物品交互图中的头部节点提供给图神经网络模型来进行图学习,以学习出头部节点的节点表征,所述头部节点包括头部用户节点和头部物品节点。
尾部节点表征单元1820被配置为使用图表征增强模型来对用户-物品交互图中的尾部节点进行图表征增强以得到尾部节点的节点表征,各个尾部节点的节点表征基于增强用户-物品交互图学习出,增强用户-物品交互图通过为用户-物品交互图中的各个尾部节点增强邻域缺失信息得到,各个尾部节点的邻域缺失信息通过图表征增强模型来基于该尾部节点的中心节点表征和邻居节点表征预测出,所述尾部节点包括用户尾部节点和物品尾部节点。
推荐决策单元1830被配置为根据用户-物品交互图中的目标用户和候选物品的节点表征进行物品推荐决策。
如上参照图1到图18,对根据本说明书实施例的图表征增强模型训练方法及图表征增强模型训练装置、图表征方法及图表征装置、物品推荐方法及物品推荐装置进行了描述。上面的图表征增强模型训练装置、图表征装置和物品推荐装置可以采用硬件实现,也可以采用软件或者硬件和软件的组合来实现。
图19示出了根据本说明书的实施例的基于计算机系统实现的图表征增强模型训练装置1900的示例示意图。如图19所示,图表征增强模型训练装置1900可以包括至少一个处理器1910、存储器(例如,非易失性存储器)1920、内存1930和通信接口1940,并且至少一个处理器1910、存储器1920、内存1930和通信接口1940经由总线1960连接在一起。至少一个处理器1910执行在存储器中存储或编码的至少一个计算机可读指令(即,上述以软件形式实现的元素)。
在一个实施例中,在存储器中存储计算机可执行指令,其当执行时使得至少一个处理器1910:基于原始长尾图构建稀疏图,所构建的稀疏图包括真尾部节点和伪尾部节点,伪尾部节点通过对原始长尾图中的真头部节点进行邻域剪枝生成;使用图表征增强模型来对稀疏图中的各个节点进行图表征增强以得到各个节点的增强节点表征,各个节点的增强节点表征基于增强稀疏图学习出,增强稀疏图通过为稀疏图中的各个节点增强邻域缺失信息得到,各个节点的邻域缺失信息通过图表征增强模型来基于该节点的中心节点表征和邻居节点表征预测出;根据伪尾部节点的增强节点表征以及原始长尾图中的对应真头部节点的节点表征,确定邻域信息预测损失函数;以及基于邻域信息预测损失函数,调整图表征增强模型的模型参数。
应该理解,在存储器中存储的计算机可执行指令当执行时使得至少一个处理器1910进行本说明书的各个实施例中以上结合图3-图12以及图15-图16描述的各种操作和功能。
图20示出了根据本说明书的实施例的基于计算机系统实现的图表征装置2000的示例示意图。如图20所示,图表征装置2000可以包括至少一个处理器2010、存储器(例如,非易失性存储器)2020、内存2030和通信接口2040,并且至少一个处理器2010、存储器2020、内存2030和通信接口2040经由总线2060连接在一起。至少一个处理器2010执行在存储器中存储或编码的至少一个计算机可读指令(即,上述以软件形式实现的元素)。
在一个实施例中,在存储器中存储计算机可执行指令,其当执行时使得至少一个处理器2010:将待表征长尾图中的头部节点提供给图神经网络模型来进行图学习,以学习出头部节点的节点表征;以及使用图表征增强模型来对待表征长尾图中的尾部节点进行图表征增强以得到尾部节点的节点表征,各个尾部节点的节点表征基于增强长尾图学习出,增强长尾图通过为待表征长尾图中的各个尾部节点增强邻域缺失信息得到,各个尾部节点的邻域缺失信息通过图表征增强模型来基于该尾部节点的中心节点表征和邻居节点表征预测出。
应该理解,在存储器中存储的计算机可执行指令当执行时使得至少一个处理器2010进行本说明书的各个实施例中以上结合图13和图17描述的各种操作和功能。
图21示出了根据本说明书的实施例的基于计算机系统实现的物品推荐装置2100的示例示意图。如图21所示,物品推荐装置2100可以包括至少一个处理器2110、存储器(例如,非易失性存储器)2120、内存2130和通信接口2140,并且至少一个处理器2110、存储器2120、内存2130和通信接口2140经由总线2160连接在一起。至少一个处理器2110执行在存储器中存储或编码的至少一个计算机可读指令(即,上述以软件形式实现的元素)。
在一个实施例中,在存储器中存储计算机可执行指令,其当执行时使得至少一个处理器2110:将用户-物品交互图中的头部节点提供给图神经网络模型来进行图学习,以学习出头部节点的节点表征,所述头部节点包括头部用户节点和头部物品节点;使用图表征增强模型来对用户-物品交互图中的尾部节点进行图表征增强以得到尾部节点的节点表征,各个尾部节点的节点表征基于增强用户-物品交互图学习出,增强用户-物品交互图通过为用户-物品交互图中的各个尾部节点增强邻域缺失信息得到,各个尾部节点的邻域缺失信息通过图表征增强模型来基于该尾部节点的中心节点表征和邻居节点表征预测出,所述尾部节点包括用户尾部节点和物品尾部节点;以及根据用户-物品交互图中的目标用户和候选物品的节点表征进行物品推荐决策。
应该理解,在存储器中存储的计算机可执行指令当执行时使得至少一个处理器2110进行本说明书的各个实施例中以上结合图14和图18描述的各种操作和功能。
根据一个实施例,提供了一种比如机器可读介质(例如,非暂时性机器可读介质)的程序产品。机器可读介质可以具有指令(即,上述以软件形式实现的元素),该指令当被机器执行时,使得机器执行本说明书的各个实施例中以上结合图1-图18描述的各种操作和功能。具体地,可以提供配有可读存储介质的系统或者装置,在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下,从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上或云上下载程序代码。
根据一个实施例,提供一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序当被处理器执行时,使得处理器执行本说明书的各个实施例中以上结合图1-图18描述的各种操作和功能。
本领域技术人员应当理解,上面公开的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此,本发明的保护范围应当由所附的权利要求书来限定。
需要说明的是,上述各流程和各系统结构图中不是所有的步骤和单元都是必须的,可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的,可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构,也可以是逻辑结构,即,有些单元可能由同一物理实体实现,或者,有些单元可能分由多个物理实体实现,或者,可以由多个独立设备中的某些部件共同实现。
以上各实施例中,硬件单元或模块可以通过机械方式或电气方式实现。例如,一个硬件单元、模块或处理器可以包括永久性专用的电路或逻辑(如专门的处理器,FPGA或ASIC)来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器),可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上面结合附图阐述的具体实施方式描述了示例性实施例,但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”,并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的,具体实施方式包括具体细节。然而,可以在没有这些具体细节的情况下实施这些技术。在一些实例中,为了避免对所描述的实施例的概念造成难以理解,公知的结构和装置以框图形式示出。
本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说,对本公开内容进行的各种修改是显而易见的,并且,也可以在不脱离本公开内容的保护范围的情况下,将本文所定义的一般性原理应用于其它变型。因此,本公开内容并不限于本文所描述的示例和设计,而是与符合本文公开的原理和新颖性特征的最广范围相一致。
- 训练用于表征知识图谱的图神经网络模型的方法及装置
- 训练用于表征知识图谱的图神经网络模型的方法及装置