内容推荐方法、装置、服务器及存储介质

技术领域

本申请实施例涉及机器学习技术领域，特别涉及一种内容推荐方法、装置、服务器及存储介质。

背景技术

现如今，新媒体行业不断发展，通过终端中安装的应用程序查看文章或者视频等内容逐渐成为主流，在应用中会根据账号的偏好为该账号推荐感兴趣的推荐内容。

相关技术中，在现代推荐系统中，通常通过多目标深度模型基于不同的预估目标对不同推荐内容进行排序，通过底层参数共享，降低过拟合。此外在一些多目标深度模型中，通过门控机制，对不同目标采用不同的动态输入，实现对多目标概率的预测，从而实现对目标推荐内容的排序。

然而，在训练过程中，对于样本推荐内容而言，不同预估目标之间存在明显的差异，例如对于同一个样本推荐内容，对于点击目标为正样本，对于点赞目标为负样本，即样本推荐内容对于不同目标之间可能存在互斥性，则会导致推荐系统在基于多目标融合的过程中难以准确的对推荐内容进行排序，向账号显示的推荐内容不符合账号偏好。

发明内容

本申请实施例提供了一种内容推荐方法、装置、服务器及存储介质。所述技术方案如下：

一方面，本申请实施例提供了一种内容推荐方法，所述方法包括：

确定样本推荐内容对应的n个组合行为标签，所述组合行为标签对应的组合行为由至少两个原子行为构成，任意两个所述组合行为标签对应的所述组合行为之间存在真包含关系，所述原子行为用于表征样本账号对所述样本推荐内容执行的原子操作，n为大于等于2的整数；

基于所述样本账号的样本账号信息、所述样本推荐内容以及所述样本推荐内容对应的n个组合行为标签，训练推荐模型；

通过训练完成的所述推荐模型，基于目标账号的目标账号信息以及至少两个候选推荐内容，从至少两个所述候选推荐内容中确定目标推荐内容。

另一方面，本申请实施例提供了一种内容推荐装置，所述装置包括：

确定模块，用于确定样本推荐内容对应的n个组合行为标签，所述组合行为标签对应的组合行为由至少两个原子行为构成，任意两个所述组合行为标签对应的所述组合行为之间存在真包含关系，所述原子行为用于表征样本账号对所述样本推荐内容执行的原子操作，n为大于等于2的整数；

训练模块，用于基于所述样本账号的样本账号信息、所述样本推荐内容以及所述样本推荐内容对应的n个组合行为标签，训练推荐模型；

应用模块，用于通过训练完成的所述推荐模型，基于目标账号的目标账号信息以及至少两个候选推荐内容，从至少两个所述候选推荐内容中确定目标推荐内容。

另一方面，本申请实施例提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的内容推荐方法。

另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的内容推荐方法。

另一方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。服务器的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该服务器执行上述方面提供的内容推荐方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

本申请实施例中，对推荐模型进行训练的过程中，服务器率先确定样本推荐内容对应的多个组合行为标签，从而将该组合行为标签作为推荐模型的训练样本，以使得推荐模型基于样本账号信息以及样本推荐内容确定执行概率后，对推荐模型进行训练。在进行训练的过程中，采用预测多个组合行为的执行概率的方式取代相关技术中预测单个行为的执行概率的方式，有利于减少同一样本推荐内容针对不同组合行为存在的样本标签的差异性，能够在基于推荐模型对目标账号进行内容推荐的过程中，发送的推荐内容更加符合目标账号的喜好。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种ShareBottom模型以及MMoE模型的结构图；

图2示出了本申请一个示例性实施例提供的实施环境的示意图；

图3示出了本申请一个实施例提供的具有展示推荐内容功能的应用程序的用户界面的示意图；

图4示出了本申请一个示例性实施例提供的内容推荐方法的流程图；

图5示出了本申请一个示例性实施例提供的组合行为的示意图；

图6示出了本申请一个示例性实施例提供的推荐模型的结构示意图；

图7示出了本申请另一个示例性实施例提供的推荐模型的结构示意图；

图8示出了本申请一个示例性实施例提供的内容推荐过程的流程图；

图9示出了本申请一个示例性实施例提供的内容推荐装置的结构框图；

图10示出了本申请一个示例性实施例提供的服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等。其中，预训练模型又称大模型、基础模型，经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。预训练模型是深度学习的最新发展成果，融合了以上技术。

本申请实施例提供的方案涉及人工智能的机器学习以及监督学习等技术，具体通过如下实施例进行说明。

在相关技术中，基于多目标行为的推荐模型可能为ShareBottom(分享底部)模型、MMoE(Multi-gate Mixture-Of-Experts，多门控制的混合专家网络)、PLE(ProgressiveLayered Extraction，渐进式分层提取)或CGC(Customized Gate Control，定制门控)模型。通过上述模型对目标账号进行内容推荐之前，需要先对推荐模型进行训练，从而使得推荐模型能够根据目标账号的历史浏览行为为目标账号推荐相应的推荐内容。

示意性的，请参考图1，其示出了一种ShareBottom模型以及MMoE模型的结构图。其中，两种模型均具有两个目标输出，在ShareBottom模型中，令不同目标共享一个单一的底部DNN(Deep-Learning Neural Network，深度神经网络)，即为具有一个专家的混合专家网络。而在MMoE模型中，通过共享多个专家网络组成的混合专家网络，利用多个门控选择每个专家网络的输出占比，从而共同作用于多个目标。其中实线箭头表征传输向量，虚线箭头表征传输标量。

然而，由于同一个样本对于不同的目标可能存在互斥性，例如存在一个样本视频的点赞目标与视频时长目标之间存在互斥性，即样本视频的视频时长较长的情况下可能不会进行点赞，则该样本视频对于视频时长目标为正样本，而对于点赞目标为负样本。采用相关技术所提供的推荐方式，ShareBottom模型对所有目标共享底部，对多个目标之间的互斥性缺乏针对性的处理，往往会有严重的跷跷板效应(跷跷板效应即为在多目标模型中由于样本针对不同目标存在互斥型，则针对多个单目标，往往能够提升一部分目标的训练效果，同时会牺牲另外一部分目标的训练效果)。而MMOE模型通过共享多个混合专家网络，一定程度上能够缓解同一样本针对多个目标之间的互斥性，但是由于多个专家网络在多个目标之间进行无差别的共享，对较为复杂的多目标关系缺乏有效的学习能力，同时会对某些目标引入不利的噪声。而PLE模型或CGC模型通过将混合专家网络分为共享和私有两部分，由于强化了混合专家网络中多目标之间的隔离性，对于正样本偏少的目标缺乏充分的训练，造成额外的噪声干扰，使得训练效果有所下降。

因此，本申请提供了一种内容推荐方法，能够有效降低在训练过程中由于样本对不同目标的互斥性导致的推荐结果不准确的问题。

请参考图2，其示出了本申请一个示例性实施例提供的实施环境的示意图。该实施环境包括终端210和服务器220。

其中，终端210与服务器220之间通过通信网络进行数据通信，可选地，通信网络可以是有线网络也可以是无线网络，且该通信网络可以是局域网、城域网以及广域网中的至少一种。

终端210是具有展示推荐内容功能的电子设备，该电子设备可以是智能手机、平板电脑、膝上便携式笔记本电脑等移动终端，也可以是台式电脑、投影式电脑等终端，本申请实施例对此不做限定。且终端中通过社交类应用程序，新闻类应用程序以及视频类应用程序等提供展示推荐内容的功能，本实施例对此不做限定。

服务器220可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。本申请实施例中，服务器220为终端210中提供展示推荐内容的后台服务，且服务器220中部署有训练后的推荐模型，可以根据推荐模型的预测结果向目标账号推荐不同的推荐内容，并通过终端210进行显示。

如图2所示，当服务器220根据推荐模型的预测结果对不同的推荐内容进行排序后，按照该顺序向终端210推送推荐内容。终端210接收到推荐内容后，按照服务器的排序，在终端210所安装的用于展示推荐内容的应用程序的用户界面中进行显示，显示顺序符合服务器的排序，从而实现根据目标账号的序号推荐更符合目标账号喜好的推荐内容。

在一种可能的实施例中，在服务器220中，实现对推荐模型的训练过程，在训练过程中根据样本账号的样本账号信息以及样本推荐内容对推荐模型进行训练。具体的，服务器将样本账号的样本账号信息以及样本推荐内通过输入推荐模型，得到样本账号对样本推荐内容各种组合行为的执行概率，从而根据该执行概率以及组合行为标签训练推荐模型。

为了方便表述，下述各个实施例以内容推荐方法由服务器执行为例进行说明。

请参考图3，其示出了本申请一个实施例提供的具有展示推荐内容功能的应用程序的用户界面的示意图。该展示推荐内容的应用程序为社交应用程序，在该应用程序中具有短视频播放功能，且该应用程序登陆有目标账号。服务器通过推荐模型对多个短视频进行排序后，按照该顺序向目标账号推送多个短视频。途中，在接收到服务器推送的短视频后，在用户界面301中会显示有视频推送提示，提示方式可能为社交红点提示，固定文案提示或者动态文案提示等等(图中未示出)，本实施例对此不进行限定。在接收到对视频查看控件302的点击操作后，跳转显示视频播放界面303，视频播放界面303用于显示推荐视频，且推荐视频的显示顺序符合服务器的排序。

请参考图4，其示出了本申请一个示例性实施例提供的内容推荐方法的流程图。本实施例以该方法用于服务器为例进行说明，该方法包括如下步骤。

步骤401，确定样本推荐内容对应的n个组合行为标签。

其中，组合行为标签对应的组合行为由至少两个原子行为构成，任意两个组合行为标签对应的组合行为之间存在真包含关系，原子行为用于表征样本账号对样本推荐内容执行的原子操作，n为大于等于2的整数。

原子操作是用户能够对推荐内容所执行的最简单操作，例如，对于终端所展示的推荐内容，用户可以对该内容进行点赞操作或者下滑操作等等，点赞操作为原子操作，则用户无法对该推荐内容执行比点赞这一行为更简单的操作。

通常情况下，样本账号对于样本推荐内容可能完成不同的原子行为，例如，点赞、评论、点击、观看时长等等。而同一样本推荐内容对于不同的原子行为，其可能作为正样本也可能作为负样本，例如，样本账号对样本对一个样本推荐内容进行了点赞行为，但未进行评论行为，则该样本推荐内容对点赞行为而言为正样本，对于评论行为而言为负样本，即样本推荐内容对不同目标之间存在互斥性，则可能导致推荐模型预测结果不准确。

其中，n种组合行为是针对不同种类的推荐内容所预先设置的，并且，将不同组合行为与推荐模型的不同输出头相关联，则不同输出头输出的组合执行概率表征不同的组合行为。可选的，在设定不同的组合行为时，优先考虑正样本数量较多的组合行为作为基本的组合行为，例如，针对推荐视频，则账号可能完成点击和下滑的行为的样本推荐内容较多，因此，将点击和下滑行为作为基本的组合行为，则在点击且下滑的基础上样本账号对样本推荐内容执行其他原子行为构成其他组合行为。

本申请实施例中，采用组合行为作为推荐模型的预测目标，则需要在训练推荐模型之前确定不同组合行为的组合行为标签，例如，第一组合行为可能为点击且下滑，第二组合行为可能为点击且下滑且观看时长大于10秒，第三组合行为可能为点击且下滑且观看时长大于10秒且点赞。其中，一个样本推荐内容可能对应n个组合行为标签，不同组合行为标签对应的组合行为之间存在真包含关系，例如，上述示意性的例子中第一组合行为真包含第二组合行为，第二组合行为真包含第三组合行为，则若样本账号对样本推荐内容产生点击且下滑行为，则对于第一组合行为对应的组合行为标签为正样本，第二组合行为以及第三组合行为同理。

示意性的，请参考图5，其示出了本申请一个示例性实施例提供的组合行为的示意图，其中曝光是指样本推荐内容被推送至终端，在样本推荐内容被推荐至终端后，样本账号执行点击、下划、浏览时长大于10秒以及点赞行为的样本推荐内容并不完全相同，其中，第一组合行为是点击且下滑，第二组合行为是点击且下滑且浏览时长大于10秒，第三组合行为是点击且下滑且浏览时长大于10秒且点赞。

在确定组合行为标签时，服务器基于样本账号对样本推荐内容执行的原子行为的原子行为标签确定组合行为标签。服务器中存储有不同组合行为对应的原子行为，根据不同组合行为对应的原子行为的标签确定组合行为标签。

步骤402，基于样本账号的样本账号信息、样本推荐内容以及样本推荐内容对应的n个组合行为标签，训练推荐模型。

其中，样本账号信息包括样本账号的基础账号信息以及历史原子行为等等，例如，样本账号信息的基础账号信息包括样本账号标识、样本账号所有用户的性别、年龄以及当前日期等等，样本账号的历史原子行为包括样本账号的历史浏览记录中对推荐内容的原子行为的执行情况，例如，历史记录中样本账号进行点赞行为的推荐内容列表、历史记录中样本账号浏览时长超过十秒的推荐内容列表等等。

样本推荐内容为待预测的推荐内容，推荐模型用于基于样本账号信息以及样本推荐内容确定各种组合行为的执行概率，该执行概率能够表征样本账号对样本推荐内容执行组合行为的倾向，概率越大则表明样本账号越可能对样本推荐内容执行该组合行为。

在训练推荐模型的过程中，服务器根据预先确定的样本推荐内容的行为标签作为执行概率的监督，训练推荐模型，训练推荐模型的过程即为不断调整推荐模型参数以使得推荐模型的预测结果接近不同组合行为的组合行为标签的过程。训练推荐模型需要大量具有组合行为标签的样本推荐内容，对推荐模型进行多轮训练，以不断更新推荐模型的参数。

步骤403，通过训练完成的推荐模型，基于目标账号的目标账号信息以及至少两个候选推荐内容，从至少两个候选推荐内容中确定目标推荐内容。

可选的，在推荐模型训练完成后，推荐模型被部署于服务器中，服务器接收到终端发送的推荐内容获取请求后，根据该终端中所登录的目标账号的目标账号信息以及至少两个候选推荐内容，确定目标推荐内容，并向目标账号推荐目标推荐内容。

可选的，服务器通过推荐模型，确定目标账号对不同候选推荐内容执行各组合动作的执行概率，执行概率越高则表明目标账号对候选推荐内容执行组合动作的概率越大，即目标账号可能对该候选推荐内容越感兴趣，从而基于推荐概率将该候选推荐内容确定为目标推荐内容。

可选的，存在多个候选推荐内容，服务器基于推荐模型确定的各种动作的执行概率，以及确定各执行概率的加权概率，并基于该加权概率从候选推荐内容中确定多个目标推荐内容。

服务器中的候选推荐内容的数量很多，通常情况下，响应于终端发送的一次候选推荐内容获取请求，从多个候选推荐内容中选择用户最可能感兴趣的一部分目标推荐内容发送到终端。

综上所述，本申请实施例中，对推荐模型进行训练的过程中，服务器率先确定样本推荐内容对应的多个组合行为标签，从而将该组合行为标签作为推荐模型的训练样本，以使得推荐模型基于样本账号信息以及样本推荐内容确定执行概率后，对推荐模型进行训练。在进行训练的过程中，采用预测多个组合行为的执行概率的方式取代相关技术中预测单个行为的执行概率的方式，有利于减少同一样本推荐内容针对不同组合行为存在的样本标签的差异性，能够在基于推荐模型对目标账号进行内容推荐的过程中，发送的推荐内容更加符合目标账号的喜好。

本申请实施例中，在基于样本账号的样本账号信息、样本推荐内容以及样本推荐内容对应的n个组合行为标签，训练推荐模型的过程中，首先，将样本账号的样本账号信息以及样本推荐内容输入推荐模型，得到样本账号对样本推荐内容执行各种组合行为的执行概率。从而基于n个组合行为标签以及n种组合行为的执行概率，训练推荐模型。

因此，为训练推荐模型，服务器应当先为推荐模型准备大量的训练样本，本申请实施例中，训练样本为具有组合行为标签的样本推荐内容，将组合行为标签作为模型预测的执行概率的监督，训练推荐模型。

本申请实施例中，第i组合行为标签对应的第i组合行为由第一原子行为至第i+1原子行为构成，则第一组合行为标签对应的第一组合行为由第一原子行为以及第二原子行为构成，则后续组合行为标签对应的组合行为所包含的原子行为依次增加。

由于不同组合行为之间存在真包含关系，则第i+1组合行为标签为正样本的情况下，第i组合行为标签也应当为正样本。例如，第i+1组合行为是点击且下滑且点赞，第i组合行为是点击且下滑，样本账号对样本推荐内容执行点击且下滑且点赞的情况下，该样本推荐内容的第i+1组合行为标签为正样本，则样本账号必然对样本推荐内容执行了第i组合行为，因此第i组合行为标签同样为正样本。则样本推荐内容对于不同的样本推荐内容的正样本之间的存在互斥性的概率减小，有利于抑制模型训练过程中的跷跷板效应。

在一种可能的实施方式中，在确定样本推荐内容对应的n个组合行为标签时，首先获取样本账号对样本推荐内容执行第一原子行为至第i+1原子行为的执行情况，随后基于第一原子行为至第i+1原子行为的执行情况，确定第i组合行为标签。

由于第i组合行为由第i原子行为至第i+1原子行为构成，且在样本账号对样本推荐内容执行第i组合行为的情况下，确定样本推荐内容的第i组合行为标签为正样本，则在确定第i组合行为标签时，需要首先确定样本账号对样本推荐内容执行第一原子行为至第i+1原子行为的执行情况。

可选的，在执行情况指示第一原子行为至第i+1原子行为均被执行的情况下，服务器确定第i组合行为标签为正样本标签。在执行情况指示第一原子行为至第i+1原子行为中存在未被执行的原子行为的情况下，服务器确定第i组合行为标签为负样本标签。

在样本数量充足的情况下，服务器严格的按照样本账号对组合行为的执行情况确定样本推荐内容的组合行为标签。假设第一组合行为是点击且下滑，则在样本账号对样本推荐行为执行点击行为以及下滑行为的情况下，确定第一组合行为标签为正样本标签，在样本账号未对样本推荐行为执行点击行为以及下滑行为之中的任意一项的情况下，则确定第一组合行为标签为负样本标签。同理，第二组合行为是点击且下滑且点赞，则在样本账号对样本推荐内容执行点击行为、下滑行为以及点赞行为的情况下，确定该样本推荐内容的第二组合行为标签为正样本标签，反之，若样本账号未对样本推荐内容执行点击行为、下滑行为以及点赞行为中的任意一项的情况下，确定样本推荐内容的第二组合行为标签为负样本标签。

可选的，按照严格的样本标签确定方式，只有在执行情况指示第一原子行为至第i+1原子行为均被执行的情况下，第i组合行为标签为正样本标签，然而，在i取值较大的情况下，该组合行为所包含的原子行为数量较多，则可能导致第i组合行为的正样本数量较少，因此，为使得第i组合行为能够具有较多的正样本以达到更好的训练效果，可以通过以下过程在i取值较大的情况下，增加第i组合行为的正样本数量。

在样本数量较少的情况下，假设存在至少两个样本推荐内容，则在执行情况指示第一原子行为至第i+1原子行为均被执行的情况下，确定第i组合行为标签为正样本标签，并且确定样本推荐内容具有第一样本权重。随后在i取值较大的情况下，在已确定第i组合行为标签为正样本标签的样本推荐内容的数量小于数量阈值的情况下(即第i组合行为对应的正样本数量较少的情况下)，从至少两个样本推荐内容中筛选出执行情况指示第一原子行为至第i原子行为均未被执行，且第i+1原子行为被执行的增量样本推荐内容。最后再将增量样本推荐内容对应的第i组合行为标签确定为正样本标签，并且确定增量样本推荐内容具有第二样本权重，第二样本权重小于第一样本权重。

在上述方式中，将执行情况指示第一原子行为至第i+1原子行为均被执行的第i组合行为标签为正样本标签，且该样本推荐内容具有第一样本权重。例如，第三组合行为包括的原子行为依次为点击、下划、浏览时长大于10秒以及点赞，则若执行情况指示以上四个原子行为均被执行的情况下，确定该样本推荐内容的第三组合行为标签为正样本标签。并且将执行情况指示第一原子行为至第i原子行为均未被执行，且第i+1原子行为被执行的增量样本推荐内容的第i组合标签为正样本标签，且该增量样本推荐内容具有第二样本权重。例如，第三组合行为包括的原子行为依次为点击、下划、浏览时长大于10秒以及点赞，则执行情况指示第一原子行为(即点击)、第二原子行为(即下划)以及第三原子行为(即浏览时长大于10秒)均未被执行，且第四原子行为(即点赞)被执行的情况下，确定该样本推荐内容的第三组合行为标签为正样本标签。

其中，样本权重能够表征各个样本的重要性，针对同一组合行为，样本推荐内容的样本权重较大，则表明样本推荐内容对该组合行为的重要程度较高，样本推荐内容的样本权重较小，则表明推荐内容对该组合行为的重要程度较低。样本权重是通过改变样本数量以影响该样本类型在总体样本中的占比，进而调整该样本对推荐模型训练的影响程度。

在第一样本权重大于第二样本权重的情况下，表明具有第一样本权重的样本推荐内容的重要程度高于具有第二样本权重的增量样本推荐内容的重要程度，并且，通过样本权重控制增量样本推荐内容对推荐模型预测第i组合行为执行概率的训练效果。

本申请实施例中采用组合行为作为推荐模型所要预测的目标，由于不同组合行为之间构成真包含关系，则为与不同的组合行为相对应，本实施例提供了相匹配的推荐模型。

本申请实施例中，推荐模型包括信息编码层，特征提取层以及n个输出头。其中不同输出头对应不同的特征提取层，不同输出头用于输出不同组合行为的执行概率。

在将样本账号信息以及样本推荐内容输入推荐模型后，服务器通过信息编码层对样本账号信息以及样本推荐内容进行特征编码以及融合，得到融合特征。再通过第i输出头对应的特征提取层对融合特征进行特征提取，得到中间向量，并将中间向量输入第i输出头，得到第i输出头输出的执行概率。

其中，样本账号信息包括少两项子账号信息，信息编码层先对至少两项子账号信息各自进行编码，得到多项子信息编码向量，再将多项子信息编码向量进行特融合得到融合向量。

可选的，样本账号信息包含至少两项子账号信息，不同子账号信息对应不同的目标编码长度。该目标编码长度是根据不同的子账号信息设定的编码长度，例如，子账号信息为性别信息，则可以设置性别信息对应的目标编码长度为4，子账号信息为视频标识，则可以设置视频标识对应的目标编码长度为32，子账号信息为历史浏览列表，则可以设置历史浏览列表对应的目标编码长度为32。

在通过信息编码层对样本账号信息以及样本推荐内容进行特征编码时，首先通过信息编码层对样本账号信息以及样本推荐内容进行特征编码，得到样本账号信息对应的信息编码向量以及样本推荐内容对应的内容编码向量，不同子账号信息对应不同子信息编码向量。

随后，在存在不定长的子信息编码向量的情况下，通过信息编码层对不定长的子信息编码向量进行池化处理，得到定长的子信息编码向量。其中，定长的子信息编码向量的长度与目标编码长度一致，不定长的子信息编码向量的长度与目标编码不长度一致。例如，子账号信息为历史浏览列表，不同样本账号的历史浏览列表中所包含的内容数量可能不同，因此，对不同样本推荐内容的历史浏览列表进行编码后得到的子信息编码向量是不定长的(即向量长度不相同)。因此，服务器基于设定的目标编码长度，通过信息编码层对不定长的子信息编码向量进行池化处理，以得到定长的编码向量。

最后，再通过信息编码层对定长的子信息编码向量以及内容编码向量进行特征融合，得到融合特征。

示意性的，假设存在N项不同的子账号信息，经过池化处理后得到N个定长的子信息编码向量，第n个子信息编码向量为x

可选的，信息编码层包括嵌入层以及池化层，服务器通过嵌入层对子账号信息进行编码，通过池化层对自信息编码向量进行池化处理。

本申请实施例中，在上述推荐模型基础之上提供两种具体的推荐模型，两种推荐模型均能够对不同组合行为的执行概率进行预测，下面将通过两个不同的实施例对两种推荐模型的结构进行说明。

在一种可能的实施方式中，推荐模型包括n层特征提取层，第i输出头的输入端与第i特征提取层的输出端相连，且第i+1特征提取层的输入端与第i特征提取层相连接，即不同特征提取层对应不同的组合行为，第i输出头的输入为第i-1组合行为对应的第i-1特征提取层的输出向量。

在通过推荐模型确定执行概率的过程中，在通过信息编码层得到融合特征后，通过第一特征提取层对融合特征进行特征提取，得到第一中间向量。第一中间向量与第一行为头相对应，则将第一中间向量输入第一输出头，得到第一输出头输出的执行概率。并且，第一特征提取层与第二特征提取层相连接，第一特征提取层输出的第一中间向量应当第二特征提取层。同理，通过第i特征提取层对第i-1特征提取层输出的第i-1中间向量进行特征提取，得到第i中间向量，并且，将第i中间向量输入第i输出头，得到第i输出头输出的执行概率，其中i为大于1的整数。

示例性的，假设存在n个组合行为，即推荐模型包含n个输出头以及n个特征提取层，n个组合行为依次后一个为前一个的真子集，则对于其中一个组合行为i，其对应的输出头为上一个组合行为i-1所对应的特征提取层进行特征提取后得到的中间向量(即第i-1中间向量)，该向量为高阶隐式中间向量X

在得到第i中间之后，将第i中间向量输入第i输出头，输出头包括线性层，通过第i输出头中的线性层对第i中间向量进行线性变化，得到第i组合行为的执行概率为：

p

其中，W

示意性的，请参考图6，其示出了本申请一个示例性实施例提供的推荐模型的结构示意图。其中，以存在三个组合行为分别对应三个行为输出头为例，第一组合行为的执行概率由第一行为头输出，第二组合行为的执行概率由第二行为头输出，三个特征提取层之间串行连接。将账号信息以及样本推荐内容输入到推荐模型后，通过信息编码层(包括嵌入层、池化层以及特征融合层)得到融合特征，随后将融合特征输入特征提取层进行特征提取，得到不同的中间向量，并通过输出头确定不同组合行为的执行概率。

可选的，特征提取层为DNN网络，并且一个特征提取层中可能包含多层DNN网络，不同特征提取层中包含的DNN网络深度可能相同也可能不同。

在另一种可能的实施方式中，推荐模型包括n+1层特征提取层以及n个门控层，第i门控层的输入端与第i特征提取层至第i+1特征提取层的输出端相连相连，第i门控层的输出端与第i组合行为对应的第i输出头相连。其中，一个特征特征提取层相当于一个专家网络，多个专家网络即为多个独立参数的特征提取层，门控层用于计算每个专家网络(即特征提取层)与组合行为相匹配的权重，从而确定出更加准确的执行概率。

在通过信息编码层得到融合特征后，通过第i输出头对应的第一特征提取层至第i+1特征提取层分别对融合特征进行特征提取，得到i+1个特征向量。随后通过第i门控层对i+1个特征向量进行加权组合，得到第i中间向量。最后，将第i中间向量输入第i输出头，得到第i输出头输出的执行概率。

通过门控网络可以使推荐模型学习不同组合行为对应的特征提取层组合，对不同组合行为之间的共性以及特性自动调整参数进行学习，从而使推荐模型有效的挖掘不同组合行为之间的关系。

可选的，门控层的输入还包括推荐模型的输入信息，即样本账号信息以及样本推荐内容，经过门控层变化后，进行softmax(激活)操作，得到各个特征提取层对应的加权权重为：

g

其中，g

可选的，特征提取层可以为DNN网络，且在输出头中包括一个DNN网络，用于基于中间向量确定各个组合行为的执行概率。

示意性的，请参考图7，其示出了本申请另一个示例性实施例提供的推荐模型的结构示意图。假设存在三个待预测的组合行为，对应三个输出头(第一输出头、第二输出头以及第三输出头)并且每个输出头对应各自的门控层(第一门控层、第二门控层以及第三门控层)。由于三个组合行为至少对应四个原子行为，则在推荐模型中存在四个独立的特征提取层分别为第一特征提取层、第二特征提取层、第三特征提取层以及第四特征提取层。第一组合行为由第一原子行为以及第二原子行为构成，则第一门控层与第一特征提取层以及第二特征提取层相连接，第二组合行为由第一原子行为、第二原子行为以及第三原子行为构成，则第一门控层与第一特征提取层、第二特征提取层以及第三特征提取层相连，同理第三门控层与第一特征提取层、第二特征提取层、第三特征提取层以及第四特征提取层相连接。样本账号信息以及样本推荐内容同样需要输入门控层，以确定不同特征提取层对应的加权权重。在经过信息编码层中进行特征融合得到融合特征后，通过各个特征提取层对融合特征进行特征提取得到四个特征向量，随后通过门控层对不同特征提取层的特征相连进行加权组合，得到三个中间向量分别输入三个输出头，从而得到三个组合行为对应的执行概率。

本申请实施例中，通过在推荐模型中引入多个独立的特征提取层，并增加可以根据样本信息生成各个特征提取层输出结果加权权重的门控网络，可以实现对不同组合行为的参数空间分割，从而使推荐模型兼容不同类型的组合行为和数据。

本申请实施例中，通过设计不同的推荐模型结构与组合行为相适配，能够从而能够使模型取得更好的训练效果，准确预测不同组合行为的执行概率，从而向目标账号推荐更符合喜好的推荐内容。

在训练推荐模型的过程中，服务器基于n个组合行为标签以及n种组合行为的执行概率，训练推荐模型，即以n个组合行为标签作为n种组合行为的执行概率的监督，训练推荐模型。

具体的，基于n个组合行为标签以及n种组合行为的执行概率，确定n种组合行为各自的预测损失。随后将n种组合行为的预测损失进行加和，得到总预测损失。再基于总预测损失训练推荐模型。

对于不同的组合行为，假设样本推荐内容对于第i组合行为的第i组合行为标签为y

L

其中，p

基于总预测损失训练推荐模型的过程即为调整推荐模型参数，以使得总预测损失逐渐减小的过程，在总预测损失小于损失阈值，或者总预测损失趋于收敛的情况下，该推荐模型训练完成。

本申请实施例中，基于总预测损失训练推荐模型，有利于综合各个组合行为的预测损失对推荐模型的影响，增强推荐模型的训练效果。

在对推荐模型训练结束后，将该推荐模型部署于为展示推荐内容的应用程序提供后台服务的服务器中。在需要向目标账号进行内容推荐的情况下，服务器通过该推荐模型对各个组合行为的执行概率进行预测，在基于该执行概率实现内容推荐。

请参考图8，其示出了本申请一个示例性实施例提供的内容推荐过程的流程图，该过程包括以下步骤：

步骤801，将目标账号的目标账号信息以及至少两个候选推荐内容输入推荐模型，得到目标账号对至少两个候选推荐内容执行各种组合行为的执行概率。

步骤801的具体实施方式可以参照上述实施例中，在推荐模型训练过程中基于样本账号信息以及样本推荐内容确定执行概率的过程，本实施例在此不做赘述。

步骤802，基于n种组合行为的执行概率，确定至少两个候选推荐内容对于目标账号的推荐指数。

其中，推荐指数用于表征候选推荐内容向目标账号推荐的优先级，服务器会优先向目标账号推送推荐指数较高的目标推荐内容。

可选的，基于融合权重对n种组合行为的执行概率进行加权融合，得到推荐指数，其中，第i组合行为的融合权重大于第i+1组合行为的融合权重。

其中，加权融合方式可以为加法或者乘法。假设采用乘法进行加权融合，由于第i+1组合行为是第i组合行为的真子集，则对目标推荐内容进行排序时，第i+1组合行为不再倾向将第i组合行为已筛选的负样本的排序提升，在进行加权组合时可以为不同组合行为设置合适的融合权重，以实现在多个组合行为中选取更优选项的目的，则第i组合行为的融合权重大于第i+1组合行为的融合权重。

示意性的，假设存在三个组合行为对应的执行概率分别为p

P＝p

步骤803，基于推荐指数对至少两个候选推荐内容进行排序，以及基于至少两个候选推荐内容的排序结果确定目标推荐内容。

在确定推荐指数后，按照推荐指数的数值，按照由大到小进行排序，推荐指数越大，则推荐顺序越靠前。

可选的，服务器设定有推荐指数阈值，在候选推荐内容的推荐指数大于推荐指数阈值的情况下，将该候选内容确定为目标推荐内容并向目标账号推荐该目标推荐内容。反之若存在一候选推荐内容与目标账号的喜好偏差较大(该候选推荐内容的推荐指数小于推荐指数阈值)，则不向目标账号推荐该候选推荐内容。

可选的，服务器在接收到终端发送的推荐内容获取请求的情况下，按照排序结果确定目标推荐内容，并向目标账号推荐目标推荐内容。

本申请实施例中，服务器在需要进行内容推荐的情况下，通过训练后的推荐模型确定执行概率，并根据该执行概率确定目标推荐内容的推荐指数，从而按照不同推荐内容的推荐指示向目标用户进行推送。由于对推荐模型预测组合行为的执行概率，能够避免确定推荐指数时，后一组合行为对前序组合行为已筛选的负样本的排序提升，从而使得目标推荐内容的排序结果能够更加符合目标账号的浏览倾向。

图9是本申请一个示例性实施例提供的内容推荐装置的结构框图，如图9所示，该装置包括：

确定模块901，用于确定样本推荐内容对应的n个组合行为标签，所述组合行为标签对应的组合行为由至少两个原子行为构成，任意两个所述组合行为标签对应的所述组合行为之间存在真包含关系，所述原子行为用于表征样本账号对所述样本推荐内容执行的原子操作，n为大于等于2的整数；

训练模块902，用于基于所述样本账号的样本账号信息、所述样本推荐内容以及所述样本推荐内容对应的n个组合行为标签，训练推荐模型；

应用模块903，用于通过训练完成的所述推荐模型，基于目标账号的目标账号信息以及至少两个候选推荐内容，从至少两个所述候选推荐内容中确定目标推荐内容。

可选的，所述训练模块902，用于：

将所述样本账号的所述样本账号信息以及所述样本推荐内容输入所述推荐模型，得到所述样本账号对所述样本推荐内容执行各种组合行为的执行概率；

基于n个所述组合行为标签以及n种所述组合行为的所述执行概率，训练所述推荐模型。

可选的，第i组合行为标签对应的第i组合行为由第一原子行为至第i+1原子行为构成；

所述确定模块901，用于：

获取所述样本账号对所述样本推荐内容执行所述第一原子行为至所述第i+1原子行为的执行情况；

基于所述第一原子行为至所述第i+1原子行为的所述执行情况，确定所述第i组合行为标签。

可选的，所述确定模块901，用于：

在所述执行情况指示所述第一原子行为至所述第i+1原子行为均被执行的情况下，确定所述第i组合行为标签为正样本标签；

在所述执行情况指示所述第一原子行为至所述第i+1原子行为中存在未被执行的原子行为的情况下，确定所述第i组合行为标签为负样本标签。

可选的，存在至少两个所述样本推荐内容；

所述确定模块901，用于：

在所述执行情况指示所述第一原子行为至所述第i+1原子行为均被执行的情况下，确定所述第i组合行为标签为正样本标签，并且确定所述样本推荐内容具有第一样本权重；

在已确定所述第i组合行为标签为所述正样本标签的所述样本推荐内容的数量小于数量阈值的情况下，从至少两个所述样本推荐内容中筛选出所述执行情况指示第一原子行为至第i原子行为均未被执行，且所述第i+1原子行为被执行的增量样本推荐内容；

将所述增量样本推荐内容对应的所述第i组合行为标签确定为所述正样本标签，并且确定所述增量样本推荐内容具有第二样本权重，所述第二样本权重小于所述第一样本权重。

可选的，所述推荐模型包括信息编码层、特征提取层和n个输出头，不同输出头对应不同特征提取层；

所述训练模块902，用于：

将所述样本账号信息以及所述样本推荐内容输入所述推荐模型，通过所述信息编码层对所述样本账号信息以及所述样本推荐内容进行特征编码以及融合，得到融合特征；

通过第i输出头对应的特征提取层对所述融合特征进行特征提取，并将中间向量输入所述第i输出头，得到所述第i输出头输出的执行概率。

可选的，所述推荐模型包括n层所述特征提取层，所述第i输出头的输入端与第i特征提取层的输出端相连，且第i+1特征提取层的输入端与所述第i特征提取层相连接；

所述训练模块902，用于：

通过第一特征提取层对所述融合特征进行特征提取，得到第一中间向量；

将所述第一中间向量输入第一输出头，得到所述第一输出头输出的执行概率；

通过所述第i特征提取层对第i-1特征提取层输出的第i-1中间向量进行特征提取，得到第i中间向量，i为大于1的整数；

将所述第i中间向量输入所述第i输出头，得到所述第i输出头输出的所述执行概率。

可选的，所述推荐模型包括n+1层所述特征提取层以及n个门控层，第i门控层的输入端与第i特征提取层至第i+1特征提取层的输出端相连相连，所述第i门控层的输出端与第i组合行为对应的所述第i输出头相连；

所述训练模块902，用于：

通过所述第i输出头对应的第一特征提取层至第i+1特征提取层分别对融合特征进行特征提取，得到i+1个特征向量；

通过所述第i门控层对i+1个所述特征向量进行加权组合，得到第i中间向量；

将所述第i中间向量输入所述第i输出头，得到所述第i输出头输出的所述执行概率。

可选的，所述样本账号信息包含至少两项子账号信息，不同子账号信息对应不同的目标编码长度；

所述训练模块902，用于：

通过所述信息编码层对所述样本账号信息以及所述样本推荐内容进行特征编码，得到所述样本账号信息对应的信息编码向量以及所述样本推荐内容对应的内容编码向量，其中，不同子账号信息对应不同子信息编码向量；

在存在不定长的子信息编码向量的情况下，通过所述信息编码层对不定长的所述子信息编码向量进行池化处理，得到定长的所述子信息编码向量，其中定长的所述子信息编码向量的长度与所述目标编码长度一致，不定长的所述子信息编码向量的长度与所述目标编码不长度一致；

通过所述信息编码层对定长的所述子信息编码向量以及所述内容编码向量进行特征融合，得到所述融合特征。

可选的，所述训练模块902，用于：

基于n个所述组合行为标签以及n种所述组合行为的所述执行概率，确定n种所述组合行为各自的预测损失；

将n种所述组合行为的所述预测损失进行加和，得到总预测损失；

基于所述总预测损失训练所述推荐模型。

可选的，所述应用模块903，用于：

将所述目标账号的所述目标账号信息以及至少两个所述候选推荐内容输入所述推荐模型，得到所述目标账号对至少两个所述候选推荐内容执行各种组合行为的所述执行概率；

基于n种所述组合行为的所述执行概率，确定所述至少两个候选推荐内容对于所述目标账号的推荐指数；

基于所述推荐指数对至少两个所述候选推荐内容进行排序，以及基于至少两个所述候选推荐内容的排序结果向所述目标账号推荐所述目标推荐内容。

可选的，所述应用模块903，用于：

基于融合权重对n种所述组合行为的所述执行概率进行加权融合，得到所述推荐指数，其中，第i组合行为的所述融合权重大于第i+1组合行为的所述融合权重。

综上所述，本申请实施例中，对推荐模型进行训练的过程中，服务器率先确定样本推荐内容对应的多个组合行为标签，从而将该组合行为标签作为推荐模型的训练样本，以使得推荐模型基于样本账号信息以及样本推荐内容确定执行概率后，对推荐模型进行训练。在进行训练的过程中，采用预测多个组合行为的执行概率的方式取代相关技术中预测单个行为的执行概率的方式，有利于减少同一样本推荐内容针对不同组合行为存在的样本标签的差异性，能够在基于推荐模型对目标账号进行内容推荐的过程中，发送的推荐内容更加符合目标账号的喜好。

请参考图10，其示出了本申请一个示例性实施例提供的服务器的结构示意图。具体来讲：所述服务器1000包括中央处理单元(Central Processing Unit，CPU)1001、包括随机存取存储器1002和只读存储器1003的系统存储器1004，以及连接系统存储器1004和中央处理单元1001的系统总线1005。所述服务器1000还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(Input/Output，I/O系统)1006，和用于存储操作系统1013、应用程序1014和其他程序模块1015的大容量存储设备1007。

在一些实施例中，所述基本输入/输出系统1006包括有用于显示信息的显示器1008和用于用户输入信息的诸如鼠标、键盘之类的输入设备1009。其中所述显示器1008和输入设备1009都通过连接到系统总线1005的输入输出控制器1010连接到中央处理单元1001。所述基本输入/输出系统1006还可以包括输入输出控制器1010以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1010还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1007通过连接到系统总线1005的大容量存储控制器(未示出)连接到中央处理单元1001。所述大容量存储设备1007及其相关联的计算机可读介质为服务器1000提供非易失性存储。也就是说，所述大容量存储设备1007可以包括诸如硬盘或者驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括随机存取记忆体(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、闪存或其他固态存储其技术，只读光盘(Compact Disc Read-Only Memory，CD-ROM)、数字通用光盘(Digital Versatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1004和大容量存储设备1007可以统称为存储器。

存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1001执行，一个或多个程序包含用于实现上述方法的指令，中央处理单元1001执行该一个或多个程序实现上述各个方法实施例提供的方法。

根据本申请的各种实施例，所述服务器1000还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1000可以通过连接在所述系统总线1005上的网络接口单元1011接到网络1012，或者说，也可以使用网络接口单元1011来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由服务器所执行的步骤。

本申请实施例还提供一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述任一实施例所述的内容推荐方法。

本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。服务器的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该服务器执行上述方面提供的内容推荐方法。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，该计算机可读存储介质可以是上述实施例中的存储器中所包含的计算机可读存储介质；也可以是单独存在，未装配入终端中的计算机可读存储介质。该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一方法实施例所述的内容推荐方法。

可选地，该计算机可读存储介质可以包括：ROM、RAM、固态硬盘(Solid StateDrives，SSD)或光盘等。其中，RAM可以包括电阻式随机存取记忆体(Resistance RandomAccess Memory，ReRAM)和动态随机存取存储器(Dynamic Random Access Memory，DRAM)。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

需要说明的是，本申请所涉及的信息(包括但不限于目标账号信息、用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

且本申请在收集用户的相关数据之前以及在收集用户的相关数据的过程中，都可以显示提示界面、弹窗或输出语音提示信息，该提示界面、弹窗或语音提示信息用于提示用户当前正在搜集其相关数据，使得本申请仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后，才开始执行获取用户相关数据的相关步骤，否则(即未获取到用户对该提示界面或者弹窗发出的确认操作时)，结束获取用户相关数据的相关步骤，即不获取用户的相关数据。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。且本文中提及的“第一”、“第二”等用于区别类似对象，而并不用于限定特定的顺序或先后次序。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。

以上所述仅为本申请的可选的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。