一种多目标推荐方法以及装置

技术领域

本申请涉及人工智能技术领域，尤其涉及一种多目标推荐方法以及装置。

背景技术

推荐作为解决信息过载和挖掘用户潜在需求的技术手段，在诸多领域发挥着重要的作用，例如：电子商务，新闻资讯，电影推荐等。而为了应对用户的应用场景，多目标推荐模型在推荐系统中有着广泛的应用。多目标推荐模型通过同时优化多种业务目标的效果去获取得单目标模型无法获得的额外收益，其中业务目标的效果包括点击率、转换率以及点击转化率等。

然而常用的多目标推荐模型通常是对每一个业务目标进行损失计算，这样导致用户偏置对于多目标推荐模型的预测结果有较大的影响。

因此目前急需一种可以消除用户偏置的多目标推荐模型。

发明内容

本申请实施例提供了一种多目标推荐方法以及装置，用于消除用户偏置的影响，使得训练结果与线上预测得到一致的预估分数，进而增强多目标推荐模型对用户个性化排序的能力，提升多目标的预估结果的准确性。

有鉴于此，本申请一方面提供一种多目标推荐方法，包括：

获取推荐主体的第一特征和待推荐对象的第二特征；

将该第一特征与该第二特征输入多目标推荐模型得到该待推荐对象的预估分数，该多目标推荐模型为根据样本对集合训练得到，该样本对集合中的一个样本对包括同一推荐主体的两个不同样本数据以及该两个不同样本数据的排序信息，该样本数据包括样本推荐主体的主体特征信息和样本待推荐对象的对象特征信息，该样本推荐主体的主体特征信息包括该样本推荐主体针对该样本待推荐对象的历史行为特征和该样本推荐主体的属性特征；根据该待推荐对象的预估分数向该推荐主体推荐该待推荐对象。

本申请另一方面提供一种多目标推荐装置，包括：

获取模块，用于获取推荐主体的第一特征和待推荐对象的第二特征；

处理模块，用于将该第一特征与该第二特征输入多目标推荐模型得到该待推荐对象的预估分数，该多目标推荐模型为根据样本对集合训练得到，该样本对集合中的一个样本对包括同一推荐主体的两个不同样本数据以及该两个不同样本数据的排序信息，该样本数据包括样本推荐主体的主体特征信息和样本待推荐对象的对象特征信息，该样本推荐主体的主体特征信息包括该样本推荐主体针对该样本待推荐对象的历史行为特征和该样本推荐主体的属性特征；

推荐模块，用于根据该待推荐对象的预估分数向该推荐主体推荐该待推荐对象。

在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该获取模块，还用于获取该样本对集合；

该处理模块，还用于计算该样本对集合中的每一个样本对的样本数据输入初始目标模型得到的样本预估分数；根据该样本预估分数，计算该初始目标模型通过该样本对集合中每一个样本对的损失值；根据该每一个样本对的损失值，更新该初始目标模型的模型参数得到该多目标推荐模型

在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该处理模块，具体用于获取该样本对集合中每一个样本对的权重值；根据该预估分数和该权重值计算该初始目标模型通过该样本对集合中每一个样本对的损失值。

在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该处理模块，具体用于获取该样本对集合中每一个样本对的样本数据的标签值，该标签值根据该推荐对象的操作目标和该推荐对象的操作目标对应的目标价值确定；根据该标签值确定该样本对集合中每一个样本对的权重值。

在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该处理模块，具体用于获取该样本对集合中每一个样本对的样本数据的标签值和该样本对集合中每一个样本对的样本数据对应的曝光位置，该标签值根据该推荐对象的操作目标和该推荐对象的操作目标对应的目标价值确定，该曝光位置用于指示该推荐对象在展示页面的展示位置；根据该标签值和该曝光位置确定该样本对集合中每一个样本对的权重值。

在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该处理模块，具体用于按照样本对的损失值大小均衡的原则设置针对该推荐对象的操作目标以及与该操作目标对应的目标价值；根据该操作目标和该目标价值为该样本对集合中每一个样本对的样本数据分配标签值。

在一种可能的设计中，在本申请实施例的另一方面的另一种实现方式中，该多目标推荐模型为基于Pairwise损失的单塔结构模型。

本申请另一方面提供一种计算机设备，包括：存储器、处理器以及总线系统；

其中，存储器用于存储程序；

处理器用于执行存储器中的程序，处理器用于根据程序代码中的指令执行上述各方面的方法；

总线系统用于连接存储器以及处理器，以使存储器以及处理器进行通信。

本申请的另一方面提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面的方法。

本申请的另一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方面所提供的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：将样本数据按照同一用户进行分类，从而实现一个样本对中是同一用户的不同样本数据以及这两个样本数据的排序信息，这样训练过程与线上预测时的数据保持一致，从而可以能够消除用户偏置的影响，使得训练结果与线上预测得到更加一致预估分数，进而增强了多目标推荐模型对用户个性化排序的能力，从而提升多目标的预估结果。

附图说明

图1为本申请实施例中多目标推荐模型的训练方法的一个实施环境示意图；

图2为本申请实施例中多目标推荐模型的训练方法的一个实施流程架构示意图；

图3为本申请实施例中多目标推荐模型的训练方法的一个实施例示意图；

图4为本申请实施例中多目标推荐方法的一个实施例示意图；

图5为本申请实施例中多目标推荐方法的一个界面展示图；

图6为本申请实施例中多目标推荐装置的一个实施例示意图；

图7为本申请实施例中多目标推荐装置的另一个实施例示意图；

图8为本申请实施例中多目标推荐装置的另一个实施例示意图。

具体实施方式

本申请实施例提供了一种多目标推荐方法以及装置，用于消除用户偏置的影响，使得训练结果与线上预测得到一致的预估分数，进而增强多目标推荐模型对用户个性化排序的能力，提升多目标的预估结果的准确性。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

鉴于本申请会涉及到一些专业术语，因此，下面将对这部分专业术语先进行介绍。

推荐系统：是一种信息过滤系统，用于预测用户对物品的评分或偏好。

多目标排序模型：排序模型同时有多个任务和多个业务目标。

损失值：将推荐系统生成的样本映射为非负实数以表示该样本的损失。

Pointwise损失：由一条样本构造损失值。

Pairwise损失：由两条样本构造损失值。

召回：从全量的物品库中快速地选出跟用户兴趣相关的候选物品集合。

排序：对召回的物品打分，按照分数截取前n个物品作为推荐结果，其中，该n为正整数。

多层感知器(Multiple Layer Perceptron，MLP)：通常也称为深度神经网络(DeepNeural Network，DNN)是多层全连接神经网络。

推荐作为解决信息过载和挖掘用户潜在需求的技术手段，在诸多领域发挥着重要的作用，例如：电子商务，新闻资讯，电影推荐等。而为了应对用户的应用场景，多目标推荐模型在推荐系统中有着广泛的应用。多目标推荐模型通过同时优化多种业务目标的效果去获取得单目标模型无法获得的额外收益，其中业务目标的效果包括点击率、转换率以及点击转化率等。目前常用的多目标推荐模型包括如下几种方式，一种可能实现方式中，对样本进行加权，即对单目标模型的损失进行加权。比如，模型有点击、时长和互动这三个业务目标，则样本权重可以设计如下：“互动正样本的权重为3；时长正样本的权重为2；其他样本的权重为1”。这样将有可能导致同一个用户权重大的样本有更高的预估分数，从而使得加权的损失难以保证。另一种可能实现方式中，采用多塔多目标模型进行训练。这样多塔多目标模型的输入底层是全连接层共享，每个业务目标对应一个塔，用来预估业务目标的分数。每个业务目标的损失均是Pointwise损失，而整体模型的总损失是多个业务目标损失的加权求和。在此方案中每个业务目标的损失权重是一组参数，损失加权融合也是一组参数，这样导致模型的参数多，调参数成本较高。同时每一个业务目标均是对每一个业务目标进行损失计算，这样导致用户偏置对于多目标推荐模型的预测结果有较大的影响。

为了解决上述问题，本申请提供如下技术方案：获取推荐主体的第一特征和待推荐对象的第二特征；将该第一特征与该第二特征输入多目标推荐模型得到该待推荐对象的预估分数，该多目标推荐模型为根据样本对集合训练得到，该样本对集合中的一个样本对包括同一推荐主体的两个不同样本数据以及该两个不同样本数据的排序信息，该样本数据包括样本推荐主体的主体特征信息和样本待推荐对象的对象特征信息，该样本推荐主体的主体特征信息包括该样本推荐主体针对该样本待推荐对象的历史行为特征和该样本推荐主体的属性特征；根据该待推荐对象的预估分数向该推荐主体推荐该待推荐对象。

本申请提供的技术方案中，该多目标推荐模型将样本数据按照同一用户进行分类，从而实现一个样本对中是同一用户的不同样本数据以及这两个样本数据的排序信息，即该多目标推荐模型是由两条样本构造损失值(也可以称为基于Pairwise损失)进而进行模型训练，这样在整个模型训练过程中，训练过程与线上预测时的数据保持一致，从而可以能够消除用户偏置的影响，使得训练结果与线上预测得到更加一致预估分数，进而增强了多目标推荐模型对用户个性化排序的能力，从而提升多目标的预估结果。

可以理解的是，本申请实施例中，在进行多目标推荐之前，本申请实施例中还可以提供一种多目标推荐模型的训练方法。一种示例性方案中，本申请实施例提供的多目标推荐模型的训练方法，能够由计算机设备执行。下面介绍一下本申请实施例提供的多目标推荐模型的训练方法的实施环境，图1是根据本申请实施例提供的一种多目标推荐模型的训练方法的实施环境示意图。参见图1，该实施环境包括终端设备101和服务器102。终端设备101和服务器102能够通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

在一些实施例中，终端设备101是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电以及车载终端等，但并不局限于此。终端设备101安装和运行有支持内容推荐的客户端，其中，客户端可以通过浏览器的形式运行于终端设备101上，也可以通过独立的应用程序(application，APP)的形式运行于终端设备上，对于客户端的具体展现形式，此处不做限定。在一些实施例中，服务器102是独立的物理服务器，也能够是多个物理服务器构成的服务器集群或者分布式系统，还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN) 以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102用于为支持虚拟场景的应用程序提供后台服务。在一些实施例中，服务器102承担主要计算工作，终端设备101承担次要计算工作，例如，该终端设备101向该服务器102提供样本数据，该服务器102提供该多目标推荐模型的训练过程；或者，服务器102和终端设备101二者之间采用分布式计算架构进行协同计算。

可以理解的是，上述终端设备101的数量可以更多或者更少。比如上述终端设备101 可以仅为一个，或者上述终端设备101可为几十个或者上百个，或者更多数量。即本申请实施例对于终端设备101的数量和设备类型不做限定。

下面介绍一下本申请实施例提供的多目标推荐模型的训练方法的训练架构，如图2 所示的训练架构中，该多目标推荐模型是基于Pairwise损失的单塔结构，即该样本数据构建的每一个样本对包括两条归属于同一用户的不同样本数据，且该样本对中还包括该两条样本数据的排序信息。基于上述训练架构，将由样本数据构建的样本对集合中的样本对依次通过该多目标推荐模型的初始目标模型，其中，在样本对通过该初始目标模型时，其具体计算过程可以如下：样本对中的样本i和样本j分别输入至该初始目标模型，然后分别输出预估分数i和预估分数j；基于Pairwise损失的定义根据该预估分数i和预估分数j计算损失值；最后根据该损失值反向调整该初始目标模型的参数，直到该损失值的值小于预设阈值或者该损失值达到预设的收敛条件时，确定根据该损失值调整的参数为该初始目标模型的参数，即此时将输出应用于线上预测的多目标推荐模型，并结束模型训练过程。

在一些实施例中，上述多目标推荐模型能够应用于推荐系统上，该推荐系统能够基于多目标推荐方法，向用户推荐媒体资源，如推荐新闻、推荐广告、推荐视频等，还能够用于向用户推荐商品、服务等。例如，终端设备为车载终端，服务器基于该多目标推荐模型向多个车载终端推送附近的加油站、停车场等内容。再例如，终端设备为智能手机，服务器基于该多目标推荐模型向多个智能手机推荐附近的美食、景点等内容。

需要说明的是，本申请实施例提供的一种多目标推荐方法的实施环境可以与该多目标推荐模型的训练方法的实施环境相同，也可以不同，本申请实施例对此不进行限制。

可以理解的是，在本申请的具体实施方式中，涉及到样本数据等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户充分许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

结合上述介绍，下面将对本申请中多目标推荐模型的训练方法进行介绍，请参阅图3，本申请实施例中多目标推荐模型的训练方法的一个实施例包括：

301、获取样本数据和初始目标模型，该样本数据包括包括样本推荐主体的主体特征信息和样本待推荐对象的对象特征信息，该样本推荐主体的主体特征信息包括该样本推荐主体针对该样本待推荐对象的历史行为特征和该样本推荐主体的属性特征。

本实施例中，训练装置在进行该多目标推荐模块的训练之前需要先获取到用于训练的样本数据以及初始目标模型。

本实施例中，该样本数据包括包括样本推荐主体的主体特征信息和样本待推荐对象的对象特征信息，该样本推荐主体的主体特征信息包括该样本推荐主体针对该样本待推荐对象的历史行为特征和该样本推荐主体的属性特征。可以理解的是，该样本推荐主体可以是应用平台服务的用户，例如，应用平台可以是支付平台，则用户可以是使用支付平台进行在线交易的用户；又如，应用平台可以是视频平台，则用户可以是使用视频平台观看视频的用户；又如，应用平台可以是音频平台，则用户可以是使用音频平台收听音频的用户等等。样本推荐主体的主体特征信息用于反映用户的属性特征及用户的历史行为特征。其中，用户的属性是指用户的基础信息，用户的属性特征包括但不限于用户的年龄、性别、工作类型、所属地区、注册时间等。用户的历史行为特征具体可以包括用户在一个或多个应用平台上的历史行为数据，例如，用户在支付平台上的历史行为数据可以包括但不限于用户点击过的用户权益、用户使用的用户权益、用户通过用户权益购买过的商品及商品的成交金额等，用户在购物平台上的历史行为数据可以包括但不限于用户产生过指定行为(如点击、浏览、收藏、购买、点击后购买等一种或多种)的商品、用户购买商品的花费等。用户在视频平台上的历史行为数据可以包括但不限于用户点击视频进行观看，用户为观看的视频发送弹幕或者进行评论或者收藏视频等等。

样本待推荐对象是指与用户存在关联关系的推荐对象，例如包括但不限于向用户推荐过的推荐对象、用户点击过的推荐对象、用户通过点击并产生购买行为的推荐对象等。比如，可以是商品、文章、视频、音频等等信息。样本待推荐对象的对象特征信息可以例如包括上述与用户存在关联关系的推荐对象的相关特征以及用户与该推荐对象之间的关系特征。其中，关系特征反映用户与该推荐对象之间具体为何种关系(浏览、点击、点击并产生购买行为、收藏等)。推荐对象的相关特征具体可以包括该推荐对象的属性特征、与该推荐对象关联的其他用户的属性特征以及该推荐对象的所属方的属性特征。其中，推荐对象的属性特征用于反映对象的基础信息，例如类别、特点、所属地区等，与推荐对象关联的其他用户可以包括但不限于应用平台上被推荐过该推荐对象的其他用户、点击过该推荐对象的其他用户、点击过该推荐对象并产生过购买行为的其他用户。例如，以应用平台为支付平台为例，向用户推荐的推荐对象可以是用户权益，相应地，用户对应的推荐对象特征可以包括上述用户权益的类别(如红包类、购物优惠券类等)，与用户关联的其他用户的属性特征可以包括使用该用户权益的其他用户的上述属性特征，推荐对象的所属方的属性特征可以包括能够使用用户权益的应用平台的地区、评分、收藏量、成交量等。

多目标推荐模型是为了向用户推荐多个业务目标，而多个业务目标可以根据实际需求自定义设置。例如，视频平台在向用户推荐视频广告时，希望该视频广告被大量用户点击、关注、通过视频广告购买商品以及产生的成交金额等，相应地，多个业务目标可以例如包括但不限于用户对视频广告的点击率、转化率、停留时长以及用户通过视频广告产生的成交金额。

又如，支付平台在向用户发放用户权益时，希望用户在看到所发放的用户权益后，会点击用户权益，同时希望用户点击用户权益后领取用户权益，并且领取用户权益后使用用户权益，相应地，多个业务目标可以例如包括但不限于以下至少两种；用户对用户权益的点击率、转化率、停留时长以及用户通过用户权益产生的成交金额等。其中，用户权益可以是指应用平台向用户提供的优惠，如应用平台向用户提供的红包、购物优惠券、购物津贴、来电铃声等。

本实施例中，该初始目标模型可以是多层感知器(Multiple Layer Perceptron，MLP)、梯度提升树模型(eXtremeGradient Boosting，Xgboost)或者深度推荐模型(DeepFM)，即只要可以实现多目标推荐即可，具体模型结构，此处不做限定。

302、根据该样本数据构建样本对集合，该样本对集合中的一个样本对包括同一推荐主体的两个不同样本数据以及该两个不同样本数据的排序信息。

训练装置训练装置在获取至该样本数据之后，将获取到的样本数据构建样本对集合，可以理解的是，每一个样本对中包括两个不同样本数据以及该两个不同样本数据的排序信息，同时这两个样本数据归属于同一个样本推荐主体。比如，一个样本对中包括了用户A针对视频平台的样本数据1和样本数据2，其中，该样本数据1对应的标签为点击视频，该样本数据2对应的标签为点击视频并给视频发送评论。此时该样本数据1与该样本数据2的排序信息为样本数据2的曝光位置要高于该样本数据1。

本实施例中，该样本对集合的构建具体可以参阅如下方案：

一种示例性方案中，训练装置将该样本数据按照用户归属进行分类，即同一用户的样本数据归于一类。同时该训练装置根据预先设置的针对该样本推荐对象的操作目标与操作目标的目标价值为各个样本数据分配相应的标签值；最后根据标签值再将同一用户的样本数据构建样本对。本实施例中，该样本推荐对象的操作目标用于表示样本推荐对象对应的业务目标对应的真实操作，而该样本数据的标签值用于表示样本推荐对象的业务目标对应的真实值，也可以称为操作目标对应的目标价值。该样本推荐对象在不同的业务目标对应的操作目标不同。

可以理解的是，在设置样本数据的标签值时，为了使得该多目标推荐模型的损失小，从而提高该多目标推荐模型在线上进行预估时的准确度，可以将该样本数据的标签值与模型预估分数设置为一致。该标签值与该预估分数一致可以理解为预估分数高，则标签值高；预估分数低，则标签值低。基于上述描述，该样本对构建过程中排序信息可以是标签值高的样本数据排序在前，而标签值低的样本数据排序在后；也可以是标签值低的样本数据排序在前，而标签值高的样本数据排序在后。具体情况依照该多目标推荐模型的推荐规则以及该标签值的设置规则确定。一种示例性方案中，在样本推荐对象为视频时，该操作目标可以包括“点击视频、观看视频的时长超过第一阈值、产生互动行为”。假设在多目标推荐模型的推荐规则为：推荐对象对应的预估分数越高，则该推荐对象对应的排序位置越靠前，此时该预估分数与该标签值保持一致的规则为预估分数越高，标签值设置应越高。若该多目标推荐模型针对上述视频的三个操作目标需要达到的排序为：“产生互动行为”排序最前，“观看视频的时长超过第一阈值”的排序次之，“点击视频”的排序最后。则上述操作目标的目标价值排序如下：“产生互动行为”大于“观看视频的时长超过第一阈值”大于“点击视频”。此时，样本的标签值可以设置如下：“0，用户未点击视频；1，用户仅点击视频；2，用户观看视频超过第一阈值；3，用户仅产生了互动行为；4，用户观看视频且产生互动行为”。此时各个样本数据中根据操作目标以及目标价值分配的标签值的示例性方案可以如下：若样本数据指示的操作目标为“点击视频”，则该样本数据对应的标签值为1；若样本数据指示的操作目标为“用户观看视频超过第一阈值”，则该样本数据对应的标签值为2。

另一个示例性方案中，在样本推荐对象为视频时，该操作目标可以包括“点击视频、观看视频的时长超过第一阈值、产生互动行为”。假设在多目标推荐模型的推荐规则为：推荐对象对应的预估分数越低，则该推荐对象对应的排序位置越靠前，此时该预估分数与该标签值保持一致的规则为预估分数越低，标签值设置应越低。若该多目标推荐模型针对上述视频的三个操作目标需要达到的排序为：“产生互动行为”排序最前，“观看视频的时长超过第一阈值”的排序次之，“点击视频”的排序最后。则上述操作目标的目标价值排序如下：“产生互动行为”大于“观看视频的时长超过第一阈值”大于“点击视频”。此时，样本的标签值可以设置如下：“4，用户未点击视频；3，用户仅点击视频；2，用户观看视频超过第一阈值；1，用户仅产生了互动行为；0，用户观看视频且产生互动行为”。此时各个样本数据中根据操作目标以及目标价值分配的标签值的示例性方案可以如下：若样本数据指示的操作目标为“点击视频”，则该样本数据对应的标签值为3；若样本数据指示的操作目标为“用户观看视频超过第一阈值”，则该样本数据对应的标签值为2。另一种示例性方案中，以支付平台为例，多个业务目标包括以下至少两种：用户对支付平台提供的用户权益的点击率、转化率以及用户通过用户权益产生的成交金额。对于用户对支付平台提供的用户权益的点击率这一业务目标，则样本数据在该业务目标对应的操作目标则用于指示用户是否点击该用户权益，而标签值可以设置为“0，用户未点击该用户权益；1，用户点击该用户权益”；对于用户对支付平台提供的用户权益的转化率这一业务目标，则样本数据在该业务目标对应的操作目标则用于指示用户点击该用户权益后是否使用该用户权益，而标签值可以设置为“2，用户未使用该用户权益；3，用户使用该用户权益”；对于用户通过支付平台提供的用户权益产生的成交金额这一业务目标，则样本数据在该业务目标对应的操作目标则为用户通过该用户权益实际产生的成交金额等等，而标签值可以设置为“4，用户成交金额低于预设阈值；5，用户成交金额高于或等于预设阈值”。

另一种示例性方案中，在样本推荐对象为视频时，该视频的业务目标至少有如下3个：点击视频、观看视频的时长超过第一阈值、产生互动行为。其中互动行为包括关注发布视频的账号、给视频点赞、分享视频等。假设在多目标推荐模型的推荐规则为：输出的预估分数越高，其对应的排序位置越靠前，此时该预估分数与该标签值保持一致的规则为预估分数越高，标签值设置应越高，且上述三个业务目标需要达到的排序为：“产生互动行为”大于“观看视频的时长超过第一阈值”大于“点击视频”。因此此时标签值可以定义成：“0，用户未点击视频；1，用户仅点击视频；2，用户观看视频超过第一阈值；3，用户仅产生了互动行为；4，用户观看视频且产生互动行为”。而针对上述样本数据的标签值设置，对于同一用户在该视频平台的样本数据，有可能产生10种类型的样本对。例如，假设第一用户对应的样本数据如下：样本数据1以及样本数据1对应的标签值为“0，用户未点击视频”；样本数据2以及样本数据2对应的标签值为“1，用户仅点击视频”；样本数据3以及样本数据3对应的标签值为“2，用户观看视频超过第一阈值”；样本数据4以及样本数据4对应的标签值为“3，用户仅产生了互动行为”；样本数据5以及样本数据5对应的标签值为“4，用户观看视频且产生互动行为”。此时，该第一用户的样本数据将会构建如下10种可能的样本对：(样本数据2，样本数据1)、 (样本数据3，样本数据1)、(样本数据4，样本数据1)、(样本数据5，样本数据 1)、(样本数据3，样本数据2)、(样本数据4，样本数据2)、(样本数据5，样本数据2)、(样本数据4，样本数据3)、(样本数据5，样本数据3)和(样本数据5，样本数据4)。

303、计算该样本对集合中的每一个样本对的样本数据输入初始目标模型得到的样本预估分数。

在该训练装置获取到对应的训练数据之后，将该样本对集合依次输入至该初始目标模型中进行训练，并计算该样本对集合中的每一个样本对的样本数据输入初始目标模型得到的样本预估分数。

训练装置训练装置训练装置训练装置训练装置本实施例中，在训练过程中，该训练装置在计算各个样本数据的预估分数时，还可以生成一个单独的训练架构，用于将同一个用户的样本数据计算出预估分数，然后再将同一个用户的样本数据构建样本对，并得到样本对集合以及该样本对集合中各个样本对对应的预估分数；最后再根据该预估分数计算损失值。这样同一个样本数据虽然会出现在多个样本对里，但由于所有样本数据的预估分数已经一次性计算完成，模型训练的计算量不会提升。

304、根据该样本预估分数，计算该初始目标模型通过该样本对集合中每一个样本对的损失值。

本实施例中，该训练装置在根据样本预估分数计算该初始目标模型通过该样本对集合中每一个样本对的损失值时的具体方式可以如下：该训练装置先获取每个样本对的权重，然后根据该样本对对应的两个样本预估分数和该权重值计算得到该损失值。例如，在该训练装置输入第一样本对并得到该第一样本对对应的第一样本预估分数和第二样本预估分数之后，同时获取该第一样本对的权重；最后该训练装置根据该第一样本预估分数、该第二样本预估分数以及该第一样本对的权重计算该多目标推荐模型的损失值。可以理解的是，该训练装置可以基于Pairwise损失的定义根据该样本预估分数和该样本对的权重值计算该初始目标模型的损失值。一个示例性方案中，该训练装置可以利用如下公式1进行计算：

公式1：

其中，该i和该j用于指示样本数据对应的物品曝光的位置，该y

本实施例中，该样本对的权重可以根据如下方式进行确定：

一种可能实现方式中，该样本对的权重是根据该样本对中两个不同样本数据的标签值确定。例如，该样本对的权重满足如下公式：

另一种可能实现方式中，该样本对的权重是根据该样本对中两个不同样本数据的标签值以及该两个不同样本数据指示的推荐对象的曝光位置确定。例如，该样本对的权重满足如下公式：

305、根据该每一个样本对的损失值，更新该初始目标模型的模型参数得到该多目标推荐模型。

在本实施例中，更新该初始目标模型的模型参数可以是迭代更新。一种示例性方案中，在训练开始前，该初始目标模型具有初始参数，在将该样本对集合中的第一样本对输入该初始多目标模型之后，得到第一损失值，然后根据该第一损失值反向更新该初始目标模型的初始参数得到第一参数，此时该初始目标模型更新为第一目标模型；将该样本对集合中的第二样本对输入第一目标模型之后，得到第二损失值；然后根据该第二损失值反向更新该第一多目标模型的第一参数为第二参数，此时该第一目标模型更新为第二目标模型；依此类推，直到输入该样本对集合中的样本对得到的损失值达到收敛条件，则结束该推荐模型的训练过程，并根据最终的损失值反向更新该目标模型的参数得到最终输出的多目标推荐模型。

在该多目标推荐模型的参数迭代更新的过程中，当该多目标推荐模型的损失值达到预设阈值时，该训练装置确定该多目标推荐模型的参数已完成收敛，这时该训练装置可以结束训练，并输出此时的多目标推荐模型，将该多目标推荐模型应用于线上预估。

可以理解的是，根据上述的描述可知，在该多目标推荐模型的训练中是基于Pairwise损失定义，根据预估分数和样本对的权重来计算损失值，即该多目标推荐模型中的超参数只有样本对的权重，而该样本对的权重可以调节的只有该样本数据的标签值，因此该多目标推荐模型中只有样本标签值一组参数，降低多目标推荐模型的调参成本。

本实施例中，在上述多目标推荐模型的训练过程中，将样本数据按照同一用户进行分类，从而实现一个样本对中是同一用户的不同样本数据以及这两个样本数据的排序信息，这样训练过程与线上预测时的数据保持一致，从而可以能够消除用户偏置的影响，使得训练结果与线上预测得到更加一致预估分数，进而增强了多目标推荐模型对用户个性化排序的能力，从而提升多目标的预估结果。同时对样本数据分配标签值，并根据该标签值确定该样本对的权重，使得该多目标推荐模型中的超参数只有样本标签值这一参数，从而降低多目标推荐模型的调参成本。在确定该样本对权重时，考虑到样本对中的各个样本数据中的样本曝光位置的影响，从而保证样本预估更加准确。

上面对本申请实施例中多目标推荐模型的训练方法进行了说明，下面对该多目标推荐模型的应用进行说明，具体请参阅图4所示，本实施例中多目标推荐方法的一个实施例包括：

401、获取推荐主体的第一特征和待推荐对象的第二特征。

本实施例中，该推荐主体可以是使用应用平台提供的服务的用户。例如，应用平台可以是支付平台，则用户可以是使用支付平台进行在线交易的用户；又如，应用平台可以是视频平台，则用户可以是使用视频平台观看视频的用户，等等。第一特征用于反映用户的属性特征。其中，用户的属性是指用户的基础信息，用户的属性特征包括但不限于用户的年龄、性别、工作类型、所属地区、注册时间等。可以理解的是，本实施例中，该第一特征还可以包括对该用户的标签信息，比如该用户的标签可以包括：“喜欢历史”、“喜欢音乐”、“有很大概率为游戏广告付费”等等。

待推荐对象是指与用户存在关联关系的推荐对象，例如包括但不限于向用户推荐过的推荐对象、用户点击过的推荐对象、用户通过点击并产生购买行为的推荐对象等。比如，可以是商品、文章、视频、音频等等信息。待推荐对象的第二特征具体可以包括该待推荐对象的属性特征、与该待推荐对象关联的其他用户的属性特征以及该待推荐对象的所属方的属性特征。其中，待推荐对象的属性特征用于反映待推荐对象的基础信息，例如类别、特点、所属地区等，与待推荐对象关联的其他用户可以包括但不限于应用平台上被推荐过该待推荐对象的其他用户、点击过该待推荐对象的其他用户、点击过该待推荐对象并产生过购买行为的其他用户。例如，以应用平台为支付平台为例，向用户推荐的待推荐对象可以是用户权益，相应地，用户对应的待推荐对象特征可以包括上述用户权益的类别(如红包类、购物优惠券类等)，与用户关联的其他用户的属性特征可以包括使用该用户权益的其他用户的上述属性特征，待推荐对象的所属方的属性特征可以包括能够使用用户权益的应用平台的地区、评分、收藏量、成交量等。再例如，以应用平台为音频播放平台为例，向用户推荐的待推荐对象可以是音频，相应的，用户对应的待推荐对象特征包括音频的类型(如歌曲、有声书、相声等等)，与用户关联的其他用户的属性特征可以包括播放该音频的应用平台的地区、评分、收藏量、购买量等等。

402、将该第一特征与该第二特征输入多目标推荐模型得到该待推荐对象的预估分数，该多目标推荐模型为根据样本对集合训练得到，该样本对集合中的一个样本对包括同一推荐主体的两个不同样本数据以及该两个不同样本数据的排序信息，该样本数据包括样本推荐主体的主体特征信息和样本待推荐对象的对象特征信息，该样本推荐主体的主体特征信息包括该样本推荐主体针对该样本待推荐对象的历史行为特征和该样本推荐主体的属性特征。

本实施例中，在获取到该第一特征和该第二特征之后，将该第一特征与该第二特征输入已训练好的多目标推荐模型。

本实施例中的多目标推荐模型是采用上述图3所示的实施例的方法进行训练得到。

403、根据该待推荐对象的预估分数向该推荐主体推荐该待推荐对象。

根据该待推荐对象的预估分数对该待推荐对象进行排序，并将该待推荐对象推荐给用户的终端设备，并展示。可以理解的是，本实施例中该多目标推荐装置可以按照用户在训练该多目标推荐模型时的设置规则根据预估分数对该待推荐对象进行排序。比如，在训练该多目标推荐装置时设置样本预估分数越低的样本数据排序越靠前，且该样本数据对应的标签值越低，则该多目标推荐装置按照预估分数由低到高对该待推荐对象进行排序。若在训练该多目标推荐装置时设置样本预估分数越高的样本数据排序越靠前，且该样本数据对应的标签值越高，则该多目标推荐装置按照预估分数由高到低对该待推荐对象进行排序。

一种示例性方案中，若该多目标推荐装置用于向该用户推荐新闻文章，此时，该业务目标可以包括多种，比如对新闻文章进行点击，对新闻文章的阅读时长达到根据该新闻文章的预测时间的一半、对新闻文章进行评论等等。该用户的第一特征包括：23岁、女性、工作地点为深圳、历史关注信息有明星、历史、时事、电影等等信息，其用户标签包括“喜欢历史”、“喜欢音乐”、“有很大概率为游戏广告付费”。目前待推荐的新闻文章信息包括：明星绯闻、历史上的今天发生的事件讲解、当天政策、电影影评等等。假设该多目标推荐装置根据多目标推荐模型得到各个新闻文章的预估分数如下：“明星绯闻对应的预估分数为8、历史上的今天发生的事件讲解对应的预估分数为9、当天政策对应的预估分数为6、电影影评对应的预估分数为7。”该多目标推荐装置按照预估分数由高到低排序上述新闻文章，则在该用户通过智能手机浏览某一社交软件的新闻界面时，其推荐界面可以如图5所示，位于界面最顶端的为“历史上6月9日发生的事件”，然后依次排序为“XX明星进入XX电影剧组”、“关于电影YY的看法”、“今年高考题目较难”。

下面对本申请中的多目标推荐装置进行详细描述，请参阅图6，图6为本申请实施例中多目标推荐装置的一个实施例示意图，多目标推荐装置20包括：

获取模块201，用于获取推荐主体的第一特征和待推荐对象的第二特征；

处理模块202，用于将该第一特征与该第二特征输入多目标推荐模型得到该待推荐对象的预估分数，该多目标推荐模型为根据样本对集合训练得到，该样本对集合中的一个样本对包括同一推荐主体的两个不同样本数据以及该两个不同样本数据的排序信息，该样本数据包括样本推荐主体的主体特征信息和样本待推荐对象的对象特征信息，该样本推荐主体的主体特征信息包括该样本推荐主体针对该样本待推荐对象的历史行为特征和该样本推荐主体的属性特征；

推荐模块203，用于根据该待推荐对象的预估分数向该推荐主体推荐该待推荐对象。本申请实施例中，提供了一种多目标推荐装置。采用上述装置，将样本数据按照同一用户进行分类，从而实现一个样本对中是同一用户的不同样本数据以及这两个样本数据的排序信息，这样训练过程与线上预测时的数据保持一致，从而可以能够消除用户偏置的影响，使得训练结果与线上预测得到更加一致预估分数，进而增强了多目标推荐模型对用户个性化排序的能力，从而提升多目标的预估结果。

可选地，在上述图6所对应的实施例的基础上，本申请实施例提供的多目标推荐装置20的另一实施例中，

该获取模块201，还用于获取该样本对集合；

该处理模块202，还用于计算该样本对集合中的每一个样本对的样本数据输入初始目标模型得到的样本预估分数；根据该样本预估分数，计算该初始目标模型通过该样本对集合中每一个样本对的损失值；根据该每一个样本对的损失值，更新该初始目标模型的模型参数得到该多目标推荐模型。

本申请实施例中，提供了一种多目标推荐装置。采用上述装置，在模型训练过程中，将样本数据按照同一用户进行分类，从而实现一个样本对中是同一用户的不同样本数据以及这两个样本数据的排序信息，这样训练过程与线上预测时的数据保持一致，从而可以能够消除用户偏置的影响，使得训练结果与线上预测得到更加一致预估分数，进而增强了多目标推荐模型对用户个性化排序的能力，从而提升多目标的预估结果。同时，将每个样本对中的样本数据同时输入初始目标模型得到两个样本预估分数，然后根据样本预估分数计算该初始目标模型的一个损失值，并迭代更新损失值从而实现对该初始目标模型的参数调节。

可选地，在上述图6所对应的实施例的基础上，本申请实施例提供的多目标推荐装置多目标推荐装置20的另一实施例中，该处理模块202，具体用于获取该样本对集合中每一个样本对的权重值；根据该预估分数和该权重值计算该初始目标模型通过该样本对集合中每一个样本对的损失值。

本申请实施例中，提供了一种多目标推荐装置。采用上述装置，根据样本对的权重以及预估分数计算损失，使得损失与预估分数保持一致，从而提高线上预估的准确性。

可选地，在上述图6所对应的实施例的基础上，本申请实施例提供的多目标推荐装置20的另一实施例中，

该处理模块202，具体用于获取该样本对集合中每一个样本对的样本数据的标签值，该标签值根据该推荐对象的操作目标和该推荐对象的操作目标对应的目标价值确定；根据该标签值确定该样本对集合中每一个样本对的权重值。

本申请实施例中，提供了一种多目标推荐装置。采用上述装置，利用样本数据的标签值来确定该样本对的权重，从而保证高价值的样本数据可以预估更准确，同时样本数据的标签值可以根据需求进行调整，从而保证样本对损失的大小影响处于均衡水平，消除用户偏置。

可选地，在上述图6所对应的实施例的基础上，本申请实施例提供的多目标推荐装置20的另一实施例中，

该处理模块202，具体获取该样本对集合中每一个样本对的样本数据的标签值和该样本对集合中每一个样本对的样本数据对应的曝光位置，该标签值根据该推荐对象的操作目标和该推荐对象的操作目标对应的目标价值确定，该曝光位置用于指示该推荐对象在展示页面的展示位置；根据该标签值和该曝光位置确定该样本对集合中每一个样本对的权重值。

本申请实施例中，提供了一种多目标推荐装置。采用上述装置，利用样本数据的标签值来确定该样本对的权重，从而保证高价值的样本数据可以预估更准确，同时样本数据的标签值可以根据需求进行调整，从而保证样本对损失的大小影响处于均衡水平，消除用户偏置。可选地，在上述图6所对应的实施例的基础上，本申请实施例提供的多目标推荐装置20的另一实施例中，

该处理模块202，具体用于按照样本对的损失值大小均衡的原则设置针对该推荐对象的操作目标以及与该操作目标对应的目标价值；根据该操作目标和该目标价值为该样本对集合中每一个样本对的样本数据分配标签值。

本申请实施例中，提供了一种多目标推荐装置。采用上述装置，根据推荐对象设置相应的样本标签值，从而使得多目标推荐模型中只有样本标签值一组参数，降低多目标推荐模型的调参成本

可选地，在上述图6所对应的实施例的基础上，本申请实施例提供的多目标推荐装置20的另一实施例中，该多目标推荐模型为基于Pairwise损失的单塔结构模型。

本申请实施例中，提供了一种多目标推荐装置。采用上述装置，使得该多目标推荐模型采用单塔结构，从而使得预测结果可以具有一致性，进而提高该多目标推荐模型的适用性。

本申请提供的多目标推荐装置可用于服务器，请参阅图7，图7是本申请实施例提供的一种服务器结构示意图，该服务器300可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)322(例如，一个或一个以上处理器)和存储器332，一个或一个以上存储应用程序342或数据344的存储介质330(例如一个或一个以上海量存储设备)。其中，存储器332和存储介质330可以是短暂存储或持久存储。存储在存储介质330的程序可以包括一个或一个以上模块 (图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器322可以设置为与存储介质330通信，在服务器300上执行存储介质330中的一系列指令操作。

服务器300还可以包括一个或一个以上电源326，一个或一个以上有线或无线网络接口350，一个或一个以上输入输出接口358，和/或，一个或一个以上操作系统341，例如Windows Server

上述实施例中由多目标推荐装置所执行的步骤可以基于该图7所示的服务器结构。

本申请提供的多目标推荐装置可用于终端设备，请参阅图8，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。在本申请实施例中，以终端设备为智能手机为例进行说明：

图8示出的是与本申请实施例提供的终端设备相关的智能手机的部分结构的框图。参考图8，智能手机包括：射频(radio frequency，RF)电路410、存储器420、输入单元430、显示单元440、传感器450、音频电路460、无线保真(wireless fidelity， WiFi)模块470、处理器480、以及电源490等部件。本领域技术人员可以理解，图8中示出的智能手机结构并不构成对智能手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图8对智能手机的各个构成部件进行具体的介绍：

RF电路410可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器480处理；另外，将设计上行的数据发送给基站。通常，RF 电路410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier，LNA)、双工器等。此外，RF电路410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(globalsystem of mobile communication，GSM)、通用分组无线服务(general packet radioservice，GPRS)、码分多址(code division multiple access，CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution，LTE)、电子邮件、短消息服务(short messaging service，SMS)等。

存储器420可用于存储软件程序以及模块，处理器480通过运行存储在存储器420的软件程序以及模块，从而执行智能手机的各种功能应用以及数据处理。存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据智能手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元430可用于接收输入的数字或字符信息，以及产生与智能手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元430可包括触控面板431以及其他输入设备432。触控面板431，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板431上或在触控面板431附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板431可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器480，并能接收处理器480发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板431。除了触控面板431，输入单元430还可以包括其他输入设备432。具体地，其他输入设备432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元440可用于显示由用户输入的信息或提供给用户的信息以及智能手机的各种菜单。显示单元440可包括显示面板441，可选的，可以采用液晶显示器(liquidcrystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)等形式来配置显示面板441。进一步的，触控面板431可覆盖显示面板441，当触控面板 431检测到在其上或附近的触摸操作后，传送给处理器480以确定触摸事件的类型，随后处理器480根据触摸事件的类型在显示面板441上提供相应的视觉输出。虽然在图8中，触控面板431与显示面板441是作为两个独立的部件来实现智能手机的输入和输入功能，但是在某些实施例中，可以将触控面板431与显示面板441集成而实现智能手机的输入和输出功能。

智能手机还可包括至少一种传感器450，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板441的亮度，接近传感器可在智能手机移动到耳边时，关闭显示面板441和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别智能手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于智能手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路460、扬声器461，传声器462可提供用户与智能手机之间的音频接口。音频电路460可将接收到的音频数据转换后的电信号，传输到扬声器461，由扬声器461转换为声音信号输出；另一方面，传声器462将收集的声音信号转换为电信号，由音频电路460接收后转换为音频数据，再将音频数据输出处理器480处理后，经RF电路410以发送给比如另一智能手机，或者将音频数据输出至存储器420以便进一步处理。

WiFi属于短距离无线传输技术，智能手机通过WiFi模块470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8 示出了WiFi模块470，但是可以理解的是，其并不属于智能手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器480是智能手机的控制中心，利用各种接口和线路连接整个智能手机的各个部分，通过运行或执行存储在存储器420内的软件程序和/或模块，以及调用存储在存储器420内的数据，执行智能手机的各种功能和处理数据，从而对智能手机进行整体监测。可选的，处理器480可包括一个或多个处理单元；可选的，处理器480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器480中。

智能手机还包括给各个部件供电的电源490(比如电池)，可选的，电源可以通过电源管理系统与处理器480逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，智能手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

上述实施例中由多目标推荐装置所执行的步骤可以基于该图8所示的终端设备结构。

本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如前述各个实施例描述的方法。

本申请实施例中还提供一种包括程序的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例描述的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read- only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。