消息列表的确定方法、装置、计算机设备及存储介质

技术领域

本申请涉及计算机技术领域，特别涉及一种消息列表的确定方法、装置、计算机设备及存储介质。

背景技术

随着计算机技术的发展，通过网络向广大用户推荐消息的情况越来越普遍。通常情况下会直接向用户下发包含多个消息的消息列表，以便用户浏览。其中，一个消息有多个价值分数进行描述。例如，由点击率预估模型计算的点击分数，代表消息被点击的概率；由阅读时长预估模型给出的时长分数，代表消息被长时间阅读的概率等。消息的最终用于排序的分数，由这些不同的价值分数，通过特定的价值公式进行组合而得到。如何使得最终排序出的消息列表能够吸引用户触发更多的浏览行为是本领域研究的重点。

发明内容

本申请实施例提供了一种消息列表的确定方法、装置、计算机设备及存储介质，保证了推送的消息列表更大程度符合对象的兴趣，从而促进对象对该消息列表产生更多的浏览行为，进而利于提升消息的推荐效果。所述技术方案如下：

一方面，提供了一种消息列表的确定方法，所述方法包括：

基于对象订阅的目标对象，获取初始消息列表，所述目标对象用于向对象推送消息，所述初始消息列表包括已曝光的消息和未曝光的消息；

基于价值算法集合中的多个价值公式，分别对所述初始消息列表中的多个消息重新排序，得到多个第一消息列表，每个价值公式用于计算所述初始消息列表中各个消息的价值，每个消息的价值用于表示所述对象对所述消息感兴趣的程度；

基于所述多个第一消息列表，确定多个第一离线指标，每个第一离线指标用于表示基于对应的价值公式得到的消息列表符合所述对象的兴趣的程度；

将对应的第一离线指标符合第一条件的第一消息列表，作为第二消息列表，所述第二消息列表用于向所述对象推送消息。

另一方面，提供了一种消息列表的确定装置，所述装置包括：

获取模块，用于基于对象订阅的目标对象，获取初始消息列表，所述目标对象用于向对象推送消息，所述初始消息列表包括已曝光的消息和未曝光的消息；

排序模块，用于基于价值算法集合中的多个价值公式，分别对所述初始消息列表中的多个消息重新排序，得到多个第一消息列表，每个价值公式用于计算所述初始消息列表中各个消息的价值，每个消息的价值用于表示所述对象对所述消息感兴趣的程度；

第一确定模块，用于基于所述多个第一消息列表，确定多个第一离线指标，每个第一离线指标用于表示基于对应的价值公式得到的消息列表符合所述对象的兴趣的程度；

第二确定模块，用于将对应的第一离线指标符合第一条件的第一消息列表，作为第二消息列表，所述第二消息列表用于向所述对象推送消息。

在一些实施例中，所述排序模块，包括：

获取单元，用于对于所述初始消息列表中的任一消息，获取所述消息的多个价值分数，每个价值分数用于从对应的维度反映消息的价值；

第一确定单元，用于对于所述价值算法集合中的任一价值公式，基于所述价值公式和所述多个价值分数，确定所述消息的价值总分；

排序单元，用于按照价值总分由高到低的顺序，对所述初始消息列表中的多个消息重新排序，得到所述价值公式对应的第一消息列表。

在一些实施例中，所述获取单元，用于对于所述初始消息列表中的任一消息，获取所述消息的属性信息；基于所述属性信息，确定所述消息的多个价值分数。

在一些实施例中，所述第一确定模块，包括：

处理单元，用于对于任一第一消息列表，分别采用多个指标算法，对所述第一消息列表进行处理，得到多个第二离线指标；

第二确定单元，用于对于任一第二离线指标，确定所述第二离线指标的准确率；

第三确定单元，用于将准确率最高的第二离线指标，作为所述第一离线指标。

在一些实施例中，所述处理单元，包括：

划分子单元，用于对于任一指标算法，采用第一划分规则，对所述第一消息列表中的多个消息进行划分，得到第一消息集合，所述第一消息集合包括被点击的消息和已曝光未点击的消息；

划分子单元，还用于采用第二划分规则，对所述第一消息列表中的多个消息进行划分，得到第二消息集合，所述第二消息集合包括被点击的消息和未曝光的消息；

划分子单元，还用于采用第三划分规则和所述指标算法，对所述第一消息列表中的多个消息进行划分，得到第三消息集合，所述第三消息集合包括已曝光未点击的消息和未曝光的消息；

第一确定子单元，用于基于所述第一消息集合、所述第二消息集合和所述第三消息集合，确定所述指标算法的第二离线指标。

在一些实施例中，所述第一确定子单元，用于将所述第一消息集合中被点击的消息作为正类样本，已曝光未点击的消息作为负类样本，所述正类样本比所述负类样本更符合所述对象的兴趣；确定所述第一消息集合的GAUC指标；将所述第二消息集合中被点击的消息作为正类样本，未曝光的消息作为负类样本；确定所述第二消息集合的GAUC指标；对于所述第三消息集合中的任一消息，在所述消息的点击分数达到所述指标算法对应的分类阈值的情况下，将所述消息作为正类样本；在所述消息的点击分数未达到所述指标算法对应的分类阈值的情况下，将所述消息作为负类样本；确定所述第三消息集合的GAUC指标；对所述第一消息集合的GAUC指标、所述第二消息集合的GAUC指标和所述第三消息集合的GAUC指标求平均，得到所述第二离线指标。

在一些实施例中，所述第二确定单元，包括：

处理子单元，用于对于任一第二离线指标，对所述价值公式的多个参考公式对应的参考消息列表进行处理，得到多个参考离线指标，所述多个参考公式用于评估所述价值公式的性能，每个参考离线指标用于表示基于所述参考公式得到的参考消息列表符合对象的兴趣的程度；

实验子单元，用于对所述多个参考公式对应的参考消息列表分别进行在线实验，得到多个参考在线指标，每个参考在线指标用于表示真实情况下所述对象对对应的参考消息列表感兴趣的程度；

第二确定子单元，用于基于所述多个参考离线指标和多个参考在线指标，确定所述第二离线指标的准确率。

在一些实施例中，所述处理子单元，用于对于任一第二离线指标，基于高斯分布，对所述价值公式添加噪声扰动，得到多个参考公式；对于任一参考公式，基于所述参考公式，对所述初始消息列表中的多个消息重新排序，得到参考消息列表；基于所述第二离线指标对应的指标算法和所述参考消息列表，确定参考离线指标，所述参考离线指标用于表示基于所述参考公式预测的参考消息列表符合对象的兴趣的程度。

在一些实施例中，所述实验子单元，用于对所述多个参考公式对应的参考消息列表分别投放至多个对象组，每个对象组包含与所述对象同质的多个参考对象；对于任一参考公式对应的参考消息列表，基于所述参考消息列表所在的对象组，获取所述参考消息列表中多个消息的对象行为消息；基于所述对象行为消息，确定所述参考公式对应的参考在线指标。

在一些实施例中，所述第二确定子单元，用于对所述多个参考公式进行两两组合，得到多个公式对；对于任一公式对，基于所述公式对中各个参考公式的参考离线指标和参考在线指标，确定所述公式对中参考离线指标和参考在线指标是否正相关；从所述多个公式对中，统计出目标公式对的数量，所述目标公式对中参考离线指标和参考在线指标正相关；基于所述目标公式对的数量与所述多个公式对的总数量之间的比值，确定所述第二离线指标的准确率。

在一些实施例中，所述第二确定模块，用于将对应的第一离线指标最高的第一消息列表，作为所述第二消息列表。

在一些实施例中，所述装置还包括：

调整模块，用于在最高的第一离线指标不符合第二条件的情况下，对所述第一离线指标对应的价值公式中的参数进行调整，得到中间价值公式；

所述排序模块，还用于基于中间价值公式，对所述初始消息列表中的多个消息重新排序，得到中间消息列表；

所述第一确定模块，还用于基于所述中间消息列表，确定中间离散指标，所述中间离散指标表示基于对应的中间价值公式得到的消息列表符合所述对象的兴趣的程度；

所述第二确定模块，还用于在所述中间离散指标符合所述第二条件的情况下，将所述中间离散指标对应的中间消息列表，作为所述第二消息列表；

所述调整模块，还用于在所述中间离散指标不符合所述第二条件的情况下，继续对所述价值公式中的参数进行调整。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器用于存储至少一段计算机程序，所述至少一段计算机程序由所述处理器加载并执行以实现本申请实施例中的消息列表的确定方法。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一段计算机程序，所述至少一段计算机程序由处理器加载并执行以实现如本申请实施例中消息列表的确定方法。

另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述各个方面或者各个方面的各种可选实现方式中提供的消息列表的确定方法。

本申请实施例提供了一种消息列表的确定方法，根据对象所订阅的目标对象，获取包含已曝光的消息和未曝光的消息的初始消息列表，也即是获取向对象推送的完整的消息列表；然后，在完整的消息列表的数据集上，通过价值算法集合中的各个价值公式，计算初始消息列表中各个消息的价值，从而对初始消息列表中的多个消息重新排序，使得重新排序后的多个第一消息列表能够更大程度符合对象的兴趣；然后，通过对重新排序后的多个第一消息列表计算第一离线指标，由于第一离线指标能够反映重新排序后的第一消息列表符合对象的兴趣的程度，因此能够更加准确地比较各个价值公式对确定出对象感兴趣的消息列表的性能，从而选择性能符合条件的价值公式得到的第一消息列表，作为最终向对象推送的消息列表，由于排序靠前的消息更容易被对象看到，在被对象看到的情况下，符合对象的兴趣的消息更容易吸引对象触发浏览行为，进一步保证了推送的消息列表更大程度符合对象的兴趣和针对消息的价值观念，也即是使得消息列表更加准确，从而促进对象对该消息列表产生更多的浏览行为，进而利于提升消息的推荐效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本申请实施例提供的一种消息列表的确定方法的实施环境示意图；

图2是根据本申请实施例提供的一种消息列表的确定方法的流程图；

图3是根据本申请实施例提供的另一种消息列表的确定方法的流程图；

图4是本申请实施例提供的一种消息界面的示意图；

图5是根据本申请实施例提供的一种确定离线指标的准确率的流程图；

图6是根据本申请实施例提供的一种确定离线指标的示意图；

图7是根据本申请实施例提供的一种确定价值公式的示意图；

图8是根据本申请实施例提供的一种消息列表的确定装置的框图；

图9是根据本申请实施例提供的另一种消息列表的确定装置的框图；

图10是根据本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。

本申请中术语“至少一个”是指一个或多个，“多个”的含义是指两个或两个以上。

需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本申请中涉及到的目标对象和初始消息列表都是在充分授权的情况下获取的。

为了便于理解，以下，对本申请涉及的术语进行解释。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等。其中，预训练模型又称大模型、基础模型，经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、数字孪生、虚拟人、机器人、人工智能生成内容(Artificial Intelligence GeneratedContent，AIGC)、对话式交互、智能医疗、智能客服、游戏AI等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。本申请实施例所提供的消息列表的确定方法可以应用于智能营销领域。

会话(session)：是用户(对象)在单次进入订阅号的消息界面后，产生的最长曝光消息列表。比如，从排序第一位到排序第五位的消息被曝光给了用户，之后用户退出订阅号的消息界面，第六位的消息未得到曝光，则该会话的长度为五。

AB实验：即使用真实线上流量评估模型算法优劣的控制变量实验。

AUC(Area Under Curve，曲线下面积):指的是ROC(Receiver OperatingCharacteristic)曲线下的面积，可以用于评估点击率预估模型的性能表现的指标，数值越高越好。

GAUC(Group Area Under Curve，组合曲线下面积)：是AUC指标的改进版本，由会话下消息数量对该会话的AUC指标进行加权求和得到。

本申请实施例提供的消息列表的确定方法，能够由计算机设备执行。在一些实施例中，该计算机设备为终端或服务器。下面首先以计算机设备为服务器为例，介绍一下本申请实施例提供的消息列表的确定方法的实施环境，图1是根据本申请实施例提供的一种消息列表的确定方法的实施环境示意图。参见图1，该实施环境包括终端101和服务器102。终端101和服务器102能够通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

在一些实施例中，终端101是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电、车载终端等，但并不局限于此。终端101运行有支持消息显示的应用程序。该应用程序可以是社交类应用程序、多媒体类应用程序或者购物类应用程序等，本申请实施例对此不进行限制。示意性的，终端101是用户使用的终端。用户可以通过终端101浏览各种各样的消息。也即是，终端101能够从服务器102中获取消息列表。然后，终端101显示该消息列表，以向用户推荐消息。

本领域技术人员可以知晓，上述终端的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。

在一些实施例中，服务器102是独立的物理服务器，也能够是多个物理服务器构成的服务器集群或者分布式系统，还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、大数据和人工智能平台等基础云计算服务的云服务器。服务器102用于为支持消息显示的应用程序提供后台服务。服务器102能够根据用户订阅的目标对象，获取消息列表。然后，服务器102向终端101发送该消息列表，以向用户推送消息。在一些实施例中，服务器102承担主要计算工作，终端101承担次要计算工作；或者，服务器102承担次要计算工作，终端101承担主要计算工作；或者，服务器102和终端101二者之间采用分布式计算架构进行协同计算。

图2是根据本申请实施例提供的一种消息列表的确定方法的流程图，参见图2，在本申请实施例中以由服务器执行为例进行说明。该消息列表的确定方法包括以下步骤：

201、服务器基于对象订阅的目标对象，获取初始消息列表，目标对象用于向对象推送消息，初始消息列表包括已曝光的消息和未曝光的消息。

在本申请实施例中，目标对象是一种能够基于对象单向确认的方式，进行消息交互的社交账号。其中，“对象单向确认”指的是在对象触发对目标对象的订阅请求后，无需目标对象的同意，即可建立对象与目标对象之间的社交关系。在对象与目标对象之间存在社交关系的情况下，目标对象能够向该对象推送消息。也即是，目标对象能够在被对象订阅后自动向该对象推送消息。或者，目标对象还能够基于对象的互动请求，与该对象进行消息交互，本申请实施例对此不进行限制。目标对象可以是各种类型的公众号或者订阅号。目标对象向对象推送的消息可以是视频、文字、图片或者音频等，本申请实施例对目标对象所推送的消息不进行限制。与目标对象之间存在社交关系的可以有多个对象。相应地，目标对象能够基于视频、文字、图片或者音频等方式，向多个对象进行消息推送，或与多个对象进行消息交互。

服务器根据对象订阅的目标对象，获取初始消息列表。也即是，初始消息列表包括对象订阅的消息。本申请实施例对对象订阅的目标对象的数量不进行限制。相应地，服务器可以根据对象订阅的至少一个目标对象，获取初始消息列表。初始消息列表中的多个消息可以分为两种，一种是已曝光的消息，一种是未曝光的消息。已曝光的消息指的是对象已经看到过的消息，也即是对象的终端已显示过的消息。已曝光的消息可以是对象点击过的消息，也可以对象未点击但看到过的消息。未曝光的消息指的是对象未看到的消息，也即是，对象的终端未显示过的消息。

202、服务器基于价值算法集合中的多个价值公式，分别对初始消息列表中的多个消息重新排序，得到多个第一消息列表，每个价值公式用于计算初始消息列表中各个消息的价值，每个消息的价值用于表示对象对消息感兴趣的程度。

在本申请实施例中，服务器获取价值算法集合。价值算法集合包括多个价值公式。多个价值公式中任意两个价值公式之间的参数和计算方式不完全相同。也即是，多个价值公式是不同的。服务器分别采用多个价值公式，对初始消息列表中的多个消息重新排序。其中，对于任一价值公式，服务器可以通过该价值公式计算初始消息列表中每个消息的价值。价值用于表示对象对对应的消息的感兴趣的程度。价值可以是对象对对应的消息的感兴趣的概率。概率越大，对象对消息越感兴趣，从而越容易被对象触发更多浏览行为。然后，服务器根据初始消息列表中每个消息的价值，对初始消息列表中的多个消息重新排序，得到价值公式对应的第一消息列表。

203、服务器基于多个第一消息列表，确定多个第一离线指标，每个第一离线指标用于表示基于对应的价值公式得到的消息列表符合对象的兴趣的程度。

在本申请实施例中，对于任一第一消息列表，服务器计算该第一消息列表对应的第一离线指标。第一离线指标能够反映对应的第一消息列表符合对象的兴趣的程度。也即是，第一离线指标用于评估价值公式所重新排序后的消息列表符合对象的兴趣的程度。换而言之，第一离线指标用于评估价值公式的性能。价值公式的性能指的是通过该价值公式准确计算消息价值的能力。

204、服务器将对应的第一离线指标符合第一条件的第一消息列表，作为第二消息列表，第二消息列表用于向对象推送消息。

在本申请实施例中，第一条件可以是多个第一离线指标中最高的第一离线指标，也可以是多个第一离线指标中超过指标阈值的第一离线指标，本申请实施例对此不进行限制。服务器能够将对应的第一离线指标符合第一条件的第一消息列表，作为第二消息列表。然后，服务器能够按照第二消息列表中消息的顺序，向对象的终端发送多个消息，以使终端显示的多个消息的顺序符合第二消息列表中消息的顺序。

本申请实施例提供了一种消息列表的确定方法，根据对象所订阅的目标对象，获取包含已曝光的消息和未曝光的消息的初始消息列表，也即是获取向对象推送的完整的消息列表；然后，在完整的消息列表的数据集上，通过价值算法集合中的各个价值公式，计算初始消息列表中各个消息的价值，从而对初始消息列表中的多个消息重新排序，使得重新排序后的多个第一消息列表能够更大程度符合对象的兴趣；然后，通过对重新排序后的多个第一消息列表计算第一离线指标，由于第一离线指标能够反映重新排序后的第一消息列表符合对象的兴趣的程度，因此能够更加准确地比较各个价值公式对确定出对象感兴趣的消息列表的性能，从而选择性能符合条件的价值公式得到的第一消息列表，作为最终向对象推送的消息列表，由于排序靠前的消息更容易被对象看到，在被对象看到的情况下，符合对象的兴趣的消息更容易吸引对象触发浏览行为，进一步保证了推送的消息列表更大程度符合对象的兴趣和针对消息的价值观念，也即是使得消息列表更加准确，从而促进对象对该消息列表产生更多的浏览行为，进而利于提升消息的推荐效果。

图3是根据本申请实施例提供的另一种消息列表的确定方法的流程图，参见图3，在本申请实施例中以服务器执行为例进行说明。该消息列表的确定方法包括以下步骤：

301、服务器基于对象订阅的目标对象，获取初始消息列表，目标对象用于向对象推送消息，初始消息列表包括已曝光的消息和未曝光的消息。

在本申请实施例中，服务器从对象订阅的至少一个目标对象中，获取订阅的消息，从而得到初始消息列表。也即是，初始消息列表包括对象订阅的消息。初始消息列表中还可以包括对象未订阅的消息。对象未订阅的消息可以是目标对象所在的订阅平台自动推送的消息。可选地，服务器可以根据对象订阅的目标对象的类型，获取属于该类型的其他目标对象的消息。其他目标对象指的是对象未订阅的目标对象。该方式不仅丰富了推送的消息，还使得推送的消息符合对象的兴趣，利于促进对象产生更多的浏览行为，从而利于提升消息的推荐效果。浏览行为可以是点击行为、长阅读行为、分享行为或者付费行为，本申请实施例对此不进行限制。或者，服务器还可以获取与对象具有社交关系的社交对象，然后，获取该社交对象已浏览的消息。该方式能够向对象推送社交对象已浏览的消息，更容易符合对象的兴趣。

在服务器向对象推送消息的过程中，服务器能够按照消息列表中消息的顺序，向对象的终端发送消息，以使终端显示的消息的顺序符合消息列表中消息的顺序。一般情况下，由于终端的屏幕的限制，终端无法在消息界面中直接展示消息列表中所有的消息，而是显示消息列表中的部分消息。在对象触发消息切换操作的情况下，终端才会显示消息列表中的其他消息，以供对象浏览。对象看到过的消息即为已曝光的信息。对象未看到过的消息即为未曝光的消息。

例如，图4是本申请实施例提供的一种消息界面的示意图。参见图4，在对象进入消息界面后，终端直接显示的多个消息即属于已曝光的消息，未显示出的消息即属于未曝光的消息。终端直接显示的多个消息可以称之为会话。初始消息列表即为会话在曝光时推送的完整的消息列表，可以由多个会话组成。消息界面用于向对象展示服务器推送的消息。该消息包括对象订阅的消息和目标对象所在的订阅平台自动推送的消息。消息上可以携带有标签。标签能够反映消息的曝光情况和受欢迎程度，以便吸引对象查看。比如，消息1的标签为“4个朋友读过”，则表明与该对象具有朋友关系的4个对象已点击过该消息1。消息4的标签为“2个朋友分享”，则表明与该对象具有朋友关系的4个对象已分享过过该消息4。

302、服务器基于价值算法集合中的多个价值公式，分别对初始消息列表中的多个消息重新排序，得到多个第一消息列表，每个价值公式用于计算初始消息列表中各个消息的价值，每个消息的价值用于表示对象对消息感兴趣的程度。

在本申请实施例中，服务器获取价值算法集合。价值算法集合包括多个价值公式。服务器将初始消息列表和价值算法集合输入到排序模拟器中。服务器通过排序模拟器，分别对初始消息列表中的多个消息重新排序，得到多个第一消息列表。排序模拟器也可以称为排序模型。排序模拟器可以是Ranker，本申请实施例对此不进行限制。

在一些实施例中，服务器基于价值算法集合中的多个价值公式，分别对初始消息列表中的多个消息重新排序，得到多个第一消息列表的过程包括：对于初始消息列表中的任一消息，服务器获取消息的多个价值分数。然后，对于价值算法集合中的任一价值公式，服务器基于价值公式和多个价值分数，确定消息的价值总分。然后，服务器按照价值总分由高到低的顺序，对初始消息列表中的多个消息重新排序，得到价值公式对应的第一消息列表。本申请实施例提供的方案，由于不同的价值分数能够从不同的维度反映消息的价值，通过价值公式和多个价值分数计算消息的价值总分，使得价值总分能够结合消息在多个维度上受到对象感兴趣的程度，从而更加准确地反映消息的价值；然后根据价值总分对初始消息列表中的多个消息重新排序，使得排序后的第一消息列表能够更大程度符合对象的兴趣，也即是使得消息列表更加准确，从而促进对象对该消息列表产生更多的浏览行为，进而利于提升消息的推荐效果。

其中，每个价值分数用于从对应的维度反映消息的价值。消息的价值分数可以是对象对该消息的感兴趣的概率。消息的价值分数越大，对象对该消息越感兴趣，从而获取对象浏览的可能性更大。多个价值分数可以包括点击分数、时长分数、时效分数以及质量分数等分数，本申请实施例对此不进行限制。点击分数用于表示消息被点击的概率。时长分数用于表示消息被长时间阅读的概率。时效分数用于表示消息的时效性。质量分数用于表示消息的质量。服务器通过价值公式，将多个价值分数融合，得到消息的价值总分。价值总分也可以称为融合分数。价值公式也可以称为多目标融合公式。对于任一价值分数，服务器可以通过预估模型来计算消息的价值分数，也可以通过某种规则来计算消息的价值分数，本申请实施例对价值分数的计算方式不进行限制。可选地，服务器通过点击率预估模型，预估消息的点击率(点击分数)。服务器可以根据消息的推送时间、曝光时间以及类别等信息，计算消息的时效分数。

在一些实施例中，不同消息的价值分数的计算方式可以不同。相应地，对于初始消息列表中的任一消息，服务器获取消息的多个价值分数的过程包括：对于初始消息列表中的任一消息，服务器获取消息的属性信息。然后，服务器基于属性信息，确定消息的多个价值分数。消息的属性信息用于反映消息的类别。本申请实施例提供的方案，根据消息的属性信息，确定消息的多个价值分数，使得不同的消息可以按照对应的准则计算价值分数，从而平衡消息之间的差异，以更加准确的标准来重新排序，进而使得消息列表更加准确，促进对象对该消息列表产生更多的浏览行为，利于提升消息的推荐效果。

例如，对于图文类消息和文本类消息，由于图文类消息的阅读时长一般低于文本类消息的阅读时长，服务器采用不同的准则确定这两类消息的时长分数。比如，图文类消息的阅读时长超过40秒为长时间阅读。文本类消息的阅读时长超过60秒为长时间阅读。

在本申请实施例中，价值算法集合中多个价值公式是不同的。任意两个价值公式之间的参数和计算方式不完全相同。比如，两个价值公式之间的参数相同，但计算方式不同。每个价值公式一般包括多个参数。多个参数可视为价值公式的参数组合，可以用w

在一些实施例中，价值算法集合中包括下述公式一。服务器可以通过下述公式一，计算消息的价值总分。

公式一：

其中，n用于表示初始消息列表中的第n个消息；fusion(n)用于表示第n个消息的价值总分；score

303、对于任一第一消息列表，服务器分别采用多个指标算法，对第一消息列表进行处理，得到多个第二离线指标，每个第二离线指标用于表示基于对应的价值公式得到的消息列表符合对象的兴趣的程度。

在本申请实施例中，服务器获取多个指标算法。不同的指标算法以不同的准则计算第一消息列表的离线指标。对于任一指标算法，服务器采用该指标算法，对第一消息列表进行处理，得到第二离线指标。第二离线指标能够反映对应的第一消息列表符合对象的兴趣的程度。也即是，第二离线指标用于评估价值公式所重新排序后的消息列表符合对象的兴趣的程度。换而言之，第二离线指标用于评估价值公式的性能。价值公式的性能指的是通过该价值公式准确计算消息价值的能力。

在一些实施例中，由于初始消息列表中除了已曝光的消息，还有未曝光的消息，未曝光的消息无法获取客观的标签，也即是无法准确地确定消息符合对象的兴趣的程度。因此若要计算重新排序后第一消息列表的离线指标，需要能够准确评估消息的符合对象的兴趣的程度。服务器可以通过评估消息是否被点击的情况，来计算第一消息列表的离线指标。相应地，服务器分别采用多个指标算法，对第一消息列表进行处理，得到多个第二离线指标的过程包括：对于任一指标算法，服务器采用第一划分规则，对第一消息列表中的多个消息进行划分，得到第一消息集合。服务器采用第二划分规则，对第一消息列表中的多个消息进行划分，得到第二消息集合。服务器采用第三划分规则和指标算法，对第一消息列表中的多个消息进行划分，得到第三消息集合。然后，服务器基于第一消息集合、第二消息集合和第三消息集合，确定指标算法的第二离线指标。

其中，第一划分规则用于获取消息列表中在已曝光情况下消息是否被点击的情况。相应地，第一消息集合包括被点击的消息和已曝光未点击的消息。第二划分规则用于获取消息列表中确定被点击和不确定是否被点击的情况。相应地，第二消息集合包括被点击的消息和未曝光的消息。第三划分规则用于获取初始消息列表中在不确定是否被点击的情况下消息是否被曝光的情况。相应地，第三消息集合包括已曝光未点击的消息和未曝光的消息。初始消息列表中的每个消息携带有标签。该标签能够反映消息的曝光情况和点击情况。服务器可以根据消息的标签，进行上述三次划分。第一消息集合、第二消息集合和第三消息集合这三个消息集合之间存在重叠的消息。本申请实施例提供的方案，将第一消息列表中的多个消息，按照三种不同的划分规则，划分为三类消息集合，然后在这三类消息集合的数据集上，计算指标算法对应的第二离线指标，也即是从三种不同角度上分析指标算法准确计算离线指标的性能，从而能够更加准确地确定第二离线指标，利于后续选择出具有更高准确率的指标算法，进而更加准确地反映重新排序后的第一消息列表符合对象的兴趣的程度。

服务器将第一消息集合中被点击的消息作为正类样本，已曝光未点击的消息作为负类样本。正类样本比负类样本更符合对象的兴趣。然后，服务器确定第一消息集合的GAUC指标。也即是，在初始消息列表中，被点击的消息优于未被点击的消息。比如，在重新排序后的第一消息列表中，若被点击的消息比未被点击的消息排序靠前的数量越多，则表明第一消息列表更符合对象的兴趣，更容易促进对象触发更多的浏览行为(例如点击行为)。

服务器将第二消息集合中被点击的消息作为正类样本，未曝光的消息作为负类样本。然后，服务器确定第二消息集合的GAUC指标。对于未曝光的消息而言，该消息是否被点击是未知的。也即是，在初始消息列表中，被点击的消息优于未知是否点击的消息。比如，在重新排序后的第一消息列表中，若被点击的消息比未知是否点击的消息排序靠前的数量越多，则表明第一消息列表更符合对象的兴趣，更容易促进对象触发更多的浏览行为。

对于第三消息集合中的任一消息，在消息的点击分数达到指标算法对应的分类阈值的情况下，服务器将该消息作为正类样本。在消息的点击分数未达到指标算法对应的分类阈值的情况下，服务器将该消息作为负类样本。然后，服务器确定第三消息集合的GAUC指标。已曝光未点击的消息和未曝光的消息都可以视为未收到对象明确正反馈行为的消息。正反馈行为可以是点击行为、长阅读行为或者分享行为等，本申请实施例对此不进行限制。也即是，对于没有明确正反馈行为的消息，使用已知的对于点击率的最好预估(点击率预估模型的打分)作为判断消息好坏的依据。消息好坏指的是消息是否符合对象的兴趣。其中，不同指标算法的分类阈值不同。分类阈值α，是一个超参数。本申请实施例对多个指标算法的分类阈值的参数取值空间不进行限制。比如α∈{0.1,0.15,…,0.85,0.9}。

然后，服务器对第一消息集合的GAUC指标、第二消息集合的GAUC指标和第三消息集合的GAUC指标求平均，得到第二离线指标。第二离线指标也属于GAUC指标。服务器还可以对上述三个消息集合的GAUC指标进行加权求和，以计算第二离线指标。本申请实施例对第二离线指标的计算方式不进行限制。该过程通过参数化的数值，确定第二离线指标。

其中，服务器能够多个指标算法中，选择出准确率符合条件的指标算法，来计算价值算法集合中各个价值公式的指标。服务器可以通过下述步骤304至步骤305，来选择准确率符合条件的指标算法。由于多个指标算法之间只有对应的分类阈值不同，其余计算方式原理相同；则服务器选择准确率符合条件的指标算法的过程，相当于选择合适的分类阈值α的过程。也即是，服务器需要找到一个合适的分类阈值，将第三消息集合中的消息更加准确地划分为正类样本和负类样本，从而在该第三消息集合的基础上计算的第二离线指标的准确率符合条件。对于没有明确正反馈行为的消息，该消息对应的样本类型(正类样本或负类样本)可视为一种伪标签。换而言之，服务器在伪标签的辅助下，为多个价值公式计算离线指标，然后选择离线指标符合第一条件的价值公式上线。上线指的是基于价值公式对初始消息列表重新排序，并将重新排序的消息列表发送给对象。

304、对于任一第二离线指标，服务器确定第二离线指标的准确率。

在本申请实施例中，第二离线指标能够评估价值公式的性能。也即是，第二离线指标能够评估通过该价值公式准确计算消息价值的能力。第二离线指标的准确性能够直接反映价值公式的性能的准确性，从而直接影响是否能够找到准确计算消息价值的价值公式。也即是，若要找到能够准确计算消息价值的价值公式，就需要先找到能够准确计算第二离线指标的指标算法，从而根据该指标算法，准确计算各个价值公式的离线指标，进而选择离线指标符合条件的价值公式来对初始消息列表重新排序。相应地，对于任一第二离线指标，服务器确定第二离线指标的准确率。

在一些实施例中，服务器确定第二离线指标的准确率的过程，可以通过下述步骤3041至步骤3043实现。可参见图5，图5是根据本申请实施例提供的一种确定离线指标的准确率的流程图。

3041、对于任一第二离线指标，服务器对价值公式的多个参考公式对应的参考消息列表进行处理，得到多个参考离线指标。

其中，多个参考公式用于评估价值公式的性能，本申请实施例对多个参考公式的数量不进行限制。每个参考离线指标用于表示基于参考公式得到的参考消息列表符合对象的兴趣的程度。不同价值公式的参考公式可以相同，也可以不同，本申请实施例对此不进行限制。

在一些实施例中，参考公式可以基于价值公式得到。相应地，服务器对价值公式的多个参考公式对应的参考消息列表进行处理，得到多个参考离线指标的过程包括：对于任一第二离线指标，服务器基于高斯分布，对价值公式添加噪声扰动，得到多个参考公式。然后，对于任一参考公式，服务器基于参考公式，对初始消息列表中的多个消息重新排序，得到参考消息列表。然后，服务器基于第二离线指标对应的指标算法和参考消息列表，确定参考离线指标。其中，参考离线指标用于表示基于参考公式预测的参考消息列表符合对象的兴趣的程度。本申请实施例提供的方案，通过高斯分布，对价值公式添加噪声扰动，使得多个参考公式较为均衡地分布于价值公式附近，也即是，使得多个参考公式从整体上能够反映价值公式的性能；然后，对多个参考公式重新排序后的多个参考消息列表，计算多个参考离线指标，使得多个参考离线指标能够较为准确地反映价值公式对应的离线指标，也即是，多个参考离线指标能够较为准确地反映基于价值公式得到的消息列表符合对象的兴趣的程度，从而利于更准确地计算第二离线指标的准确率。

其中，对于价值公式中的任一参数，服务器基于高斯分布随机选择一个数值作为噪声值。然后，服务器在该参数的基础上添加该噪声值。相应地，服务器对价值公式中的各个参数添加噪声值，从而得到一个参考公式。

例如，服务器对价值公式中的参数，添加噪声扰动，得到多个参考公式。比如，得到10个参考公式。然后，服务器通过这10个参考公式，对初始消息列表分别进行重排，并计算重排后的参考消息列表的参考离线指标。其中，参考离线指标的计算方式与步骤303中第二离线指标的计算方式相同原理，在此不再赘述。

3042、服务器对多个参考公式对应的参考消息列表分别进行在线实验，得到多个参考在线指标。

其中，每个参考在线指标用于表示真实情况下对象对对应的参考消息列表感兴趣的程度。在线实验指的是将参考消息列表下发给多个参考对象，从而根据多个参考对象真实的浏览行为，计算参考消息列表的参考在线指标。

在一些实施例中，服务器对多个参考公式对应的参考消息列表分别进行在线实验，得到多个参考在线指标的过程包括：服务器对多个参考公式对应的参考消息列表分别投放至多个对象组。然后，对于任一参考公式对应的参考消息列表，服务基于参考消息列表所在的对象组，获取参考消息列表中多个消息的对象行为消息。然后，服务器基于对象行为消息，确定参考公式对应的参考在线指标。其中，每个对象组包含与对象同质的多个参考对象。“同质”指的是对象之间的属性相同。比如，对象感兴趣的消息的类型相同，对象的年龄、性别以及所在区域等画像信息相似。对象行为消息包括参考对象对参考消息列表中多个消息触发的浏览行为。本申请实施例提供的方案，通过对多个参考公式对应的参考消息列表分别进行在线实验，使得能够确定真实情况下对象对对应的参考消息列表感兴趣的程度，从而利于后续能够以真实情况下对象感兴趣的程度为参考，更加准确地计算第二离线指标的准确率。

例如，服务器将这10个参考公式应用到真实的在线环境(10组同质的对象组)中，回收各个参考公式的真实的在线指标。

3043、服务器基于多个参考离线指标和多个参考在线指标，确定第二离线指标的准确率。

其中，在离线指标与在线指标符合正相关的情况下，离线指标的准确率一般较高。若离线指标R1与在线指标O1对应，离线指标R2与在线指标O2对应；则当离线指标R1大于离线指标R2时，在线指标O1也应大于在线指标O2。在此情况下，离线指标能够反映真实的在线情况，即离线指标更加准确。服务器可以根据多个参考离线指标和多个参考在线指标之间的相关性，确定第二离线指标的准确率。

在一些实施例中，服务器基于多个参考离线指标和多个参考在线指标，确定第二离线指标的准确率的过程包括：服务器对多个参考公式进行两两组合，得到多个公式对。对于任一公式对，服务器基于公式对中各个参考公式的参考离线指标和参考在线指标，确定公式对中参考离线指标和参考在线指标是否正相关。然后，服务器从多个公式对中，统计出目标公式对的数量。目标公式对中参考离线指标和参考在线指标正相关。然后，服务器基于目标公式对的数量与多个公式对的总数量之间的比值，确定第二离线指标的准确率。正相关也可称为正序，也即是在离线指标较大的情况下，对应的在线指标也较大。本申请实施例提供的方案，由于每两个参考公式之间的参考离线指标和参考在线指标的相关情况，能够在一定程度上反映价值公式的离线指标和在线指标的相关情况，由于目标公式对中的参考离线指标和参考在线指标正相关，通过计算目标公式对在多个公式对的总数量之间的比值，能够更加准确地反映通过对应的指标算法计算的离线指标和在线指标符合正相关的可能性，也即是能够更加准确地确定第二离线指标的准确率。

比值越大，指标算法计算的离线指标和在线指标符合正相关的可能性越大，离线指标的准确率越高，从而利于后续更准确地评估价值公式的性能。服务器可以通过上述步骤3041至步骤3043评估价值公式的离线指标。相应地，步骤3041至步骤3043的过程可以称为离线指标的评估流程。

例如，服务器计算出了10个参考离线指标和回收了10个参考在线指标。10个参考公式两两组合得到45个公式对。服务器统计各个公式对的参考离线指标和参考在线指标是否正相关(正序)，得到目标公式对的数量。第二离线指标的准确率(ACC)即定义为：目标公式对的数量/多个公式对的总数量。该过程类似于AB实验。

305、服务器将准确率最高的第二离线指标，作为第一离线指标。

在本申请实施例中，服务器对多个第二离线指标的准确率进行比较。然后，服务器将准确率最高的第二离线指标，作为第一离线指标。也即是，服务器选择最能够准确计算离线指标的指标算法，来计算价值公式对应的第一离线指标。

例如，图6是根据本申请实施例提供的一种确定离线指标的示意图。参见图6，服务器将价值公式的多个参考公式和初始消息列表输入到排序模拟器。服务器采用排序模拟器，基于多个参考公式对初始消息列表重新排序，得到多个参考消息列表。然后，服务器对多个参考消息列表进行处理，得到多个参考离线指标。服务器对多个参考公式对应的参考消息列表分别进行在线实验，得到多个参考在线指标。多个参考离线指标和多个参考在线指标一一对应。然后，服务器基于多个参考离线指标和多个参考在线指标，确定第二离线指标的准确率。然后，服务器将准确率最高的第二离线指标，作为第一离线指标。服务器通过上述方式计算各个价值公式的第一离线指标。

对于上述针对点击任务的离线指标的确定过程，可以类似地迁移应用到其它任务上。下述表1展示了使用本申请实施例提供的方案和现有技术方案所得到的消息列表的正序率(准确率)的对比。正序率指的是重新排序后消息列表中的消息符合正序的程度。正序指的是越容易吸引对象触发浏览行为的消息，排序越靠前。其中，本申请实施例提供的方案基于完整的消息列表，重新排序后得到消息列表。现有技术方案基于已曝光的消息，重新排序后得到消息列表。表1中展示了文章人均点击数、优质、低质、体感、集中度以及复购等多个任务上，重新排序的正确性。体感指的是对象对消息的感兴趣程度。集中度指的是对象对消息进行长阅读的情况。复购指的是对象对消息进行重复浏览行为的情况。

表1

306、服务器将对应的第一离线指标符合第一条件的第一消息列表，作为第二消息列表，第二消息列表用于向对象推送消息。

在本申请实施例中，第一条件可以是多个第一离线指标中最高的第一离线指标，也可以是多个第一离线指标中超过指标阈值的第一离线指标，本申请实施例对此不进行限制。相应地，服务器可以将对应的第一离线指标最高的第一消息列表，作为第二消息列表。服务器还可以将对应的第一离线指标超过指标阈值的第一消息列表，作为第二消息列表。本申请实施例对此不进行限制。

在一些实施例中，在最高的第一离线指标不符合第二条件的情况下，服务器还可以对第一离线指标对应的价值公式中的参数进行调整，得到中间价值公式。然后，服务器基于中间价值公式，对初始消息列表中的多个消息重新排序，得到中间消息列表。然后，服务器基于中间消息列表，确定中间离散指标，中间离散指标表示基于对应的中间价值公式得到的消息列表符合对象的兴趣的程度。然后，在中间离散指标符合第二条件的情况下，将中间离散指标对应的中间消息列表，服务器作为第二消息列表。在中间离散指标不符合第二条件的情况下，服务器继续对价值公式中的参数进行调整。其中，第二条件用于表示预期效果。本申请实施例提供的方案，在最高的第一离线指标仍没有达到预期效果的情况下，能够对价值公式进行调整、优化，以使优化后的价值公式重新排序后的消息列表符合预期效果。预期效果可以是离线指标的指标阈值，可以由技术人员自定义，本申请实施例对此不进行限制。

例如，图7是根据本申请实施例提供的一种确定价值公式的示意图。参见图7，服务器获取初始消息列表D和价值算法集合W。初始消息列表D中包括N个消息。价值算法集合W包括M个价值公式。然后，服务器将初始消息列表D和价值算法集合W输入到排序模拟器中。在初始消息列表D中，每个消息包含多个价值分数和标签。多个价值分数可以包括score

在一些实施例中，服务器还可以先对各个价值公式进行调整(优化)。然后，对于调整后的多个价值公式，服务器可以采用本申请实施例提供的方案，计算各个价值公式的离线指标。然后，服务器选择离线指标符合第一条件的价值公式，对初始消息列表中的消息重新排序。在此不再赘述。

本申请实施例提供了一种消息列表的确定方法，根据对象所订阅的目标对象，获取包含已曝光的消息和未曝光的消息的初始消息列表，也即是获取向对象推送的完整的消息列表；然后，在完整的消息列表的数据集上，通过价值算法集合中的各个价值公式，计算初始消息列表中各个消息的价值，从而对初始消息列表中的多个消息重新排序，使得重新排序后的多个第一消息列表能够更大程度符合对象的兴趣；然后，通过对重新排序后的多个第一消息列表计算第一离线指标，由于第一离线指标能够反映重新排序后的第一消息列表符合对象的兴趣的程度，因此能够更加准确地比较各个价值公式对确定出对象感兴趣的消息列表的性能，从而选择性能符合条件的价值公式得到的第一消息列表，作为最终向对象推送的消息列表，由于排序靠前的消息更容易被对象看到，在被对象看到的情况下，符合对象的兴趣的消息更容易吸引对象触发浏览行为，进一步保证了推送的消息列表更大程度符合对象的兴趣和针对消息的价值观念，也即是使得消息列表更加准确，从而促进对象对该消息列表产生更多的浏览行为，进而利于提升消息的推荐效果。

图8是根据本申请实施例提供的一种消息列表的确定装置的框图。该消息列表的确定装置用于执行上述消息列表的确定方法执行时的步骤，参见图8，消息列表的确定装置包括：

获取模块801，用于基于对象订阅的目标对象，获取初始消息列表，目标对象用于向对象推送消息，初始消息列表包括已曝光的消息和未曝光的消息；

排序模块802，用于基于价值算法集合中的多个价值公式，分别对初始消息列表中的多个消息重新排序，得到多个第一消息列表，每个价值公式用于计算初始消息列表中各个消息的价值，每个消息的价值用于表示对象对消息感兴趣的程度；

第一确定模块803，用于基于多个第一消息列表，确定多个第一离线指标，每个第一离线指标用于表示基于对应的价值公式得到的消息列表符合对象的兴趣的程度；

第二确定模块804，用于将对应的第一离线指标符合第一条件的第一消息列表，作为第二消息列表，第二消息列表用于向对象推送消息。

在一些实施例中，图9是根据本申请实施例提供的另一种消息列表的确定装置的框图。参见图9，排序模块802，包括：

获取单元8021，用于对于初始消息列表中的任一消息，获取消息的多个价值分数，每个价值分数用于从对应的维度反映消息的价值；

第一确定单元8022，用于对于价值算法集合中的任一价值公式，基于价值公式和多个价值分数，确定消息的价值总分；

排序单元8023，用于按照价值总分由高到低的顺序，对初始消息列表中的多个消息重新排序，得到价值公式对应的第一消息列表。

在一些实施例中，获取单元8021，用于对于初始消息列表中的任一消息，获取消息的属性信息；基于属性信息，确定消息的多个价值分数。

在一些实施例中，第一确定模块803，包括：

处理单元8031，用于对于任一第一消息列表，分别采用多个指标算法，对第一消息列表进行处理，得到多个第二离线指标；

第二确定单元8032，用于对于任一第二离线指标，确定第二离线指标的准确率；

第三确定单元8033，用于将准确率最高的第二离线指标，作为第一离线指标。

在一些实施例中，处理单元8031，包括：

划分子单元80311，用于对于任一指标算法，采用第一划分规则，对第一消息列表中的多个消息进行划分，得到第一消息集合，第一消息集合包括被点击的消息和已曝光未点击的消息；

划分子单元80311，还用于采用第二划分规则，对第一消息列表中的多个消息进行划分，得到第二消息集合，第二消息集合包括被点击的消息和未曝光的消息；

划分子单元80311，还用于采用第三划分规则和指标算法，对第一消息列表中的多个消息进行划分，得到第三消息集合，第三消息集合包括已曝光未点击的消息和未曝光的消息；

第一确定子单元80312，用于基于第一消息集合、第二消息集合和第三消息集合，确定指标算法的第二离线指标。

在一些实施例中，第一确定子单元80312，用于将第一消息集合中被点击的消息作为正类样本，已曝光未点击的消息作为负类样本，正类样本比负类样本更符合对象的兴趣；确定第一消息集合的GAUC指标；将第二消息集合中被点击的消息作为正类样本，未曝光的消息作为负类样本；确定第二消息集合的GAUC指标；对于第三消息集合中的任一消息，在消息的点击分数达到指标算法对应的分类阈值的情况下，将消息作为正类样本；在消息的点击分数未达到指标算法对应的分类阈值的情况下，将消息作为负类样本；确定第三消息集合的GAUC指标；对第一消息集合的GAUC指标、第二消息集合的GAUC指标和第三消息集合的GAUC指标求平均，得到第二离线指标。

在一些实施例中，第二确定单元8032，包括：

处理子单元80321，用于对于任一第二离线指标，对价值公式的多个参考公式对应的参考消息列表进行处理，得到多个参考离线指标，多个参考公式用于评估价值公式的性能，每个参考离线指标用于表示基于参考公式得到的参考消息列表符合对象的兴趣的程度；

实验子单元80322，用于对多个参考公式对应的参考消息列表分别进行在线实验，得到多个参考在线指标，每个参考在线指标用于表示真实情况下对象对对应的参考消息列表感兴趣的程度；

第二确定子单元80323，用于基于多个参考离线指标和多个参考在线指标，确定第二离线指标的准确率。

在一些实施例中，处理子单元80321，用于对于任一第二离线指标，基于高斯分布，对价值公式添加噪声扰动，得到多个参考公式；对于任一参考公式，基于参考公式，对初始消息列表中的多个消息重新排序，得到参考消息列表；基于第二离线指标对应的指标算法和参考消息列表，确定参考离线指标，参考离线指标用于表示基于参考公式预测的参考消息列表符合对象的兴趣的程度。

在一些实施例中，实验子单元80322，用于对多个参考公式对应的参考消息列表分别投放至多个对象组，每个对象组包含与对象同质的多个参考对象；对于任一参考公式对应的参考消息列表，基于参考消息列表所在的对象组，获取参考消息列表中多个消息的对象行为消息；基于对象行为消息，确定参考公式对应的参考在线指标。

在一些实施例中，第二确定子单元80323，用于对多个参考公式进行两两组合，得到多个公式对；对于任一公式对，基于公式对中各个参考公式的参考离线指标和参考在线指标，确定公式对中参考离线指标和参考在线指标是否正相关；从多个公式对中，统计出目标公式对的数量，目标公式对中参考离线指标和参考在线指标正相关；基于目标公式对的数量与多个公式对的总数量之间的比值，确定第二离线指标的准确率。

在一些实施例中，第二确定模块804，用于将对应的第一离线指标最高的第一消息列表，作为第二消息列表。

在一些实施例中，装置还包括：

调整模块805，用于在最高的第一离线指标不符合第二条件的情况下，对第一离线指标对应的价值公式中的参数进行调整，得到中间价值公式；

排序模块802，还用于基于中间价值公式，对初始消息列表中的多个消息重新排序，得到中间消息列表；

第一确定模块803，还用于基于中间消息列表，确定中间离散指标，中间离散指标表示基于对应的中间价值公式得到的消息列表符合对象的兴趣的程度；

第二确定模块804，还用于在中间离散指标符合第二条件的情况下，将中间离散指标对应的中间消息列表，作为第二消息列表；

调整模块805，还用于在中间离散指标不符合第二条件的情况下，继续对价值公式中的参数进行调整。

本申请实施例提供了一种消息列表的确定装置，根据对象所订阅的目标对象，获取包含已曝光的消息和未曝光的消息的初始消息列表，也即是获取向对象推送的完整的消息列表；然后，在完整的消息列表的数据集上，通过价值算法集合中的各个价值公式，计算初始消息列表中各个消息的价值，从而对初始消息列表中的多个消息重新排序，使得重新排序后的多个第一消息列表能够更大程度符合对象的兴趣；然后，通过对重新排序后的多个第一消息列表计算第一离线指标，由于第一离线指标能够反映重新排序后的第一消息列表符合对象的兴趣的程度，因此能够更加准确地比较各个价值公式对确定出对象感兴趣的消息列表的性能，从而选择性能符合条件的价值公式得到的第一消息列表，作为最终向对象推送的消息列表，由于排序靠前的消息更容易被对象看到，在被对象看到的情况下，符合对象的兴趣的消息更容易吸引对象触发浏览行为，进一步保证了推送的消息列表更大程度符合对象的兴趣和针对消息的价值观念，也即是使得消息列表更加准确，从而促进对象对该消息列表产生更多的浏览行为，进而利于提升消息的推荐效果。

需要说明的是：上述实施例提供的消息列表的确定装置在运行应用程序时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的消息列表的确定装置与消息列表的确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在本申请实施例中，计算机设备能够被配置为终端或者服务器，当计算机设备被配置为终端时，可以由终端作为执行主体来实施本申请实施例提供的技术方案，当计算机设备被配置为服务器时，可以由服务器作为执行主体来实施本申请实施例提供的技术方案，也可以通过终端和服务器之间的交互来实施本申请提供的技术方案，本申请实施例对此不作限定。

图10是根据本申请实施例提供的一种服务器的结构示意图，该服务器1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(CentralProcessing Units，CPU)1001和一个或一个以上的存储器1002，其中，该存储器1002中存储有至少一条计算机程序，该至少一条计算机程序由该处理器1001加载并执行以实现上述各个方法实施例提供的消息列表的确定方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一段计算机程序，该至少一段计算机程序由计算机设备的处理器加载并执行以实现上述实施例的消息列表的确定方法中计算机设备所执行的操作。例如，所述计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

本申请实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述各种可选实现方式中提供的消息列表的确定方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。