特征评估方法、装置、电子设备及计算机可读存储介质

技术领域

本说明书一个或多个实施例涉及计算机软件技术领域，尤其涉及一种特征评估方法、装置、电子设备及计算机可读存储介质。

背景技术

在相关技术中，预估模型是指至少根据用户的行为、兴趣和上下文信息，预估与用户适配的相关对象(如商品或者广告)等，进而设备可以向用户推荐该对象。例如，预估模型用于根据用户的行为、兴趣和上下文信息，以及商品或者广告的一些属性特征，计算出用户对相关对象(如商品、广告等)会点击的概率，或者收藏、购买等转化行为的概率，进而设备可以根据计算出的概率向用户推荐该对象。

优化预估模型的其中一种方式是在模型中引入新的特征。通过引入新的特征，可以更准确地描述用户和对象之间的关系，从而提升模型的预估效果。在引入新的特征的过程中，有必要对特征进行评估，以实现特征的合理选择。

发明内容

有鉴于此，本说明书一个或多个实施例提供一种特征评估方法、装置、电子设备及计算机可读存储介质。

为实现上述目的，本说明书一个或多个实施例提供技术方案如下：

根据本说明书一个或多个实施例的第一方面，提出了一种特征评估方法，包括：

获取输入至预估模型的与目标用户对应的历史特征、以及所述目标用户针对所述预估模型基于所述历史特征为所述目标用户预估的目标对象的反馈结果；

从用户行为数据库中获取所述目标用户在目标时刻之前产生的用户行为数据，并基于获取到的用户行为数据构建与所述目标用户相关的多个候选用户特征；其中，所述目标时刻为所述预估模型基于所述历史特征为所述目标用户预估目标对象的时刻；

根据所述历史特征、所述反馈结果以及所述多个候选用户特征构建训练样本；

基于所述训练样本对所述预估模型进行优化训练，并基于所述优化训练的训练结果对所述多个候选用户特征进行特征评估，以及基于特征评估的结果从所述多个候选用户特征中确定用于所述预估模型的用户特征。

可选的，还包括：

将从所述多个候选用户特征中确定出的用于所述预估模型的用户特征，发布至与所述预估模型对应的在线特征库。

可选的，所述从用户行为数据库中获取所述目标用户在目标时刻之前产生的用户行为数据，并基于获取到的用户行为数据构建与所述目标用户相关的多个候选用户特征，包括：

获取基于结构化查询语言构建的查询语句；所述查询语言包括用户自定义函数标识和输入参数，所述输入参数包括所述目标用户的用户标识和所述目标时刻；

向所述用户行为数据库提交所述查询语句，以使得所述用户行为数据库执行所述查询语句中的所述用户自定义函数标识指示的用户自定义函数，根据所述输入参数读取所述目标用户在目标时刻之前产生的用户行为数据，并基于读取到的用户行为数据构建与所述目标用户相关的多个候选用户特征，以及输出所述与所述目标用户相关的多个候选用户特征。

可选的，所述用户行为数据库包括在线数据库。

可选的，所述用户行为数据包括在所述目标时刻之前的预设时长内，所述目标用户在客户端中进行的操作行为以及操作对象。

可选的，目标用户在客户端中的所有操作行为以及操作对象记录在所述目标用户的用户日志中；

在所述从用户行为数据库中获取所述目标用户在目标时刻之前产生的用户行为数据之前，还包括：

获取候选用户特征的配置信息；所述候选用户特征的配置信息指示了构建所述候选用户特征所需的用户行为数据；

基于候选用户特征的配置信息，从所述目标用户的用户日志中获取用户行为数据，并将获取到的所述用户行为数据存储在所述用户行为数据库中。

可选的，所述获取输入所述预估模型的目标用户的历史特征、以及所述目标用户针对所述预估模型基于所述历史特征为所述用户预估的目标对象的反馈结果，包括：

从所述预估模型的模型日志中获取输入所述预估模型的目标用户的历史特征、以及所述目标用户针对所述预估模型基于所述历史特征为所述用户预估的目标对象的反馈结果；或者，

从所述预估模型的模型日志中获取输入所述预估模型的目标用户的历史特征，以及从所述目标用户的用户日志中获取所述目标用户针对所述预估模型基于所述历史特征为所述用户预估的目标对象的反馈结果；其中，所述目标用户的用户日志记录了目标用户在客户端中的所有操作行为以及操作对象。

可选的，所述根据所述历史特征、所述反馈结果以及所述多个候选用户特征构建训练样本，包括：

将所述多个候选用户特征中的各个候选用户特征进行组合，得到至少一种组合结果；

基于每种组合结果、所述历史特征以及所述反馈结果构建与每种组合结果对应的训练样本；

所述基于所述训练样本对所述预估模型进行优化训练，包括：

将每种组合结果对应的训练样本输入至待训练的预估模型中，以由所述预估模型基于所述组合结果和历史特征生成预测结果，以最小化所述预测结果和所述反馈结果之间的误差为优化目标，对所述预估模型进行训练，得到每种组合结果对应的优化后的预估模型。

可选的，所述基于所述优化训练的训练结果对所述多个候选用户特征进行特征评估，包括：

计算每种组合结果对应的优化后的预估模型的与优化目标相关的性能指标；

根据各个优化后的预估模型的所述与优化目标相关的性能指标，对所述优化后的预估模型对应的组合结果中的候选用户特征进行评估。

可选的，所述预估模型包括广告预估模型，所述广告预估模型用于预估用户对待推荐的广告的点击率和/或转化率。

根据本说明书一个或多个实施例的第二方面，提出了一种特征评估装置，包括：

第一获取模块，用于获取输入至预估模型的与目标用户对应的历史特征、以及所述目标用户针对所述预估模型基于所述历史特征为所述目标用户预估的目标对象的反馈结果；

第二获取模块，应用于从用户行为数据库中获取所述目标用户在目标时刻之前产生的用户行为数据，并基于获取到的用户行为数据构建与所述目标用户相关的多个候选用户特征；其中，所述目标时刻为所述预估模型基于所述历史特征为所述目标用户预估目标对象的时刻；

训练样本构建模块，用于根据所述历史特征、所述反馈结果以及所述多个候选用户构建训练样本；

特征评估模块，用于基于所述训练样本对所述预估模型进行优化训练，并基于所述优化训练的训练结果对所述多个候选用户特征进行特征评估，以及基于所述特征评估的结果从所述多个候选用户特征中确定用于所述预估模型的用户特征。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器执行所述可执行指令时，用于实现第一方面所述的方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开实施例中，由于在预估模型中引入新的候选用户特征进行特征评估时，可以基于用户行为数据库中的用户行为数据来实时的构建候选用户特征，而不再需要将引入的多个候选用户特征事先发布至在线特征库，因此可以避免事先将引入的多个候选用户特征发布至与预估模型对应的在线特征库，而针对部署预估模型的线上系统造成干扰，导致给线上系统带来资源不足的问题，从而有利于提升预估模型的性能。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

图1是一示例性实施例提供的一种应用场景的示意图。

图2是一示例性实施例提供的一种特征评估方法的流程示意图。

图3是一示例性实施例提供的一种获取历史特征、反馈结果以及多个候选用户特征的示意图。

图4是一示例性实施例提供的另一种获取历史特征、反馈结果以及多个候选用户特征的示意图。

图5是一示例性实施例提供的一种电子设备的结构示意图。

图6是一示例性实施例提供的一种特征评估装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

需要说明的是，本说明书实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

在相关技术中，预估模型是指至少根据用户的行为、兴趣和上下文信息，预估与用户适配的商品或者广告等。比如：预估模型可以根据用户的行为、兴趣和上下文信息，以及商品或者广告的一些属性特征，计算出用户对相关对象(如商品、广告等)会点击的概率，或者收藏、购买等转化行为的概率。又或者，预估模型可以根据用户的行为、兴趣和上下文信息，计算出与适配的相关对象(如商品、广告等)。

优化预估模型的其中一种方式是在预估模型中引入新的特征。通过引入新的特征，可以更准确地描述用户和对象之间的关系，从而提升模型的预估效果。在引入新的特征的过程中，有必要对特征进行评估，以实现特征的合理选择。

相关技术中的在预估模型引入新的特征的流程是：开发出多个候选用户特征发布至预估模型对应的在线特征库，在预估模型运行过程中，通过在线特征库采集与多个候选用户特征相关的数据，并存储在模型日志中，后续基于模型日志中的数据构造训练样本，基于训练样本进行模型优化训练与特征评估。在该流程中，同时发布过多的候选用户特征，可能会给部署预估模型的线上系统带来资源不足的问题，例如增加计算、存储或网络开销；而且同时发布过多的候选用户特征会增加操作失误的概率，比如错误地添加或删除特征。

其中，在线特征库是用于存储和管理预估模型所需特征数据的系统，它提供了一种高效、可扩展的方式来存储和检索特征数据，以供模型在实时预估或预测过程中使用。

基于相关技术中的问题，本说明书实施例提供了一种特征评估方法，由于在预估模型中引入新的候选用户特征进行特征评估时，可以以旁路形式基于用户行为数据库中的用户行为数据来实时的构建候选用户特征，而不再需要将引入的多个候选用户特征事先发布至在线特征库，因此可以避免事先将引入的多个候选用户特征发布至与预估模型对应的在线特征库，而针对部署预估模型的线上系统造成干扰，导致给线上系统带来资源不足的问题，从而有利于提升预估模型的性能。

在一示例性的应用场景中，请参阅图1，本说明书实施例提供的特征评估方法可以第一电子设备10来执行，比如具体由部署在第一电子设备中的模型开发端来执行，模型开发端负责预估模型的训练、特征评估等流程。模型开发端获得的优化后的预估模型可以部署到第二电子设备中，由第二电子设备运行优化后的预估模型。其中，第一电子设备和第二电子设备包括但不限于服务器、云服务器、服务器集群、平板计算机、个人数字助理(PDA)、膝上计算机、或者台式计算机等计算设备。

示例性的，所述预估模型包括广告预估模型、商品预估模型、音乐预估模型、菜品预估模型以及视频预估模型等，但不限于此。广告预估模型用于预估与用户适配的广告。商品预估模型用于预估与用户适配的商品。音乐预估模型用于预估与用户适配的音乐。菜品预估模型用于预估与用户适配的菜品。视频预估模型用于预估与用户适配的短视频、电视剧或者电影等。

以广告预估模型为例，在一种可能的实现方式中，可以将目标用户的用户特征和待预估广告的广告特征输入广告预估模型，以由广告预估模型预测目标用户对待预估广告的点击率或转化率，进而根据预测的点击率或转化率决定是否将该广告推送到目标用户的客户端中展示。

在另一种可能的实现方式中，广告预估模型具备根据用户特征生成待推荐广告的功能，比如可以将目标用户的用户特征输入广告预估模型，以由广告预估模型根据用户特征生成与目标用户适配的待推荐广告，进而可以将待推荐广告推送到目标用户的客户端中展示。其中，图1中的第二电子设备可以部署有与用户的客户端对接的服务端，或者第二电子设备可以与服务端通信连接，本实施例对此不做任何限制。

可以理解的是，本说明书实施例对于预估模型的具体预估形式不做任何限制，可依据实际应用场景进行具体设置。

在一些实施例中，请参阅图2，图2为本说明书实施例提供的一种特征评估方法的流程示意图。所述方法应用于第一电子设备10，包括：

在S101中，获取输入至预估模型的与目标用户对应的历史特征、以及所述目标用户针对所述预估模型基于所述历史特征为所述目标用户预估的目标对象的反馈结果。

示例性的，若预估模型用于根据用户的行为、兴趣和上下文信息，以及相关对象(如商品或者广告)的一些属性特征，计算出用户对相关对象(如商品、广告等)会点击的概率，或者收藏、购买等转化行为的概率。则历史特征包括历史用户特征和目标对象的对象特征。

示例性的，若预估模型用于根据用户的行为、兴趣和上下文信息预估出与其适配的对象，则历史特征包括历史用户特征。

在S102中，从用户行为数据库中获取所述目标用户在目标时刻之前产生的用户行为数据，并基于获取到的用户行为数据构建与所述目标用户相关的多个候选用户特征；其中，所述目标时刻为所述预估模型基于所述历史特征为所述目标用户预估目标对象的时刻。

在S103中，根据所述历史特征、所述反馈结果以及所述多个候选用户特征构建训练样本。

在S104中，基于所述训练样本对所述预估模型进行优化训练，并基于所述优化训练的训练结果对所述多个候选用户特征进行特征评估，以及基于所述特征评估的结果从所述多个候选用户特征中确定用于所述预估模型的用户特征。

本实施例中，实现多个候选用户特征无需发布至与预估模型对应的在线特征库的情况下，以旁路形式从用户行为数据库中获取目标用户在目标时刻之前产生的用户行为数据，并基于获取到的用户行为数据构建与目标用户相关的多个候选用户特征，用于后续的在预估模型中引入新的候选用户特征进行特征评估的过程，因此可以避免事先将引入的多个候选用户特征发布至与预估模型对应的在线特征库，而针对部署预估模型的线上系统造成干扰，导致给线上系统带来资源不足的问题，从而有利于提升预估模型的性能。

在一种可能的实现方式中，对于步骤S101，请参阅图3，考虑到在预估模型运行过程中，通常会将输入预估模型的用户特征，以及用户针对预估模型预估的目标对象的反馈结果存储在模型日志中，以便后续模型的优化训练。则在特征评估过程中，可以从预估模型的模型日志中获取输入预估模型的目标用户的历史特征、以及目标用户针对预估模型基于历史特征为用户预估的目标对象的反馈结果。示例性的，预估模型的模型日志可以存储在如图1所述的第二电子设备中。

在另一种可能的实现方式中，对于步骤S101，考虑到在预估模型运行过程中，通常会将输入预估模型的用户特征记录在模型日志中，而用户针对预估模型预估的目标对象的反馈结果可能不会记录在模型日志中，但是用户针对预估模型预估的目标对象的反馈结果也是用户行为数据中的其中一种，通常会记录在用户的用户日志中，也即目标用户在客户端中的所有操作行为以及操作对象均会记录在目标用户的用户日志中。因此，在特征评估过程中，可以从预估模型的模型日志中获取输入预估模型的目标用户的历史特征，以及从目标用户的用户日志中获取目标用户针对预估模型基于历史特征为用户预估的目标对象的反馈结果；其中，目标用户的用户日志记录了目标用户在客户端中的所有操作行为以及操作对象。用户的用户日志可以存储在第二电子设备或者其他的第三电子设备中，第一电子设备可以与第二电子设备、第三电子设备通信连接；其中，第三电子设备可以是部署有用户的客户端的设备(也即用户所持有的设备)，也可以是部署有与用户的客户端对接的服务端的设备(比如服务器或者服务器集群等)，本实施例对此不做任何限制。

在一些实施例中，请参阅图4，考虑到目标用户在客户端中的所有操作行为以及操作对象均记录在目标用户的用户日志中，而构建候选用户特征所需的用户行为数据只是其中的一小部分用户行为数据，为了提高后续的候选用户特征的构建效率。可以预先获取候选用户特征的配置信息，候选用户特征的配置信息指示了构建候选用户特征所需的用户行为数据；然后基于候选用户特征的配置信息，从目标用户的用户日志中获取用户行为数据，并将获取到的用户行为数据存储在用户行为数据库中。其中，用户行为数据库可以部署在第二电子设备或者其他的第四电子设备中，本实施例对此不做任何限制。

在一些实施例中，请参阅图3和图4，上述提及的用户行为数据库包括在线数据库，比如在线数据库用于存储目标用户当天或者24小时以内的用户行为数据。

在一些实施例中，对于步骤S102，由于已经预先把构建候选用户特征所需的用户行为数据存储在用户行为数据库中，则在特征评估过程中，仅需从用户行为数据库中获取目标用户在目标时刻之前产生的用户行为数据，并基于获取到的用户行为数据构建与目标用户相关的多个候选用户特征；其中，目标时刻为预估模型基于历史特征为目标用户预估目标对象的时刻，也就是说，在预估模型基于历史特征为目标用户预估目标对象的时刻之前的用户行为数据中可能存在对预估结果产生影响的特征。

在一种可能的实现方式中，目标时刻可以从模型日志中获取，一般在存储目标用户的历史特征时，会相应的存储预估模型基于历史特征为目标用户预估目标对象的时刻，该时刻即为目标时刻。

在一些实施例中，从用户行为数据库中获取到的用户行为数据包括在目标时刻之前的预设时长内，目标用户在客户端中进行的操作行为以及操作对象。预设时长可依据实际应用场景进行具体设置，本实施例对此不做任何限制，可以是1个小时、2个小时或者4个小时等等。举个例子，以广告预估为例，从用户行为数据库中获取到的用户行为数据包括在目标时刻之前的3个小时内用户浏览或者点击过的广告的广告标识。再举个例子，以菜品预估为例，从用户行为数据库中获取到的用户行为数据包括在目标时刻之前的4个小时内用户浏览、搜索、点击和/或下单过的菜品的菜品标识。

在一种可能的实现方式中，请参阅图3和图4，可以获取基于结构化查询语言构建的查询语句；查询语言包括用户自定义函数标识和输入参数，输入参数包括目标用户的用户标识和目标时刻；然后向用户行为数据库提交查询语句，以使得用户行为数据库执行查询语句中的用户自定义函数标识指示的用户自定义函数，根据输入参数读取目标用户在目标时刻之前产生的用户行为数据，并基于读取到的用户行为数据构建与目标用户相关的多个候选用户特征，以及输出与目标用户相关的多个候选用户特征。本实施例中，仅需通过一条查询语句即可以旁路形式从用户行为数据库中获取与目标用户相关的多个候选用户特征，无需事先将多个候选用户特征发布至与预估模型对应的在线特征库中，避免占用线上资源。

SQL UDF函数(User-Defined Function，用户自定义函数)是一种在SQL中使用的自定义函数。它们允许用户根据自己的需求创建自定义函数，以便在SQL查询中使用。SQLUDF函数可以接受参数并返回一个值或一个表。它们可以用于各种目的，例如执行特定的计算、处理数据、转换数据类型、实现业务逻辑等等。在本说明书实施例中，UDF函数的输入格式是目标用户的用户ID和目标时刻；返回与目标用户相关的多个候选用户特征。

在一些实施例中，对于步骤S103，在构建训练样本的过程中，可以将多个候选用户特征中的各个候选用户特征进行组合，得到至少一种组合结果；然后基于每种组合结果、历史特征以及反馈结果构建与每种组合结果对应的训练样本。示例性的，假设当前有6个候选用户特征，则一共有90种组合结果。

对于步骤S104，在基于训练样本对预估模型进行优化训练的过程中，可以将每种组合结果对应的训练样本输入至待训练的预估模型中，以由预估模型基于组合结果和历史特征生成预测结果，以最小化预测结果和反馈结果之间的误差为优化目标，对预估模型进行训练，得到每种组合结果对应的优化后的预估模型。

在基于优化训练的训练结果对多个候选特征候选用户特征进行特征评估的过程中，可以计算每种组合结果对应的优化后的预估模型的与优化目标相关的性能指标；然后根据各个优化后的预估模型的与优化目标相关的性能指标，对优化后的预估模型对应的组合结果中的候选用户特征进行评估，从而基于特征评估的结果从多个候选用户特征中确定用于预估模型的用户特征。本实施例可以通过性能指标比较每个候选用户特征对模型性能的影响，可以确定哪些用户特征对模型的预测能力有贡献，从而确定出用于预估模型的用户特征。

其中，与优化目标相关的性能指标包括但不限于：(1)准确率(Accuracy)：模型在所有样本中正确预测的比例；(2)精确率(Precision)和召回率(Recall)：精确率是指模型预测为正例中真实为正例的比例，召回率是指真实为正例中模型预测为正例的比例；(3)F1分数(F1 Score)：F1分数是精确率和召回率的调和平均值；(4)均方误差(Mean SquaredError，MSE)：衡量预测结果和反馈结果之间的平均差异；(5)平均绝对误差(Mean AbsoluteError，MAE)：衡量模型预测结果的平均绝对偏差等。

在一些实施例中，在从多个候选用户特征中确定用于预估模型的用户特征之后，可以将从多个候选用户特征中确定出的用于预估模型的用户特征，发布至与预估模型对应的在线特征库，以及将利用确定的用户特征进行优化训练的预估模型部署到线上系统中。其中，在线特征库是用于存储和管理预估模型所需特征数据的系统，它提供了一种高效、可扩展的方式来存储和检索特征数据，以供模型在实时预估或预测过程中使用。本实施例实现仅需将用于预估模型的用户特征发布至预估模型，避免同时发布过多特征导致的资源不足的问题，也降低了操作失误的概率。

以上实施方式中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。

图5是一示例性实施例提供的一种电子设备的示意结构图。请参考图5，在硬件层面，该设备包括处理器502、内部总线504、网络接口506、内存508以及非易失性存储器510，当然还可能包括其他业务所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现，比如由处理器502从非易失性存储器510中读取对应的计算机程序到内存508中然后运行。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

请参考图6，特征评估装置可以应用于如图5所示的设备中，以实现本说明书的技术方案。其中，该特征评估装置可以包括：

第一获取模块201，用于获取输入至预估模型的与目标用户对应的历史特征、以及所述目标用户针对所述预估模型基于所述历史特征为所述目标用户预估的目标对象的反馈结果。

第二获取模块202，应用于从用户行为数据库中获取所述目标用户在目标时刻之前产生的用户行为数据，并基于获取到的用户行为数据构建与所述目标用户相关的多个候选用户特征；其中，所述目标时刻为所述预估模型基于所述历史特征为所述目标用户预估目标对象的时刻。

训练样本构建模块203，用于根据所述历史特征、所述反馈结果以及所述多个候选用户构建训练样本。

特征评估模块204，用于基于所述训练样本对所述预估模型进行优化训练，并基于所述优化训练的训练结果对所述多个候选用户特征进行特征评估，以及基于所述特征评估的结果从所述多个候选用户特征中确定用于所述预估模型的用户特征。

在一些实施例中，所述装置还包括：发布模块，用于将从所述多个候选用户特征中确定出的用于所述预估模型的用户特征，发布至与所述预估模型对应的在线特征库。

在一些实施例中，所述第二获取模块202具体用于获取基于结构化查询语言构建的查询语句；所述查询语言包括用户自定义函数标识和输入参数，所述输入参数包括所述目标用户的用户标识和所述目标时刻；向所述用户行为数据库提交所述查询语句，以使得所述用户行为数据库执行所述查询语句中的所述用户自定义函数标识指示的用户自定义函数，根据所述输入参数读取所述目标用户在目标时刻之前产生的用户行为数据，并基于读取到的用户行为数据构建与所述目标用户相关的多个候选用户特征，以及输出所述与所述目标用户相关的多个候选用户特征。

在一些实施例中，所述用户行为数据库包括在线数据库。

在一些实施例中，所述用户行为数据包括在所述目标时刻之前的预设时长内，所述目标用户在客户端中进行的操作行为以及操作对象。

在一些实施例中，目标用户在客户端中的所有操作行为以及操作对象记录在所述目标用户的用户日志中。所述第二获取模块202还用于在所述从用户行为数据库中获取所述目标用户在目标时刻之前产生的用户行为数据之前执行以下步骤：获取候选用户特征的配置信息；所述候选用户特征的配置信息指示了构建所述候选用户特征所需的用户行为数据；基于候选用户特征的配置信息，从所述目标用户的用户日志中获取用户行为数据，并将获取到的所述用户行为数据存储在所述用户行为数据库中。

在一些实施例中，所述第一获取模块201具体用于：从所述预估模型的模型日志中获取输入所述预估模型的目标用户的历史特征、以及所述目标用户针对所述预估模型基于所述历史特征为所述用户预估的目标对象的反馈结果；或者，从所述预估模型的模型日志中获取输入所述预估模型的目标用户的历史特征，以及从所述目标用户的用户日志中获取所述目标用户针对所述预估模型基于所述历史特征为所述用户预估的目标对象的反馈结果；其中，所述目标用户的用户日志记录了目标用户在客户端中的所有操作行为以及操作对象。

在一些实施例中，所述训练样本构建模块203具体用于将所述多个候选用户特征中的各个候选用户特征进行组合，得到至少一种组合结果；基于每种组合结果、所述历史特征以及所述反馈结果构建与每种组合结果对应的训练样本。

所述特征评估模块204包括训练单元，用于将每种组合结果对应的训练样本输入至待训练的预估模型中，以由所述预估模型基于所述组合结果和历史特征生成预测结果，以最小化所述预测结果和所述反馈结果之间的误差为优化目标，对所述预估模型进行训练，得到每种组合结果对应的优化后的预估模型。

所述特征评估模块204还包括特征评估单元，用于计算每种组合结果对应的优化后的预估模型的与优化目标相关的性能指标；根据各个优化后的预估模型的所述与优化目标相关的性能指标，对所述优化后的预估模型对应的组合结果中的候选用户特征进行评估。

在一些实施例中，所述预估模型包括广告预估模型，所述广告预估模型用于预估用户对待推荐的广告的点击率和/或转化率。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

在一些实施例中，本说明书实施例还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现上述中任一项所述的方法。

在一些实施例中，本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述任一项所述方法的步骤。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。