一种点击率预估系统

技术领域

本发明涉及一种点击率预估系统，尤其涉及一种采用端到端实现特征工程的点击率预估系统。

背景技术

点击率(CTR，Click-Through Rate)以及派生的各种用户行为概率(如商品购买率、推荐好友接受率、短视频3s曝光率等，以下统称“点击率”)预估是指对某个内容将要在某个情形下展现前，预估该内容可能被点击概率。如果有很大概率被点击，就展示该内容；如果概率低，就不展示。点击率预估是广告、推荐、搜索等互联网应用的关键技术，其准确性对于在线广告的推荐具有非常重要的作用。

在上线服务之前，点击率预估模型通常需要经过特征工程和模型训练两个过程。现有技术中，特征工程与模型训练由不同的系统独立完成，如图1所示：特征工程系统2通过独立的机器学习算法实现对数据的处理和特征提取，模型训练系统1(常见为DNN网络)利用特征工程的结果根据独立算法再进行训练。

该方法的弊端在于：首先，独立的特征工程系统产出的特征，与模型训练所用的特征可能会产生偏差；其次，特征提取系统提取到的特征，是一种机器学习的结果，本身没有实际的物理意义，很难为业务的调整提供反馈信息；最后，模型训练系统的DNN网络是一种逐层表示的结构，其自身也是一种特征，但这种特征无法被特征工程系统所统计。

此外，在CTR建模中，用户之间往往有差异性，例如成年人和未成年人的差异性，导致预估需要采用两个模型。传统的解决方案一般可以分为两类。一类可以看做硬切换(hard- switch)，即设置完全两个独立模型，分别服务两类用户。第二类是软切换(soft-switch)，即在模型结构中使用与用户类别相关的参数，例如部分网络参数是根据用户特征进行实时计算的。第一种方案的可维护性较差，往往需要同时训练和部署多个模型，第二种方案需要根据用户特征实时计算一部分参数，因此性能会有一定损失。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种点击率预估系统，其特征在于，包括：模型训练系统，所述模型系统包括DNN网络和特征工程系统；所述特征工程系统通过如下方法获得：对ID类特征进行独热编码，获得稀疏矩阵；根据所述稀疏矩阵获得嵌入表示；通过自动微分方法实现特征工程。

优选地，上述点击率预估系统中，所述自动微分方法所使用的损失函数为loss＝xS(x-y)，其中x表示当前的嵌入表示，y表示期望的嵌入表示，S是停止梯度算子。

优选地，上述点击率预估系统中，还包括自适应切换结构，用于动态切换所述预估系统所使用的参数集；所述自适应切换结构包括至少两个独立参数集和控制器。

优选地，上述点击率预估系统中，所述控制器采用策略梯度算法强化学习训练得到。

优选地，上述点击率预估系统中，所述强化学习训练方法包括：将训练数据划分为与所述独立参数集对应的N个数据集；将所述数据集的训练目标D定义为：

，

其中ψ是用户间共享的参数，π

优选地，上述点击率预估系统中，所述最小化所述损失L的步骤中，使用如下迭代函数：

其中

附图说明

图1为现有技术点击率预估系统的逻辑框图；

图2为本发明点击率预估系统第一实施方式的逻辑框图；

图3为本发明点击率预估系统第二实施方式的逻辑框图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

下面参阅图2，图2所示为本发明一种点击率预估系统逻辑框图。本发明点击率评估系统1中包括模型训练系统2，模型训练系统2内包括特征工程系统21，其余部分，例如隐藏层22、嵌入层23、嵌入表24等结构，可以与现有技术中DNN网络相同设置。本发明的点击率预估系统与图1中现有技术相比，本质的区别在于特征工程系统21被包含在模型训练系统2中，成为模型训练系统2的组成部分，从而对特征工程21与模型训练成为一个整体，避免了现有技术中因两者不一致而产生的偏差。

鉴于模型训练系统2中除特征工程系统21之外，与现有DNN网络结构相同，损失函数、训练方法均不予赘述。以下仅介绍内蕴的特征工程系统21的结构和训练方法。

特征工程可以视作是对某些id类特征进行统计，首先是对该特征进行独热(one-hot)编码。以性别特征gender为例，它包括两个取值male/female，对其进行one-hot编码可得：{[0, 1],[1,0]}，构成了一个2x2的稀疏矩阵。

再将稀疏矩阵通过一嵌入(embedding)层，获得embeding表示。以周平均观看量和周平均点击量作为embedding层为例，前述的one-hot编码可得到embedding表示：{[男性周平均观看量,男性周平均点击量],[女性周平均观看量],[男性周平均点击量]}。

最后，通过自动微分方法就可以实现特征工程。具体方法为：在训练中加入损失函数loss ＝xS(x-y)，在学习率为1的随机梯度下降算法中，通过如下迭代：

x←x-learning_rate*gradient＝x-1*S(x-y)＝x-(x-y)＝y

其中x是当前embedding表示，y是期望的embedding，S是stop_gradient(停止梯度算子)。

本发明对现有点击率预估系统的另一改进方案见图3中的自适应切换结构3，它包括至少两个独立参数集31和32，还包括控制器33。控制器33根据用户的特征，动态地切换预估模型所使用的参数集。这种方式避免了部署两套系统，也大大简化了对用户特征的实时计算。

为了实现自适应切换结构，需要对控制器33进行训练。可以将参数集选择视作一种离散控制(discrete control)问题，利用强化学习技术来进行参数选择。具体而言，参数集的数量为有限的，控制器33的选择结果数量对应参数信的数量，因此也是有限的。将控制器33的选择视为一个离散的随机变量，则上控制器的参数选择行为就可以通过强化学习进行训练。假设一共有N个数据集

其中π

作为优化，可以引入熵正则化H来鼓励不同层学习不同的切换条件：

其中

综上所述，本发明的一种点击率预估系统，能有效地避免现有技术中采用独立的特征工程与模型训练系统引发的种种弊端，且根据优选实施方式，在处理不同的用户特征时，无需要独立的模型系统就可以实现灵活切换模型参数。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。此外，本发明的slave、节点、系统、数据库均为逻辑实体，实践中可以是物理上单独的配备软、硬件计算机，也可以只是通用计算机上具有同样功能的软件模块。