一种基于因果推断的在线广告的广告主出价与效果预估模型构建方法

技术领域

本发明属于属于搜索广告技术领域，具体涉及一种基于因果推断的在线广告的广告主出价与效果预估模型构建方法。

背景技术

随着经济数字化的快速发展，互联网广告在赋能商家营销、帮助消费者高效了解商品和服务、以及商业平台的变现等方面扮演着越来越重要的角色。互联网广告生态中，广告主通过付费在媒体上对目标用户进行营销信息传达来完成营销过程。其中，广告主通常希望在有限的资源投入下最大化营销效果。然而流量环境、其他参竞广告形成的竞争环境的复杂性、以及广告投放策略中出价、目标人群、资源位、投放时间等变量的巨大组合复杂度，使得最优广告投放策略的计算与执行充满了挑战。

搜索广其特点是广告主在拍卖式的竞争中争夺某一标的物或竞价关键词的广告展示机会，并根据竞争结果在该广告展示中依次占据若干位置。它是一种以搜索词为粒度，以竞价的方式出售给受众的广告产品。广告主需要在这个过程中对关键词设定一个出价，在用户进行了该关键词的搜索行为后，由平台或搜索引擎主持竞价，对广告按一定逻辑进行排序，并决定最终展示在用户前的广告，除了市场规模方面的优势外，更重要的是，计算广告中一些非常核心的产品策略和技术方案都来自于搜索广告。

广告主们希望找到一个最佳的投标价格，以满足他们的需求，又同时能够最大化收益。经过一段时间的竞价，由于广告主们分别提交了不同的出价，他们自然获得了各自截然不同的效果，同时也会影响广告主们的收益，这种出价与效果的关系叫做成效。因此，对于广告主来说，更多关于成效的知识有助于做出更好更快的决定。广告主可以事先知道在某个特定的出价下会拿到什么效果，这样他们就可以灵活地调整他们的出价和预算，以达到预期的投放效果，特别是对于那些不熟悉广告系统的小或新广告主。

因果推断已经成为推荐、制药科学和广告的一个关键研究课题。近年来，许多学者和专家提出了许多方法，如分层法、匹配法、树状模型和多任务学习。因果推断是根据结果发生的条件得出因果关系结论的过程。一般来说，因果推断的任务是估计如果应用了另一种行为的结果变化。

专利号为CN202210151280.0的《一种基于多任务学习的竞价关键词效果预估模型构建方法》中，公开了一种竞价关键词广告效果预估的方法；其方法包括如下步骤：收集历史数据，每个关键词包括展现量、点击量、转化量、点击率和转化率；对广告和竞价关键词的特征向量进行预处理；构建基于多任务学习的深度网络，预估广告和竞价关键词下的展现量、点击量和转化量；根据预估结果计算点击率、转化率；利用泊松损失设计损失函数；该竞价关键词广告效果预估的方法通过使用多任务学习的方式来对竞价关键词的多种广告效果进行预估，可以取得一定的效果。但是多个任务之间的级联关系并没有充分体现，缺少每个广告信息(即商品信息)，广告主往往更加关心的也是在单个广告层面下的预测效果。

发明内容

为了弥补现有技术的不足，本发明提供一种基于因果推断的在线广告的广告主出价与效果预估模型构建方法，该方法包括以下步骤：

S1、收集广告和在每次流量上的出价及效果的历史数据，在天级别时间维度和广告维度对出价及效果的历史数据进行预处理，作为广告出价与效果预估模型的输入；

S2、对广告和表示商品基本属性的特征向量和与其他随出价和效果变动的特征向量与进行预处理，得到降维后的特征向量和广告和历史出价的数值特征向量，降维后的特征向量和广告和历史效果的数值特征向量；

S3、构建时间序列深度神经网络模型，将步骤S2所得降维后的特征向量和广告和历史出价的数值特征向量拼接在一起，作为时间序列深度神经网络的输入；经训练后时间序列深度神经网络输出广告和基准出价的预估值；

S4、基于历史出价行为和效果，通过回放系统，模拟出可能的出价与效果，并通过最小二乘拟合发现广告出价与效果服从的参数分布作为先验知识，广告出价与效果服从的分布为带有四个参数的四参数曲线4PL；

S5、构建基于多任务学习和因果推断的双塔模型，将步骤S2所得降维后的表示商品基本属性的特征向量与步骤S3所得基准出价和基准效果的数值特征向量拼接在一起，作为双塔模型的输入；双塔模型输出广告在任意出价下效果相对基准效果的比例的直接预估值和步骤S4先验知识的参数的预估值；

S6、利用平均绝对百分误差计算广告在任意出价下效果相对基准效果的比例的预估值和步骤S4先验知识的参数的预估值的损失；

S7、将步骤S5所得广告在任意出价下效果相对基准效果的比例的预估值和步骤S4先验知识的参数的预估值的损失加权融合，得到最终损失；并得到最终比例值，将最终比例值与步骤S3所得基准效果相乘，得到最终效果的预估值；最终损失的计算公式为Loss＝λ

进一步地，在步骤S1中，<广告，在每次流量上的出价>二元组集合在广告系统中进入过精排参竞队列。

进一步地，步骤S1中广告效果是广告的展现量、点击量、弱转化量和转化量。

进一步地，步骤S1中在天级别时间维度和广告维度对出价的历史数据进行求平均值处理，在天级别时间维度和广告维度对效果的历史数据进行求和处理，具体方式为：设任意一个广告在一天中出价集合为{bid

进一步地，步骤S2具体包括如下步骤：

S2.1、收集广告和出价和效果及相关特征的数据集作为总的训练样本集合；相关特征可分为商品基本属性特征和其他随出价和效果变动的特征；相关特征可分为离散特征和数值特征；离散特征指特征取值之间没有大小关系的特征；数值特征指用数字直接表示的特征；

S2.2、对所有数字特征的特征向量进行标准化，转化成均值为0，方差为1的标准化数据；计算公式为x’＝(x-μ)/σ，其中x表示原始数值，μ表示原始数值分布的均值，σ表示原始数值分布的标准差，x’表示标准化后的数值特征；

S2.3、对所有离散特征进行one-hot编码，转化成由0和1构成的高维稀疏特征向量；将高维稀疏特征向量通过Embedding嵌入层进行降维，转化成低维稠密向量；Embedding嵌入层由单层神经网络组成，Embedding嵌入层的输入为One-hot编码，Embedding嵌入层的输出为指定维度的特征向量。

进一步地，步骤S3中时间序列深度神经网络模型具体包括如下内容：

S3.1、使用长短期记忆神经网络LSTM对过去的效果特征进行编码，并将编码输出与S2得到的降维后的特征向量连接起来；

S3.2、让LSTM不再取最后一步而是用注意力池化Attention Pooling进行聚合，使得损失集中在没有效果或效果较差的训练样本上；

S3.3、使LSTM编码的输出连接到一个额外的两层全连接网络，并在最后一层拼接上时间编码信息，使得模型具有时间敏感性。

进一步地，步骤S5中双塔模型包括一号塔和二号塔，具体包括如下内容：

S5.1、将出价与效果变量解耦，出价与效果的因果结构可以被描述为：

(X,W)＝U

T＝f(X,W)+U

Y＝g(X,W)*θ(X,T)+U

其中，X＝{X

y

其中，t

S5.2、双塔中一号塔的任务是直接预估校准因子θ，该塔输出为z，则损失函数为：

loss

S5.3、双塔中二号塔的任务是预估步骤S4所得四参数曲线S所需四个参数，该塔输出为a、b、c、d，则损失函数为：

S

S

loss

S5.4、在双塔结构之后，添加了两个softmax门控器来控制输出权重，动态分配两个任务的权重，并且提高整体结构的精度和鲁棒性，确保结果的置信程度以及确保至少一个塔处于工作状态。

与现有技术相比，本发明有以下优点：

(1)本发明通过因果推断，预估广告投放一天的效果，并且通过融合先验知识，解决了反事实推断和可解释性的问题；相较其他方法，本发明的预估模型在指标上均有所提升；

(2)本发明定位是广告主投放计划全生命周期优化的重要组成部分，可以为客户侧多个项目的上线和决策提供置信度保障，例如投中智能诊断、预算出价建议、潜力计划识别、投放策略推荐等，帮助客户全方位优化计划设置和投放效果；

(3)本发明应用在广告平台设置出价页面，能够帮助广告主降低决策成本，优化计划设置，具体而言：于投前：提供定向、出价、预算等多个维度交叉下流量获取、投放成效和市场竞争力的的洞悉能力，给予广告主更全面的投前预期管理和更科学的决策依据，帮助商家降低试错成本和决策周期，助力客户高效达成营销目标；于投中：为广告主透出定向、出价、创意、预算等多维度的优化建议以及预期效果，帮助商家提高操作效率，缩短广告优化周期，促进客户活跃率，提升平台消耗；于投后：根据先前时段已经得到的效果作为先验，更加合理地调整下一时段的出价，以达成更加满意的效果。

附图说明

图1为本发明方法的步骤流程图。

具体实施方式

下面结合附图对本发明一种基于因果推断的在线广告的广告主出价与效果预估模型构建方法作进一步说明。

实施例一

本申请实施例一提供了一种基于因果推断的在线广告的广告主出价与效果预估模型构建方法。

如图1所示，一种基于因果推断的在线广告的广告主出价与效果预估模型构建方法，包括以下步骤：

步骤1：收集广告和在每次流量上的出价及效果的历史数据；广告和在每次流量上的出价及效果的历史数据包括：<广告，在每次流量上的出价>二元组集合、及是否展现、是否点击、是否弱转化、是否转化的效果数据；在天级别时间维度和广告维度对出价的历史数据进行求平均值处理，在天级别时间维度和广告维度对效果的历史数据进行求和处理，作为出价与效果预估模型的输入，出价与效果预估模型输出为天级别时间维度和广告维度的展现量、点击量、弱转化量和转化量；<广告，在每次流量上的出价>二元组集合在广告系统中进入过精排参竞队列。

其中，在天级别时间维度和广告维度对出价的历史数据进行求平均值处理，在天级别时间维度和广告维度对效果的历史数据进行求和处理，具体方式为：设任意一个广告在一天中出价集合为{bid

步骤2：对广告和表示商品基本属性的特征向量和与其他随出价和效果变动的特征向量与进行预处理，得到降维后的特征向量和广告和历史出价的数值特征向量，降维后的特征向量和广告和历史效果的数值特征向量。具体包括如下步骤：

步骤2.1：收集广告和出价和效果及相关特征的数据集作为总的训练样本集合；相关特征可分为商品基本属性特征和其他随出价和效果变动的特征；相关特征可分为离散特征和数值特征；离散特征指特征取值之间没有大小关系的特征；数值特征指用数字直接表示的特征；

步骤2.2：对所有数字特征的特征向量进行标准化，转化成均值为0，方差为1的标准化数据；计算公式为x’＝(x-μ)/σ，其中x表示原始数值，μ表示原始数值分布的均值，σ表示原始数值分布的标准差，x’表示标准化后的数值特征；

步骤2.3：对所有离散特征进行one-hot编码，转化成由0和1构成的高维稀疏特征向量；将高维稀疏特征向量通过Embedding嵌入层进行降维，转化成低维稠密向量；Embedding嵌入层由单层神经网络组成，Embedding嵌入层的输入为One-hot编码，Embedding嵌入层的输出为指定维度的特征向量。

步骤3：构建时间序列深度神经网络模型，将步骤2所得降维后的特征向量和广告和历史出价的数值特征向量拼接在一起，作为深度神经网络的输入；深度神经网络输出广告和基准出价的预估值；将步骤2所得降维后的特征向量和广告和历史效果的数值特征向量拼接在一起，作为深度神经网络的输入；经训练后深度神经网络输出广告和基准效果的预估值。其中，时间序列深度神经网络模型采用带有Attention Pooling的LSTM与MLP结合的结构。

步骤3.1：使用长短期记忆神经网络LSTM对过去的效果特征进行编码，并将编码输出与S2得到的降维后的特征向量连接起来；

步骤3.2：让LSTM不再取最后一步而是用注意力池化Attention Pooling进行聚合，使得损失集中在没有效果或效果较差的训练样本上；

步骤3.3：使LSTM编码的输出连接到一个额外的两层全连接网络，并在最后一层拼接上时间编码信息，使得模型具有时间敏感性。

步骤4：基于历史出价行为和效果，通过回放系统，模拟出可能的广告出价与效果；并通过最小二乘拟合发现广告出价与效果服从的参数分布作为先验知识；广告出价与效果服从的分布为带有四个参数的四参数曲线4PL。

步骤5：构建基于多任务学习和因果推断的双塔模型，将步骤2所得降维后的表示商品基本属性的特征向量与步骤3所得基准出价和基准效果的数值特征向量拼接在一起，作为双塔模型的输入；双塔模型输出广告在任意出价下效果相对基准效果的比例的直接预估值和步骤4先验知识的参数的预估值。

步骤5.1：将出价与效果变量解耦；出价与效果的因果结构可以被描述为：

(X,W)＝U

T＝f(X,W)+U

Y＝g(X,W)*θ(X,T)+U

其中，X＝{X

y

其中，t

步骤5.2：双塔中一号塔的任务是直接预估校准因子θ，该塔输出为z，则损失函数为：

loss

步骤5.3：双塔中二号塔的任务是预估步骤S4所得四参数曲线S所需四个参数，该塔输出为a、b、c、d，则损失函数为：

S

S

loss

步骤5.4：在双塔结构之后，添加了两个softmax门控器来控制输出权重，动态分配两个任务的权重，并且提高整体结构的精度和鲁棒性，确保结果的置信程度以及确保至少一个塔处于工作状态。

步骤6：利用平均绝对百分误差计算广告在任意出价下效果相对基准效果的比例的预估值和步骤4先验知识的参数的预估值的损失。

步骤7：将步骤5所得广告在任意出价下效果相对基准效果的比例的预估值和步骤:4先验知识的参数的预估值的损失加权融合，得到最终损失；并得到最终比例值，将最终比例值与步骤3所得基准效果相乘，得到最终效果的预估值；最终损失的计算公式为Loss＝λ

实施例二

在实施例一的基础上，本申请实施例二提供了实施例一中方法的具体应用；本实施例以一天为投放周期为例，预估广告在出价后在未来一天内的广告效果。该方法主要包括以下步骤：

S1、收集广告和在每次流量上的出价及效果的历史数据；广告和在每次流量上的出价及效果的历史数据包括：<广告，在每次流量上的出价>二元组集合、及是否展现、是否点击、是否弱转化、是否转化的效果数据。其中，在每次流量上的出价采用精排阶段的参竞报价，因为精排阶段点击率模型、转化率模型和出价优化系统相关的工作十分成熟，能够稳定刻画竞价环境。直观上，广告主能感知到的与广告效果有关的变量是自己在广告投放系统中的相关参数设置，但由于广告主的相关设置因为出于经营需求和主观判断，具有一定的不合理性，且不同设置的组合可能对应相同的出价参数，于是不能直接选择广告主的相关参数设置作为干预变量。出价参数由于要与点击率和转化率模型得到报价，不同出价参数可能对应相同报价，因此不能直接选择出价参数作为干预变量。

广告的排序阶段通常主要分为粗排和精排两个阶段。广告主的相关参数设置对应不同的出价参数，出价参数再与粗排和精排的点击率和转化率模型结合得到粗排和精排阶段的报价，而作为广告领域最重要的研究方向之一，精排阶段的点击率模型和转化率模型相关的工作都十分的成熟，并且相比粗排阶段更加复杂和准确，且能稳定刻画竞价化境，因此选择精排阶段的参竞报价作为模型输入。

在天级别时间维度和广告维度对出价的历史数据进行求平均值处理，在天级别时间维度和广告维度对效果的历史数据进行求和处理，作为出价与效果预估模型的输入，出价与效果预估模型输出为天级别时间维度和广告维度的展现量、点击量、弱转化量和转化量。将每个广告在每天的每条参竞流量的是否展现、是否点击、是否弱转化、是否转化的效果数据求和，即可得到该广告在这一天的展现量、点击量、弱转化量和转化量；将每个广告在每天的每条参竞流量的参竞报价求平均值，即可得到该广告在这一天的平均报价；即得到了该广告这一天在某平均报价下所得到的效果。

S2、对广告和表示商品基本属性的特征向量和与其他随出价和效果变动的特征向量与进行预处理，得到降维后的特征向量和广告和历史出价的数值特征向量，降维后的特征向量和广告和历史效果的数值特征向量；

S2.1、收集广告和出价和效果及相关特征的数据集作为总的训练样本集合；相关特征可分为商品基本属性特征和其他随出价和效果变动的特征；相关特征可分为离散特征和数值特征；离散特征指特征取值之间没有大小关系的特征；数值特征指用数字直接表示的特征；

S2.2、对所有数字特征的特征向量进行标准化，转化成均值为0，方差为1的标准化数据；计算公式为x’＝(x-μ)/σ，其中x表示原始数值，μ表示原始数值分布的均值，σ表示原始数值分布的标准差，x’表示标准化后的数值特征；

S2.3、对所有离散特征进行one-hot编码，转化成由0和1构成的高维稀疏特征向量；将高维稀疏特征向量通过Embedding嵌入层进行降维，转化成低维稠密向量；Embedding嵌入层由单层神经网络组成，Embedding嵌入层的输入为One-hot编码，Embedding嵌入层的输出为指定维度的特征向量。

S3、构建时间序列深度神经网络模型，将步骤S2所得降维后的特征向量和广告和历史出价的数值特征向量拼接在一起，作为深度神经网络的输入；深度神经网络输出广告和基准出价的预估值；将步骤S2所得降维后的特征向量和广告和历史效果的数值特征向量拼接在一起，作为深度神经网络的输入；深度神经网络输出广告和基准效果的预估值；

S3.1、使用长短期记忆神经网络LSTM对过去的效果特征进行编码，并将编码输出与S2得到的降维后的特征向量连接起来；

S3.2、让LSTM不再取最后一步而是用注意力池化Attention Pooling进行聚合，使得损失集中在没有效果或效果较差的训练样本上；

S3.3、使LSTM编码的输出连接到一个额外的两层全连接网络，并在最后一层拼接上时间编码信息，使得模型具有时间敏感性。

S4、基于历史出价行为和效果，通过回放系统，模拟出可能的出价与效果；并通过最小二乘拟合发现出价与效果服从的参数分布作为先验知识；

S5、构建基于多任务学习和因果推断和步骤S4所得先验知识的深度神经网络，将步骤S2所得降维后的表示商品基本属性的特征向量与步骤S3所得基准出价和基准效果的数值特征向量拼接在一起，作为深度神经网络的输入；深度神经网络输出广告在任意出价下效果相对基准效果的比例的直接预估值和步骤S4先验知识的参数的预估值；

S5.1、将出价与效果变量解耦：出价与效果的因果结构可以被描述为：

(X,W)＝U

T＝f(X,W)+U

Y＝g(X,W)*θ(X,T)+U

其中，X＝{X

y

其中，t

S5.2、双塔中一号塔的任务是直接预估校准因子θ，该塔输出为z，则损失函数为：

loss

S5.3、双塔中二号塔的任务是预估步骤S4所得四参数曲线S所需四个参数，该塔输出为a、b、c、d，则损失函数为：

S

S

loss

S5.4、在双塔结构之后，添加了两个softmax门控器来控制输出权重，动态分配两个任务的权重，并且提高整体结构的精度和鲁棒性，确保结果的置信程度以及确保至少一个塔处于工作状态。

S6、利用平均绝对百分误差计算广告在任意出价下效果相对基准效果的比例的预估值和步骤S4先验知识的参数的预估值的损失；

S7、将步骤S5所得广告在任意出价下效果相对基准效果的比例的预估值和步骤S4先验知识的参数的预估值的损失加权融合，得到最终损失；并得到最终比例值，将最终比例值与步骤S3所得基准效果相乘，得到最终效果的预估值；最终损失的计算公式为Loss＝λ

实验结果

为了证明本实施例的有效性，本实施例与目前性能最优秀的在淘宝搜索广告平台的数据集和方法上进行对比实验。该数据集中包含4.5亿训练样本，1亿条测试样本。

在训练过程中，所有网络均使用TensorFlow实现，激活函数采用Leaky RectifiedLinear Unit(LRelu)；所有网络都是用Adam优化器和随机梯度下降法进行训练；学习率设为0.001；学习轮次Epoch为10。

下表1表示本实施例所得基于因果推断的在线广告的广告主出价与效果预估模型在测试集上相对其他方法在评估指标上的相对提升结果，其中评估指标为30％相对误差范围内的比例，结果显示为本发明提出的优化方法明显优于其他对比方法。当客户执行改价操作后，本发明提出的方法也表现的更好，例如在客户改价100％以上时，本发明提出的方法精度几乎为线上方案的两倍。下表1为本实施例所得竞价关键词效果预估模型在测试集上相对线上模型在评估指标上的相对提升结果表。

表1：

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。