预测模型的生成方法、装置、设备和可读介质
文献发布时间:2023-06-19 12:18:04
技术领域
本申请涉及计算机技术领域,尤其涉及一种预测模型的生成方法、装置、设备和可读介质。
背景技术
现如今,各类企业或者组织收集和发布信息的方式和渠道已经不在局限于电视、纸媒等传统媒体,而更多地向网络发展。企业在进行宣传时,通常会选择多种渠道发布信息,以便扩大信息的覆盖人群,并且从累计的渠道数据中总结出相关经验和反馈,以此对信息发布过程进行优化。
在相关技术中,通常会混合多个渠道的用户数据来进行建模以得到充足的训练数据,利用所得到的模型来预测在各个渠道中信息发布的转化率和点击率等指标数据,以便优化信息发布的方式。
然而,在上述的方案中,由于不同信息渠道的用户分布存在显著差异,会导致建立模型时所使用的数据与实际预测时的输入数据存在明显的不一致,从而使得模型对被评估渠道的预测结果不准确,进而导致对信息发布过程的优化效果不佳。
发明内容
基于上述技术问题,本申请提供一种预测模型的生成方法、装置、设备和可读介质,以在利用来自多个渠道的数据来进行模型训练的前提下,降低训练样本与实际数据的数据偏移对模型预测结果的影响,提升模型的准确性,改善信息发布优化的结果。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面,提供一种预测模型的生成方法,包括:
获取训练数据集合,其中,所述训练数据集合包括至少两个信息渠道中的用户样本,每个用户样本对应于一个信息渠道和一个标注标签;
基于所述训练数据集合,通过目标预测模型预测所述每个用户样本所对应的预测标注结果;
基于所述训练数据集合,通过渠道分类模型预测所述每个用户样本所对应的渠道分类结果,其中,所述渠道分类结果用于表示用户样本来自目标信息渠道的概率;
根据所述每个用户样本所对应的所述预测标注结果、所述标注标签以及所述渠道分类结果,对所述目标预测模型的模型参数进行更新。
根据本申请实施例的另一个方面,提供一种预测模型生成装置,包括:
数据获取模块,用于获取训练数据集合,其中,所述训练数据集合包括至少两个信息渠道中的用户样本,每个用户样本对应于一个信息渠道和一个标注标签;
标注预测模块,用于基于所述训练数据集合,通过目标预测模型预测所述每个用户样本所对应的预测标注结果;
渠道分类模块,用于基于所述训练数据集合,通过渠道分类模型预测所述每个用户样本所对应的渠道分类结果,其中,所述渠道分类结果用于表示用户样本来自目标信息渠道的概率;
参数更新模块,用于根据所述每个用户样本所对应的所述预测标注结果、所述标注标签以及所述渠道分类结果,对所述目标预测模型的模型参数进行更新。
在本申请的一些实施例中,基于以上技术方案,参数更新模块包括:
目标损失确定子模块,用于根据所述每个用户样本所对应的所述预测标注结果和对应的所述标注标签以及所述渠道分类结果,确定所述目标预测模型的目标损失结果;
渠道损失确定子模块,用于根据所述渠道分类结果和对应的所述信息渠道,确定所述渠道分类模型的渠道损失结果;
模型参数更新单元,用于根据所述目标损失结果和所述渠道损失结果,对所述目标预测模型的模型参数和所述渠道分类模型的模型参数进行更新。
在本申请的一些实施例中,基于以上技术方案,目标损失确定子模块包括:
修正参数确定单元,用于根据所述渠道分类结果、所述训练数据集合中的总用户样本数量以及所述目标信息渠道的用户样本数量,确定渠道修正参数;
预测损失值计算单元,用于根据所述预测标注结果和所述标注标签进行计算,得到预测损失值;
加权运算单元,用于根据所述渠道修正参数,对所述预测损失值进行加权运算,得到所述目标损失结果。
在本申请的一些实施例中,基于以上技术方案,修正参数确定单元包括:
全概率计算子单元,用于若所述训练数据集合中包括来自所述目标信息渠道的用户样本,则根据所述目标信息渠道的用户样本数量、所述总用户样本数量以及所述渠道分类结果进行全概率计算,得到训练集概率;
第一修正参数计算子单元,用于将所述渠道分类结果与所述训练集概率的比值确定为所述渠道修正参数。
在本申请的一些实施例中,基于以上技术方案,修正参数确定单元包括:
非目标概率确定子单元,用于若所述训练数据集合中的用户样本均来自非目标信息渠道,则根据所述渠道分类结果,确定用户样本来自非目标信息渠道的概率值;
第二修正参数计算子单元,用于将所述渠道分类结果与所述概率值的比值确定为所述渠道修正参数。
在本申请的一些实施例中,基于以上技术方案,参数更新模块包括:
联合损失子模块,用于根据渠道权重,对所述渠道损失结果进行加权并且与所述目标损失结果求和,得到联合损失结果;
反向传播子模块,用于根据所述联合损失结果,对所述目标预测模型和所述渠道分类模型进行反向传播运算,并根据运算结果对模型参数进行更新。
在本申请的一些实施例中,基于以上技术方案,预测模型生成装置还包括:
数据获取模块,用于获得训练集和测试集,其中,所述训练集和所述测试集的数据来自所述至少两个信息渠道;
训练模块,用于根据候选权重值和所述训练集,对待训练的预测模型以及待训练的分类模型进行训练,其中,所述对待训练的预测模型与所述目标预测模型是相同类型的模型,所述待训练的分类模型与所述渠道分类模型是相同类型的模型;
预测模块,用于根据所述测试集,通过训练后的预测模型进行预测,得到所述候选权重值对应的预测结果;
平均值模块,用于根据所述预测结果以及所述候选权重值所对应的其他预测结果,计算预测平均值;
权重确定模块,用于根据多个候选权重值中每个候选权重值对应的预测平均值,将最大预测平均值对应的候选权重值为所述渠道权重。
在本申请的一些实施例中,基于以上技术方案,目标损失确定子模块还包括:
相似度确定单元,用于相似度根据所述训练数据集合中所述目标信息渠道的用户样本以及非目标信息渠道的用户样本,确定样本相似度;
样本调整单元,用于若所述样本相似度大于相似度阈值,并且所述目标信息渠道与所述非目标信息渠道属于相同渠道拥有者,则将所述非目标信息渠道的用户样本加入到所述目标信息渠道的用户样本。
在本申请的一些实施例中,基于以上技术方案,预测模型生成装置还包括:
渠道分类训练模块,用于基于所述训练数据集合,通过待训练渠道分类模型预测所述每个用户样本所对应的渠道训练分类结果;
渠道分类参数更新模块,用于根据所述每个用户样本所对应的渠道训练分类结果以及所述每个用户样本所对应的信息渠道,对所述待训练渠道分类模型的模型参数进行更新,以得到所述渠道分类模型。
在本申请的一些实施例中,基于以上技术方案,标注预测模块包括:
预测隐藏层子模块,用于根据所述训练数据集合中的各个用户样本,通过所述目标预测模型中隐藏层的激活函数进行计算,得到标注中间结果;
预测输出层子模块,用于根据所述标注中间结果,通过所述目标预测模型中输出层的激活函数进行计算,得到所述每个用户样本所对应的预测标注结果。
在本申请的一些实施例中,基于以上技术方案,渠道分类模块包括:
渠道隐藏层子模块,用于根据所述训练数据集合中的各个用户样本,通过所述渠道分类结果中隐藏层的激活函数进行计算,得到渠道中间结果;
渠道输出层子模块,用于根据所述渠道中间结果,通过所述渠道分类结果中输出层的激活函数进行计算,得到所述每个用户样本所对应的渠道分类结果。
在本申请的一些实施例中,基于以上技术方案,预测模型生成装置还包括:
访问数据获取模块,用于获取所述目标信息渠道的访问数据集合,所述访问数据集合中包括用户数据;
用户预测模块,用于根据所述访问数据集合,通过所述目标预测模型预测每个用户数据所对应的预测结果;
指标确定模块,用于根据所述每个用户数据所对应的预测结果,确定所述目标信息渠道的预测指标。
根据本申请实施例的一个方面,提供一种电子设备,该电子设备包括:处理器;以及存储器,用于存储处理器的可执行指令;其中,该处理器配置为经由执行可执行指令来执行如以上技术方案中的预测模型的生成方法。
根据本申请实施例的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,当该计算机程序被处理器执行时实现如以上技术方案中的预测模型的生成方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供预测模型的生成方法。
在本申请的实施例中,在进行目标预测模型训练时,获取来自多个信息渠道的用户样本作为训练数据集合,利用渠道分类模型预测用户样本来自于目标渠道的概率,并且在对目标预测模型进行参数调整时,根据每个用户样本所对应的预测标注结果、标注标签以及渠道分类结果,对目标预测模型的模型参数进行更新。通过上述方案,在对目标预测模型预测进行训练的过程中,由于在进行参数更新时考虑到用户样本来自目标渠道的概率,因此能够在利用来自多个渠道的数据来进行模型训练的前提下,降低训练样本与实际数据的数据偏移对模型预测结果的影响,从而提升了模型的准确性,进而改善了信息发布优化的结果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中广告投放系统的交互示意图。
图2为本申请实施例中方案的一个应用场景的示意图。
图3为本申请实施例中预测模型的生成方法的示例流程图。
图4为本实施例中用于进行模型生成的整体架构图。
图5为本申请实施例中分段训练的总体架构图。
图6为本申请实施例中目标预测模型的结构示意图。
图7为本申请实施例中预测模型生成装置的组成框图。
图8为适于实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应理解,本申请的方案提供了一种目标预测模型训练的方法,其属于涉及人工智能(Artificial Intelligence,AI)技术的技术范畴,并且可以应用在广告投放场景中。在广告投放的场景中,信息渠道通常指的是广告最终曝光到用户的媒体或者方式,例如电视、网站、电梯屏幕以及应用程序等多媒体方式或者杂志和传单等纸质媒体。对于通过不同渠道投放的广告,通常会覆盖到不同的用户群体,所获得用户反应也是不同的,例如,对于年轻男性用户为主的某个网站,电子产品广告的效果可能会更佳,而对于某个女性用户为主的购物网站,则投放美妆广告会获得更好的宣传效果。对于各类在线广告,广告的投放方,即广告主,通常会采用转化率或者点击率来对广告的效果进行评价。转化率通常指的接触到广告的用户完成购买商品等行为的比例,而点击率则是广告曝光给用户后用户实际点击广告来浏览商品信息等行为的比例。本申请的方案可以利用多种不同信息渠道收到的用户数据来训练目标预测模型,从而获得更多的用户样本数据,使得模型得到充分的训练。在使用时输入某个投放渠道的用户样本数据,训练得到的模型则会给出广告在该投放渠道上的转化率或者点击率的预测,预测结果也不会被训练样本与实际数据的差异所影响。
本申请的方案也可以应用电子游戏或者信息传播等领域。在电子游戏领域中,对于一个游戏角色或者视频内容,可以收集通过不同游戏平台接触到游戏角色的用户样本,根据用户的购买或者游玩行为来评价该游戏角色的设计是否成功。通过本申请的方案,利用不同游戏平台收到的用户数据来训练预测模型,再利用预测模型确定某个平台的玩家充值情况或者玩家好评率等信息。
可以理解的是,虽然本申请以广告为例进行介绍,然而本申请的方案可以应用在各种类型的其他领域中,只要在该领域中,所收集到的用于训练模型的训练数据中存在数据偏移的问题,就可以使用本申请的方案来进行模型训练。
人工智能(Artificial Intelligence, AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
本申请的方案可以采用区块链系统来具体实现。例如,对于电梯上的多媒体屏幕广告或者车载屏幕广告等,通过建立区块链来获取各个渠道广告的用户样本数据,从而再由区块链上的服务器根据各终端收集到的数据对各个渠道进行指标预测。
区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。
平台产品服务层提供典型应用的基本能力和实现框架,开发人员可以基于这些基本能力,叠加业务的特性,完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
本申请的方案可以应用于如图1所示的广告投放系统,请参阅图1,图1为本申请实施例中广告投放系统的交互示意图,如图1所示,广告投放系统包括终端设备和服务器。用户通过终端设备广告,并通过终端设备触发相关操作,例如,点击、下载、购买以及付费等。服务器收集终端设备上报的操作信息和用户信息作为训练数据。服务器基于所采集到的训练数据来训练相关的目标预测模型,并且利用训练好的模型来对各种不同渠道的广告投放效果进行预测。广告主可以根据预测结果来对广告的投放策略、投入以及内容等广告信息进行调整,然后再向终端设备进行投放。
可以理解的是,本申请的训练过程可以离线进行。例如,数据服务器从终端采集到足够的数据量后,可以将数据发送给其他训练服务器或者设备来训练模型,而训练得到模型则可以部署回到数据服务器,并且根据终端发送的数据进行广告指标的预测。服务器还可以根据预测的结果对广告的投放进行实时调整,例如,服务器根据上一周的数据预测某个渠道的广告在下一周的转化率或者点击率都低于最低的规定阈值,则可以适当减小通过该渠道进行的广告投放等。
需要说明的是,图1所示的终端设备和服务器的数量和类型仅为一个示意,在实际应用中,终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、语音交互设备及个人电脑(personal computer,PC)。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务以及大数据和AI平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
下面结合图2对本申请的方案应用于广告投放场景的具体场景示例进行介绍,如图2所示,在广告投放场景中,通常包括广告主、广告商以及用户三方。其中,广告主作为投放广告的一方,会将广告提供给广告商,广告商则通过手机应用、网站、公众号和车载屏幕等投放渠道将广告曝光给用户。用户在日常的生活中会接触到这些广告,并且感兴趣的用户进一步浏览到广告或者进行实际的购买,而用户的行为会将作为反馈信息提供给广告商的服务器,例如,通过不同广告渠道购买的用户可以单独统计,广告投放渠道的流量一起计算转化率。广告主则在广告商收集到足够的反馈数据或者在广告投放达到预定时间之后,从广告商处获得所收集到的反馈数据,并且将获取到的反馈数据作为训练数据集合来对用于对广告效果进行评估的目标预测模型进行训练。对于各个渠道训练的到相应的预测模型之后,广告主则可以根据广告商反馈的各个渠道的数据来利用模型预测广告在对应渠道的后续表现,以作为对广告投放进行优化的依据。
本申请实施例提供的方案涉及AI的机器学习等技术,结合上述介绍,下面将对本申请中目标预测模型训练的方法进行介绍,请参阅图3,本申请实施例中目标预测模型训练的方法的一个实施例包括:
步骤S201,获取训练数据集合,其中,训练数据集合包括至少两个信息渠道中的用户样本,每个用户样本对应于一个信息渠道和一个标注标签。
在本实施例中,信息渠道具体为广告投放渠道,训练的目标是利用广告投放渠道的信息对目标预测模型进行训练,使得该模型可以根据来自于信息渠道的针对目标广告的用户样本,预测信息渠道的用户对于目标广告的反应,从而预测目标广告在信息渠道中的广告指标。广告指标是用于描述广告投放效果的指标,例如转化率以及点击率等。
训练数据集合指的是从目标广告的某个广告投放场景中收集到的一段时间内的真实数据,该投放场景中至少包括两种信息渠道。例如,某款汽车通过通信软件渠道、电梯屏幕渠道以及购车网站渠道投放广告,则训练数据集合则是从上述的三个渠道中收集的信息。用户样本指的是通过渠道访问目标广告的用户的描述信息,用户样本通常包括用户特征信息,并且对应一个标注标签和一个信息渠道,用户特征是用于描述用户以及用户的行为的信息,例如付费、标签、年龄、性别等字段。标注标签用于表示用户样本对于目标广告的访问结果,即用户针对目标广告的所进行的具体操作结果,其内容取决于要预测的广告指标而定,例如,在需要预测点击率的情况下,标签信息则表示用户是否点击了广告,在预测转化率的情况下,标签信息则表示用户对目标广告涉及的商品是否进行了最终购买。
步骤S202,基于训练数据集合,通过目标预测模型预测每个用户样本所对应的预测标注结果。
在本实施例中,将训练数据集合中的各个用户样本分别输入到目标预测模型中,目标预测模型根据用户样本对该用户样本的标注结果进行预测,从而得到预测标注结果。具体地,取决于目标预测模型的预测目标,预测标注结果不同。例如,预测目标为转化率,则目标预测模型根据输入的用户样本来估计其是否会进行购买行为,或者进行购买行为的概率,点击率则以此类推。目标预测模型对每个输入的用户样本进行预测,例如,若一组训练数据包括100个用户样本,则目标预测模型将会对每个用户样本进行预测,输出100个预测结果。目标预测模型可以是未经训练的原始模型,也可以是经过若干轮训练后的目标预测模型。目标预测模型可以采用任意结构的神经网络模型,只要确保输出的结果是对于广告指标进行预测即可。
步骤S203,基于训练数据集合,通过渠道分类模型预测每个用户样本所对应的渠道分类结果,其中,渠道分类结果用于表示用户样本来自目标信息渠道的概率。
在本实施例中,将训练数据集合中的各个用户样本分别输入到渠道分类模型中,渠道分类模型根据用户样本对该用户样本的所属于信息渠道进行预测,从而得到渠道分类结果。渠道分类结果用于表示用户样本来自目标信息渠道的概率。与目标预测模型类似,渠道分类模型也对每个输入的用户样本进行预测。渠道分类模型可以是未经训练的原始模型,也可以是与目标预测模型一起经过若干轮训练后的模型,或者渠道分类模型可以是已经利用训练数据预先训练好的模型。在渠道分类模型是未训练完成的模型的情况下,渠道分类模型与目标预测模型通常共同进行训练,即,这两个模型通常经过相同轮数的训练。在渠道分类模型已经被训练完成的情况下,渠道分类模型训练所使用的数据与训练数据集合的数据来源相同,即相同的信息渠道。渠道分类模型可以采用任意结构的神经网络模型,只要确保输出的结果是对于用户样本所属于的信息渠道进行预测即可。
步骤S204,根据每个用户样本所对应的预测标注结果、标注标签以及渠道分类结果,对目标预测模型的模型参数进行更新。
目标预测模型对于每个用户样本输出一个预测标注结果,而渠道分类模型对于每个用户样本输出一个渠道分类结果。根据目标预测模型输出的预测标注结果以及用户样本所对应的真实的标注标签,可以进行目标预测模型的损失函数计算,而基于渠道分类结果以及目标渠道用户在整个训练数据集合中占比,可以对目标预测模型的损失函数的计算结果进行加权,从而确定目标预测模型的广告指标损失结果。根据广告指标损失结果对目标预测模型进行反向传播,以便对目标预测模型的模型参数进行更新。
在本申请的实施例中,在进行目标预测模型训练时,获取来自多个信息渠道的用户样本作为训练数据集合,利用渠道分类模型预测用户样本来自于目标渠道的概率,并且在对广告预测模型进行参数调整时,根据每个用户样本所对应的预测标注结果、标注标签以及渠道分类结果,对目标预测模型的模型参数进行更新。通过上述方案,在对目标预测模型预测进行训练的过程中,由于在进行参数更新时考虑到用户样本来自目标渠道的概率,因此能够在利用来自多个渠道的数据来进行模型训练的前提下,降低训练样本与实际数据的数据偏移对模型预测结果的影响,从而提升了模型的准确性,提升了模型预测的效果。
在本申请的一些实施例中,基于以上技术方案,目标预测模型和渠道分类模型可以一同进行训练。对此,上述步骤S204,根据每个用户样本所对应的预测标注结果、标注标签以及渠道分类结果,对目标预测模型的模型参数进行更新,包括:
根据每个用户样本所对应的预测标注结果和对应的标注标签以及渠道分类结果,确定目标预测模型的目标损失结果;
根据渠道分类结果和对应的信息渠道,确定渠道分类模型的渠道损失结果;
根据目标损失结果和渠道损失结果,对目标预测模型模型参数和渠道分类模型模型参数进行更新。
具体地,对于目标预测模型,可以根据预测标注结果和对应的真实的标注标签来进行损失函数运算,在根据渠道分类结果对损失运算的结果进行缩放调整,来确定的目标预测模型的目标损失结果。例如,可以根据渠道分类结果,利用预设的系数将属于目标信息渠道的损失结果放大,将不属于目标信息渠道的损失结果缩小,从而降低不属于目标信息渠道的用户样本对于模型的影响。
渠道分类模型可以根据预测得到的渠道分类结果和真实的信息渠道,进行损失函数计算,从而得到渠道损失结果。渠道损失结果还可以单独用于对渠道分类模型进行参数优化。在本实施例中,对渠道分类模型和目标预测模型进行联合训练。根据渠道损失结果以及目标损失结果可以计算得到总损失结果,总损失结果例如可以是两个损失结果之和。根据总损失结果,对两个模型进行反向传播来调整两个模型的模型参数。广告指标损失结果的损失函数和渠道分类模型的损失函数的类型可以根据目标预测模型的目标而定,例如,若目标预测模型是用于评估转化率,则损失函数可以采用交叉熵损失函数。
在本申请的实施例中,通过联合训练的方式对目标预测模型和渠道分类模型进行训练,从而能够实现对两个模型同时进行优化,在提升模型准确性的情况下,节约了训练时间,提升了训练效率。
在本申请的一些实施例中,基于以上技术方案,在计算目标损失结果时,可以对损失函数进行加权。对此,上述步骤,根据每个用户样本所对应的预测标注结果和对应的标注标签以及渠道分类结果,确定目标预测模型的目标损失结果,包括:
根据渠道分类结果、训练数据集合中的总用户样本数量以及目标信息渠道的用户样本数量,确定渠道修正参数;
根据预测标注结果和标注标签进行计算,得到预测损失值;
根据渠道修正参数,对预测损失值进行加权运算,得到目标损失结果。
在本申请的实施例中,训练装置根据训练数据集合中总用户样本数量以及目标信息渠道的用户样本数量,对渠道分类结果进行调整,来确定渠道修正参数。具体地,训练装置可以根据目标信息渠道的用户样本数量与总用户样本数量比例来确定对渠道分类结果的加权调整,并且将加权计算之后的结果作为渠道修正参数。在一个实施例中,训练装置还可以根据训练数据集合中目标信息渠道的用户样本的分布情况与训练数据集合中所有用户样本的分布情况进行统计分析,从而确定二者的分布差异,然后再根据分布差异来确定一个常数作为渠道修正参数。该常数可以用于对目标预测模型的输出值进行补偿或者对损失函数的输出值进行补偿,以使得目标预测模型的输出更接近于目标信息渠道下的用户样本分布。该常数可以随机确定初始,然后根据目标预测模型的输出结果进行统计,然后将最准确的结果对应的常数确定为渠道修正参数。
在确定渠道修正参数后,训练装置可以根据预测标注结果和实际的标注标签进行目标预测模型的损失函数计算,得到预测损失值。然后,训练装置可以根据渠道修正参数,对预测损失值进行加权运算,得到目标损失结果。具体地,目标预测模型的损失函数可以采用如下公式:
其中,
可以理解的是,取决于渠道修正参数的具体计算方式不同,目标预测模型的损失函数的中使用渠道修正参数的方式也可能不一样。例如,若渠道修正参数是采用的是根据用户分布差异确定的常数,则该常数可能与主损失函数的输出结果求和。
在本申请的实施例中,根据渠道分类结果计算渠道修正参数,并且利用渠道修正参数对目标预测模型的损失函数的计算结果进行修正,由于渠道间的用户样本分布不同,将用户样本所属于的渠道的情况量化后对广告指标的预测进行加权,能够使得目标预测模型的损失结果更加贴近于目标渠道的情况,从而提升模型的预测效果。
在本申请的一些实施例中,基于以上技术方案,渠道修正参数的计算过程可以采用全概率计算公式。对此,上述步骤,根据渠道分类结果、训练数据集合中的总用户样本数量以及目标信息渠道的用户样本数量,确定渠道修正参数,包括:
若训练数据集合中包括来自目标信息渠道的用户样本,则根据目标信息渠道的用户样本数量、总用户样本数量以及渠道分类结果进行全概率计算,得到训练集概率;
将渠道分类结果与训练集概率的比值确定为渠道修正参数。
其中,全概率计算的目的是将某一个用户样本是否属于目标渠道的概率展开在训练数据集合的所有用户样本范围内,用户样本属于目标渠道的概率。对于渠道分配模型,其输出结果是二分类的结果,即用户样本属于目标信息渠道的概率,假定用m表示,相应地,也就能够确定用户样本不属于目标信息渠道的概率为1-m。因此,根据渠道分类结果
其中,
在本实施例中,通过渠道分类结果的概率与全概率计算得到的数据来计算渠道修正参数,由于充分考虑到了目标渠道的样本数量与总样本数量的比例,并且不需要对预先对用户样本分布进行统计和分析,从而降低了确定渠道修正参数所需要的计算量,提升了计算效率。
在本申请的一些实施例中,基于以上技术方案,在训练的过程中,所使用的用户样本可以均来自于其他的非目标信息渠道。对此,根据渠道分类结果、训练数据集合中的总用户样本数量以及目标信息渠道的用户样本数量,确定渠道修正参数,包括:
若训练数据集合中的用户样本均来自非目标信息渠道,则根据渠道分类结果,确定用户样本来自非目标信息渠道的概率值;
渠道分类结果与概率值的比值确定为渠道修正参数。
在本实施例中,训练数据集合中的所有用户样本均来自非目标信息渠道。在此类情况下,则需要根据非目标信息渠道的数据来推测用户样本属于目标信息渠道的概率。具体地,在训练数据集合中不包含目标信息渠道的数据的情况下,首先根据渠道分类结果,确定用户样本来自非目标信息渠道的概率值。在渠道分类结果m是用户样本来自目标信息渠道的概率值的情况下,用户样本来自非目标信息渠道的概率值则是1-m。渠道修正参数可以确定为渠道分类结果与用户样本来自非目标信息渠道的概率值比值。即m/1-m。
该过程还可以根据上文介绍的渠道修正参数
在上述公式(4)中,
在本申请的实施例中,提供了在所有数据均来自非目标信息渠道的情况下,确定渠道修正参数的方式,进而能够利用已知的渠道信息来预测未知渠道的用户情况,扩展了模型的应用场景,提升的方案的可实施性。
在本申请的一些实施例中,基于以上技术方案,在进行联合训练时,需要对渠道损失结果进行加权。对此,上述步骤,根据目标损失结果和渠道损失结果,对目标预测模型的模型参数和渠道分类模型的模型参数进行更新,包括:
根据渠道权重,对渠道损失结果进行加权并且与目标损失结果求和,得到联合损失结果;
根据联合损失结果,对目标预测模型和渠道分类模型进行反向传播运算,并根据运算结果对模型参数进行更新。
其中,渠道权重是用于对渠道分类结果进行加权的权重值,其主要用于调整渠道分类结果在总优化目标上的影响力,并且可以取决于具体情况由人工或者根据特定算法提前设置。通常,各个信息渠道的用户样本之间的差异明显较大或者相互重叠情况较少时,渠道权重可以适当增大,以便虚弱渠道分类的训练的影响,相对应地,若各个信息渠道的用户样本之间的差异明显较小或者相互重叠情况较多时,渠道权重可以适当缩小,以便强调训练数据本身对目标预测模型的影响。
在此实施例中,对目标预测模型和渠道分类模型进行联合训练,训练的总优化目标按照如下公式确定:
其中,
可见,
从上述的公式(5)中可见,总优化目标
图4示出了本实施例中用于进行模型生成的整体架构图。如图4所示,整体架构中主要包括三个模块,分别为目标预测模块、渠道分类模块以及联合优化模块。其中,目标预测模块主要通过目标预测模型来根据训练数据集中的用户样本来进行预测,从而得到目标预测结果。渠道分类模块则通过渠道分类模型来根据训练数据集中的用户样本来进行预测得到渠道分类结果。渠道分类结果和目标预测结果分别被输入到联合优化模块中。目标预测结果用于计算优化目标
在本申请的实施例中,通过联合训练的方式对目标预测模型和渠道分类模型进行训练,因此在训练的过程中充分考虑到了两个模型之间的相互影响,从而避免渠道分类模型的结果对目标预测模型产生过度干扰,提升模型的鲁棒性。
在本申请的一些实施例中,基于以上技术方案,渠道权重可以在开始生成目标预测模型之前预先进行。对此,上述步骤,根据渠道权重,对渠道损失结果进行加权并且与目标损失结果求和,得到联合损失结果之前,方法还包括:
获得训练集和测试集,其中,训练集和测试集的数据来自至少两个信息渠道;
根据候选权重值和训练集,对待训练的预测模型以及待训练的分类模型进行训练,其中,对待训练的预测模型与目标预测模型是相同类型的模型,待训练的分类模型与渠道分类模型是相同类型的模型;
根据测试集,通过训练后的预测模型进行预测,得到候选权重值对应的预测结果;
根据预测结果以及候选权重值所对应的其他预测结果,计算预测平均值;
根据多个候选权重值中每个候选权重值对应的预测平均值,将最大预测平均值对应的候选权重值为所述渠道权重。
具体地,训练集和测试集的数据来自至少两个信息渠道,可以理解为二者的数据源与上述的训练数据集合的来源完全相同。具体地,获得训练集和测试集可以利用从训练数据集合的信息渠道获取的历史数据,或者从训练数据集合的信息渠道进行数据采样来获得最新数据。训练集和测试集也可以直接采用训练数据集合中的数据,例如,通过随机划分的方式将训练数据集合划分为训练集和测试集。
候选权重值通常是预先设置好的权重值,其可以根据经验来设置,或者直接随机获取若干值作为候选。可以理解的是,考虑到两个模型之间的关联关系,该候选权重值通常为1附近的整数或者小数,例如0.5、1或者2等。根据候选权重值和训练集,对待训练的预测模型以及待训练的分类模型进行训练,其中,对待训练的预测模型与目标预测模型是相同类型的模型,待训练的分类模型与渠道分类模型是相同类型的模型。具体地,在该过程中,根据训练集对待训练的预测模型以及待训练的分类模型进行训练,并且根据候选权重值来进行损失函数计算,具体的计算方式参考上文描述的各个公式。若训练过程为第一次进行,则待训练的预测模型可以采用与目标预测模型同类的空白模型,其结构通常与目标预测模型相同,即模型层数、各个层的结构、模型参数数量、所采用的损失函数以及所采用的初始化参数等均相同。待训练分类模型也是相同情况,此处不再赘述。
在训练完成后,根据测试集,通过训练后的预测模型进行预测,得到候选权重值对应的预测结果。具体地,以广告点击率为例,将测试集的用户样本输入到训练后的点击率预测模型来预测广告点击率,从而得到预测的点击率结果。由于在训练过程中使用了候选权重值,因此候选权重值与点击率结果之间存在对应关系。
然后,根据预测结果以及候选权重值所对应的其他预测结果,计算预测平均值。具体地,上述的训练过程和预测过程需要重复多次,并且每次重复时使用不同的训练集和测试集。具体地,不同的测试集和训练集可以通过将从信息渠道获取的所有用户样本进行随机划分方式进行,而不需要从信息渠道多次获取数据。在一个实施例中,在进行随机划分时,将用户样本分为两组进行,属于目标渠道的用户样本为一组随机划分生成训练子集和测试子集,属于其他渠道的用户样本亦然,然后将两组生成的训练子集之间进行组合,得到训练集,将对应的测试子集进行组合,得到测试集。例如,属于目标渠道的用户样本被随机划分为训练子集A和对应的测试子集为A’以及B和B’,属于其他渠道的用户样本被随机划分为训练子集C和对应的测试子集为C’以及D和D’,则生成的训练集可以是A+C,对应测试集为A’+C’,以及训练集B+D,对应测试集为B’+D’。多次进行随机划分,然后进行训练,并且利用训练好的模型进行预测,就可以得到候选权重值对应的多个预测结果,并且根据多个预测结果计算预测平均值。
最后,根据多个候选权重值中每个候选权重值对应的预测平均值,将最大预测平均值对应的候选权重值为所述渠道权重,其中,对于每个候选权重值进行训练时,每次所采用的总体上的用户样本是同一组,区别在于每次训练时所划分的得到的训练集和数据集是不同的。在一个实施例中,进行划分各个候选权重值采用相同训练集和测试集,例如,用户样本被划分为50组训练集和对应的测试集,则每个候选权重值的训练均采用这50组数据来进行。每个候选权重值对应于一个预测平均值,而平均值最大表示其预测效果最好,因此,将最大的平均值对应的候选权重确定为渠道权重。可以理解的是,取决于预测结果所代表的意义,也可以选择平均值的其他属性作为选择标准,例如,最小平均值、最接近于1的平均值或者最接近于0的平均值等。
在本申请的实施例中,利用相同来源训练集和测试集对模型进行训练,并且根据各个候选权重值所训练出的模型的输出结果的不同,选择出平均结果最大的候选权重值作为渠道权重,使用相同来源的数据可以确定用户分布相同,从而准确地确定出渠道权重的取值,从而能够针对性地按照不同数据来源确定不同权重,提升方案的灵活性。
在本申请的一些实施例中,基于以上技术方案,在根据渠道数据来进行具体的计算之前,可以对用户样本进行重新划分。对此,上述步骤,根据渠道分类结果、训练数据集合中的总用户样本数量以及目标信息渠道的用户样本数量,确定渠道修正参数之前,方法还包括:
根据训练数据集合中目标信息渠道的用户样本以及非目标信息渠道的用户样本,确定样本相似度;
若样本相似度大于相似度阈值,并且目标信息渠道与非目标信息渠道属于相同渠道拥有者,则将非目标信息渠道的用户样本加入到目标信息渠道的用户样本。
具体地,对于原始的用户样本数据,在各个不同信息渠道之间,虽然存在用户差异,然而,也仍有部分用户相互重叠或者相似度较大的用户,或者,有部分同类信息渠道之间的用户样本的相似度较大,例如,两个同类的网络视频发布平台之间的用户特征可能具有相当的重复或重叠。对应此类情况,在确定渠道修正参数之前,可以对用户样本进行适当的合并,以便强化渠道分类模型的分类效果。具体地,可以根据用户样本的用户特征来计算样本之间的相似度,相似度的具体计算方式可以是将用户样本转化为相对应的用户特征向量,在根据欧式距离或者皮尔森系数等方式来计算用户样本之间的相似度。
计算相似度之后,可以根据相似度来进行渠道合并,若样本相似度大于相似度阈值,并且目标信息渠道与非目标信息渠道属于相同渠道拥有者,则将非目标信息渠道的用户样本加入到目标信息渠道的用户样本。具体地,相似度阈值可以是预先确定的阈值。相似度阈值还可以根据两个渠道之间的相似性情况而定,例如,若两个渠道之间的用户样本的相似度均较大,则可以将相似度阈值适当调高,例如,可以采用期望或者方差等方式来确定相似度阈值,或者采用超过平均值的预设比例来确定相似度阈值。目标信息渠道与非目标信息渠道应属于相同渠道拥有者,相同渠道拥有者的渠道之间通常具有一定相似度,而且用户重复的情况较多。在满足上述的条件的情况下,可以将非目标信息渠道的用户样本加入到目标信息渠道的用户样本。具体地,将非目标信息渠道的用户样本的渠道信息修改为目标渠道,并且加入到目标信息渠道的用户样本中,从而得到新的用户样本。对于原本的非目标信息渠道的用户样本则需要保留。以广告投放为例,某广告商在两个不同的平台上各拥有一条网络视频推广渠道,广告主在这两条渠道中同时进行推广,而需要预测渠道为其中一条。在此类情况下,由于广告商制作视频的内容和方式对于用户存在天然筛选,会关注此广告商的推广渠道的用户即使在不同平台上也会出现趋向于同质化的情况,例如广告商以制作影视点评类视频的方式穿插软广告,则用户则通常均为影迷,年龄层等特征也会趋于相似。因此,在计算相似度满足阈值条件的情况下,可以将这两个渠道的用户样本合并均当作目标渠道看待,或者将另一条渠道的用户样本加入到目标渠道中,以此扩大目标渠道的样本数量。
在本实施例中,将相似度较大并且属于相同拥有者的渠道的用户样本合并,从而能够扩大目标渠道的样本数量,从而能够避免其他用户渠道的相似用户样本的干扰,从而提升预测的准确性。
在本申请的一些实施例中,基于以上技术方案,在进行模型训练时,还可以采用分段训练的方式进行。对此,上述步骤S203,基于训练数据集合,通过渠道分类模型预测每个用户样本所对应的渠道分类结果之前,方法还包括:
基于训练数据集合,通过待训练渠道分类模型预测每个用户样本所对应的渠道训练分类结果;
根据每个用户样本所对应的渠道训练分类结果以及每个用户样本所对应的信息渠道,对待训练渠道分类模型的模型参数进行更新,以得到渠道分类模型。
具体地,在本实施例中,在目标预测模型的训练过程中采用的渠道分类模型是经过训练的渠道分类模型,即在训练目标预测模型之前,先对渠道分类模型进行训练,然后再利用训练好的渠道分类模型来训练目标预测模型。为了便于介绍,请参阅图5,图5为本申请实施例中分段训练的总体架构图。如图5所示,该架构中主要包括两个模块,即渠道分类模块和目标预测模块。在进行训练时,首先将训练数据集合中的用户样本输入到渠道分类模型中,通过待训练渠道分类模型预测每个用户样本所对应的渠道训练分类结果。然后,根据每个用户样本所对应的渠道训练分类结果以及每个用户样本所对应的信息渠道,根据损失函数
然后,在利用训练数据集合对目标预测模块进行训练,从得到目标预测模块输出的目标预测结果,并且根据目标预测结果以及用户样本对应的标注标签来根据损失函数
在本申请的实施例中,通过预选对渠道分类模型进行训练,再利用训练好的渠道分类模型来对目标预测模型进行训练,训练好的渠道分类模型可以重复用于目标预测模型的后续训练过程或者针对其他目标渠道的预测模型的训练过程,从而从总体上降低了训练过程所需要的计算量和工作量,提升训练效率。
在本申请的一些实施例中,基于以上技术方案,目标预测模型可以采用全连接模型结构。对此,上述步骤S202,基于训练数据集合,通过目标预测模型预测每个用户样本所对应的预测标注结果,包括:
根据训练数据集合中的各个用户样本,通过目标预测模型中隐藏层的激活函数进行计算,得到标注中间结果;
根据标注中间结果,通过目标预测模型中输出层的激活函数进行计算,得到每个用户样本所对应的预测标注结果。
具体地,以目标预测模型是两层全连接模型结构为例,为了便于介绍,请参阅图6,图6为本申请实施例中目标预测模型的结构示意图。如图6所示,目标预测模型中通常包括输入层、隐藏层和输出层。其中,输入层的接待数量通常取决于要输入的用户样本的特征数量,图中示出了输入的用户特征具有4个特征的情况。隐藏层中则通过设定好的激活函数对输入的特征进行运算。在本实施例中,隐藏层的激活函数可以采用Relu函数,其计算方式如下:
其中,
其中,y表示隐藏层的输出,
可以理解的是,上述模型结构、层级数量、节点数量以及激活函数等仅用于示例,在实际的应用中,可以采用任意结构的神经网络,只要保证输出分别是目标预测模型的预测标注结果和目标渠道二分类的概率值即可,本申请对此不作限制。
在本实施例中,通过隐藏层和输出层来对用户样本进行计算,得到预测标注结果,为目标预测模型的实现提供了具体的实施方式,有利于方案的可操作性。
在本申请的一些实施例中,基于以上技术方案,渠道分类模型可以采用全连接模型结构。对此,上述步骤S203,基于训练数据集合,通过渠道分类模型预测每个用户样本所对应的渠道分类结果,包括:
根据训练数据集合中的各个用户样本,通过渠道分类结果中隐藏层的激活函数进行计算,得到渠道中间结果;
根据渠道中间结果,通过渠道分类结果中输出层的激活函数进行计算,得到每个用户样本所对应的渠道分类结果。
具体地,渠道分类模型采用二分类的方式描述目标信息渠道和其他信息渠道的数据相混合的情况,由此在模型训练的过程中引入其他信息渠道对目标信息渠道所产生的影响的量化情况。如果渠道分类模型能够很容易地区分出用户样本是属于目标信息渠道还是属于其他信息渠道,则表示该用户样本所处的样本空间附近的样本的纯度较高,若不能容易地区分,则表示混合的情况较多。
渠道分类模型可以采用与上述的目标预测模型相同的结构,以两层全连接模型结构为例,渠道分类模型的结构也可以采用图6中示出的结构,并且隐藏层和输出层的激活函数也可以采用如上述公式(7)和公式(8)所示出的相同函数,区别之处在于激活函数中所采用的模型参数是不同的,并且输出层输出的结构为根据输入的用户特征预测该用户来自目标信息渠道的概率,具体内容此处不再赘述。
可以理解的是,渠道分类模型也可以采用其他的模型结构,并且可以与目标预测模型采用不同的结构,例如,目标预测模型采用全连接网络,而渠道分类模型可以采用决策树等分类算法。
在本实施例中,通过隐藏层和输出层来对用户样本进行计算,得到渠道分类结果,为渠道分类模型的实现提供了具体的实施方式,有利于方案的可操作性。
在本申请的一些实施例中,基于以上技术方案,在后续进行预测的过程中,仅采用目标预测模型就可以进行预测,而不需要使用渠道分类模型。对此,上述步骤S204,根据每个用户样本所对应的预测标注结果、标注标签以及渠道分类结果,对目标预测模型的模型参数进行更新之后,方法还包括:
获取目标信息渠道的访问数据集合,访问数据集合中包括用户数据;
根据访问数据集合,通过目标预测模型预测每个用户数据所对应的预测结果;
根据每个用户数据所对应的预测结果,确定目标信息渠道的预测指标。
具体地,在使用模型进行预测的过程中,首先需要从目标信息渠道获取一段时间内的访问数据集合,在访问数据集合中包括用户数据。具体地,以广告投放为例,广告主将某个广告投放到若干渠道中,利用广告商提供的数据训练得到目标预测模型后,可以利用目标预测模型对广告的投放策略进行优化。首先,需要从目标的投放渠道中获取目标信息渠道的用户数据,例如,获取一周内用户对广告点击情况作为访问数据集合,访问数据集合中包括多个用户的数据。将各个用户数据分别输入到目标预测模型中进行预测,即可以通过目标预测模型对目标投放渠道的用户在接下来的一周内对目标广告的点击情况作为预测结果。随后,根据每个用户数据所对应的预测结果,确定目标信息渠道的预测指标,例如,根据预测的每个用户是否点击目标广告的情况来确定广告的点击率。
在本实施例中,应用训练好的目标预测模型来对预测目标进行预测,在具体应用的过程中,仅采用目标预测模型就可以完成预测过程,在不增加工作量的前提下,使用的目标预测模型所得到的结果更加准确。
应当注意,尽管在附图中以特定顺序描述了本申请中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施,可以用于执行本申请上述实施例中的预测模型的生成方法。图7示意性地示出了本申请实施例中预测模型生成装置的组成框图。如图7所示,预测模型生成装置300主要可以包括:
数据获取模块310,用于获取训练数据集合,其中,所述训练数据集合包括至少两个信息渠道中的用户样本,每个用户样本对应于一个信息渠道和一个标注标签;
标注预测模块320,用于基于所述训练数据集合,通过目标预测模型预测所述每个用户样本所对应的预测标注结果;
渠道分类模块330,用于基于所述训练数据集合,通过渠道分类模型预测所述每个用户样本所对应的渠道分类结果,其中,所述渠道分类结果用于表示用户样本来自目标信息渠道的概率;
参数更新模块340,用于根据所述每个用户样本所对应的所述预测标注结果、所述标注标签以及所述渠道分类结果,对所述目标预测模型的模型参数进行更新。
在本申请的一些实施例中,基于以上技术方案,参数更新模块340包括:
目标损失确定子模块,用于根据所述每个用户样本所对应的所述预测标注结果和对应的所述标注标签以及所述渠道分类结果,确定所述目标预测模型的目标损失结果;
渠道损失确定子模块,用于根据所述渠道分类结果和对应的所述信息渠道,确定所述渠道分类模型的渠道损失结果;
模型参数更新单元,用于根据所述目标损失结果和所述渠道损失结果,对所述目标预测模型的模型参数和所述渠道分类模型的模型参数进行更新。
在本申请的一些实施例中,基于以上技术方案,目标损失确定子模块包括:
修正参数确定单元,用于根据所述渠道分类结果、所述训练数据集合中的总用户样本数量以及所述目标信息渠道的用户样本数量,确定渠道修正参数;
预测损失值计算单元,用于根据所述预测标注结果和所述标注标签进行计算,得到预测损失值;
加权运算单元,用于根据所述渠道修正参数,对所述预测损失值进行加权运算,得到所述目标损失结果。
在本申请的一些实施例中,基于以上技术方案,修正参数确定单元包括:
全概率计算子单元,用于若所述训练数据集合中包括来自所述目标信息渠道的用户样本,则根据所述目标信息渠道的用户样本数量、所述总用户样本数量以及所述渠道分类结果进行全概率计算,得到训练集概率;
第一修正参数计算子单元,用于将所述渠道分类结果与所述训练集概率的比值确定为所述渠道修正参数。
在本申请的一些实施例中,基于以上技术方案,修正参数确定单元包括:
非目标概率确定子单元,用于若所述训练数据集合中的用户样本均来自非目标信息渠道,则根据所述渠道分类结果,确定用户样本来自非目标信息渠道的概率值;
第二修正参数计算子单元,用于将所述渠道分类结果与所述概率值的比值确定为所述渠道修正参数。
在本申请的一些实施例中,基于以上技术方案,参数更新模块340包括:
联合损失子模块,用于根据渠道权重,对所述渠道损失结果进行加权并且与所述目标损失结果求和,得到联合损失结果;
反向传播子模块,用于根据所述联合损失结果,对所述目标预测模型和所述渠道分类模型进行反向传播运算,并根据运算结果对模型参数进行更新。
在本申请的一些实施例中,基于以上技术方案,预测模型生成装置300还包括:
数据获取模块,用于获得训练集和测试集,其中,所述训练集和所述测试集的数据来自所述至少两个信息渠道;
训练模块,用于根据候选权重值和所述训练集,对待训练的预测模型以及待训练的分类模型进行训练,其中,所述对待训练的预测模型与所述目标预测模型是相同类型的模型,所述待训练的分类模型与所述渠道分类模型是相同类型的模型;
预测模块,用于根据所述测试集,通过训练后的预测模型进行预测,得到所述候选权重值对应的预测结果;
平均值模块,用于根据所述预测结果以及所述候选权重值所对应的其他预测结果,计算预测平均值;
权重确定模块,用于根据多个候选权重值中每个候选权重值对应的预测平均值,将最大预测平均值对应的候选权重值为所述渠道权重。
在本申请的一些实施例中,基于以上技术方案,目标损失确定子模块还包括:
相似度确定单元,用于相似度根据所述训练数据集合中所述目标信息渠道的用户样本以及非目标信息渠道的用户样本,确定样本相似度;
样本调整单元,用于若所述样本相似度大于相似度阈值,并且所述目标信息渠道与所述非目标信息渠道属于相同渠道拥有者,则将所述非目标信息渠道的用户样本加入到所述目标信息渠道的用户样本。
在本申请的一些实施例中,基于以上技术方案,预测模型生成装置300还包括:
渠道分类训练模块,用于基于所述训练数据集合,通过待训练渠道分类模型预测所述每个用户样本所对应的渠道训练分类结果;
渠道分类参数更新模块,用于根据所述每个用户样本所对应的渠道训练分类结果以及所述每个用户样本所对应的信息渠道,对所述待训练渠道分类模型的模型参数进行更新,以得到所述渠道分类模型。
在本申请的一些实施例中,基于以上技术方案,标注预测模块320包括:
预测隐藏层子模块,用于根据所述训练数据集合中的各个用户样本,通过所述目标预测模型中隐藏层的激活函数进行计算,得到标注中间结果;
预测输出层子模块,用于根据所述标注中间结果,通过所述目标预测模型中输出层的激活函数进行计算,得到所述每个用户样本所对应的预测标注结果。
在本申请的一些实施例中,基于以上技术方案,渠道分类模块330包括:
渠道隐藏层子模块,用于根据所述训练数据集合中的各个用户样本,通过所述渠道分类结果中隐藏层的激活函数进行计算,得到渠道中间结果;
渠道输出层子模块,用于根据所述渠道中间结果,通过所述渠道分类结果中输出层的激活函数进行计算,得到所述每个用户样本所对应的渠道分类结果。
在本申请的一些实施例中,基于以上技术方案,预测模型生成装置300还包括:
访问数据获取模块,用于获取所述目标信息渠道的访问数据集合,所述访问数据集合中包括用户数据;
用户预测模块,用于根据所述访问数据集合,通过所述目标预测模型预测每个用户数据所对应的预测结果;
指标确定模块,用于根据所述每个用户数据所对应的预测结果,确定所述目标信息渠道的预测指标。
需要说明的是,上述实施例所提供的装置与上述实施例所提供的方法同一构思,其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述,此处不再赘述。
图8示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图8示出的电子设备的计算机系统400仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示,计算机系统400包括中央处理单元(Central Processing Unit,CPU)401,其可以根据存储在只读存储器(Read-Only Memory,ROM)402中的程序或者从储存部分408加载到随机访问存储器(Random Access Memory,RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中,还存储有系统操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(Input /Output,I/O)接口405也连接至总线404。
以下部件连接至I/O接口405:包括键盘、鼠标等的输入部分406;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分407;包括硬盘等的储存部分408;以及包括诸如LAN(Local Area Network,局域网)卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器410上,以便于从其上读出的计算机程序根据需要被安装入储存部分408。
特别地,根据本申请的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
- 预测模型生成方法、预测模型生成装置和计算机可读介质
- 预测模型的生成方法、装置、设备和可读介质