掌桥专利:专业的专利平台
掌桥专利
首页

数据处理方法、装置、电子设备及存储介质

文献发布时间:2023-06-19 11:11:32


数据处理方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理技术,尤其涉及机器学习模型的处理技术。

背景技术

在搜索广告的场景中,广告主和搜索引擎方均希望得到更高的转化量。通常在广告展现之前预估展示广告之后的转化率。目前使用基于单任务的深度学习方法构建转化率预估模型。但是,由于不同的广告主数据诸多维度上存在较大差异,导致使用一个模型对不同广告主数据的转化率进行预估时,会出现过拟合和欠拟合并存的问题,转化率预测效果差。

发明内容

本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质,可以实现优化转化率的预测效果,提高转化率预测准确性。

本申请实施例提供了一种数据处理方法,包括:

获取目标用户使用的任务模型的训练状态;

根据训练状态将目标用户划分到多任务学习模型中的目标任务,目标任务为与任务模型的训练状态匹配的任务;

使用目标任务对目标用户进行预测。

上述申请实施例提供的数据处理方案,能够获取目标用户使用的任务模型的训练状态,根据训练状态将目标用户划分到多任务学习模型中的目标任务,并通过该目标任务对目标用户进行预测。相对于使用单任务预测容易出现过拟合和欠拟合并存的问题,本申请实施例提供的数据处理方案,能够获取单任务模型对于目标用户的训练状态,如过拟合状态或欠拟合状态等。多任务模型中根据不同的训练状态配置有不同的任务,根据训练状态将目标用户划分到相应的目标任务中,由目标任务对目标用户进行预测,进而使用与目标用户匹配度更高的目标任务对目标用户进行预测,目标任务能够更加准确的预测转化率,优化转化率的预测效果。

在上述实施例的基础上,获取目标用户使用的任务模型的训练状态,包括:

计算目标用户使用的任务模型的训练AUC和评估AUC;

根据训练AUC和评估AUC的取值,确定目标用户使用的任务模型的训练状态。

上述申请实施例能够计算任务模型的训练AUC和评估AUC,根据训练AUC和评估AUC的数值确定任务模型的训练状态,实现准确的得到用户使用的任务模型的训练状态,提高目标用户划分的准确性。

在上述实施例的基础上,计算目标用户使用的任务模型的训练AUC和评估AUC,包括:

统计预设时间段内,目标用户使用的任务模型的输入数据和输出数据,预设时间段根据预设时间点划分为第一时间段和第二时间段;

根据第一时间段采集的输入数据和输出数据计算训练AUC;

根据第二时间段采集的输入数据和输出数据计算评估AUC。

上述申请实施例能够在预设时间段中划分出第一时间段和第二时间段,第一时间段的数据用于训练用户使用的任务模型,第二时间段的数据用于对训练得到的任务模型进行评估。根据第一时间段可计算得到训练AUC,根据第二时间段可计算得到评估AUC,进而实现根据任务模型的输入数据和输出数据准确计算训练AUC和评估AUC,进而提高任务模型的训练状态判定的准确性。

在上述实施例的基础上,根据训练AUC和评估AUC的取值,确定目标用户使用的任务模型的训练状态,包括:

若训练AUC与评估AUC的差值小于等于第一预设参数,且训练AUC大于等于第二预设参数、评估AUC大于等于第三预设参数,则目标用户使用的任务模型的训练状态为正常状态;

相应的,根据训练状态将目标用户划分到目标任务,包括:

若目标用户使用的任务模型的训练状态为正常状态,将目标用户划分到第一任务,第一任务使用的反向传播学习率等于预设传播学习率,第一任务使用的网络隐层数量为预设隐层数量。

上述申请实施例能够在训练AUC与评估AUC的差值小于等于第一预设参数,且训练AUC大于等于第二预设参数、评估AUC大于等于第三预设参数时,准确的判断出任务模型为正常状态,然后将目标用户划分到多任务学习模型中的第一任务中,由第一任务对正常状态的目标用户的数据进行处理。通过对第一任务进行训练,使第一任务能够对正常状态的目标用户进行预设参数的预测,提高预测的准确性。

在上述实施例的基础上,根据训练AUC和评估AUC的取值,确定目标用户使用的任务模型的训练状态,包括:

若训练AUC与评估AUC的差值大于第一预设参数,则目标用户使用的任务模型的训练状态为过拟合状态;

相应的,根据训练状态将目标用户划分到目标任务,包括:

若目标用户使用的任务模型的训练状态为过拟合状态,将目标用户划分到第二任务,第二任务的反向传播学习率小于预设传播学习率,第二任务使用的网络隐层数量为小于预设隐层数量,第二任务的目标函数配置有L1正则项。

上述申请实施例能够在训练AUC与评估AUC的差值大于第一预设参数时,准确的判断出任务模型为过拟合状态,然后将目标用户划分到多任务学习模型中的第二任务中,由第二任务对过拟合状态的目标用户的数据进行处理。第二任务与第一任务相比,具有更小的反向传播学习率,使网络权值对数据的拟合保持在更加合适的程度。第二任务与第一任务相比,具有更少的隐层数量,从而减少网络复杂度,增加泛化能力。第二任务与第一任务相比,增加了目标函数的L1正则项,即在目标函数中增加所有节点的网络权值的绝对值之和,使第二任务训练出的权值更加稀疏。通过对第二任务进行训练,使第二任务能够对过拟合状态的目标用户进行预设参数的预测,提高预测的准确性。

在上述实施例的基础上,根据训练AUC和评估AUC的取值,确定目标用户使用的任务模型的训练状态,包括:

若训练AUC小于第二预设参数且评估AUC小于第三预设参数,则目标用户使用的任务模型的训练状态为欠拟合状态;

相应的,根据训练状态将目标用户划分到目标任务,包括:

若目标用户使用的任务模型的训练状态为欠拟合状态,将目标用户划分到第三任务,第三任务的反向传播学习率大于预设传播学习率;第三任务使用的网络隐层数量为大于预设隐层数量。

上述申请实施例能够在训练AUC小于第二预设参数且评估AUC小于第三预设参数时,准确的判断出任务模型为欠拟合状态,然后将目标用户划分到多任务学习模型中的第三任务中,由第三任务对欠拟合状态的目标用户的数据进行处理。第三任务与第一任务相比具有更高的反向传播学习率,增加拟合程度。第三任务与第一任务相比具有更多的隐层数量,增加该任务的表达能力。通过对第三任务进行训练,使第三任务能够对欠拟合状态的目标用户进行预设参数的预测,提高预测的准确性。

在上述实施例的基础上,多任务学习模型包括输入层和隐层,隐层包括第一任务的第一子网络、第二任务的第二子网络和第三任务的第三子网络,第一子网络、第二子网络和第三子网络分别为全连接的网络结构;

输入层分别与第一子网络、第二子网络和第三子网络连接。

上述申请实施例能够在多任务学习模型MTL中,为正常状态、过拟合状态和欠拟合状态的目标用户在隐层分别设置全连接的隐层结构,实现同一个输入层接入目标用户后,能够根据目标用户划分到的目标任务确定使用相应隐层进行数据处理,提高预测准确性。

本申请实施例还提供了一种数据处理装置,包括:

训练状态获取模块,用于获取目标用户使用的任务模型的训练状态;

任务划分模块,用于根据训练状态获取模块获取的训练状态将目标用户划分到多任务学习模型中的目标任务,目标任务为与任务模型的训练状态匹配的任务;

预测模块,用于使用任务划分模块划分的任务对目标用户进行预测。

本申请实施例还提供了一种电子设备,包括:

至少一个处理器;以及

与至少一个处理器通信连接的存储器;其中,

存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行前述方法。

本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行前述方法。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案,不构成对本申请的限定。其中:

图1是根据本申请第一实施例的流程示意图;

图2是根据本申请第一实施例的多任务学习模型的示意图;

图3是根据本申请第二实施例的流程示意图;

图4是根据本申请第三实施例的流程示意图;

图5是根据本申请第四实施例的流程示意图;

图6是根据本申请第五实施例的结构示意图;

图7是用来实现本申请实施例的数据处理的方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。

实施例一

图1为本申请实施例一提供的数据处理方法的结构示意图,该方法适用于使用机器学习模型进行参数预测的情况,例如预测广告转化率的情况。该方法可以由电子设备执行,电子设备可以为服务器、个人电脑、智能手机、平板电脑、可穿戴设备等。该方法包括:

步骤101、获取目标用户使用的任务模型的训练状态。

目标用户通过训练得到了任务模型,该任务模型可以用于估算广告转化率。输入参数可以为用户访问的网络地址,输出参数可以为广告商投放的广告的转化率。该转化率可以为落地页转化率等。通常目标用户使用的任务模型为单任务模型,即通过一个任务对全部广告商投放的广告进行机器学习,得到一个用于预估广告转化率的任务模型。

任务模型的训练状态可以表示,使用任务模型预估目标用户的广告数据时任务模型的拟合程度。训练状态可以包括正常状态、过拟合状态和欠拟合状态。可以根据目标用户使用的任务模型的AUC(Area Under Curve,AUC)确定任务模型的训练状态。其中,AUC是一种模型评估指标,是受试者工作特征曲线(Receiver Operating Characteristic curve,ROC)下的面积。AUC作为衡量任务模型优劣的一种性能指标,可以通过对任务模型ROC曲线下各部分的面积求和而得。具体可通过下述方式进行实施:

步骤一、计算目标用户使用的任务模型的训练AUC和评估AUC。

训练AUC可以为表示任务模型在训练阶段的指标,评估AUC可以为表示任务模型在使用阶段(又称评估阶段)的指标。在预测转化率的场景中,在训练阶段使用已经产生的结果数据作为输入数据对任务模型进行训练,可以根据训练阶段使用的训练数据计算得到训练AUC。在使用任务模型进行转化率预估时,统计任务模型的输入数据以及输出数据作为评估数据。根据评估数据计算评估AUC。

示例性的,首先,统计预设时间段内,目标用户使用的任务模型的输入数据和输出数据,预设时间段根据预设时间点划分为第一时间段和第二时间段;然后,根据第一时间段采集的输入数据和输出数据计算训练AUC;根据第二时间段采集的输入数据和输出数据计算评估AUC。

其中,第一时间段为任务模型的训练阶段,第二时间段为任务模型的评估阶段。可选的,第一时间段的结束时间为第二时间段的开始时间。例如,第一时间段为2018年7月1日至2018年8月31日。第二时间段为2018年9月1日至2018年10月31日。

使用第一时间段采集的输入数据和输出数据作为训练数据,计算训练AUC。使用第二时间段采集的输入数据和输出数据作为评估数据,计算评估AUC。

在预设时间段中划分出第一时间段和第二时间段,第一时间段的数据用于训练用户使用的任务模型,第二时间段的数据用于对训练得到的任务模型进行评估。根据第一时间段可计算得到训练AUC,根据第二时间段可计算得到评估AUC,进而实现根据任务模型的输入数据和输出数据准确计算训练AUC和评估AUC,进而提高任务模型的训练状态判定的准确性。

步骤二、根据训练AUC和评估AUC的取值,确定目标用户使用的任务模型的训练状态。

可以根据训练AUC和评估AUC的差值确定训练阶段与评估阶段的输入输出数据的差异,进而判断出任务模型的训练状态。若该差异在一定阈值范围内,则表示任务模型的训练状态为正常状态。若该差异大于该阈值,则表示任务模型的训练状态异常。此时分别根据训练AUC和评估AUC的取值可确定任务模型的训练状态为过拟合状态或欠拟合状态。

上述申请实施例能够计算任务模型的训练AUC和评估AUC,根据训练AUC和评估AUC的数值确定任务模型的训练状态,实现准确的得到用户使用的任务模型的训练状态,提高目标用户划分的准确性。

步骤102、根据训练状态将目标用户划分到多任务学习模型MTL中的目标任务。

其中,目标任务为与所述任务模型的训练状态匹配的任务。

如图2所示,多任务学习(Multi-Task Learning,MTL)模型包括输入层110和隐层120。隐层120包括第一任务的第一子网络1201、第二任务的第二子网络1202和第三任务的第三子网络1203,第一子网络1201、第二子网络1202和第三子网络1203分别为全连接的网络结构;输入层110分别与第一子网络1201、第二子网络1202和第三子网络1203连接。每个任务的子网络末端连接输出层130。输出层130输出结果,如输出预估的转化率。对于全连接的网络结构,采用的反向传播算法使用Adam算法。需要说明的是,图2中所示的第一子网络1201、第二子网络1202和第三子网络1203包含的隐层数量仅为示意图,在实施时第一子网络1201、第二子网络1202和第三子网络1203包含的隐层数量不相同。

多任务学习模型通过输入层110接收目标用户的数据,并对该数据进行归一化处理,归一化后的数据可被第一子网络1201、第二子网络1202或第三子网络1203所识别和处理。输入层110分别与隐层120中的第一子网络1201、第二子网络1202和第三子网络1203连接,使得第一子网络1201、第二子网络1202和第三子网络1203可共用一个输入层110接收目标用户的数据。

多任务学习模型包括三个任务,分别为第一任务、第二任务和第三任务。任务包含位于隐层120中的子网络,如隐层120中的第一子网络1201作为第一任务的隐层120、隐层120中的第二子网络1202作为第二任务的隐层120、隐层120中的第三子网络1203作为第三任务的隐层120。例如,由第一任务处理正常状态的目标用户的数据,由第二任务处理过拟合状态的目标用户的数据,由第三任务处理过欠合状态的目标用户的数据。

通过对子网络进行训练,可以训练出针对不同训练状态的目标用户的隐层子网络。当接收到不同训练状态的目标用户时,多任务学习模型根据训练状态确定任务,并使用任务在隐层中的子网络对目标用户的输入数据进行处理,得到估算的预设数据,如估算的转化率等。通过对模型任务的参数进行针对性的设计,可以使用不同的任务有更适合的学习和泛化能力,从而优化模型整体效果并有效缓解广告主数据过拟合和欠拟合并存的问题。

上述申请实施例能够在多任务学习模型MTL中,为正常状态、过拟合状态和欠拟合状态的目标用户在隐层分别设置全连接的隐层结构,实现同一个输入层接入目标用户后,能够根据目标用户划分到的目标任务确定使用相应隐层进行数据处理,提高预测准确性。

步骤103、使用目标任务对目标用户进行预测。

使用步骤102确定的任务读取目标用户数据,通过目标任务得到目标用户的预测数据。

本申请实施例提供的数据处理方法,能够获取目标用户使用的任务模型的训练状态,根据训练状态将目标用户划分到多任务学习模型MTL中的目标任务,并通过该目标任务对目标用户进行预测。相对于使用单任务预测容易出现过拟合和欠拟合并存的问题,本申请实施例提供的数据处理方法,能够获取单任务模型对于目标用户的训练状态,如过拟合状态或欠拟合状态等。多任务模型中根据不同的训练状态配置有不同的任务,根据训练状态将目标用户划分到相应的目标任务中,由目标任务对目标用户进行预测,进而使用与目标用户匹配度更高的目标任务对目标用户进行预测,目标任务能够更加准确的预测转化率,优化转化率的预测效果。

实施例二

图3为本申请实施例二提供的数据处理方法的流程示意图,作为上述实施例的进一步说明,包括:

步骤201、计算目标用户使用的任务模型的训练AUC和评估AUC。

步骤202、若训练AUC与评估AUC的差值小于等于第一预设参数,且训练AUC大于等于第二预设参数、评估AUC大于等于第三预设参数,则目标用户使用的任务模型的训练状态为正常状态。

在一个使用场景中,假设存在n个广告主,定义其中任意一个广告主i(1≤i≤n)的训练AUC的符号为Tauc

其中,第一预设参数可以使用符号α表示。第二预设参数可以使用符号δ表示。第三预设参数可以使用符号η表示。第一预设参数α的取值范围为0-0.5。第二预设参数δ和第三预设参数η的取值范围为0.5-1。

若某广告主i的训练AUC(Tauc

步骤203、若目标用户使用的任务模型的训练状态为正常状态,将目标用户划分到第一任务。

其中,第一任务使用的反向传播学习率等于预设传播学习率,第一任务使用的网络隐层数量为预设隐层数量。

示例性的,第一任务的网络隐层数量,即预设隐层数量可以设置为3层。预设传播学习率可以设置为十万分之五。将第一任务使用的一阶矩参数设为0.993,二阶矩参数设为0.999。

步骤204、使用第一任务对目标用户进行预测。

本申请实施例提供的数据处理方法,能够在训练AUC与评估AUC的差值小于等于第一预设参数,且训练AUC大于等于第二预设参数、评估AUC大于等于第三预设参数时,准确的判断出任务模型为正常状态,然后将目标用户划分到多任务学习模型中的第一任务中,由第一任务对正常状态的目标用户的数据进行处理。通过对第一任务进行训练,使第一任务能够对正常状态的目标用户进行预设参数的预测,提高预测的准确性。

实施例三

图4为本申请实施例三提供的数据处理方法的流程示意图,作为上述实施例的进一步说明,包括:

步骤301、计算目标用户使用的任务模型的训练AUC和评估AUC。

步骤302、若训练AUC与评估AUC的差值大于第一预设参数,则目标用户使用的任务模型的训练状态为过拟合状态。

参照上述公式一,若某广告主i的训练AUC(Tauc

步骤303、若目标用户使用的任务模型的训练状态为过拟合状态,将目标用户划分到第二任务。

其中,第二任务的反向传播学习率小于预设传播学习率,第二任务使用的网络隐层数量为小于预设隐层数量,第二任务的目标函数配置有L1正则项。

示例性的,第二任务用于处理过拟合的目标用户。可通过下属方式降低第二任务模型的拟合程度。方式1:降低反向传播学习率,使第二任务的反向传播学习率小于预设传播学习率,使网络权值对数据的拟合保持在合适的程度。例如,将反向传播学习率调整为十万分之一。方式2:降低隐层子网络的层数,从而减少网络复杂度,增加该任务的泛化能力。例如,相对于第一任务减少一层网络隐层。方式3:对输出数据增加权项,在目标函数增加L1正则项。例如,在目标函数的输出中,增加第二任务的第二子网络中所有节点的网络权值的绝对值之和,使网络训练出的权值更加稀疏,进而降低拟合程度。

步骤304、使用第二任务对目标用户进行预测。

本申请实施例提供的数据处理方法,能够在训练AUC与评估AUC的差值大于第一预设参数时,准确的判断出任务模型为过拟合状态,然后将目标用户划分到多任务学习模型中的第二任务中,由第二任务对过拟合状态的目标用户的数据进行处理。第二任务与第一任务相比,具有更小的反向传播学习率,使网络权值对数据的拟合保持在更加合适的程度。第二任务与第一任务相比,具有更少的隐层数量,从而减少网络复杂度,增加泛化能力。第二任务与第一任务相比,增加了目标函数的L1正则项,即在目标函数中增加所有节点的网络权值的绝对值之和,使第二任务训练出的权值更加稀疏。通过对第二任务进行训练,使第二任务能够对过拟合状态的目标用户进行预设参数的预测,提高预测的准确性。

实施例四

图5为本申请实施例四提供的数据处理方法的流程示意图,作为上述实施例的进一步说明,包括:

步骤401、计算目标用户使用的任务模型的训练AUC和评估AUC。

步骤402、若训练AUC小于第二预设参数且评估AUC小于第三预设参数,则目标用户使用的任务模型的训练状态为欠拟合状态。

参照公式一,若广告主i的训练AUC(Tauc

步骤403、若目标用户使用的任务模型的训练状态为欠拟合状态,将目标用户划分到第三任务。

其中,第三任务的反向传播学习率大于预设传播学习率;第三任务使用的网络隐层数量为大于预设隐层数量。

示例性的,提高第三任务的反向传播学习率。在上述场景中将反向传播学习率设置为万分之一。此外,还可以增加第三任务使用的第三子网络的隐层数量,例如相对于第一任务增加一层网络隐层,增加该任务的表达能力。

步骤404、使用第三任务对目标用户进行预测。

本申请实施例提供的数据处理方法,能够在训练AUC小于第二预设参数且评估AUC小于第三预设参数时,准确的判断出任务模型为欠拟合状态,然后将目标用户划分到多任务学习模型中的第三任务中,由第三任务对欠拟合状态的目标用户的数据进行处理。第三任务与第一任务相比具有更高的反向传播学习率,增加拟合程度。第三任务与第一任务相比具有更多的隐层数量,增加该任务的表达能力。通过对第三任务进行训练,使第三任务能够对欠拟合状态的目标用户进行预设参数的预测,提高预测的准确性。

实施例五

图6为本申请实施例五提供的数据处理装置500的结构示意图,该装置适用于机器学习模型进行参数预测的情况,例如预测广告转化率的情况。该装置配置于电子设备中,电子设备可以为服务器、个人电脑、智能手机、平板电脑、可穿戴设备等。该装置包括:训练状态获取模块501、任务划分模块502和预测模块503。本申请实施例所提供的数据处理装置500可执行本申请任意实施例所提供的数据处理方法,具备执行方法相应的功能模块和有益效果。其中:

训练状态获取模块501,用于获取目标用户使用的任务模型的训练状态;

任务划分模块502,用于根据训练状态获取模块501获取的训练状态将目标用户划分到多任务学习模型MTL中的目标任务,目标任务为与任务模型的训练状态匹配的任务;

预测模块503,用于使用任务划分模块502划分的任务对目标用户进行预测。

在上述实施例的基础上,训练状态获取模块501用于:

计算目标用户使用的任务模型的训练AUC和评估AUC;

根据训练AUC和评估AUC的取值,确定目标用户使用的任务模型的训练状态。

在上述实施例的基础上,训练状态获取模块501用于:统计预设时间段内,目标用户使用的任务模型的输入数据和输出数据,预设时间段根据预设时间点划分为第一时间段和第二时间段;

根据第一时间段采集的输入数据和输出数据计算训练AUC;

根据第二时间段采集的输入数据和输出数据计算评估AUC。

在上述实施例的基础上,训练状态获取模块501用于:

根据训练AUC和评估AUC的取值,确定目标用户使用的任务模型的训练状态,包括:

若训练AUC与评估AUC的差值小于等于第一预设参数,且训练AUC大于等于第二预设参数、评估AUC大于等于第三预设参数,则目标用户使用的任务模型的训练状态为正常状态;

相应的,任务划分模块502用于:

若目标用户使用的任务模型的训练状态为正常状态,将目标用户划分到第一任务,第一任务使用的反向传播学习率等于预设传播学习率,第一任务使用的网络隐层数量为预设隐层数量。

在上述实施例的基础上,训练状态获取模块501用于:若训练AUC与评估AUC的差值大于第一预设参数,则目标用户使用的任务模型的训练状态为过拟合状态;

相应的,任务划分模块502用于:

若目标用户使用的任务模型的训练状态为过拟合状态,将目标用户划分到第二任务,第二任务的反向传播学习率小于预设传播学习率,第二任务使用的网络隐层数量为小于预设隐层数量,第二任务的目标函数配置有L1正则项。

在上述实施例的基础上,训练状态获取模块501用于:

若训练AUC小于第二预设参数且评估AUC小于第三预设参数,则目标用户使用的任务模型的训练状态为欠拟合状态;

相应的,任务划分模块502用于:

若目标用户使用的任务模型的训练状态为欠拟合状态,将目标用户划分到第三任务,第三任务的反向传播学习率大于预设传播学习率;第三任务使用的网络隐层数量为大于预设隐层数量。

在上述实施例的基础上,多任务学习模型包括输入层和隐层,隐层包括第一任务的第一子网络、第二任务的第二子网络和第三任务的第三子网络,第一子网络、第二子网络和第三子网络分别为全连接的网络结构;

输入层分别与第一子网络、第二子网络和第三子网络连接。

本申请实施例提供的数据处理装置,训练状态获取模块501能够获取目标用户使用的任务模型的训练状态,任务划分模块502根据训练状态将目标用户划分到多任务学习模型MTL中的目标任务,目标任务为与任务模型的训练状态匹配的任务,预测模块503通过该目标任务对目标用户进行预测。相对于使用单任务预测容易出现过拟合和欠拟合并存的问题,本申请实施例提供的数据处理方案,能够获取单任务模型对于目标用户的训练状态,如过拟合状态或欠拟合状态等。多任务模型中根据不同的训练状态配置有不同的任务,根据训练状态将目标用户划分到相应的目标任务中,由目标任务对目标用户进行预测,进而使用与目标用户匹配度更高的目标任务对目标用户进行预测,目标任务能够更加准确的预测转化率,优化转化率的预测效果。

实施例六

根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。

如图7所示,是根据本申请实施例的数据处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示,该电子设备包括:一个或多个处理器601、存储器602,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器601为例。

存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的数据处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的数据处理的方法。

存储器602作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的数据处理的方法对应的程序指令/模块(例如,附图6所示的训练状态获取模块501、任务划分模块502和预测模块503)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的数据处理的方法。

存储器602可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据数据处理的电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器602可选包括相对于处理器601远程设置的存储器,这些远程存储器可以通过网络连接至数据处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

数据处理的方法的电子设备还可以包括:输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接,图7中以通过总线连接为例。

输入装置603可接收输入的数字或字符信息,以及产生与数据处理的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案,能够获取目标用户使用的任务模型的训练状态,根据训练状态将目标用户划分到多任务学习模型MTL中的目标任务,目标任务为与任务模型的训练状态匹配的任务,并通过该目标任务对目标用户进行预测。相对于使用单任务预测容易出现过拟合和欠拟合并存的问题,本申请实施例提供的数据处理方案,能够获取单任务模型对于目标用户的训练状态,如过拟合状态或欠拟合状态等。多任务模型中根据不同的训练状态配置有不同的任务,根据训练状态将目标用户划分到相应的目标任务中,由目标任务对目标用户进行预测,进而使用与目标用户匹配度更高的目标任务对目标用户进行预测,目标任务能够更加准确的预测转化率,优化转化率的预测效果。

上述申请实施例能够计算任务模型的训练AUC和评估AUC,根据训练AUC和评估AUC的数值确定任务模型的训练状态,实现准确的得到用户使用的任务模型的训练状态,提高目标用户划分的准确性。

上述申请实施例能够在预设时间段中划分出第一时间段和第二时间段,第一时间段的数据用于训练用户使用的任务模型,第二时间段的数据用于对训练得到的任务模型进行评估。根据第一时间段可计算得到训练AUC,根据第二时间段可计算得到评估AUC,进而实现根据任务模型的输入数据和输出数据准确计算训练AUC和评估AUC,进而提高任务模型的训练状态判定的准确性。

上述申请实施例能够在训练AUC与评估AUC的差值小于等于第一预设参数,且训练AUC大于等于第二预设参数、评估AUC大于等于第三预设参数时,准确的判断出任务模型为正常状态,然后将目标用户划分到多任务学习模型中的第一任务中,由第一任务对正常状态的目标用户的数据进行处理。通过对第一任务进行训练,使第一任务能够对正常状态的目标用户进行预设参数的预测,提高预测的准确性。

上述申请实施例能够在训练AUC与评估AUC的差值大于第一预设参数时,准确的判断出任务模型为过拟合状态,然后将目标用户划分到多任务学习模型中的第二任务中,由第二任务对过拟合状态的目标用户的数据进行处理。第二任务与第一任务相比,具有更小的反向传播学习率,使网络权值对数据的拟合保持在更加合适的程度。第二任务与第一任务相比,具有更少的隐层数量,从而减少网络复杂度,增加泛化能力。第二任务与第一任务相比,增加了目标函数的L1正则项,即在目标函数中增加所有节点的网络权值的绝对值之和,使第二任务训练出的权值更加稀疏。通过对第二任务进行训练,使第二任务能够对过拟合状态的目标用户进行预设参数的预测,提高预测的准确性。

上述申请实施例能够在训练AUC小于第二预设参数且评估AUC小于第三预设参数时,准确的判断出任务模型为欠拟合状态,然后将目标用户划分到多任务学习模型中的第三任务中,由第三任务对欠拟合状态的目标用户的数据进行处理。第三任务与第一任务相比具有更高的反向传播学习率,增加拟合程度。第三任务与第一任务相比具有更多的隐层数量,增加该任务的表达能力。通过对第三任务进行训练,使第三任务能够对欠拟合状态的目标用户进行预设参数的预测,提高预测的准确性。

上述申请实施例能够在多任务学习模型MTL中,为正常状态、过拟合状态和欠拟合状态的目标用户在隐层分别设置全连接的隐层结构,实现同一个输入层接入目标用户后,能够根据目标用户划分到的目标任务确定使用相应隐层进行数据处理,提高预测准确性。

应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。

上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

相关技术
  • 数据处理方法、装置、电子设备及存储介质
  • 门禁管理的数据处理方法、装置、电子设备与存储介质
技术分类

06120112835742