基于历史对象数据的检测处理方法、装置、服务器及介质
文献发布时间:2023-06-19 10:41:48
技术领域
本申请涉及计算技术领域,尤其涉及一种基于历史对象数据的检测处理方法、一种基于历史对象数据的检测处理装置、一种服务器及一种计算机存储介质。
背景技术
针对某一个目标检测(也可以称为目标实验),在进行目标检测之前,需要先进行AA检测(即AA实验),判定目标检测的检测组(也即实验组)和对照组是否同质,在同质的情况下,方可进行目标检测。其中,AA检测指的是针对检测组和对照组配置相同条件的检测,是作为判断检测分组是否同质,判断检测系统的分流策略是否出现异常的方法,如果AA检测不通过,很大概率是检测分组不同质造成的,那么基于不同质的检测组进行后续的目标检测,所得到的检测结论是不可被信任的。
目前,AA检测的流程通常为:给予检测组和对照组相同的条件,经过一定时间(通常是一周后),观察检测的各项指标,从而依照各项指标确定检测组和对照组是否同质,这样的方法增加了检测时长。
发明内容
本申请实施例提供了一种基于历史对象数据的检测处理方法、装置、服务器及介质,可直接基于与目标检测关联的历史对象数据完成AA检测处理,高效地缩短检测时长。
一方面,本申请实施例提供了一种基于历史对象数据的检测处理方法,该方法包括:
接收针对目标检测的启动触发请求,所述启动触发请求携带有所述目标检测对应的检测配置数据,所述检测配置数据包括所述目标检测所涉及目标业务的业务标识,以及多个检测指标;
向所述目标业务对应的目标业务系统,获取所述目标检测的检测组和对照组中各对象与各检测指标关联的历史对象数据;
依照所述历史对象数据,计算所述检测组和对照组在各检测指标下的值;
根据所述检测组和对照组在各检测指标下的值对所述检测组和所述对照组进行同质性检测,生成同质性检测结果,所述同质性检测结果用于表征所述检测组和所述对照组是否同质;
依照所述同质性检测结果对所述目标检测执行处理决策。
另一方面,本申请实施例提供了一种基于历史对象数据的检测处理装置,该基于历史对象数据的检测处理装置包括:
通信单元,用于接收针对目标检测的启动触发请求,所述启动触发请求携带有所述目标检测对应的检测配置数据,所述检测配置数据包括所述目标检测所涉及目标业务的业务标识,以及多个检测指标;
获取单元,用于向所述目标业务对应的目标业务系统,获取所述目标检测的检测组和对照组中各对象与各检测指标关联的历史对象数据;
计算单元,用于依照所述历史对象数据,计算所述检测组和对照组在各检测指标下的值;
处理单元,用于根据所述检测组和对照组在各检测指标下的值对所述检测组和所述对照组进行同质性检测,生成同质性检测结果,并依照所述同质性检测结果对所述目标检测执行处理决策,所述同质性检测结果用于表征所述检测组和所述对照组是否同质。
相应地,本申请实施例还提供了一种服务器,该服务器包括处理器和存储装置;存储装置,用于存储程序指令;处理器,用于调用程序指令并执行上述的基于历史对象数据的检测处理方法。
相应地,本申请实施例还提供了一种计算机存储介质,该计算机存储介质中存储有程序指令,该程序指令被执行时,用于实现上述的基于历史对象数据的检测处理方法。
相应地,根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。服务器的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该服务器执行上述提供的基于历史对象数据的检测处理方法。
本申请实施例中,可接收针对目标检测的启动触发请求,并依照启动触发请求向目标检测所涉及目标业务对应的目标业务系统,获取目标检测的检测组和对照组中各对象与各检测指标关联的历史对象数据。进一步地,可依照历史对象数据计算检测组和对照组在各检测指标下的值,并根据检测组和对照组在各检测指标下的值对检测组和对照组进行同质性检测,生成同质性检测结果,并依照同质性检测结果对目标检测执行处理决策,从而完成与目标检测关联的AA检测。通过实施本申请实施例,可以直接基于与目标检测关联的历史对象数据进行AA检测,高效地缩短检测时长。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种检测处理系统的结构示意图;
图2是本申请实施例提供的一种基于历史对象数据的检测处理方法的流程示意图;
图3是本申请实施例提供的另一种基于历史对象数据的检测处理方法的流程示意图;
图4是本申请实施例提供的一种检测配置页面的示意图;
图5是本申请实施例提供的一种检测处理方法的流程图;
图6是本申请实施例提供的一种基于Welch’s方差分析的检测处理方法的流程图;
图7是本申请实施例提供的一种执行目标任务的流程图;
图8是本申请实施例提供的一种基于历史对象数据的检测处理装置的结构示意图;
图9是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,针对某一个目标检测,在进行目标检测之前,需要先进行AA检测,检测目标检测的检测组和对照组是否同质,在同质的情况下,方可进行目标检测。
以针对微信视频号的目标检测为例,假设目标检测的目的为:探索改变推荐策略对用户浏览时长的影响,推荐策略A为现有策略,推荐策略B为增加推荐与用户当前浏览内容同种类别的比例,推荐策略C为增加推荐与用户当前浏览内容不同类别的比例。这种情况下,目标检测的对照组为保持现有策略A的组(记为对照组X),目标检测的检测组为接受新的推荐策略B和推荐策略C的组(分别记为检测组Y和检测组Z)。首先,由于目标检测是为了探索改变推荐策略对用户浏览时长的影响(也即验证不同的推荐策略对于用户的浏览时长是否有显著影响),那么在目标检测开始之前,需要先要确保这三个组X,Y和Z在接受这些推荐策略前,用户的浏览时长是没有显著差异的,否则就无法通过执行目标检测判断到底是检测策略本身影响了用户的浏览时长,还是组和组之间本身用户就不同质(例如可能检测组的用户总体本身就比对照组的用户喜欢看微信视频号)。
因此,在正式开始目标检测之前,需要检验X、Y和Z组在接受这些推荐策略前,用户的浏览时长本身是没有显著差异的。实际应用中,为了检验X、Y和Z组在接受这些推荐策略前,用户的浏览时长本身是没有显著差异的,通常采用的流程为:先进行与目标检测关联的AA检测(也即X、Y和Z这三个组还是保持现有策略A),但是AA检测一般需要进行一定时间(例如一周)后才能下结论,AA检测时长较长,影响了推荐策略上线的进度。
基于此,为了缩短AA检测的检测时长,本申请实施提出了一种检测处理系统,并基于该检测处理系统提出了一种基于历史对象数据的检测处理方案。参见图1,本申请实施例所提出的检测处理系统可包括:运行有检测处理平台的客户端和检测处理平台对应的平台服务器,检测处理系统可通过业务接口对接一个或者多个业务系统(例如微信系统),与各业务系统进行数据交互。其中,检测处理平台可为检测对象(即检测用户)提供检测配置页面,当检测用户想要执行目标检测之前,可以通过检测配置页面输入针对目标检测的检测配置数据,当检测配置数据配置完成后,可通过检测处理平台向平台服务器发送针对目标检测的启动触发请求。
其中,当本申请实施例中检测处理系统对接的业务系统为多个时,此处的多个业务系统可以指多个完全独立的业务系统,例如微信系统、QQ系统等等;或者,也可以指一个业务系统下的多个子系统,例如多个业务系统均为微信系统下的子系统(视频号、朋友圈、看一看等等),本申请实施例对此不作具体限定。
适用于上述检测处理系统,本申请实施例提出的一种基于历史对象数据的检测处理方案可由上述平台服务器执行,当平台服务器检测到针对目标检测的启动触发请求时,可获取启动触发请求携带的检测配置数据,该检测配置数据包括目标检测所涉及目标业务的业务标识,以及多个检测指标。进一步地,可向目标业务对应的目标业务系统,获取目标检测的检测组和对照组中各对象与各检测指标关联的历史对象数据,依照历史对象数据计算检测组和对照组在各检测指标下的值,并根据检测组和对照组在各检测指标下的值对检测组和对照组进行同质性检测,生成同质性检测结果,并依照同质性检测结果对目标检测执行处理决策,从而完成与目标检测关联的AA检测。通过实施本申请实施例,可以直接基于与目标检测关联的历史对象数据进行AA检测,高效地缩短检测时长。
为了更好的理解上述检测处理方案,本申请实施例提出一种基于历史对象数据的检测处理方法,该检测处理方法可以由上述图1中的平台服务器执行,请参见图2,该检测处理方法可包括以下步骤S201-S205:
S201:接收针对目标检测的启动触发请求,该启动触发请求携带有目标检测对应的检测配置数据,该检测配置数据包括目标检测所涉及目标业务的业务标识,以及多个检测指标。
S202:向目标业务对应的目标业务系统,获取目标检测的检测组和对照组中各对象与各检测指标关联的历史对象数据。其中,检测组和对照组中的对象为与目标检测所涉及目标业务关联的目标用户,例如目标业务系统为微信系统,那么,此处的对象即为微信用户。
当检测用户想要进行目标检测时,可以首先通过检测处理平台针对目标检测进行配置,该配置可分为:a.配置检测基本信息(例如目标检测的检测标识、目标检测所涉及目标业务的业务标识,检测负责人等等);b.配置检测指标;c.配置目标检测的检测组和对照组,进而得到针对目标检测的检测配置数据。在检测配置完成后,用户可以通过检测处理平台发送针对目标检测的启动触发请求,该启动触发请求中携带有上述检测配置数据。进一步地,平台服务器接收到该启动触发请求后,可向检测组和对照组分配与目标检测所涉及目标业务关联的目标对象(例如目标业务为微信视频号,那么目标对象即为微信用户),从而完成检测组和对照组的流量分配。
由于目标用户在目标业务系统操作的过程中,目标业务系统会记录并存储目标用户的对象数据(该对象数据为用户操作历史,操作习惯和个人信息的汇总),本申请实施例在完成上述检测组和对照组的流量分配后,可以从目标业务系统存储的对象数据中,获取检测组和对照组中各用户与各检测指标关联的历史对象数据。
其中,检测指标可包括核心指标和同质指标,核心指标是指目标检测最关注的指标;同质指标是指即不同组之间不应该有显著差异的指标,例如男性用户占比、年龄分布和目标操作系统(例如安卓系统、苹果系统等)占比等等。上述目标检测的检测组和对照组中的对象具体指代何种对象,与目标检测所涉及的目标业务关联,例如目标业务为微信视频号业务,那么目标检测的检测组和对照组中的用户是指微信用户。
示例性地,仍然以针对微信视频号的目标检测为例,目标检测的目的为:探索改变推荐策略对用户浏览时长的影响;推荐策略A为现有策略,推荐策略B为增加推荐与用户当前浏览内容同种类别的比例,推荐策略C为增加推荐与用户当前浏览内容不同类别的比例;目标检测的对照组为保持现有策略A的对照组X,检测组为分别接受新的推荐策略B和推荐策略C的检测组Y和检测组Z。这种情况下,上述核心指标可以为分组中所有用户在指定时间点的平均浏览时长、上述同质指标可以为男性用户占比,检测组和对照组中任一微信用户与上述核心指标和同质指标关联的历史对象数据可以包括:上述任一微信用户通过微信视频号点击和退出每个视频的时间点、被浏览过的每个视频所属的类别,以及该任一微信用户的个人数据(例如性别、所处城市等等)。
S203:依照历史对象数据,计算检测组和对照组在各检测指标下的值。其中,各检测指标可包括核心指标和同质指标。
在一个实施例中,继续承接上述举例,假设上述核心指标为分组中所有用户在指定时间点的平均浏览时长,依照历史对象数据计算检测组在该核心指标下的值的具体实施方式可以包括:
依照历史对象数据计算检测组中所有用户在指定时间点的总浏览时长,对所有用户在指定时间点的总浏览时长求平均,得到检测组的用户平均浏览时长。其中,假设以天为总浏览时长的计算时间单位,指定时间点为Day1这天,那么可以将检测组中任一用户在Day1这天所有浏览视频退出的时间点减去点击的时间点的时间差之和,确定为该任一用户在Day1这天总浏览时长。例如,检测组中任一用户在Day1这天所有浏览视频退出的时间点和点击的时间点如表1所示,那么该任一用户在Day1这天的总浏览时长为T1+T2。相应地,依照历史对象数据计算对照组在核心指标下的值的具体实施方式可以参照上述检测组的计算方式,此处不再赘述:
表1
在一个实施例中,继续承接上述举例,假设上述同质指标为男性用户占比,依照历史对象数据计算检测组在该同质指标下的值的具体实施方式包括:从历史对象数据中获取检测组中各用户的个人数据,依照该个人数据确定检测组中各用户的性别,从而统计检测组的男性用户占比。相应地,依照历史对象数据计算对照组在该同质指标下的值的具体实施方式可以参照上述检测组的计算方式,此处不再赘述。
S204:根据检测组和对照组在各检测指标下的值对检测组和对照组进行同质性检测,生成同质性检测结果,该同质性检测结果用于表征检测组和对照组是否同质。其中,检测组和对照组同质,可以表征检测组和对照组中的用户特征较相似,也即检测组和对照组不存在显著差异;反之,若检测组和对照组不同质,则表征检测组和对照组中的用户特征不相似,也即检测组和对照组存在显示差异。可以理解的是,当检测组和对照组的总和大于2时,步骤S203中描述的检测组和对照组不同质,说明检测组和对照组之间至少有一个组不同质;步骤S204中描述的检测组和对照组同质,说明各检测组和对照组之间均同质。
S205:依照同质性检测结果对目标检测执行处理决策。
在一个实施例中,若同质性检测结果用于表征检测组和对照组同质,则对检测组和对照组执行目标检测。示例性地,仍然以上述针对微信视频号,检测目的为探索改变推荐策略对用户浏览时长的影响的目标检测为例,若同质性检测结果用于表征检测组和对照组同质,则可以对对照组X执行现有策略A、对检测组Y执行推荐策略B、以及对检测组Z执行推荐策略C,以执行目标检测,从而探索改变推荐策略对用户浏览时长的影响。
在另一个实施例中,若同质性检测结果用于表征检测组和对照组不同质,则可输出告警提示信息,用于提示检测用户检测组和对照组不同质,以便于检测用户分析不同质的原因(偶然因素或是检测设计问题)。
在一个实施例中,在生成上述同质性检测结果后,还可以输出同质性检测结果,检测用户可以通过查看该同质性检测结果确定检测组和对照组是否同质,若同质,则可以由检测用户触发目标检测的执行;若不同质,检测用户可以分析不同质的原因(偶然因素或是检测设计问题)。
本申请实施例中,当平台服务器检测到针对目标检测的启动触发请求时,可获取启动触发请求携带的检测配置数据,该检测配置数据包括目标检测所涉及目标业务的业务标识,以及多个检测指标。进一步地,可向目标业务对应的目标业务系统,获取目标检测的检测组和对照组中各对象与各检测指标关联的历史对象数据,依照历史对象数据计算检测组和对照组在各检测指标下的值,并根据检测组和对照组在各检测指标下的值对检测组和对照组进行同质性检测,生成同质性检测结果,并依照同质性检测结果对目标检测执行处理决策,从而完成与目标检测关联的AA检测。通过实施本申请实施例,可以直接基于与目标检测关联的历史对象数据进行AA检测,高效地缩短检测时长。
请参见图3,本申请实施例提出另一种基于历史对象数据的检测处理方法,该检测处理方法可以由上述图1中的平台服务器执行,请参见图3,该检测处理方法可包括以下步骤:
S301:接收针对目标检测的启动触发请求,该启动触发请求携带有目标检测对应的检测配置数据,该检测配置数据包括目标检测所涉及目标业务的业务标识,以及多个检测指标。
S302:向目标业务对应的目标业务系统,获取目标检测的检测组和对照组中各对象与各检测指标关联的历史对象数据。
S303:依照历史对象数据,计算检测组和对照组在各检测指标下的值。其中,步骤S301~步骤S303的具体实施方式,可以参见上述实施例中步骤S201~步骤S203的相关描述,此处不再赘述。
S304:根据检测组和对照组在各检测指标下的值,计算各检测指标对应的p值(pValue)。其中,p值是根据实际统计量计算出的显著性水平,某检测指标X对应的p值越小,则表明检测指标X异常越显著。
S305:若各检测指标中p值小于显著性水平的检测指标的数量满足数量条件,则确定检测组和对照组同质,并生成用于表征检测组和对照组同质的同质性检测结果。
S306:若各检测指标中p值小于显著性水平的检测指标的数量不满足数量条件,则确定检测组和对照组不同质,并生成用于表征检测组和对照组不同质的同质性检测结果。
在一个实施例中,可以对检测组和对照组在各检测指标下的值进行Welch’s(韦尔奇)方差分析,以确定各检测指标对应的p值。进一步地,可检测各检测指标中p值小于预先设定的显著水平
具体地,利用检测组和对照组在各检测指标下的值进行Welch’s方差分析的方法如下:
假设目标检测有r(r为大于1的整数)个组,对于某个检测指标X,目标检测的第i组(可以为检测组或者对照组)的样本量为n
依照权重w
进一步地,依照上述总平均值
而后可以计算出
通过
进一步地,通过F
其中,pf为分布函数,在python,R等多种编程语言中均可以直接计算。
如果检测指标X对应的p值小于预先设定的显著性水平
通过上述内容可知,本申请实施例可以直接对检测组和对照组在各检测指标下的值进行Welch’s方差分析,从而判定目标检测的检测组和对照组的检测指标是否存在显著差异,可以简化检测流程,提高检测效率。
S307:依照同质性检测结果对目标检测执行处理决策。其中,步骤S307的具体实施方式可以参见上述实施例中步骤S205的相关描述,此处不再赘述。
在本申请实施例中,当检测用户想要进行目标检测时,首先需要通过检测处理平台针对目标检测进行配置,该检测配置可分为:a.配置检测基本信息(例如目标检测的检测标识、目标检测所涉及目标业务的业务标识,检测负责人等等);b.配置检测指标;c.配置目标检测的检测组和对照组,此处的配置包括配置检测组和对照组各自对应的流量分配配置数据。在检测配置完成后,用户可以通过检测处理平台发送针对目标检测的启动触发请求,该启动触发请求中携带有上述针对目标检测的检测配置数据。
平台服务器接收到该启动触发请求后,可从检测配置数据中获取针对检测组和对照组的流量分配配置数据,并依照流量分配配置数据,将与目标检测所涉及目标业务关联的目标用户分配至检测组和对照组中,从而完成对检测组和对照组的流量分配。示例性地,上述流量分配配置数据为流量分配比例,以目标用户为微信用户为例,假设微信用户总量为10000,针对检测组配置的流量分配比例为5%,那么可以将500个微信用户分配至检测组。
在一个实施例中,针对检测组或者对照组的配置页面可以如图4所示,检测用户可以依照配置页面显示的剩余流量比例,并结合自身的需求配置针对检测组或者对照组的流量分配比例。或者,当检测用户不知如何设置流量分配比例时,也可以点击图4中的“流量建议”按钮获取流量建议,以辅助用户设置上述流量分配比例的具体数值。其中,流量建议的具体方式为:按照预设流量分配系数*剩余流量比例的方式进行流量建议。例如,目前剩余流量比例为50%,预设流量分配系数为0.1,那么可以生成用于指示将流量分配比例设置为5%的流量建议。其中,预设流量分配系数为检测系统的开发人员基于检测数据预先配置的,后续可以依照实际需求进行调整。
平台服务器可以在执行针对检测组和对照组的流量分配之前,依照随机分配算法将所有的目标用户随机分配到不同的桶中,这里的随机分配算法可以为:对每一个目标用户的用户ID取余,拥有相同的余数的目标用户将会被分配到同一个桶中。后续,在平台服务器检测到针对目标检测的启动触发请求时,可以从检测配置数据中获取针对检测组和对照组的流量分配比例,按照检测组和对照组各自对应的流量分配比例计算出相应的桶数,并以桶为单位,将对应桶数的目标用户随机分配至检测组和对照组中。
示例性地,仍以目标用户为微信用户为例,假设微信用户的总量为10000,平台服务器已预先将10000个微信用户随机分配至100个桶,每个桶包括100个微信用户,目标检测包括1个检测组和1个对照组,检测用户针对检测组和对照组配置的流量分配比例均为5%,那么平台服务器可以按照检测组和对照组各自对应的流量分配比例计算出,分配至检测组和对照组的桶数均为5,进而从100个桶中随机选取5个桶的微信用户分配至检测组,另外5个桶的微信用户分配至对照组。
在一个实施中,上述检测配置数据中包括目标检测的检测标识(例如检测名称、检测编号等等),以及目标检测所涉及目标业务的业务标识,在计算各检测指标对应的p值之后,还可以从检测配置数据中获取目标检测的检测标识,以及目标检测所涉及目标业务的业务标识,并将检测标识、业务标识和各检测指标对应的p值,作为各检测指标对应的检测信息存储至目标存储区域;其中,任一检测指标对应的检测信息包括:检测标识、业务标识和任一检测指标对应的p值。示例性地,对于每一个检测的每一个检测指标均可以以[检测标识-业务标识-检测指标标识-p值]作为一条对应的检测信息保存在目标存储区中,便于后续进行目标任务的分析。例如,对于每一个检测指标而言,可以依照目标存储区中存储的每一个检测的每一个检测指标的检测信息,计算出有多少组出现了显著性差异的比例,如果任一检测指标中出现显著性差异的比例高于指定比例阈值,则说明该检测指标可能有问题,需要该检测指标负责人及时分析原因。
其中,上述目标存储区可以为平台服务器的数据库(即本地存储区域),也可以为区块链。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。平台产品服务层提供典型应用的基本能力和实现框架,开发人员可以基于这些基本能力,叠加业务的特性,完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。本申请实施例,可以通过区块链存储每一个检测的每一个检测指标对应的检测信息,有利于防止检测信息被篡改。
在一个实施例中,上述针对目标任务的分析可以以目标维度执行,具体地,可从上述目标存储区域中获取目标维度下与指定维度指标关联的多个目标检测信息,对多个目标检测信息中包括的p值进行均匀分布检测,确定并输出目标维度下的均匀分布检测结果。其中,目标维度可包括业务维度或者指标维度,业务维度下的指定维度指标为指定业务(例如微信直播、微信视频号等等),指标维度下的指定维度指标为指定检测指标。采用这样的方式,检测用户查看上述均匀分布检测结果后,可以依照该均分分布检测结果判断指定业务对应的业务接口是否存在异常,或者判断指定检测指标的配置是否存在异常。
进一步地,在确定目标维度下的均匀分布检测结果之后,若均匀分布检测结果指示了多个目标检测信息中包括的p值不满足均匀分布,则可将多个目标检测信息写入非均匀分布检测表。后续,可依照非均匀分布检测表,统计指定维度指标所涉及的非均匀分布检测的检测数量,根据检测数量确定非均匀分布检测占指定维度指标所涉及所有检测的非均匀分布比例,若非均匀分布比例满足异常条件,则输出与指定维度指标关联的告警信息。
其中,上述异常条件可以为:指定维度指标对应的上述非均匀分布比例减去其它指定维度指标对应的非均匀分布比例得到的差值,大于差值阈值(例如5%)。这种情况下,可以表征指定维度指标所涉及的检测出现非均匀分布的概率,远高于其它指定维度指标所涉及检测出现非均匀分布的概率。这种情况下,若指定维度指标为指定业务,则可能是指定业务对应的业务接口出现问题,那么输出的告警信息可以用于提示指定业务对应的业务接口存在异常,以便于检测用户及时排查业务接口出现的问题。若指定维度指标为指定检测指标,则可能是指定检测指标的配置出现的问题,那么输出的告警信息可以用于提示指定检测指标的配置存在异常,以便于检测用户及时排查指定检测指标出现的问题。
在一个实施例中,上述对多个目标检测信息中包括的p值进行均匀分布检测,确定目标维度下的均匀分布检测结果的具体实施方式为:通过目标检验方法确定多个目标检测信息中包括的p值对应的累计分布函数,计算累计分布函数与预期分布函数之间的差异值,若差异值大于差异阈值,则确定多个目标检测信息中包括的p值不满足均匀分布,并生成用于指示多个目标检测信息中包括的p值不满足均匀分布的均匀分布检测结果。
其中,上述目标检验方法可以指K-S检验方法,Anderson–Darling检验方法以及Kuiper's检验方法等等,以下以目标检测处理方法为K-S检验方法为例,详细说明计算累计分布函数的具体过程:
首先,获取n个与指定维度指标关联的数据点x
进一步地,计算n个数据点的累计分布函数F
其中,
预期分布函数F(x)为:
D
表2
下面以微信视频号为应用场景,将上述所提及的基于历史对象数据的检测处理方法的具体应用进行详细阐述。假设目标检测的目的为:探索改变推荐策略对用户浏览时长的影响,推荐策略A为现有策略,推荐策略B为增加推荐与用户当前浏览内容同种类别的比例,推荐策略C为增加推荐与用户当前浏览内容不同类别的比例。这种情况下,目标检测的对照组为保持现有策略A的组(记为对照组X),目标检测的检测组为接受新的推荐策略B和推荐策略C的组(分别记为检测组Y和检测组Z)。
在正式开始目标检测之前,需要检验X、Y和Z组在接受这些推荐策略前,用户的浏览时长本身是没有显著差异的。为了检测X、Y和Z组在接受这些推荐策略前,用户的浏览时长本身是否存在显著差异,也即X、Y和Z组是否同质,本申请实施例采取的处理流程如图5所示,具体地,直接获取检测组和对照组用户与目标检测关联的历史对象数据,根据历史对象数据计算检测组和对照组在检测指标下的值,并依照检测组和对照组在检测指标下的值计算每个检测指标对应的p值。
进一步地,得到每个检测指标对应的p值之后,一方面可以依照该p值判断X、Y和Z组是否同质,从而做出检测决策,具体地,X、Y和Z组同质,则说明X、Y和Z组在接受这些推荐策略前,用户的浏览时长本身不存在显著差异,在此前提下,在执行目标检测,有利于保证后续检测结果的有效性;反之,X、Y和Z组不同质,则说明X、Y和Z组在接受这些推荐策略前,至少有一组用户的浏览时长本身存在显著差异,在此前提下,则不可执行实际的目标检测,需要去分析不同质的原因(偶然因素或是检测设计问题)。
另一方面,可以记录每个检测指标对应的检测信息([检测标识-业务标识-检测指标标识-p值]),以便后续依照该检测信息判断检测指标和检测系统的准确性。
具体地,当用户想要进行目标检测时,可以首先通过检测处理平台针对目标检测进行检测配置,在检测配置完成后,用户可以通过检测处理平台发送针对目标检测的启动触发请求,该启动触发请求中携带有针对目标检测的检测配置数据。进一步地,平台服务器接收到该启动触发请求后,可向检测组和对照组分配与目标检测所涉及目标业务关联的目标用户(例如目标业务为微信视频号,那么目标用户即为微信用户),从而完成检测组和对照组的流量分配。这种情况下,以每个检测指标对应的p值通过Welch’s方差分析计算得到为例,进一步详细阐述上述图5对应的处理流程。
请参见图6,平台服务器可以获取针对目标检测的检测配置数据,获取检测组和对照组用户与目标检测关联的历史对象数据,依照历史对象数据计算检测组和对照组在各检测指标下的值。进一步地,可对检测组和对照组在各检测指标下的值进行Welch’s方差分析,以确定各检测指标对应的p值,若基于各检测指标对应的p值确定X、Y和Z组不同质,则需要分析潜在原因,若基于各检测指标对应的p值确定X、Y和Z组同质,则可以进行下一步的AB检测,即正式执行目标检测,对对照组X维持现有策略,对检测组Y执行新的推荐策略B,对检测组Z执行新的推荐策略C,探索改变推荐策略对用户浏览时长的影响。除此以外,另外,对于每个检测的每个指标的p值,以[检测ID-业务ID-指标ID-p值]作为每一条记录保存在目标存储区域中,便于后续目标任务的分析。
请参见图7,上述针对目标任务的分析可以以目标维度执行,目标维度可以为业务维度和指标维度。以指标维度为例,首先可以以指定检测指标为维度获取指定检测指标对应的所有p值,对这些p值作K-S检测,判断这些p值是否满足均匀分布,若满足不均匀分布则确定这些p值对应的检测(也可以理解为上述指定检测指标所涉及的所有检测)为非均匀分布检测,记录不满足均匀分布的检测信息,此处不满足均匀分布的检测信息的记录方式依然是按照[检测ID-业务ID-指标ID-p值]的方式记录。
进一步地,可以统计指定检测指标下不满足均匀分布的检测比例(即上述非均匀分布比例),若非均匀分布比例减去其它检测指标下非均匀分布的检测比例的差值,大于差值阈值(例如5%),则说明指定检测指标的配置可能出现了问题,可以输出用于提示指定检测指标的配置存在异常的告警信息,以便于检测用户及时排查指定检测指标出现的问题。
与指标维度分析相似的方式,当以业务维度进行分析时,首先可以以指定业务为维度获取指定业务对应的所有p值,对这些p值作K-S检测,判断这些p值是否满足均匀分布,若满足不均匀分布则确定这些p值对应的检测(也可以理解为上述指定业务所涉及的所有检测)为非均匀分布检测,记录不满足均匀分布的检测信息,此处不满足均匀分布的检测信息的记录方式依然是按照[检测ID-业务ID-指标ID-p值]的方式记录。
进一步地,可以统计指定业务下不满足均匀分布的检测比例(即上述非均匀分布比例),若此处的非均匀分布比例减去其它业务下均匀分布的检测比例的差值,大于差值阈值(例如5%),则说明指定业务对应的业务接口可能出现了问题,可以输出用于提示指定业务对应的业务接口存在异常的告警信息,以便于检测用户及时排查指定业务对应业务接口出现的问题。
本申请实施例还提供了一种计算机存储介质,该计算机存储介质中存储有程序指令,该程序指令被执行时,用于实现上述实施例中描述的相应方法。
再请参见图8,是本申请实施例的一种基于历史对象数据的检测处理装置的结构示意图,本申请实施例的基于历史对象数据的检测处理装置可以设置在上述平台服务器中,也可以为运行于平台服务器中的一个计算机程序(包括程序代码)。
本申请实施例的装置的一个实现方式中,装置包括如下结构。
通信单元80,用于接收针对目标检测的启动触发请求,所述启动触发请求携带有所述目标检测对应的检测配置数据,所述检测配置数据包括所述目标检测所涉及目标业务的业务标识,以及多个检测指标;
获取单元81,用于向所述目标业务对应的目标业务系统,获取所述目标检测的检测组和对照组中各对象与各检测指标关联的历史对象数据;
计算单元82,用于依照所述历史对象数据,计算所述检测组和对照组在各检测指标下的值;
处理单元83,用于根据所述检测组和对照组在各检测指标下的值对所述检测组和所述对照组进行同质性检测,生成同质性检测结果,并依照所述同质性检测结果对所述目标检测执行处理决策,所述同质性检测结果用于表征所述检测组和所述对照组是否同质。
在一个实施例中,处理单元83,具体用于:
根据所述检测组和对照组在各检测指标下的值,计算所述各检测指标对应的p值;
若所述各检测指标中p值小于显著性水平的检测指标的数量满足数量条件,则确定所述检测组和所述对照组同质,并生成用于表征所述检测组和所述对照组同质的同质性检测结果;
若所述各检测指标中p值小于显著性水平的检测指标的数量不满足数量条件,则确定所述检测组和所述对照组不同质,并生成用于表征所述检测组和所述对照组不同质的同质性检测结果。
在一个实施例中,所述启动触发请求中携带有针对所述目标检测的检测配置数据,处理单元83,还用于:
从所述检测配置数据中获取针对所述检测组和所述对照组的流量分配配置数据;
依照所述流量分配配置数据,将与所述目标检测所涉及目标业务关联的目标用户分配至所述检测组和对照组中。
在一个实施例中,所述检测配置数据中包括所述目标检测的检测标识,以及所述目标检测所涉及目标业务的业务标识,处理单元83,还用于:
从所述检测配置数据中获取所述目标检测的检测标识,以及所述目标检测所涉及目标业务的业务标识;
将所述检测标识、所述业务标识和所述各检测指标对应的p值,作为所述各检测指标对应的检测信息存储至目标存储区域;其中,任一检测指标对应的检测信息包括:所述检测标识、所述业务标识和所述任一检测指标对应的p值。
在一个实施例中,处理单元83,还用于:
从所述目标存储区域中获取目标维度下与指定维度指标关联的多个目标检测信息;
对所述多个目标检测信息中包括的p值进行均匀分布检测,确定并输出所述目标维度下的均匀分布检测结果。
在一个实施例中,处理单元83,还用于:
若所述均匀分布检测结果指示了所述多个目标检测信息中包括的p值不满足均匀分布,则将所述多个目标检测信息写入非均匀分布检测表。
在一个实施例中,处理单元83,还用于:
依照所述非均匀分布检测表,统计所述指定维度指标所涉及的非均匀分布检测的检测数量;
根据所述检测数量确定所述非均匀分布检测占所述指定维度指标所涉及所有检测的非均匀分布比例;
若所述非均匀分布比例满足异常条件,则输出与所述指定维度指标关联的告警信息。
在一个实施例中,所述目标维度包括业务维度或者指标维度,所述业务维度下的指定维度指标为指定业务,所述指标维度下的指定维度指标为指定检测指标;
其中,若所述指定维度指标为指定业务,则所述告警信息用于提示所述指定业务对应的业务接口存在异常;
若所述指定维度指标为指定检测指标,则所述告警信息用于提示所述指定检测指标的配置存在异常。
在一个实施例中,处理单元83,还用于:
若所述同质性检测结果用于表征所述检测组和所述对照组同质,则对所述检测组和所述对照组执行所述目标检测。
在一个实施例中,计算单元81,具体用于:对所述检测组和对照组在各检测指标下的值进行韦尔奇方差分析,确定所述各检测指标对应的p值。
在一个实施例中,处理单元83,具体用于:
通过目标检验方法确定所述多个目标检测信息中包括的p值对应的累计分布函数;
计算所述累计分布函数与预期分布函数之间的差异值;
若所述差异值大于差异阈值,则确定所述多个目标检测信息中包括的p值不满足均匀分布,并生成用于指示所述多个目标检测信息中包括的p值不满足均匀分布的均匀分布检测结果。
在本申请实施例中,上述各个单元的具体实现可参考前述各个附图所对应的实施例中相关内容的描述。
本申请实施例中,当检测处理装置检测到针对目标检测的启动触发请求时,可获取启动触发请求携带的检测配置数据,该检测配置数据包括目标检测所涉及目标业务的业务标识,以及多个检测指标。进一步地,可向目标业务对应的目标业务系统,获取目标检测的检测组和对照组中各对象与各检测指标关联的历史对象数据,依照历史对象数据计算检测组和对照组在各检测指标下的值,并根据检测组和对照组在各检测指标下的值对检测组和对照组进行同质性检测,生成同质性检测结果,并依照同质性检测结果对目标检测执行处理决策,从而完成与目标检测关联的AA检测。通过实施本申请实施例,可以直接基于与目标检测关联的历史对象数据进行AA检测,高效地缩短检测时长。
再请参见图9,是本申请实施例的一种服务器的结构示意图,本申请实施例的服务器包括供电模块等结构,并包括处理器90、存储装置91以及通信接口92。处理器90、存储装置91以及通信接口92之间可以交互数据,由处理器90实现相应的基于历史对象数据的检测功能。
存储装置91可以包括易失性存储装置(volatile memory),例如随机存取存储装置(random-access memory,RAM);存储装置91也可以包括非易失性存储装置(non-volatile memory),例如快闪存储装置(flash memory),固态硬盘(solid-state drive,SSD)等;存储装置91还可以包括上述种类的存储装置的组合。
处理器90可以是中央处理器90(central processing unit,CPU)。在一个实施例中,处理器90还可以是图形处理器90(Graphics Processing Unit,GPU)。处理器90也可以是由CPU和GPU的组合。在服务器中,可以根据需要包括多个CPU和GPU进行相应的基于历史对象数据的检测。
通信接口92可以包括显示器(LCD等)、扬声器等。
在一个实施例中,存储装置91用于存储程序指令。处理器90可以调用程序指令,实现如本申请实施例中上述涉及的各种方法。
在第一个可能的实施方式中,服务器的处理器90,调用存储装置91中存储的程序指令,用于通过通信接口92接收针对目标检测的启动触发请求,所述启动触发请求携带有所述目标检测对应的检测配置数据,所述检测配置数据包括所述目标检测所涉及目标业务的业务标识,以及多个检测指标;向所述目标业务对应的目标业务系统,获取所述目标检测的检测组和对照组中各对象与各检测指标关联的历史对象数据;依照所述历史对象数据,计算所述检测组和对照组在各检测指标下的值;根据所述检测组和对照组在各检测指标下的值对所述检测组和所述对照组进行同质性检测,生成同质性检测结果,所述同质性检测结果用于表征所述检测组和所述对照组是否同质。
在一个实施例中,处理器90,具体用于:
根据所述检测组和对照组在各检测指标下的值,计算所述各检测指标对应的p值;
若所述各检测指标中p值小于显著性水平的检测指标的数量满足数量条件,则确定所述检测组和所述对照组同质,并生成用于表征所述检测组和所述对照组同质的同质性检测结果;
若所述各检测指标中p值小于显著性水平的检测指标的数量不满足数量条件,则确定所述检测组和所述对照组不同质,并生成用于表征所述检测组和所述对照组不同质的同质性检测结果。
在一个实施例中,所述启动触发请求中携带有针对所述目标检测的检测配置数据,处理器90,还用于:
从所述检测配置数据中获取针对所述检测组和所述对照组的流量分配配置数据;
依照所述流量分配配置数据,将与所述目标检测所涉及目标业务关联的目标用户分配至所述检测组和对照组中。
在一个实施例中,所述检测配置数据中包括所述目标检测的检测标识,以及所述目标检测所涉及目标业务的业务标识,处理器90,还用于:
从所述检测配置数据中获取所述目标检测的检测标识,以及所述目标检测所涉及目标业务的业务标识;
将所述检测标识、所述业务标识和所述各检测指标对应的p值,作为所述各检测指标对应的检测信息存储至目标存储区域;其中,任一检测指标对应的检测信息包括:所述检测标识、所述业务标识和所述任一检测指标对应的p值。
在一个实施例中,处理器90,还用于:
从所述目标存储区域中获取目标维度下与指定维度指标关联的多个目标检测信息;
对所述多个目标检测信息中包括的p值进行均匀分布检测,确定并输出所述目标维度下的均匀分布检测结果。
在一个实施例中,处理器90,还用于:
若所述均匀分布检测结果指示了所述多个目标检测信息中包括的p值不满足均匀分布,则将所述多个目标检测信息写入非均匀分布检测表。
在一个实施例中,处理器90,还用于:
依照所述非均匀分布检测表,统计所述指定维度指标所涉及的非均匀分布检测的检测数量;
根据所述检测数量确定所述非均匀分布检测占所述指定维度指标所涉及所有检测的非均匀分布比例;
若所述非均匀分布比例满足异常条件,则通过通信接口92输出与所述指定维度指标关联的告警信息。
在一个实施例中,所述目标维度包括业务维度或者指标维度,所述业务维度下的指定维度指标为指定业务,所述指标维度下的指定维度指标为指定检测指标;
其中,若所述指定维度指标为指定业务,则所述告警信息用于提示所述指定业务对应的业务接口存在异常;
若所述指定维度指标为指定检测指标,则所述告警信息用于提示所述指定检测指标的配置存在异常。
在一个实施例中,处理器90,还用于:
若所述同质性检测结果用于表征所述检测组和所述对照组同质,则对所述检测组和所述对照组执行所述目标检测。
在一个实施例中,处理器90,具体用于:对所述检测组和对照组在各检测指标下的值进行韦尔奇方差分析,确定所述各检测指标对应的p值。
在一个实施例中,处理器90,具体用于:
通过目标检验方法确定所述多个目标检测信息中包括的p值对应的累计分布函数;
计算所述累计分布函数与预期分布函数之间的差异值;
若所述差异值大于差异阈值,则确定所述多个目标检测信息中包括的p值不满足均匀分布,并生成用于指示所述多个目标检测信息中包括的p值不满足均匀分布的均匀分布检测结果。
在本申请实施例中,上述处理器90的具体实现可参考前述各个附图所对应的实施例中相关内容的描述。
本申请实施例中,当服务器检测到针对目标检测的启动触发请求时,可获取启动触发请求携带的检测配置数据,该检测配置数据包括目标检测所涉及目标业务的业务标识,以及多个检测指标。进一步地,可向目标业务对应的目标业务系统,获取目标检测的检测组和对照组中各对象与各检测指标关联的历史对象数据,依照历史对象数据计算检测组和对照组在各检测指标下的值,并根据检测组和对照组在各检测指标下的值对检测组和对照组进行同质性检测,生成同质性检测结果,并依照同质性检测结果对目标检测执行处理决策,从而完成与目标检测关联的AA检测。通过实施本申请实施例,可以直接基于与目标检测关联的历史对象数据进行AA检测,高效地缩短检测时长。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所描述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本申请的部分实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于发明所涵盖的范围。
- 基于历史对象数据的检测处理方法、装置、服务器及介质
- 基于对象存储的数据处理方法、装置、服务器和存储介质