掌桥专利:专业的专利平台
掌桥专利
首页

数据处理质量控制方法、装置、计算机设备和存储介质

文献发布时间:2023-06-19 10:35:20


数据处理质量控制方法、装置、计算机设备和存储介质

技术领域

本公开实施例涉及计算机技术领域,特别是涉及一种数据处理质量控制方法、装置、计算机设备和存储介质。

背景技术

目前,在互联网共享出行的分布式大数据环境下,平台接入的数据量非常庞大而且需要分析的业务数据也越来越多,那么平台对业务数据的分析处理质量就成为一个急需关注的问题,即需要对业务数据的分析处理的质量进行控制。

相关技术中,在控制业务数据的分析处理的质量时,业内大多是根据业务数据的产出等情况设置质量监控规则,并在触发质量监控规则时产生告警,以此来对业务数据的分析处理的质量实现控制。

然而上述对业务数据的分析处理的质量控制效果较差。

发明内容

本公开实施例提供一种数据处理质量控制方法、装置、计算机设备和存储介质,可以提高对业务数据的分析处理的质量控制效果。

第一方面,本公开实施例提供一种数据处理质量控制方法,该方法包括:

获取任务的特征数据;上述特征数据包括任务的基础元数据和任务的相关质量指标;

将上述任务的特征数据输入至预设的数据质量量化模型中进行量化处理,确定上述任务的量化结果;其中,上述量化结果包括任务的处理质量量化值以及任务的待改进的质量指标;上述数据质量量化模型是基于任务的特征数据与上述任务的量化方式确定的;

根据上述任务的处理质量量化值以及任务的待改进的质量指标对上述任务的处理质量进行控制。

第二方面,本公开实施例提供一种数据处理质量控制装置,该装置包括:

获取模块,用于获取任务的特征数据;上述特征数据包括任务的基础元数据和任务的相关质量指标;

量化模块,用于将上述任务的特征数据输入至预设的数据质量量化模型中进行量化处理,确定上述任务的量化结果;其中,上述量化结果包括任务的处理质量量化值以及任务的待改进的质量指标;上述数据质量量化模型是基于任务的特征数据与上述任务的量化方式确定的;

控制模块,用于根据上述任务的处理质量量化值以及任务的待改进的质量指标对上述任务的处理质量进行控制。

第三方面,本公开实施例提供一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

第四方面,本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法。

本公开实施例提供的数据处理质量控制方法、装置、计算机设备和存储介质,通过获取任务的特征数据,将任务的特征数据输入至数据质量量化模型中进行量化处理,确定任务的量化结果,并根据量化结果中任务的处理质量量化值以及任务的待改进的质量指标对任务的处理质量进行控制;其中,任务的特征数据包括任务的基础元数据和任务的相关质量指标,数据质量量化模型是基于任务的特征数据与任务的量化方式确定的。在该方法对数据质量进行控制时,由于考虑了任务的数据本身,相当于考虑了任务的特性,而且数据质量量化模型与任务的特征数据相关联,设置的也比较精细,因此通过该方法对数据质量控制的效果更好;同时由于该方法还可以给出待改进的质量指标,这样可以根据待改进的质量指标有针对性地对任务进行改进和优化,完善数据质量控制过程。另外,本公开的各种可行实施例及其技术优势将在下文进行详述。

附图说明

图1为一个实施例中数据处理质量控制方法的应用环境图;

图2为一个实施例中数据处理质量控制方法的流程示意图;

图2a为一个实施例中一组任务中的基线的示例图;

图3为另一个实施例中数据处理质量控制方法的流程示意图;

图4为另一个实施例中数据处理质量控制方法的流程示意图;

图5为另一个实施例中数据处理质量控制方法的流程示意图;

图6为另一个实施例中数据处理质量控制方法的流程示意图;

图7为另一个实施例中数据处理质量控制方法的流程示意图;

图8为另一个实施例中数据处理质量控制方法的流程示意图;

图9为另一个实施例中数据处理质量控制方法的流程示意图;

图10为另一个实施例中数据处理质量控制方法的流程示意图;

图11为另一个实施例中数据处理质量控制方法的流程示意图;

图12为一个实施例中数据处理质量控制装置的结构框图;

图13为另一个实施例中数据处理质量控制装置的结构框图;

图14为另一个实施例中数据处理质量控制装置的结构框图;

图15为另一个实施例中数据处理质量控制装置的结构框图;

图16为另一个实施例中数据处理质量控制装置的结构框图;

图17为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本公开实施例的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本公开实施例进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本公开实施例,并不用于限定本公开实施例。

首先,在具体介绍本公开实施例的技术方案之前,先对本公开实施例基于的技术背景或者技术演进脉络进行介绍。通常情况下,在数据处理领域,当前的技术背景是:业务平台接入的数据量非常多且需要分析的业务数据也越来越多,那么对业务数据的分析处理质量控制就显得尤为重要。基于该背景,申请人通过长期的数据分析处理过程中,发现业内大多是根据业务数据的产出等情况设置质量监控规则,并在触发质量监控规则时产生告警,以此来对业务数据的分析处理的质量实现控制。而如何多维度的对业务数据的分析处理质量进行控制,成为目前亟待解决的难题。另外,需要说明的是,从确定多维度控制以及下述实施例介绍的技术方案,申请人均付出了大量的创造性劳动。

下面结合本公开实施例所应用的场景,对本公开实施例涉及的技术方案进行介绍。

本公开实施例提供的数据处理质量控制方法,可以应用于如图1所示的应用环境。其中,质量控制平台包括多个组织,每个组织下包括多个个体,每个个体下包括多个业务,每个业务下包括多个任务。在平台开机后,每个任务可以运行,然后通过对任务进行数据处理质量控制,得到每个任务的质量量化结果;接着通过对每个业务下的多个任务的质量量化结果进行组合,获得每个业务的质量量化结果;之后对每个个体下的多个业务的质量量化结果进行组合,获得每个个体的质量量化结果;最后对每个组织下的多个个体的质量量化结果进行组合,获得每个组织的质量量化结果。

需要说明的是,本公开的执行主体可以是计算机设备,也可以是数据处理质量控制装置,以下就以计算机设备为执行主体来对本公开的技术方案进行说明。

在一个实施例中,提供了一种数据处理质量控制方法,本实施例涉及的是如何通过任务的特征数据得到任务的处理质量量化值以及待改进的质量指标,并对任务的处理质量进行控制的具体过程。如图2所示,该方法可以包括以下步骤:

S202,获取任务的特征数据;上述特征数据包括任务的基础元数据和任务的相关质量指标。

在本步骤中,任务可以是实现某些业务功能的计算机程序,也可以是其他内容等。这里获取的任务的特征数据可以是一个或多个任务的特征数据。

另外,任务的基础元数据指的是与任务的属性相关的数据,其可以用来反映任务的特性,例如可以用来反映任务被处理时的特性。可选的,该任务的基础元数据可以包括任务所在的基线的基线元数据,该基线元数据可以包括基线ID,还可以包括基线优先级等。

示例地,假设任务所在的基线的基线元数据可以包括基线ID和基线优先级。其中,基线指的是一组任务节点的管理单位,例如参见图2a所示,任务B下面有两个分支,一个分支为任务C和任务D,另一个分支为任务E和任务F,这里任务E和任务F就组成一个基线,记为基线A,这里的A就是基线A的基线ID;这里任务C和任务D就组成一个基线,记为基线B,这里的B就是基线B的基线ID。同样的,基线优先级指的是基线被处理的优先级,这里可以预先可以设置好基线A和基线B的基线优先级,那么在任务B执行完之后,具体执行的分支可以通过基线A和基线B的优先级决定,例如,哪个基线的基线优先级高就可以预先执行哪个基线。

进一步地,任务的相关质量指标可以包括任务处理的及时性指标和准确性指标,及时性指标指的是任务被处理的是否及时的指标,准确性指标指的是任务被处理的是否准确的指标。

示例地,任务的及时性指标可以包括任务的保障时间设置指标,这里任务的保障时间设置指标指的是任务是否设置保障时间,其中,保障时间指的是任务保证完成的时间;再例如,任务的准确性指标可以包括任务的数据质量规则配置指标,这里任务的数据质量规则配置指标指的是任务是否配置数据质量规则,数据质量规则例如可以包括数据的产出是否为0等等。

以上介绍的仅是任务的基础元数据和任务的相关质量指标的示例,并不对任务的特征数据构成限定。

具体的,在运行任务前后,可以获得任务的基础元数据以及相关质量指标,即获得任务的特征数据。

S204,将上述任务的特征数据输入至预设的数据质量量化模型中进行量化处理,确定上述任务的量化结果;其中,上述量化结果包括任务的处理质量量化值以及任务的待改进的质量指标;上述数据质量量化模型是基于任务的特征数据与上述任务的量化方式确定的。

在本步骤中,数据质量量化模型可以是机器学习模型(例如可以是神经网络模型),也可以是表征任务的特征数据和任务的量化方式之间相关关系的模型,当然还可以是其他类型的模型,本实施例不做具体限定。

具体的,在上述获得任务的特征数据之后,可以将特征数据中的部分特征数据,或者全部特征数据输入至数据质量量化模型中,通过数据质量量化模型中的量化方式对任务的特征数据进行量化处理,得到任务对应的处理质量量化值,同时在量化处理过程中,可以通过参与量化过程的特征数据获得待改进的质量指标。这里待改进的质量指标主要针对任务的特征数据中的相关质量指标而言,主要是上述相关质量指标中需要进一步改进的质量指标。

示例地,这里获得的任务的待改进的质量指标可以为任务的保障时间设置指标,即任务未设置保障时间。

S206,根据上述任务的处理质量量化值以及任务的待改进的质量指标对上述任务的处理质量进行控制。

在本步骤中,在获得任务的处理质量量化值以及待改进的质量指标之后,可以结合任务的处理质量量化值,针对待改进的质量指标进行调整或重新配置等,使得调整或重新配置后的质量指标在后期输入至数据质量量化模型中进行量化处理之后,可以得到满足要求的任务处理质量量化值,即实现对任务的处理质量进行控制,得到任务较好的处理质量。

示例地,继续以上述任务的待改进的质量指标为任务的保障时间设置指标,即任务未设置保障时间为例,那么这里在对任务的处理质量进行控制时,就可以对任务设置保障时间,以对任务的处理质量进行控制。

上述数据处理质量控制方法中,通过获取任务的特征数据,将任务的特征数据输入至数据质量量化模型中进行量化处理,确定任务的量化结果,并根据量化结果中任务的处理质量量化值以及任务的待改进的质量指标对任务的处理质量进行控制;其中,任务的特征数据包括任务的基础元数据和任务的相关质量指标,数据质量量化模型是基于任务的特征数据与任务的量化方式确定的。在该方法对数据质量进行控制时,由于考虑了任务的数据本身,相当于考虑了任务的特性,而且数据质量量化模型与任务的特征数据相关联,设置的也比较精细,因此通过该方法对数据质量控制的效果更好;同时由于该方法还可以给出待改进的质量指标,这样可以根据待改进的质量指标有针对性地对任务进行改进和优化,完善数据质量控制过程。

在另一个实施例中,上述数据质量量化模型包括任务的多个量化方式,每个量化方式对应任务不同维度的特征数据。

其中,这里不同维度可以是任务不同的基础元数据的维度,例如上述提到的任务的基础元数据包括任务所在的基线的基线元数据,该基线元数据可以包括基线ID和基线优先级两个维度的特征数据;也可以是任务的处理及时性维度以及处理准确性维度等多维度。这里数据质量量化模型包括任务的多个量化方式,由于任务具有多个维度的特征数据,故而,每个任务可以对应多个不同的量化方式,每个量化方式对应该任务不同维度的特征数据。

另外,这里的数据质量量化模型可以是机器学习模型,也可以是表征任务的特征数据和任务的量化方式之间相关关系的模型,以下就对这两种可能的实施方式进行说明:

在一种可能的实施方式中,以数据质量量化模型为机器学习模型为例,这里在获得数据质量量化模型时,可以预先获取多个训练任务的特征数据、每个训练任务对应的多个量化方式以及每个训练任务对应的标准处理质量量化值(可以称为金标准处理质量量化值)以及标准待改进质量指标(可以称为金标准待改进质量指标);之后,可以将每个训练任务的特征数据输入至初始数据质量量化模型中,通过多个量化方式分别对每个训练任务进行量化处理,得到每个训练任务对应的预测处理质量量化值以及预测待改进质量指标;然后,可以通过计算各个训练任务的预测处理质量量化值与对应的标准处理质量量化值之间的第一损失,以及计算各个训练任务的预测待改进质量指标与对应的标准待改进质量指标之间的第二损失;最后,可以通过各个训练任务的第一损失和第二损失,对初始数据质量量化模型中的多个量化方式进行调整,实现对初始数据质量量化模型进行训练,得到训练好的数据质量量化模型。

在另一种可能的实施方式中,以数据质量量化模型为表征任务的特征数据和任务的量化方式之间相关关系的模型为例,可选的,上述数据质量量化模型用于表征任务的特征数据与任务的量化方式之间的对应关系。这里在获得数据质量量化模型时,可以预先获取多个训练任务的特征数据以及多个量化方式,每个训练任务的特征数据包括以上提到的多维度不同的特征数据,然后通过建立不同的特征数据与不同量化方式之间的对应关系,获得数据质量量化模型。在使用该数据质量量化模型时,这里任务不同的特征数据对应不同的量化方式,通过不同的量化方式对不同维度的特征数据进行量化处理,可以获得任务在不同的特征数据下的处理质量量化值以及待改进的质量指标,进而获得任务的处理质量量化值以及待改进的质量指标。

本实施例中,数据质量量化模型包括任务的多个量化方式,每个量化方式对应任务不同维度的特征数据。这样在对任务进行量化处理时,可以采用多个量化方式对任务的不同维度的特征数据进行量化处理,即对任务进行量化处理时考虑的数据维度比较多,同时设置的量化方式丰富合理,那么最终获得的数据的处理质量量化值就比较准确,进而通过该准确的处理质量量化值对任务的处理质量进行控制时,就可以更准确地进行控制。进一步地,由于数据质量量化模型用于表征任务的特征数据与任务的量化方式之间的对应关系。这样在对任务进行量化处理时,通过任务的特征数据与任务的量化方式之间的对应关系,可以快速获得不同的特征数据对应的量化方式,这样就可以快速对特征数据进行量化,从而可以加快对任务整体进行量化处理的速度,即可以提高对任务进行量化处理的效率。

在另一个实施例中,提供了另一种数据处理质量控制方法,本实施例涉及的是如何通过任务的特征数据以及量化方式对任务进行量化处理,获得任务的量化结果的具体过程。在上述实施例的基础上,如图3所示,上述S204可以包括以下步骤:

S302,根据任务的特征数据和任务对应的量化方式,计算上述任务的及时性量化值和准确性量化值,以及确定上述任务的待改进的质量指标。

在本步骤中,任务的及时性量化值是衡量任务是否被及时处理的量化值,任务的准确性量化值是衡量任务是否被准确处理的量化值。

具体的,计算机设备可以通过任务的基础元数据以及任务处理的及时性指标,获得与及时性指标相对应的量化方式,并通过该量化方式对任务的基础元数据以及任务处理的及时性指标进行量化处理,获得任务的及时性量化值;并且,在获得及时性量化值过程中,也可以获得待改进的及时性指标。

其中,上述提到的任务处理的及时性指标除了可以包括任务的保障时间设置指标,还可以包括对业务承诺时间设置指标、任务的运行实例异常指标、任务的历史运行时长指标、任务的末尾任务指标和任务的下游跨团队关联任务告警设置指标中的至少一个指标。以下分别对这几个及时性指标进行详细说明:

(1)任务的保障时间设置指标用于表征任务是否设置保障时间,对业务承诺时间设置指标用于表征任务是否设置对业务承诺时间;该承诺时间可以为对企业用户的承诺时间,或者对项目完成的承诺时间等。

(2)任务的运行实例异常指标用于表征任务的超时运行时长是否超过设定超时时长阈值;

(3)任务的历史运行时长指标用于表征任务的历史运行时长是否超过设定历史时长阈值;

(4)任务的末尾任务指标用于表征任务的开始时间是否晚于任务所在的基线的基线保障时间;

(5)任务的下游跨团队关联任务告警设置指标用于表征任务在存在下游跨团队关联任务时是否设置告警。

同样的,计算机设备可以通过任务的基础元数据以及任务处理的准确性指标获得与准确性指标相对应的量化方式,并通过该量化方式对任务的基础元数据以及任务处理的准确性指标进行量化处理,获得任务的准确性量化值;并且,在获得准确性量化值过程中,也可以获得待改进的准确性指标。

这里提到的任务处理的准确性指标除了可以包括任务的数据质量规则配置指标,还可以包括任务的质量告警指标;以下分别对这几个准确性指标进行详细说明:

(1)任务的数据质量规则配置指标用于表征任务是否配置数据质量规则;

(2)任务的质量告警指标用于表征任务的强告警次数和弱告警次数之和是否超过设定告警次数。

最后,将上述待改进的及时性指标和待改进的准确性指标组合起来,即可获得该任务的待改进的质量指标。

S304,根据上述任务的及时性量化值和准确性量化值,确定上述任务的处理质量量化值。

在本步骤中,在上述获得任务的及时性量化值和准确性量化值,可以通过对及时性量化值和准确性量化值进行数学运算处理,获得任务的处理质量量化值。这里的数学运算处理可以包括求和处理等等,这里的求和可以包括加权求和、直接求和等等。

本实施例中,通过根据任务的特征数据和对应的量化方式,计算任务的及时性量化值和准确性量化值以及确定待改进的质量指标,同时通过及时性量化值和准确性量化值获得任务的处理质量量化值。这里通过任务的特征数据计算及时性量化值和准确性量化值,即可以针对不同的特征数据计算不同维度的量化值,从而可以计算任务在综合维度下的质量量化值,最终可以利用该综合维度下的质量量化值更好地去对任务的数据质量进行控制,即可以提高任务的处理质量的控制效果。

上述实施例简单介绍了通过任务不同的特征数据以及对应的量化方式计算任务的及时性量化值和准确性量化值,以下就针对及时性量化值和准确性量化值这两个方面,以及将数据质量量化模型划分成不同的数据质量量化子模型,来具体计算任务的及时性量化值和准确性量化值的过程进行详细说明。在说明之前,先对下述实施例可能涉及到的专业术语进行一一解释。

上述提到了任务的基础元数据可以包括任务所在的基线的基线元数据,可选的,该任务的基础元数据还可以包括任务所在的基线关键路径元数据、任务的生产调度元数据、任务的质量配置元数据和任务的质量告警元数据中的至少一个。以下就对这几个基础元数据分别进行说明:

(1)任务的基础元数据可以包括基线ID和基线优先级,还可以包括基线保障时间;其中,基线ID和基线优先级已在上述实施例中提及,这里不再赘述。基线保障时间也可以称为基线时间,指的是基线内的任务的最后完成时间不能晚于的时间。

(2)任务所在的基线关键路径元数据可以包括:调度任务实例、关键路径ID、基线ID和调度任务配置信息中的至少一个。

其中,调度任务实例指的是该任务的运行记录,可以包括任务的历史运行时长、当天运行时长等等。对于关键路径ID,其中关键路径指的是某条基线和其上游任务组成的各条路径中,任务总运行时长最长的路径,该最长的路径的ID即为关键路径ID。基线ID在上述已经提到。调度任务配置信息指的是任务在调度过程中的信息,例如调度涉及的上下游任务的标识等。

(3)任务的生产调度元数据可以包括:任务的生效基线ID、任务的历史平均运行时长、任务是否存在下游跨团队关联任务、调度任务配置信息、运行开始时间和结束时间、任务实际消耗时长、各运行批次及运行状态和任务实时性监控配置信息中的至少一个。

对于任务的生效基线ID,其中,生效基线指的是任务的多个下游基线中基线优先级最高的基线,该基线优先级最高的基线的ID即为生效基线ID。任务是否存在下游跨团队关联任务指的是任务是否存在下游的关联任务,且该关联任务属于其他团队的。这里的调度任务配置信息与上述相同,指的是任务在调度过程中的信息,例如调度涉及的上下游任务的标识等。各运行批次及运行状态指的是任务当前运行的批次以及任务当前运行是否成功。任务的实时性监控配置信息指的是实时监控任务时设置的信息,例如可以设置对任务的监控时间,监控周期等。

(4)任务的质量配置元数据可以包括:数据质量规则、调度任务配置信息和任务的及时性时间中的至少一个。

其中,数据质量规则例如可以包括任务的产出值等。这里的调度任务配置信息与上述相同,指的是任务在调度过程中的信息,例如调度涉及的上下游任务的标识等。任务的及时性时间指的是任务的保障时间。这里任务的保障时间和上述基线保障时间为两个不同的保障时间,任务的保障时间针对的是该任务的保证完成时间,基线保障时间针对的是包括至少一个任务的基线的保证完成时间。

(5)任务的质量告警元数据包括:是否强/弱告警、告警次数、表/字段/自定义告警明细和告警天数中的至少一个。

其中,是否强/弱告警指的是设置的告警的类型,是强告警还是弱告警,这里的强告警指的是强规则告警,例如不论执行何种任务都会被阻断的告警,弱告警指的是弱规则告警,例如可以被忽视的告警。表/字段/自定义告警明细指的是以表或者字段或者自定义方式来表示在告警时告警明细的内容。

在上述介绍完下述实施例可能涉及到的专业术语之后,以下就针对及时性量化值和准确性量化值的计算过程分别进行说明。其中,针对及时性量化值的计算过程可以参见下述图4-图8所示的任一实施例,针对准确性量化值的计算过程可以参见图9-10所示的任一实施例。

图4为本公开实施例提供的数据处理质量控制方法的流程示意图。本实施例中,任务的基础元数据包括任务所在的基线的基线元数据,该基线元数据包括基线优先级;任务的相关质量指标包括任务的保障时间设置指标或对业务承诺时间设置指标;其中,上述任务的保障时间设置指标用于表征上述任务是否设置保障时间,上述对业务承诺时间设置指标用于表征上述任务是否设置对业务承诺时间。在上述实施例的基础上,如图4所示,上述S302中计算及时性量化值的步骤可以包括:

S402,将上述基线优先级和上述任务的保障时间设置指标,或者将上述基线优先级和上述对业务承诺时间设置指标,输入至预设的第一数据质量量化子模型,得到上述任务的第一量化方式。

其中,上述第一数据质量量化子模型用于表征基线优先级和任务的保障时间设置指标与上述任务的第一量化方式之间的对应关系,或者用于表征基线优先级和任务的对业务承诺时间设置指标与上述任务的第一量化方式之间的对应关系。

在本步骤中,第一量化方式可以表征的是对任务的处理质量进行加分或者扣分,以及加多少或者扣多少分。不同维度的特征数据对应不同的量化方式。

这里在获得任务所在基线的基线优先级以及任务的保障时间设置指标或对业务承诺时间设置指标之后,就可以通过第一数据质量量化子模型获得这些特征数据对应的量化方式,记为第一量化方式。

示例地,假设这里任务没有设置保障时间或者没有设置对业务承诺时间,基线优先级从1-10分为10级,总分为100分,最低分为0分,那么这里的第一量化方式可以用如下方式表示:

基线优先级为10且任务没有设置保障时间或者没有设置对业务承诺时间,则第一量化方式为扣60分;

基线优先级为9且任务没有设置保障时间或者没有设置对业务承诺时间,则第一量化方式为扣55分;

基线优先级为8且任务没有设置保障时间或者没有设置对业务承诺时间,则第一量化方式为扣50分;

基线优先级为6-7且任务没有设置保障时间或者没有设置对业务承诺时间,则第一量化方式为扣45分;

基线优先级为1-5且任务没有设置保障时间或者没有设置对业务承诺时间,则第一量化方式为扣40分;

假设任务设置保障时间或者设置对业务承诺时间,不论基线优先级为多少,第一量化方式为不扣分。

S404,根据上述第一量化方式对上述任务进行量化处理,得到上述任务的第一及时性量化值。

在本步骤中,在获得第一量化方式之后,就可以采用上述第一量化方式,对任务的处理质量进行相应量化处理,获得任务的及时性量化值,记为第一及时性量化值。

示例地,假设任务没有设置保障时间,基线优先级为8,那么这里获得的第一量化方式就是扣50分,那么第一及时性量化值就是100-50=50分。

相应地,也可以通过上述第一量化方式对任务的处理质量进行量化处理,获得任务的待改进的质量指标。例如,这里任务没有设置保障时间,那么这里任务的待改进的质量指标就是任务未设置保障时间。

S406,根据上述任务的第一及时性量化值确定上述任务的及时性量化值。

在本步骤中,在获得任务的第一及时性量化值之后,若任务存在这一个相关的质量指标,那么就可以直接将第一及时性量化值作为任务的及时性量化值;若任务还有其他的相关的质量指标,那么就可以结合任务其他的基础元数据以及其他相关的质量指标对应的及时性量化值获得任务的及时性量化值,这一部分将在后续实施例中予以说明。

本实施例中,通过第一数据质量量化子模型,获得与任务的基线优先级和任务的保障时间设置指标对应的第一量化方式,或者获得与任务的基线优先级和对业务承诺时间设置指标对应的第一量化方式,并通过第一量化方式对任务的处理质量进行量化处理,并根据获得的第一及时性量化值确定任务的及时性量化值。这里考虑了基线优先级、任务的保障时间设置指标或对业务承诺时间设置指标等数据,这些数据均是与任务本身的特性相关的数据,而且设置的第一量化方式也是与这几个任务本身的数据相关的,因此采用这些数据以及第一量化方式综合对任务的处理质量进行量化的结果更准,那么通过量化结果对数据质量进行控制的效果也会更优。

在另一个实施例中,提供了另一种数据处理质量控制方法,本实施例涉及的是在计算任务其他相关的质量指标对应的及时性量化值之前,还可以计算任务所在基线的基线系数的具体过程。在上述实施例的基础上,在上述S302之前,上述方法还可以包括以下步骤:根据基线优先级获取上述任务所在的基线的基线系数;其中,上述基线优先级与上述基线系数具有比例关系。

其中,基线系数的范围一般是0-1,即基线系数一般为0-1之间的整数或小根据基线优先级获取上述任务所在的基线的基线系数。另外,基线优先级与基线系数之间的比例关系可以是正比例关系,即基线优先级越大,基线系数越大;也可以是反比例关系,即基线优先级越大,基线系数越小。

在本实施例中,示例性,基线优先级和基线系数之间为正比例关系。以下给出一种示例,假设基线优先级从1-10,基线系数从0-1,那么基线优先级与基线系数之间的关系可以表示为:

基线优先级为10,则基线系数为1;

基线优先级为9,则基线系数为0.8;

基线优先级为8,则基线系数为0.7;

基线优先级为6-7,则基线系数为0.5;

基线优先级为1-5,则基线系数为0.2。

需要说明的是,可以预先根据基线优先级设置好相应的基线系数,在需要使用时直接通过基线优先级获取即可得到。

本实施例中,可以根据基线优先级获取任务所在的基线的基线系数,其中基线优先级与基线系数之间具有比例关系。这里将基线优先级与基线系数关联起来,那么后续在使用基线系数时,也是与基线优先级,即任务的特征数据相关的,那么后续基于基线系数得到的及时性量化值也是比较准确的,进而在对任务的处理质量进行控制时的控制效果也会更好。

图5为本公开实施例提供的数据处理质量控制方法的流程示意图。本实施例中,任务的相关质量指标除了包括任务的保障时间设置指标或对业务承诺时间设置指标之外,还可以包括任务的运行实例异常指标,该运行实例异常指标用于表征任务的超时运行时长是否超过设定超时时长阈值。在上述实施例的基础上,如图5所示,上述S406可以包括以下步骤:

S502,将任务的运行实例异常指标和任务所对应的基线系数输入至预设的第二数据质量量化子模型,得到上述任务的第二量化方式。

本实施例中,计算机设备除了获得任务的运行实例异常指标,还会结合该任务的基线优先级确定任务对应的基线系数,进而将该运行实例异常指标和对应的基线系数输入至第二数据质量量化子模型,获得该任务对应的第二量化方式。该第二数据质量量化子模型用于表征任务的运行实例异常指标与该任务的第二量化方式之间的对应关系。这里的第二量化方式也可以表征对任务的处理质量进行加分或者扣分。

可选的,上述设定超时时长阈值可以是一个超时时长阈值,也可以是多个超时时长阈值。下述通过一个简单的例子介绍计算机设备如何通过第二数据质量量化子模型确定任务的第二量化方式。需要说明的是,在任务的超时运行时长超过相同的设定超时时长阈值时,针对任务的保障时间和针对任务的对业务承诺时间,二者对应的第二量化方式不同。在该例子中,假设有多个超时时长阈值,分别为15分钟、30分钟、60分钟、120分钟,那么确定第二量化方式的过程如下:

若任务的超时运行时长≥15分钟,则针对任务的保障时间,该任务的第二量化方式为【该任务的基线系数】*扣10分;针对对业务承诺时间,该任务的第二量化方式为【该任务的基线系数】*扣20分;

若任务的超时运行时长≥30分钟,则针对任务的保障时间,该任务的第二量化方式为【该任务的基线系数】*扣20分;针对对业务承诺时间,该任务的第二量化方式为【该任务的基线系数】*扣40分;

若任务的超时运行时长≥60分钟,则针对任务的保障时间,该任务的第二量化方式为【该任务的基线系数】*扣30分;针对对业务承诺时间,该任务的第二量化方式为【该任务的基线系数】*扣50分;

若任务的超时运行时长≥120分钟,则针对任务的保障时间,该任务的第二量化方式为【该任务的基线系数】*扣50分;针对对业务承诺时间,该任务的第二量化方式为【该任务的基线系数】*扣70分;

假设任务超时运行时长没有超过全部超时时长阈值,则该任务的第二量化方式为不扣分。

当然,这里的第二量化方式也可以与超过设定超时时长阈值的次数有关,例如针对任务的保障时间,任务的超时运行时长≥30分钟,超过一次,扣20分,超过两次,扣40分等等。

S504,根据上述第二量化方式对上述任务进行量化处理,得到上述任务的第二及时性量化值。

在本步骤中,在获得第二量化方式之后,就可以采用上述第二量化方式,对任务进行相应量化处理,获得任务的及时性量化值,记为第二及时性量化值。

示例地,假设任务的基线优先级为8,任务的超时运行时长≥60分钟,计算机设备根据上述基线优先级与基线系数的实施例,可以确定该基线优先级8所对应的基线系数为0.7,那么针对该任务的保障时间,其对应的第二量化方式就是0.7*扣30分,第二及时性量化值就是100-(0.7×30)=79分。

相应地,也可以通过上述第二量化方式对任务的处理质量进行量化处理,获得任务的待改进的质量指标。例如,任务的超时运行时长≥60分钟,那么这里任务的待改进的质量指标就是任务的超时运行时长大于超时时长阈值。

S506,根据上述任务的第一及时性量化值和上述第二及时性量化值,确定上述任务的及时性量化值。

在本步骤中,在获得任务的第二及时性量化值以及上述的第一及时性量化值之后,可以通过对第一及时性量化值以及第二及时性量化值进行数学处理,获得任务的及时性量化值。当然若任务还有其他相关的质量指标,也可以进一步结合其他相关的质量指标计算任务的及时性量化值,这一部分将在后续实施例中予以说明。

本实施例中,通过第二数据质量量化子模型获得任务运行实例异常指标对应的第二量化方式,通过第二量化方式对任务进行量化处理,并根据获得的第二及时性量化值以及上述第一及时性量化值确定任务的及时性量化值。本实施例中不仅考虑了任务的保障时间设置指标和对业务承诺时间设置指标,还考虑了任务的运行实例异常指标,从任务的完成维度以及任务的运行异常维度出发,综合对任务的处理质量进行及时性评定,因此获得的及时性评定结果更加准确,这样在后续利用该及时性评定结果对数据质量进行控制的效果也会更优。

图6为本公开实施例提供的数据处理质量控制方法的流程示意图。本实施例中,任务的相关质量指标除了包括任务的保障时间设置指标、对业务承诺时间设置指标以及任务的运行实例异常指标之外,还可以包括任务的历史运行时长指标,该历史运行时长指标用于表征任务的历史运行时长是否超过设定历史时长阈值。在上述实施例的基础上,如图6所示,上述S506可以包括以下步骤:

S602,将任务的历史运行时长指标和任务所对应的基线系数输入至预设的第三数据质量量化子模型,得到上述任务的第三量化方式。

本实施例中,计算机设备除了获得任务的历史运行时长指标,还会结合该任务的基线优先级确定任务对应的基线系数,进而将该历史运行时长指标和对应的基线系数输入至第三数据质量量化子模型,获得该任务对应的第三量化方式。该第三数据质量量化子模型用于表征任务的历史运行时长指标与任务的第三量化方式之间的对应关系。这里的第三量化方式也可以表征对任务的处理质量进行加分或者扣分。

可选的,上述历史运行时长可以是历史平均运行时长,上述设定历史时长阈值可以是一个历史时长阈值,也可以是多个历史时长阈值。下述通过一个简单的例子介绍计算机设备如何通过第三数据质量量化子模型确定任务的第三量化方式。在该例子中,假设有多个历史时长阈值,分别为45分钟、60分钟、80分钟、120分钟,那么确定第三量化方式的过程如下:

若该任务的历史运行时长≥45分钟,则该任务的第三量化方式为【该任务的基线系数】*扣25分;

若该任务的历史运行时长≥60分钟,则该任务的第三量化方式为【该任务的基线系数】*扣50分;

若该任务的历史运行时长≥80分钟,则该任务的第三量化方式为【该任务的基线系数】*扣70分;

若该任务的历史运行时长≥120分钟,则该任务的第三量化方式为【该任务的基线系数】*扣90分;

假设该任务的历史运行时长没有超过全部历史时长阈值,则该任务的第三量化方式为不扣分。

S604,根据上述第三量化方式对上述任务进行量化处理,得到上述任务的第三及时性量化值。

在本步骤中,在获得第三量化方式之后,就可以采用上述第三量化方式,对任务进行相应量化处理,获得任务的及时性量化值,记为第三及时性量化值。

示例地,假设任务的基线优先级仍为8,任务的历史运行时长≥45分钟,计算机设备根据上述基线优先级与基线系数的实施例,也可以确定该基线优先级8所对应的基线系数为0.7,那么该任务对应的第三量化方式就是0.7*扣25分,第三及时性量化值就是100-(0.7×25)=82.5分。

相应地,也可以通过上述第三量化方式对任务的处理质量进行量化处理,获得任务的待改进的质量指标。例如,这里任务的历史运行时长≥45分钟,那么这里任务的待改进的质量指标就是任务的历史运行时长大于历史时长阈值。

S606,根据上述任务的第一及时性量化值、上述第二及时性量化值以及第三及时性量化值,确定上述任务的及时性量化值。

在本步骤中,在获得任务的第三及时性量化值以及上述的第一及时性量化值、第二及时性量化值之后,可以通过对第一及时性量化值、第二及时性量化值以及第三及时性量化值进行数学处理,获得任务的及时性量化值。当然若任务还有其他相关的质量指标,也可以进一步结合其他相关的质量指标计算任务的及时性量化值,这一部分将在后续实施例中予以说明。

本实施例中,通过第三数据质量量化子模型获得任务历史运行时长指标对应的第三量化方式,通过第三量化方式对任务进行量化处理,并根据获得的第三及时性量化值以及上述第一及时性量化值、第二及时性量化值确定任务的及时性量化值。本实施例中不仅考虑了任务的保障时间设置指标、对业务承诺时间设置指标和运行实例异常指标,还考虑了任务的历史运行时长指标,可见这里考虑的指标数据的维度增多,这样综合多个维度的指标数据对任务的处理质量进行及时性评定,因此获得的及时性评定结果也会更加准确,这样在后续利用该及时性评定结果对数据质量进行控制的效果也会更优。

图7为本公开实施例提供的数据处理质量控制方法的流程示意图。本实施例中,任务的相关质量指标除了包括任务的保障时间设置指标、对业务承诺时间设置指标、任务的运行实例异常指标以及任务的历史运行时长指标之外,还可以包括任务的末尾任务指标,该末尾任务指标用于表征任务的开始时间是否晚于任务所在的基线的基线保障时间。在上述实施例的基础上,如图7所示,上述S606可以包括以下步骤:

S702,将任务的末尾任务指标和任务所对应的基线系数输入至预设的第四数据质量量化子模型,得到上述任务的第四量化方式。

本实施例中,计算机设备除了获得任务的末尾任务指标,还会结合该任务的基线优先级确定任务对应的基线系数,进而将该末尾任务指标和对应的基线系数输入至第四数据质量量化子模型,获得该任务对应的第四量化方式。该第四数据质量量化子模型用于表征任务的末尾任务指标与任务的第四量化方式之间的对应关系。这里的第四量化方式也可以表征对任务的处理质量进行加分或者扣分。

下述通过一个简单的例子介绍计算机设备如何通过第四数据质量量化子模型确定任务的第四量化方式,假设任务的开始时间晚于任务所在的基线的基线保障时间,即超过任务的基线保障时间,那么确定第四量化方式的过程如下:

针对该任务所在基线的基线保障时间,若超过任务的基线保障时间,则该任务的第四量化方式为【该任务的基线系数】*扣20分;

当然,第四量化方式也可以包括针对业务承诺时间的超时,那么确定第四量化方式的过程如下:

针对该任务的对业务承诺时间,若超过对业务承诺时间,则该任务的第四量化方式为【该任务的基线系数】*扣30分;

当然,这里的第四量化方式也可以与超过的次数有关,例如超过任务的基线保障时间一次,扣20分,超过两次,扣40分等等。

假设该任务没有超过基线保障时间以及对业务承诺时间,则该任务的第四量化方式为不扣分。

S704,根据上述第四量化方式对上述任务进行量化处理,得到上述任务的第四及时性量化值。

在本步骤中,在获得第四量化方式之后,就可以采用上述第四量化方式,对任务进行相应量化处理,获得任务的及时性量化值,记为第四及时性量化值。

示例地,假设任务的基线优先级仍为8,任务的开始时间晚于任务所在的基线的基线保障时间,计算机设备根据上述基线优先级与基线系数的实施例,也可以确定该基线优先级8所对应的基线系数为0.7,那么该任务的第四量化方式为0.7*扣20分,第四及时性量化值就是100-(0.7×20)=86分。

相应地,也可以通过上述第四量化方式对任务的处理质量进行量化处理,获得任务的待改进的质量指标。例如,这里超过任务的基线保障时间,那么这里任务的待改进的质量指标就是任务的超过任务的基线保障时间。

S706,根据上述任务的第一及时性量化值、上述第二及时性量化值、上述第三及时性量化值以及上述第四及时性量化值,确定上述任务的及时性量化值。

在本步骤中,在获得任务的第四及时性量化值以及上述的第一及时性量化值、第二及时性量化值、第三及时性量化值之后,可以通过对第一及时性量化值、第二及时性量化值、第三及时性量化值以及第四及时性量化值进行数学处理,获得任务的及时性量化值。当然若任务还有其他相关的质量指标,也可以进一步结合其他相关的质量指标计算任务的及时性量化值,这一部分将在后续实施例中予以说明。

本实施例中,通过第四数据质量量化子模型获得任务末尾任务指标对应的第四量化方式,通过第四量化方式对任务进行量化处理,并根据获得的第四及时性量化值以及上述第一及时性量化值、第二及时性量化值、第三及时性量化值确定任务的及时性量化值。本实施例中不仅考虑了任务的保障时间设置指标、对业务承诺时间设置指标、运行实例异常指标以及任务的历史运行时长指标,还考虑了任务的末尾任务指标,可见这里考虑的指标数据的维度再一次增多,这样综合更多个维度的指标数据对任务的处理质量进行及时性评定,因此获得的及时性评定结果也会更加准确,这样在后续利用该及时性评定结果对数据质量进行控制的效果也会更优。

图8为本公开实施例提供的数据处理质量控制方法的流程示意图。本实施例中,任务的相关质量指标除了包括任务的保障时间设置指标、对业务承诺时间设置指标、任务的运行实例异常指标、任务的历史运行时长指标以及任务的末尾任务指标之外,还可以包括任务的下游跨团队关联任务告警设置指标,下游跨团队关联任务告警设置指标用于表征任务在存在下游跨团队关联任务时是否设置告警。在上述实施例的基础上,如图8所示,上述S706可以包括以下步骤:

S802,将任务的下游跨团队关联任务告警设置指标和任务所对应的基线系数输入至预设的第五数据质量量化子模型,得到上述任务的第五量化方式。

本实施例中,计算机设备除了获得任务的下游跨团队关联任务告警设置指标,还会结合该任务的基线优先级确定任务对应的基线系数,进而将该下游跨团队关联任务告警设置指标和对应的基线系数输入至第五数据质量量化子模型,获得该任务的第五量化方式。该第五数据质量量化子模型用于表征任务的下游跨团队关联任务告警设置指标与任务的第五量化方式之间的对应关系。这里的第五量化方式也可以表征对任务的处理质量进行加分或者扣分。

下述通过一个简单的例子介绍计算机设备如何通过第四数据质量量化子模型确定任务的第五量化方式,假设任务存在下游跨团队关联任务,那么确定第五量化方式的过程如下:

若该任务存在下游跨团队关联任务,且设置告警,则该任务的第五量化方式为【该任务的基线系数】*加15分;

若该任务存在下游跨团队关联任务,且未设置告警,则该任务的第五量化方式为【该任务的基线系数】*扣10分。

S804,根据上述第五量化方式对上述任务进行量化处理,得到上述任务的第五及时性量化值。

在本步骤中,在获得第五量化方式之后,就可以采用上述第五量化方式,对任务进行相应量化处理,获得任务的及时性量化值,记为第五及时性量化值。

示例地,假设任务的基线优先级仍为8,任务存在下游跨团队关联任务,且未设置告警,计算机设备根据上述基线优先级与基线系数的实施例,也可以确定该基线优先级8所对应的基线系数为0.7,那么该任务的第五量化方式为0.7*扣10分,第五及时性量化值就是100-(0.7×10)=93分。

相应地,也可以通过上述第五量化方式对任务的处理质量进行量化处理,获得任务的待改进的质量指标。例如,这里任务存在下游跨团队关联任务,且未设置告警,那么这里任务的待改进的质量指标就是任务存在下游跨团队关联任务,且未设置告警。

S806,根据上述任务的第一及时性量化值、上述第二及时性量化值、上述第三及时性量化值、上述第四及时性量化值以及上述第五及时性量化值,确定上述任务的及时性量化值。

在本步骤中,在获得任务的第五及时性量化值以及上述的第一及时性量化值、第二及时性量化值、第三及时性量化值、第四及时性量化值之后,可以通过对第一及时性量化值、第二及时性量化值、第三及时性量化值、第四及时性量化值以及第五及时性量化值进行数学处理,获得任务的及时性量化值。

本实施例中,通过第五数据质量量化子模型获得任务的下游跨团队关联任务告警设置指标对应的第五量化方式,通过第五量化方式对任务进行量化处理,并根据获得的第五及时性量化值以及上述第一及时性量化值、第二及时性量化值、第三及时性量化值、第四及时性量化值确定任务的及时性量化值。本实施例中不仅考虑了任务的保障时间设置指标、对业务承诺时间设置指标、运行实例异常指标、任务的历史运行时长指标以及任务的末尾任务指标,还考虑了任务的下游跨团队关联任务告警设置指标,可见这里考虑的指标数据的维度进一步增多,这样综合更加多的维度的指标数据对任务的处理质量进行及时性评定,因此获得的及时性评定结果也会更加准确,这样在后续利用该及时性评定结果对数据质量进行控制的效果也会更优。

在上述获得任务的第一及时性量化值、第二及时性量化值、第三及时性量化值、第四及时性量化值以及第五及时性量化值之后,可选的,可以根据预设的初始及时性量化值和任务的第一及时性量化值、第二及时性量化值、第三及时性量化值、第四及时性量化值以及第五及时性量化值,确定任务的及时性量化值。

具体的,假设初始及时性量化值为100分,那么以上述获得的第一及时性量化值、第二及时性量化值、第三及时性量化值、第四及时性量化值以及第五及时性量化值为例,这里任务的及时性量化值的计算方式可以表示为:

100-(100-50)-(100-79)-(100-82.5)-(100-86)-(100-93)=100-50-21-17.5-14-7=-9.5分。

由于及时性量化值一般没有负值,在得到负值时记为0,因此这里计算得到的任务的及时性量化值为0。

上述图4-图8所示的实施例主要是及时性维度出发,对任务进行及时性量化。但是在实际业务处理过程中,一个任务完成的好坏或者一个业务是否完善,不仅与任务的及时性有关,还有该任务被处理的准确性有关。因此,下述实施例主要针对计算机设备如何对任务从准确性维度进行量化的过程进行介绍。需要说明的是,以上图4-图8所示的实施例之间的一个或者多个可以互相组合或者互相耦合,其也可以分别作为单独的实施例,本公开对此不作具体限定。

图9为本公开实施例提供的数据处理质量控制方法的流程示意图。本实施例中,任务的相关质量指标还包括任务的数据质量规则配置指标,该数据质量规则配置指标用于表征任务是否配置数据质量规则。在上述实施例的基础上,如图9所示,上述S302中计算准确性量化值的步骤可以包括:

S902,将基线优先级和任务的数据质量规则配置指标输入至预设的第六数据质量量化子模型,得到上述任务的第六量化方式。

本实施例中,计算机设备除了获得任务的数据质量规则配置指标,还会结合该任务的基线优先级,进而将该数据质量规则配置指标和基线优先级输入至第六数据质量量化子模型,获得该任务对应的第六量化方式。该第六数据质量量化子模型用于表征基线优先级和任务的数据质量规则配置指标与任务的第六量化方式之间的对应关系。这里的第六量化方式也可以表征对任务的处理质量进行加分或者扣分。

下述通过一个简单的例子介绍计算机设备如何通过第六数据质量量化子模型确定任务的第六量化方式。假设任务没有配置数据质量规则,基线优先级包括1-10级,那么确定第六量化方式的过程如下:

若该任务没有配置数据质量规则且基线优先级为7、8、9、10,则该任务的第六量化方式为扣20分;

若该任务没有配置数据质量规则且基线优先级为4、5、6,则该任务的第六量化方式为扣50分;

若该任务没有配置数据质量规则且基线优先级为1、2、3,则该任务的第六量化方式为扣60分;

假设这里任务配置了数据质量规则,不论基线优先级为多少,则该任务的第六量化方式为不扣分。

S904,根据上述第六量化方式对上述任务进行量化处理,得到上述任务的第一准确性量化值。

在本步骤中,在获得第六量化方式之后,就可以采用上述第六量化方式,对任务进行相应量化处理,获得任务的准确性量化值,记为第一准确性量化值。

示例地,假设任务的基线优先级仍为8,任务没有设置数据质量规则,那么这里该任务的第六量化方式就是扣20分,那么第一准确性量化值就是100-20=80分。

相应地,也可以通过上述第六量化方式对任务的处理质量进行量化处理,获得任务的待改进的质量指标。例如,这里任务没有设置数据质量规则,那么这里任务的待改进的质量指标就是任务未设置数据质量规则。

S906,根据上述任务的第一准确性量化值,确定上述任务的准确性量化值。

在本步骤中,在获得任务的第一准确性量化值之后,若任务只有这一个表征准确性的相关的质量指标,那么就可以直接将第一准确性量化值作为任务的准确性量化值;若任务还有其他的相关的质量指标,那么就可以结合任务其他的基础元数据以及相关的质量指标对应的准确性量化值获得任务的准确性量化值,这一部分将在后续实施例中予以说明。

本实施例中,通过第六数据质量量化子模型获得任务的基线优先级和任务的数据质量规则配置指标对应的第六量化方式,通过第六量化方式对任务进行量化处理,并根据获得的第一准确性量化值确定任务的准确性量化值。本实施例中考虑了基线优先级、任务的数据质量规则配置指标等数据,这些数据均是与任务本身的特性相关的数据,而且设置的第六量化方式也是与任务本身的特征数据相关的,因此采用这些数据以及第六量化方式综合对任务进行准确性评定的结果是比较准确的,那么通过该准确性评定结果对数据处理质量进行控制的效果也会更优。

图10为本公开实施例提供的数据处理质量控制方法的流程示意图。本实施例中,任务的相关质量指标除了包括任务的数据质量规则配置指标之外,还可以包括任务的质量告警指标,该质量告警指标用于表征任务的强告警次数和弱告警次数之和是否超过设定告警次数。在上述实施例的基础上,如图10所示,上述步骤S906可以包括以下步骤:

S1002,将任务的质量告警指标输入至预设的第七数据质量量化子模型,得到任务的第七量化方式。

本实施例中,计算机设备通过将获得的任务的数据质量规则配置指标输入至第七数据质量量化子模型,就可以获得该任务对应的第七量化方式。该第七数据质量量化子模型用于表征任务的质量告警指标与任务的第七量化方式之间的对应关系。这里的第七量化方式也可以表征对任务的处理质量进行加分或者扣分。

另外,这里质量告警指标用于表征任务的强告警次数和弱告警次数之和是否超过设定告警次数,这里的强告警指的是强规则告警,例如不论执行何种任务都会被阻断的告警,弱告警指的是弱规则告警,例如可以被忽视的告警。可选的,这里强告警次数和弱告警次数之和,可以是加权和,也可以是直接求和。可选的,这里的强告警次数和弱告警次数可以按月统计,也可以是按照天、年等统计。这里的设定告警次数可以根据实际情况设定,例如可以是0次、5次等等。

下述通过一个简单的例子介绍计算机设备如何通过第六数据质量量化子模型确定任务的第六量化方式。假设任务的强告警次数和弱告警次数之和为加权和,例如表示为:强告警次数*10+弱告警次数*2,假设这里的设定告警次数为0,这里确定第七量化方式的过程如下:

该任务的第七量化方式为:100-(强告警次数*10+弱告警次数*2)。

S1004,根据上述第七量化方式对上述任务进行量化处理,得到上述任务的第二准确性量化值。

在本步骤中,在获得第七量化方式之后,就可以采用上述第七量化方式,对任务进行相应量化处理,获得任务的准确性量化值,记为第二准确性量化值。

示例地,假设任务的强告警次数是2、弱告警次数是5,那么这里获得第七量化方式就是100-(强告警次数*10+弱告警次数*2),第二准确性量化值就是100-(2*10+5*2)=70分。

进一步地,假设任务没有弱告警和强告警,那么该任务对应的第二准确性量化值就是100分。

相应地,也可以通过上述第七量化方式对任务的处理质量进行量化处理,获得任务的待改进的质量指标。例如,这里任务的强告警次数和弱告警次数之和超过设定告警次数,那么这里任务的待改进的质量指标就是任务的强告警次数和弱告警次数之和超过设定告警次数。

S1006,根据上述任务的第一准确性量化值和上述第二准确性量化值,确定上述任务的准确性量化值。

在本步骤中,在获得任务的第一准确性量化值和第二准确性量化值之后,可以通过对第一准确性量化值和第二准确性量化值进行数学处理,获得任务的准确性量化值。

本实施例中,通过第七数据质量量化子模型获得任务的质量告警指标对应的第七量化方式,通过第七量化方式对任务进行量化处理,并根据获得的第一准确性量化值和第二准确性量化值确定任务的准确性量化值。本实施例中不仅考虑了任务的基线优先级、任务的数据质量规则配置指标,还考虑了任务的质量告警指标,从任务的质量规则设置维度以及输出告警维度出发,综合对任务的处理质量进行准确性评定,因此获得的准确性评定结果更加准确,这样在后续利用该准确性评定结果对数据质量进行控制的效果也会更优。

在上述获得任务的第一准确性量化值和第二准确性量化值之后,可选的,可以根据预设的初始准确性量化值和任务的第一准确性量化值以及第二准确性量化值,确定任务的准确性量化值。

具体的,假设初始准确性量化值为100分,那么以上述获得的第一准确性量化值和第二准确性量化值为例,这里任务的准确性量化值的计算方式可以表示为:100-(100-80)-(100-70)=50分,也就是说,这里获得的任务的准确性量化值为50分。

上述给出了计算任务的及时性量化值以及准确性量化值的具体计算方式,那么在获得任务的及时性量化值以及准确性量化值之后,可以对任务的及时性量化值和准确性量化值进行求和,得到任务的处理质量量化值。这里的求和可以是直接求和,也可以是加权求和。

以加权求和为例,假设两个量化值的权重均为0.5,那么这里任务的处理质量量化值可以表示为:处理质量量化值=及时性量化值*0.5+准确性量化值*0.5

以上述计算的及时性量化值以及准确性量化值为例,那么这里任务的处理质量量化值可以表示为:处理质量量化值=0*0.5+50*0.5=25分。

这里通过及时性量化值以及准确性量化值求和的方式得到任务的处理质量量化值,计算方式简单直接,因此可以提高获得任务的处理质量量化值的速度,从而可以提高对任务量化处理的效率,进而提高对数据的处理质量进行控制的效率。

需要说明的是,以上图9-图10所示的实施例之间的一个或者多个可以互相组合或者互相耦合,其也可以分别作为单独的实施例,本公开对此不作具体限定。

另外,上述实施例中提到了任务的基础元数据包括任务所在的基线的基线元数据,该基线元数据包括基线优先级;任务的相关质量指标包括任务的及时性指标和准确性指标,其中及时性指标包括任务的保障时间设置指标或对业务承诺时间设置指标、任务的运行实例异常指标、任务的历史运行时长指标、末尾任务指标以及任务的下游跨团队关联任务告警设置指标;其中准确性指标包括任务的数据质量规则配置指标和任务的质量告警指标。计算机设备结合任务的基线优先级,从任务的保障时间设置指标或对业务承诺时间设置指标、任务的运行实例异常指标、任务的历史运行时长指标、末尾任务指标以及任务的下游跨团队关联任务告警设置指标等五个数据维度对任务进行了及时性量化,得到了任务的及时性量化值;同时,结合任务的基线优先级,从任务的数据质量规则配置指标和任务的质量告警指标等两个数据维度对任务进行了准确性量化,得到了任务的准确性量化值。最终结合任务的及时性量化值和准确性量化值得到了任务的处理质量量化值。

不仅如此,上述实施例还确定出了任务的待改进的质量指标,包括:任务未设置保障时间或任务未设置对业务承诺时间、任务的超时运行时长超过设定超时时长阈值、任务的历史运行时长超过设定历史时长阈值、任务的开始时间晚于任务所在的基线的基线保障时间、任务在存在下游跨团队关联任务时未设置告警、任务未配置数据质量规则以及任务的强告警次数和弱告警次数之和超过设定告警次数。下述实施例主要针对如何改善这些待改进的质量指标的过程进行介绍。

在另一个实施例中,提供了另一种数据处理质量控制方法,本实施例涉及的是如何根据任务的处理质量量化值和待改进的质量指标,对任务的处理质量进行控制的具体过程。在上述实施例的基础上,如图11所示,上述S206可以包括以下步骤:

S1102,将任务的处理质量量化值和预设的质量量化值阈值进行对比,得到对比结果。

其中,这里预设的质量量化值阈值可以根据实际情况设定,例如可以是75、80、90等等。

具体的,上述在获得任务的处理质量量化值之后,可以将任务的处理质量量化值和预设的质量量化值阈值进行对比,获得处理质量量化值和质量量化值阈值之间谁大谁小的对比结果。

这里对比的方式可以是直接比大小的方式,也可以是计算处理质量量化值和质量量化值阈值差值的方式,当然也可以是计算处理质量量化值和质量量化值阈值商值的方式,当然还可以是其他方式,这里不做具体限定。

S1104,根据上述对比结果以及上述任务的待改进的质量指标对上述任务的处理质量进行控制。

在本步骤中,若上述对比结果为上述任务的处理质量量化值大于等于上述质量量化值阈值,则可以暂时先不对任务的处理质量进行控制。以上述计算处理质量量化值和质量量化值阈值差值的方式为例,假设计算处理质量量化值和质量量化值阈值之间的差值大于等于0,那么就可以认为处理质量量化值大于等于质量量化值阈值。

若上述对比结果为上述任务的处理质量量化值小于上述质量量化值阈值,则根据上述任务的待改进的质量指标对上述任务的处理质量进行控制。同样以上述计算处理质量量化值和质量量化值阈值差值的方式为例,假设计算处理质量量化值和质量量化值阈值之间的差值小于0,那么就可以认为处理质量量化值小于质量量化值阈值,那么就需要根据任务的待改进的质量指标对任务的处理质量进行控制。以下的实施例中就对如何进行控制进行详细说明。

本实施例中,通过将任务的处理质量量化值和预设的质量量化值阈值进行对比,并根据获得的对比结果和任务的待改进的质量指标对任务的处理质量进行控制。这里通过阈值对比的方式,可以避免盲目对任务的处理质量进行控制,从而可以有针对性地对任务的处理质量进行控制,提高控制效率。

以下就针对各种待改进的质量指标如何对任务的处理质量进行控制进行详细说明。在上述实施例的基础上,上述S1104可以包括以下几种情况:

一、若上述S402-S406中确定的待改进的质量指标为任务未设置保障时间,则计算机设备对该任务的处理质量进行控制的具体操作可以为:为该任务设置保障时间;若上述S402-S406中确定的待改进的质量指标为任务未设置对业务承诺时间,则计算机设备对该任务的处理质量进行控制的具体操作可以为:为该任务设置对业务承诺时间。

二、若上述S502-S506中确定的待改进的质量指标为任务的待改进的质量指标为任务的超时运行时长超过设定超时时长阈值,则计算机设备对该任务的处理质量进行控制的具体操作可以为:缩短该任务的运行时长。

三、若上述S602-S606中确定的待改进的质量指标为任务的待改进的质量指标为任务的历史运行时长超过设定历史时长阈值,则计算机设备对该任务的处理质量进行控制的具体操作可以为:降低该任务的所在的数据链路的深度。

四、若上述S702-S706中确定的待改进的质量指标为任务的待改进的质量指标为任务的开始时间晚于任务所在的基线的基线保障时间,则计算机设备对该任务的处理质量进行控制的具体操作可以为:调整该任务的运行顺序,例如可以将该任务调整到基线保障时间之前运行。

五、若上述S802-S806中确定的待改进的质量指标为任务的待改进的质量指标为任务在存在下游跨团队关联任务时未设置告警,则计算机设备对该任务的处理质量进行控制的具体操作可以为:为该任务设置下游跨团队关联任务告警。

六、若上述S902-S906中确定的待改进的质量指标为任务的待改进的质量指标为任务未配置数据质量规则,则计算机设备对该任务的处理质量进行控制的具体操作可以为:对该任务配置数据质量规则。

七、若上述S1002-S1006中确定的待改进的质量指标为任务的待改进的质量指标为任务的强告警次数和弱告警次数之和超过设定告警次数,则计算机设备对该任务的处理质量进行控制的具体操作可以为:调整该任务的强告警次数和弱告警次数。这里具体调整强告警次数和弱告警次数为多少次,可以根据实际情况设定。

本实施例中,通过不同的待改进的质量指标对任务的处理质量进行不同的控制,这样可以有针对性地对任务的处理质量进行控制,从而可以使得对任务的处理质量进行控制的效果更好。

下面结合一个具体的实施例来介绍本公开的技术方案,在上述实施例的基础上,该方法包括如下步骤S1-S28:

S1,获取任务的特征数据;该特征数据包括任务的基础元数据和任务的相关质量指标。

其中,任务的基础元数据包括任务所在的基线的基线元数据,该基线元数据包括基线优先级。任务的相关质量指标包括任务的保障时间设置指标或对业务承诺时间设置指标;任务的相关质量指标还包括任务的运行实例异常指标,该运行实例异常指标用于表征任务的超时运行时长是否超过设定超时时长阈值;任务的相关质量指标还包括任务的历史运行时长指标,该历史运行时长指标用于表征任务的历史运行时长是否超过设定历史时长阈值;任务的相关质量指标还包括任务的末尾任务指标,该末尾任务指标用于表征任务的开始时间是否晚于任务所在的基线的基线保障时间;任务的相关质量指标还包括任务的下游跨团队关联任务告警设置指标,该下游跨团队关联任务告警设置指标用于表征任务在存在下游跨团队关联任务时是否设置告警;任务的相关质量指标还包括任务的数据质量规则配置指标,该数据质量规则配置指标用于表征任务是否配置数据质量规则;任务的相关质量指标还包括任务的质量告警指标,该质量告警指标用于表征任务的强告警次数和弱告警次数之和是否超过设定告警次数。

S2,将基线优先级和任务的保障时间设置指标,或者将基线优先级和对业务承诺时间设置指标,输入至预设的第一数据质量量化子模型,得到任务的第一量化方式。

S3,根据第一量化方式对任务进行量化处理,得到任务的第一及时性量化值以及待改进的质量指标。

S4,根据基线优先级获取任务所在的基线的基线系数。

S5,将任务的运行实例异常指标和任务所对应的基线系数输入至预设的第二数据质量量化子模型,得到任务的第二量化方式。

S6,根据第二量化方式对任务进行量化处理,得到任务的第二及时性量化值以及待改进的质量指标。

S7,将任务的历史运行时长指标和任务所对应的基线系数输入至预设的第三数据质量量化子模型,得到任务的第三量化方式。

S8,根据第三量化方式对任务进行量化处理,得到任务的第三及时性量化值以及待改进的质量指标。

S9,将任务的末尾任务指标和任务所对应的基线系数输入至预设的第四数据质量量化子模型,得到任务的第四量化方式。

S10,根据第四量化方式对任务进行量化处理,得到任务的第四及时性量化值以及待改进的质量指标。

S11,将任务的下游跨团队关联任务告警设置指标和任务所对应的基线系数输入至预设的第五数据质量量化子模型,得到任务的第五量化方式。

S12,根据第五量化方式对任务进行量化处理,得到任务的第五及时性量化值以及待改进的质量指标。

S13,对预设的初始及时性量化值和第一及时性量化值、第二及时性量化值、第三及时性量化值、第四及时性量化值以及第五及时性量化值进行求差处理,获得任务的及时性量化值。

S14,将基线优先级和任务的数据质量规则配置指标输入至预设的第六数据质量量化子模型,得到任务的第六量化方式以及待改进的质量指标。

S15,根据第六量化方式对任务进行量化处理,得到任务的第一准确性量化值以及第六待改进的质量指标。

S16,将任务的质量告警指标输入至预设的第七数据质量量化子模型,得到任务的第七量化方式。

S17,根据第七量化方式对任务进行量化处理,得到任务的第二准确性量化值以及待改进的质量指标。

S18,对预设的初始准确性量化值和第一准确性量化值、第二准确性量化值进行求差处理,获得任务的准确性量化值。

S19,对任务的及时性量化值和准确性量化值进行求和处理,得到任务的处理质量量化值。

S20,将任务的处理质量量化值和预设的质量量化值阈值进行对比,得到对比结果。

S21,若对比结果为任务的处理质量量化值小于质量量化值阈值,则根据任务的待改进的质量指标对任务的处理质量进行控制。

S22,若任务的待改进的质量指标为任务未设置保障时间,则为任务设置保障时间;或者,若任务的待改进的质量指标为任务未设置对业务承诺时间,则为任务设置对业务承诺时间。

S23,若任务的待改进的质量指标为任务的超时运行时长超过设定超时时长阈值,则缩短任务的运行时长。

S24,若任务的待改进的质量指标为任务的历史运行时长超过设定历史时长阈值,则降低任务的所在的数据链路的深度。

S25,若任务的待改进的质量指标为任务的开始时间晚于任务所在的基线的基线保障时间,则调整任务的运行顺序。

S26,若任务的待改进的质量指标为任务在存在下游跨团队关联任务时未设置告警,则为任务设置下游跨团队关联任务告警。

S27,若任务的待改进的质量指标为任务未配置数据质量规则,则为任务配置数据质量规则。

S28,若任务的待改进的质量指标为任务的强告警次数和弱告警次数之和超过设定告警次数,则调整任务的强告警次数和弱告警次数。

应该理解的是,虽然图2、3-11的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、3-11中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中,如图12所示,提供了一种数据处理质量控制装置,包括:获取模块10、量化模块11和控制模块12,其中:

获取模块10,用于获取任务的特征数据;上述特征数据包括任务的基础元数据和任务的相关质量指标;

量化模块11,用于将上述任务的特征数据输入至预设的数据质量量化模型中进行量化处理,确定上述任务的量化结果;其中,上述量化结果包括任务的处理质量量化值以及任务的待改进的质量指标;上述数据质量量化模型是基于任务的特征数据与上述任务的量化方式确定的;

控制模块12,用于根据上述任务的处理质量量化值以及任务的待改进的质量指标对上述任务的处理质量进行控制。

关于数据处理质量控制装置的具体限定可以参见上文中对于数据处理质量控制方法的限定,在此不再赘述。

在另一个实施例中,上述数据质量量化模型包括任务的多个量化方式,每个量化方式对应任务不同维度的特征数据。

在另一个实施例中,上述数据质量量化模型用于表征任务的特征数据与任务的量化方式之间的对应关系。

在另一个实施例中,如图13所示,提供了另一种数据处理质量控制装置,在上述实施例的基础上,上述量化模块11可以包括:

计算及确定单元110,用于根据上述任务的特征数据和上述任务对应的量化方式,计算上述任务的及时性量化值和准确性量化值,以及确定上述任务的待改进的质量指标;

量化值确定单元111,用于根据上述任务的及时性量化值和准确性量化值,确定上述任务的处理质量量化值。

在另一个实施例中,提供了另一种数据处理质量控制装置,在上述实施例的基础上,上述任务的基础元数据包括任务所在的基线的基线元数据,上述基线元数据包括基线优先级;上述任务的相关质量指标包括任务的保障时间设置指标或对业务承诺时间设置指标;其中,上述任务的保障时间设置指标用于表征上述任务是否设置保障时间,上述对业务承诺时间设置指标用于表征上述任务是否设置对业务承诺时间;继续参见图13所示,上述计算及确定单元110可以包括:

第一确定子单元1101,用于将上述基线优先级和上述任务的保障时间设置指标,或者将上述基线优先级和上述对业务承诺时间设置指标,输入至预设的第一数据质量量化子模型,得到上述任务的第一量化方式;

第一量化子单元1102,用于根据上述第一量化方式对上述任务进行量化处理,得到上述任务的第一及时性量化值;

及时性量化值确定子单元1103,用于根据上述任务的第一及时性量化值确定上述任务的及时性量化值;其中,上述第一数据质量量化子模型用于表征基线优先级和任务的保障时间设置指标与上述任务的第一量化方式之间的对应关系,或者用于表征基线优先级和任务的对业务承诺时间设置指标与上述任务的第一量化方式之间的对应关系。

在另一个实施例中,如图14所示,提供了另一种数据处理质量控制装置,在上述实施例的基础上,在上述计算及确定单元110根据上述任务的特征数据和上述任务对应的量化方式,计算上述任务的及时性量化值和准确性量化值之前,上述装置还可以包括:

基线系数确定模块13,用于根据上述基线优先级获取上述任务所在的基线的基线系数;其中,上述基线优先级与上述基线系数具有比例关系。

在另一个实施例中,提供了另一种数据处理质量控制装置,在上述实施例的基础上,上述任务的相关质量指标包括上述任务的运行实例异常指标,上述运行实例异常指标用于表征上述任务的超时运行时长是否超过设定超时时长阈值;继续参见图14所示,上述及时性量化值确定子单元1103,具体用于

将上述任务的运行实例异常指标和上述任务所对应的基线系数输入至预设的第二数据质量量化子模型,得到上述任务的第二量化方式;其中,上述第二数据质量量化子模型用于表征上述任务的运行实例异常指标与上述任务的第二量化方式之间的对应关系;根据上述第二量化方式对上述任务进行量化处理,得到上述任务的第二及时性量化值;根据上述任务的第一及时性量化值和上述第二及时性量化值,确定上述任务的及时性量化值。

可选的,上述任务的相关质量指标还包括上述任务的历史运行时长指标,上述历史运行时长指标用于表征上述任务的历史运行时长是否超过设定历史时长阈值;上述及时性量化值确定子单元1103,具体用于

将上述任务的历史运行时长指标和上述任务所对应的基线系数输入至预设的第三数据质量量化子模型,得到上述任务的第三量化方式;其中,上述第三数据质量量化子模型用于表征上述任务的历史运行时长指标与上述任务的第三量化方式之间的对应关系;根据上述第三量化方式对上述任务进行量化处理,得到上述任务的第三及时性量化值;根据上述任务的第一及时性量化值、上述第二及时性量化值以及第三及时性量化值,确定上述任务的及时性量化值。

可选的,上述任务的相关质量指标还包括上述任务的末尾任务指标,上述末尾任务指标用于表征上述任务的开始时间是否晚于上述任务所在的基线的基线保障时间;上述及时性量化值确定子单元1103,具体用于

将上述任务的末尾任务指标和上述任务所对应的基线系数输入至预设的第四数据质量量化子模型,得到上述任务的第四量化方式;其中,上述第四数据质量量化子模型用于表征上述任务的末尾任务指标与上述任务的第四量化方式之间的对应关系;根据上述第四量化方式对上述任务进行量化处理,得到上述任务的第四及时性量化值;根据上述任务的第一及时性量化值、上述第二及时性量化值、上述第三及时性量化值以及上述第四及时性量化值,确定上述任务的及时性量化值。

可选的,上述任务的相关质量指标还包括上述任务的下游跨团队关联任务告警设置指标,上述下游跨团队关联任务告警设置指标用于表征上述任务在存在下游跨团队关联任务时是否设置告警;上述及时性量化值确定子单元1103,具体用于

将上述任务的下游跨团队关联任务告警设置指标和上述任务所对应的基线系数输入至预设的第五数据质量量化子模型,得到上述任务的第五量化方式;其中,上述第五数据质量量化子模型用于表征上述任务的下游跨团队关联任务告警设置指标与上述任务的第五量化方式之间的对应关系;根据上述第五量化方式对上述任务进行量化处理,得到上述任务的第五及时性量化值;根据上述任务的第一及时性量化值、上述第二及时性量化值、上述第三及时性量化值、上述第四及时性量化值以及上述第五及时性量化值,确定上述任务的及时性量化值。

在另一个实施例中,如图15所示,提供了另一种数据处理质量控制装置,在上述实施例的基础上,上述计算及确定单元110还可以包括:

第二确定子单元1104,用于将上述基线优先级和上述任务的数据质量规则配置指标输入至预设的第六数据质量量化子模型,得到上述任务的第六量化方式;其中,上述第六数据质量量化子模型用于表征上述基线优先级和上述任务的数据质量规则配置指标与上述任务的第六量化方式之间的对应关系;

第二量化子单元1105,用于根据上述第六量化方式对上述任务进行量化处理,得到上述任务的第一准确性量化值;

准确性量化值确定子单元1106,用于根据上述任务的第一准确性量化值,确定上述任务的准确性量化值。

可选的,上述任务的相关质量指标还包括上述任务的质量告警指标,上述质量告警指标用于表征上述任务的强告警次数和弱告警次数之和是否超过设定告警次数;上述准确性量化值确定子单元1106,具体用于将上述任务的质量告警指标输入至预设的第七数据质量量化子模型,得到上述任务的第七量化方式;其中,上述第七数据质量量化子模型用于表征上述任务的质量告警指标与上述任务的第七量化方式之间的对应关系;根据上述第七量化方式对上述任务进行量化处理,得到上述任务的第二准确性量化值;根据上述任务的第一准确性量化值和上述第二准确性量化值,确定上述任务的准确性量化值。

在另一个实施例中,提供了另一种数据处理质量控制装置,在上述实施例的基础上,上述量化值确定单元111,具体用于

对上述任务的及时性量化值和准确性量化值进行求和,得到上述任务的处理质量量化值。

在另一个实施例中,参见图16所示,提供了另一种数据处理质量控制装置,在上述实施例的基础上,上述控制模块12,包括:

对比单元120,用于将上述任务的处理质量量化值和预设的质量量化值阈值进行对比,得到对比结果;

控制单元121,用于根据上述对比结果以及上述任务的待改进的质量指标对上述任务的处理质量进行控制。

可选的,继续参见图16所示,上述控制单元121,可以包括:

控制子单元1210,用于在上述对比结果为上述任务的处理质量量化值小于上述质量量化值阈值的情况下,根据上述任务的待改进的质量指标对上述任务的处理质量进行控制。

可选的,上述控制子单元1210,具体用于

在上述任务的待改进的质量指标为上述任务未设置保障时间的情况下,为上述任务设置保障时间;或者,在上述任务的待改进的质量指标为上述任务未设置对业务承诺时间的情况下,为上述任务设置对业务承诺时间。

可选的,上述控制子单元1210,具体用于

在上述任务的待改进的质量指标为上述任务的超时运行时长超过设定超时时长阈值的情况下,缩短上述任务的运行时长。

可选的,上述控制子单元1210,具体用于

在上述任务的待改进的质量指标为上述任务的历史运行时长超过设定历史时长阈值的情况下,降低上述任务的所在的数据链路的深度。

可选的,上述控制子单元1210,具体用于

在上述任务的待改进的质量指标为上述任务的开始时间晚于上述任务所在的基线的基线保障时间的情况下,调整上述任务的运行顺序。

可选的,上述控制子单元1210,具体用于

在上述任务的待改进的质量指标为上述任务在存在下游跨团队关联任务时未设置告警的情况下,为上述任务设置下游跨团队关联任务告警。

可选的,上述控制子单元1210,具体用于

在上述任务的待改进的质量指标为上述任务未配置数据质量规则的情况下,为上述任务配置数据质量规则。

可选的,上述控制子单元1210,具体用于

在上述任务的待改进的质量指标为上述任务的强告警次数和弱告警次数之和超过设定告警次数的情况下,调整上述任务的强告警次数和弱告警次数。

关于数据处理质量控制装置的具体限定可以参见上文中对于数据处理质量控制方法的限定,在此不再赘述。

上述数据处理质量控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

图17是根据一示例性实施例示出的一种计算机设备1300的框图。例如,计算机设备1300可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。

参照图17,计算机设备1300可以包括以下一个或多个组件:处理组件1302,存储器1304,电源组件1306,多媒体组件1308,音频组件1310,输入/输出(I/O)的接口1312,传感器组件1314,以及通信组件1316。其中,存储器上存储有在处理器上运行的计算机程序或者指令。

处理组件1302通常控制计算机设备1300的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1302可以包括一个或多个处理器1320来执行指令,以完成上述方法的全部或部分步骤。此外,处理组件1302可以包括一个或多个模块,便于处理组件1302和其他组件之间的交互。例如,处理组件1302可以包括多媒体模块,以方便多媒体组件1308和处理组件1302之间的交互。

存储器1304被配置为存储各种类型的数据以支持在计算机设备1300的操作。这些数据的示例包括用于在计算机设备1300上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。

电源组件1306为计算机设备1300的各种组件提供电力。电源组件1306可以包括电源管理系统,一个或多个电源,及其他与为计算机设备1300生成、管理和分配电力相关联的组件。

多媒体组件1308包括在所述计算机设备1300和用户之间的提供一个输出接口的触控显示屏。在一些实施例中,触控显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1308包括一个前置摄像头和/或后置摄像头。当计算机设备1300处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1310被配置为输出和/或输入音频信号。例如,音频组件1310包括一个麦克风(MIC),当计算机设备1300处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1304或经由通信组件1316发送。在一些实施例中,音频组件1310还包括一个扬声器,用于输出音频信号。

I/O接口1312为处理组件1302和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1314包括一个或多个传感器,用于为计算机设备1300提供各个方面的状态评估。例如,传感器组件1314可以检测到计算机设备1300的打开/关闭状态,组件的相对定位,例如所述组件为计算机设备1300的显示器和小键盘,传感器组件1314还可以检测计算机设备1300或计算机设备1300一个组件的位置改变,用户与计算机设备1300接触的存在或不存在,计算机设备1300方位或加速/减速和计算机设备1300的温度变化。传感器组件1314可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1314还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1314还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。

通信组件1316被配置为便于计算机设备1300和其他设备之间有线或无线方式的通信。计算机设备1300可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1316还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。

在示例性实施例中,计算机设备1300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述数据处理质量控制方法。

在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1304,上述指令可由计算机设备1300的处理器1320执行以完成上述数据处理质量控制方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本公开实施例所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本公开实施例的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本公开实施例构思的前提下,还可以做出若干变形和改进,这些都属于本公开实施例的保护范围。因此,本公开实施例专利的保护范围应以所附权利要求为准。

相关技术
  • 数据处理质量控制方法、装置、计算机设备和存储介质
  • 软件版本的质量控制方法、装置、计算机设备及存储介质
技术分类

06120112607819