一种数据质量监控方法、系统和计算机设备

技术领域

本发明涉及互联网领域，具体而言，涉及一种数据质量监控方法、系统和计算机设备。

背景技术

随着大数据时代的到来，越来越多的应用和服务都基于数据而建立，数据的重要性不言而喻。而数据质量的保证是所有一切数据分析和数据挖掘的基础，数据质量的好坏直接关系到信息的精准度，也影响到企业的生存和竞争力。因此，确保数据可用性和安全性是不可忽略的重要环节。

现有开源数据质量监控组件Apache Griffin是属于模型驱动的方案，基于目标数据集合，用户可以选择从不同维度(如离线任务执行完毕后检查源端和目标端的数据数量是否一致、数据准确度等)来度量数据资产，主要的应用场景是基于源数据与目标数据计算数据的准确度，仅依靠现有技术中周期性地对数据波动率进行监测，并没有对数据的完整性检测(如一些字段的枚举值，空值率阈值设定，最大值和最小值等)、个性化报警等更全面的检测，而通常是基于固定频率周期性地对数据进行检测，不能做到在数据产出后及时、有效、精确地对数据质量进行校验，不能及时将问题数据或错误数据及时告知给相应业务人员，由此，会因不能保证上述数据质量(因错误数据或问题数据)造成后续流程数据处理的无效性，甚至造成浪费集群资源(或者计算资源等)，还会导致数据质量监控效果差等的问题。

此外，现有质量监控系统主要是将校验结果进行可视化，不能将报警信息发送给用户，而需要用户登录到系统的用户界面去查看结果，属于被动监测，在这种被动监测的情况下，很容易造成数据质量监控效果差等问题。

因此，有必要提供一种更有效的数据质量监控方法。

发明内容

为了至少解决以下一个技术问题：不能及时、有效、精确地对数据质量进行校验，不能及时将问题数据或错误数据及时告知给相应业务人员，因错误数据或问题数据造成后续流程数据处理的无效性、甚至造成浪费集群资源(或者计算资源等)，以及因数据质量(问题数据或错误数据)造成的监控效果差等的问题。

本发明提供了一种数据质量监控方法，其用于监控离线数据仓库的数据质量，包括：创建数据质量监测任务，并将监测任务信息存储于文档型数据库，所述监测任务信息包括监测配置信息和告警配置信息；将所述监测任务提交到基于集群的数据仓库，以对离线状态下的数据仓库中的数据进行监测；将执行所述监测任务获得的监测结果与相应的监测任务信息进行处理后存储到关系型数据库中；检测所述关系型数据库，根据检测结果进行告警，该检测结果包括所述由监测任务获得的监测结果和所述告警配置信息。

优选地，将执行所述监测任务获得的监测结果与相应的监测任务信息进行处理后存储到关系型数据库中包括对监测结果与相应的监测任务信息进行动态拼装处理，以生成关系型数据库的操作指令。

优选地，所述拼装处理的参数包括表名、字段名、校验指标以及计算指标，其中，所述校验指标包括是否是给定数据表名称、主键字段、枚举值字段、空值字段、时间字段以及源表名称和目标表名称；所述计算指标包括枚举值、空值率、时间字段，该波动性表示为同比值与环比值的比值。

优选地，所述检测所述关系型数据库，根据检测结果进行告警包括：当检测结果包括校验指标或计算类型相对应的指标，以确定校验类型或计算类型，该校验类型包括主键重复性、数据一致性，该计算类型包括与枚举值、空值率、波动性相对应的类型。

优选地，所述根据检测结果进行告警包括：在所述检测结果存在校验类型的指标时，将该检测结果与预设阈值进行对比，在超过所设定的阈值时，确定相应的告警文件，并执行该告警文件。

优选地，所述确定相应的告警文件包括：在所监测到的监测内容中存在计算类型的指标时，将计算结果作为告警内容，并确定相应告警文件，以进行告警通知。

优选地，所述告警文件包括发送方式、告警优先级、告警时间、被通知用户，所述告警优先级包括与电话、短信、邮件相对应的第一优先级、第二优先级和第三优先级。

此外，本发明提供了一种数据质量监控系统，其用于监控离线数据仓库的数据质量，包括：创建模块，用于创建数据质量监测任务，并将监测任务信息存储于文档型数据库，所述监测任务信息包括监测配置信息和告警配置信息；监测模块，用于将所述监测任务提交到基于集群的数据仓库，以对离线状态下的数据仓库中的数据进行监测；存储模块，用于将执行所述监测任务获得的监测结果与相应的监测任务信息进行处理后存储到关系型数据库中；告警模块，用于检测所述关系型数据库，根据检测结果进行告警，该检测结果包括所述由监测任务获得的监测结果和所述告警配置信息。

优选地，还包括处理模块，该处理模块用于将执行所述监测任务获得的监测结果与相应的监测任务信息进行处理后存储到关系型数据库中包括对监测结果与相应的监测任务信息进行动态拼装处理，以生成关系型数据库的操作指令。

优选地，所述拼装处理的参数包括表名、字段名、校验指标以及计算指标，其中，所述校验指标包括是否是给定数据表名称、主键字段、枚举值字段、空值字段、时间字段以及源表名称和目标表名称；所述计算指标包括枚举值、空值率、时间字段，该波动性表示为同比值与环比值的比值。

优选地，所述检测所述关系型数据库，根据检测结果进行告警包括：当检测结果包括校验指标或计算类型相对应的指标，以确定校验类型或计算类型，该校验类型包括主键重复性、数据一致性，该计算类型包括与枚举值、空值率、波动性相对应的类型。

优选地，所述根据检测结果进行告警包括：在所述检测结果存在校验类型的指标时，将该检测结果与预设阈值进行对比，在超过所设定的阈值时，确定相应的告警文件，并执行该告警文件。

优选地，还包括确定模块，所述确定模块用于确定相应的告警文件，所述确定模块在所监测到的监测内容中存在计算类型的指标时，将计算结果作为告警内容，并确定相应告警文件，以进行告警通知。

优选地，所述告警文件包括发送方式、告警优先级、告警时间、被通知用户，所述告警优先级包括与电话、短信、邮件相对应的第一优先级、第二优先级和第三优先级。

此外，还提供了一种计算机设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行如本发明所述的数据质量监控方法。

此外，本发明还提供了一种计算机程序产品，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现如本发明所述的数据质量监控方法。

有益效果

与现有技术相比，本发明通过灵活配置数据质量监测任务，能够实现更有效、更及时的数据监测，能够保证告警信息(或通知)的及时性，能够有效地保证数据质量监测。

进一步地，通过灵活配置与表、字段的准确度、空值率、枚举值、主键重复性、空值率、波动性等多方面相关的检测任务以进行监控，能够增加监控类型的多样性，还能够实现数据完整性、准确性和一致性的监测；通过主动监控告警，在监测任务运行完成时，能即时执行检测程序，再将检测结果及时通知给相应用户，有效避免因错误数据或问题数据造成的后续运行资源浪费(或者因错误的表结果造成下游依赖表的执行错误)，进而能够保证监控告警的及时性和可靠性；通过告警优先级的设置，能够对告警文件进行有效控制，能够更有效、更及时发送告警优先级高的告警文件，还能够更有效避免过度告警造成的信息埋没等问题。

附图说明

为了使本发明所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本发明的具体实施例。但需声明的是，下面描述的附图仅仅是本发明本发明示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。

图1是本发明的实施例1的数据质量监控方法的一示例的流程图。

图2是本发明的实施例1的数据质量监控方法的另一示例的流程图。

图3是本发明的实施例1的数据质量监控方法的又一示例的流程图。

图4是本发明的实施例2的数据质量监控系统的一示例的示意图。

图5是本发明的实施例2的数据质量监控系统的另一示例的示意图。

图6是本发明的实施例2的数据质量监控系统的又一示例的示意图

图7是根据本发明的一种计算机设备的示例性实施例的结构框图。

图8是根据本发明的计算机程序产品的示例性实施例的结构框图。

具体实施方式

现在将参考附图更全面地描述本发明的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为本发明仅限于在此阐述的实施例。相反，提供这些示例性实施例能够使得本发明更加全面和完整，更加便于将发明构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分，因而将省略对它们的重复描述。

在符合本发明的技术构思的前提下，在某个特定的实施例中描述的特征、结构、特性或其他细节不排除可以以合适的方式结合在一个或更多其他的实施例中。

在对于具体实施例的描述中，本发明描述的特征、结构、特性或其他细节是为了使本领域的技术人员对实施例进行充分理解。但是，并不排除本领域技术人员可以实践本发明的技术方案而没有特定特征、结构、特性或其他细节的一个或更多。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

应理解，虽然本文中可能使用第一、第二、第三等表示编号的定语来描述各种器件、元件、组件或部分，但这不应受这些定语限制。这些定语乃是用以区分一者与另一者。例如，第一器件亦可称为第二器件而不偏离本发明实质的技术方案。

术语“和/或”或者“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

鉴于上述问题，本发明提供了一种数据质量监控方法，该方法能够基于spark集群对离线数仓表和字段级别数据进行完整性、准确性、一致性三个方面进行质量监控与告警，还包括对表的主键重复性的检测、数据一致性的校验、枚举值、空值率、最大值和最小值、波动性等方面进行监控和告警，能够实现灵活定制化配置数据质量监测任务，能够同时对产出的所有数据进行检测以实现更及时的告警，能够有效避免因错误的表结果造成下游依赖表的执行错误，进而能够保证监控告警的及时性和可靠性。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

实施例1

下面，将参照图1至图3描述本发明的数据质量监控方法的实施例。

图1为本发明的数据质量监控方法的一示例的流程图。如图1所示，该方法包括如下步骤。

步骤S101，创建数据质量监测任务，并所述监测任务信息存储于文档型数据库，所述监测任务信息包括监测配置信息和告警配置信息。

步骤S102，将所述监测任务提交到基于集群的数据仓库，以对离线状态下的数据仓库中的数据进行监测。

步骤S103，将执行所述监测任务获得的监测结果与相应的监测任务信息进行处理后存储到关系型数据库中。

步骤S104，检测所述关系型数据库，根据检测结果进行告警，该检测结果包括所述由监测任务获得的监测结果和所述告警配置信息。

在本示例中，该方法用于监控离线数据仓库的数据质量。以下将更具体地说明本发明方法。

首先，在步骤S101中，创建数据质量监测任务，并将监测任务信息存储于文档型数据库，该监测任务包括监测配置信息和告警配置信息。

具体地，创建数据质量监测任务，例如使用PySpark程序，将监测任务通过参数形成存储到文档型数据库，其中，所述监测任务信息包括配置信息和告警配置信息等；所述文档型数据库例如为mongodb数据库。

需要说明的是，PySpark是Spark为Python开发者提供的API，Spark。Spark是UCBerkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，在本发明中，是指Spark集群。

具体地，所述数据质量监测任务包括与离线状态下的数据仓库中的数据相对应的监测内容。

进一步地，所述监测配置信息包括监测参数、监测类型、监测方式以及对比阈值，其中，该监测参数包括数据表的名称、字段名、主键重复性、数据一致性、枚举值、空值率、准确度、波动性等，该监测类型包括与各监测参数相对应的检测类型，该监测方式还包括定时监测、实时监测、以特定时间间隔周期性监测等。

具体地，所述告警配置信息包括与数据质量监测任务相对应的告警信息、告警方式，该告警方式包括电话告警、短信告警、邮件告警、其他社交工具告警等方式。

由此，能够实现灵活配置数据质量监测任务，并通过上述灵活配置的监测任务能够对表、字段的准确度、空值率、枚举值、主键重复性、空值率、波动性等多方面进行监控，进而能够增加监控类型的多样性，还能够实现数据完整性、准确性和一致性的监测。

需要说明的是，上述仅作为示例进行说明，不能理解成对本发明的限制。

接下来，在步骤S102中，将所述监测任务提交到基于集群的数据仓库，以对离线状态下的数据仓库中的数据进行监测。

在本示例中，将步骤S101的数据质量监测任务提交到基于集群的数据仓库，其中，所述集群为Spark集群。

具体地，根据所述数据质量监测任务(在本示例中，也简称为监测任务)，对离线状态下的数据仓库中的数据进行监测。

进一步地，所述数据包括数据表和特定数据。

具体地，所述数据表包括离线状态下数据表中至少一种：明细表、事实表、维度表、汇总表、宽表、融合表、数据模型、流水表、中间表。

更具体地，所述特定数据包括不同字段级的数据。

例如，对于数据一致性的监测任务1，在执行该监测任务1时，从离线状态的数据中，监测待监测的源数据表的名称和目标数据表的名称。

例如，对于主键重复性的监测任务2，在执行该监测任务2时，监测待监测的数据表的名称和主键字段。

再例如，对于波动性的监测任务，在执行该监测任务时，监测待监测的数据表的名称和时间字段。

由此，通过监测任务，能够实现更有效、更及时地数据监测，能够有效地保证数据质量监测，有效避免因错误数据或问题数据造成的后续运行资源浪费。

需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。

接下来，在步骤S103中，将执行所述监测任务获得的监测结果与相应的监测任务信息进行处理后存储到关系型数据库中。

在本示例中，将执行监测任务，得到获得的监测结果。

具体地，对所获得的监测结果与相应的监测任务信息进行动态拼装处理，以生成关系型数据库的操作指令。

进一步地，进行拼装处理的参数包括表名、字段名、校验指标以及计算指标。

具体地，所述校验指标包括是否是给定数据表名称、主键字段、枚举值字段、空值字段、时间字段以及源表名称和目标表名称；所述计算指标包括枚举值、空值率、时间字段，该波动性表示为同比值与环比值的比值。

例如，执行数据一致性的监测任务1所获得的监测结果如下：源数据表的名称为a.cnt，目标数据表的名称为b.cnt。进一步地，将所获得的监测结果与相应的监测任务信息进行动态拼装处理，以生成关系型数据库的操作指令，例如该操作指令为以下SQL1：SELECTa.cnt,b.cnt FROM(SELECT count(1)AS cnt FROM source_table_name)AS a CROSS JOIN(SELECT count(1)AS cnt FROM source_table_name)AS b。并且，该操作指令可用于后续校验或计算等下一处理过程。

例如，执行主键重复性的监测任务2所获得的监测结果如下：数据表的名称a1和主键字段**s1。进一步地，将所获得的监测结果与相应的监测任务信息进行动态拼装处理后，生成如下操作指令SQL2:SELECT primary_key,count(1)AS cnt FROM table_name GROUPBY primary_key HAVING cnt>k1，其中k1可根据数据表的情况设置相应数值。

再例如，执行枚举值的监测任务3，进行动态拼装处理后，生成如下操作指令SQL3:SELECT DISTINCT enum_key FROM table_name。

再例如，执行波动性的监测任务4，进行动态拼装处理后，生成如下操作指令SQL4:SELECT(a.cnt-b.cnt)/b.cnt FROM((SELECT count(1)AS cnt FROM table_name WHEREperiod_key＝'本期数')a CROSS JOIN(SELECT count(1)AS cnt FROM table_name WHEREperiod_key＝'上期数/同期数')b)。

需要说明的是，上述仅作为示例进行说明，不能理解成对本发明的限制。

接下来，在步骤S104中，检测所述关系型数据库，根据检测结果进行告警，该检测结果包括所述由监测任务获得的监测结果和所述告警配置信息。

具体地，例如使用预定的检测程序，通过步骤S103所动态拼装处理得到的SQL，检测所述关系型数据库。

可选地，所述检测所述关系型数据库包括实时或定时检测所述关系型数据库中所有数据(包括新产生或有变动的数据)的步骤，和/或检测步骤S102中的监测任务是否执行失败的步骤。具体可参见图2(将步骤S104拆成步骤S104和S201)。

具体地，在检测到所述关系型数据库中所有数据有新增、删去、替换、或其他变更时，将所检测的信息实时生成相应的告警信息并作为检测结果的一部分，以用于即时告警处理，换言之，即时结束或停止执行与问题数据或错误数据相关的后续操作。由此，通过双层检测处理，能够更有效、更及时地确定(或发现)问题数据或错误数据，并能够更及时地进行后续告警处理。

此外，对于检测步骤S102中的监测任务是否执行失败的步骤，其中，在检测所述监测任务执行失败(例如因集群资源问题导致监测任务失败)时，自动对所述监测任务进行重新执行，以确保执行成功。而在所述监测任务重新执行预设次数后仍是执行失败时，生成相应的检测结果，并自动到告警处理步骤，以将所述告警信息通知给相应业务人员。由此，解决了现有技术中检测到监测任务失败之后、无法对监测任务失败进行重试的问题，并确保了监测任务执行成功以保证更有效、更及时地确定(或发现)问题数据或错误数据。

具体地，当检测结果包括校验指标或计算类型相对应的指标，以确定校验类型或计算类型。

更具体地，该校验类型包括主键重复性、数据一致性，该计算类型包括与枚举值、空值率、波动性相对应的类型。

例如，上述示例中，监测任务2、监测任务3为检验类型，而监测任务1、监测任务4为计算类型。

进一步地，根据检测结果进行告警，具体地，在所述检测结果存在校验类型的指标时，将该检测结果与预设阈值(即监测配置信息中的对比阈值)进行对比，在超过所设定的阈值时，确定相应的告警文件，并执行该告警文件。

而在所监测到的监测内容中存在计算类型的指标时，将计算结果作为告警内容，并确定相应告警文件，以进行告警通知。

具体地，所述告警文件包括发送方式、告警时间、被通知用户，该发送方式包括电话、短信、邮件或其他社交工具。

例如，对于数据一致性的计算处理，计算源数据表a.cnt的z1和目标数据表b.cnt的值z2，通过判断z1和z2是否相等，来确定源数据表a.cnt和目标数据表b.cnt的数据量是否一致，以进一步确定是否告警。

例如，对于主键重复性校验，在通过拼装处理后的SQL检测所述关系型数据库时，通过判断查询结果不为空，来确定是否有主键重复，以进一步确定是否进行告警。

再例如，对于枚举值校验，通过计算得到枚举值M1，并将枚举值M1与预设的对比阈值进行比对，以进一步确定是否进行告警。

此外，本发明还包括对字段的准确度、空值率、波动性等进行监控告警。通过上述检测处理，能够准确检测到某张表或者某个字段存在问题，可及时关闭或结束后续流程(比如某张表关联之后出现笛卡尔积，导致数据翻倍等问题)，能够有效避免依赖错误的数据造成的数据不准确和集群资源浪费。

由此，通过主动监控告警，在监测任务运行完成时，能即时执行检测程序，再将检测结果及时通知给相应用户，能够保证告警信息(或通知)的及时性，能够有效避免因错误的表结果造成下游依赖表的执行错误，进而能够保证监控告警的及时性和可靠性。

图3是本发明的实施例1的数据质量监控方法的另一示例的流程图。

如图3所示，本发明的数据质量监控方法还包括确定告警优先级的步骤S304。

需要说明的是，由于图3中的步骤S301、步骤S302、步骤S303和步骤S305与图1中步骤S101、步骤S102、步骤S103和步骤S104相同，因此，省略了对步骤S301、步骤S302、步骤S303和步骤S305的说明。

在步骤S303中，确定告警优先级，以进一步确定告警文件的发送顺序。

在本示例中，根据监测参数，确定与各监测参数相对应的系数，并根据数据资源消耗，对校验类型和计算类型进行顺序确定，例如与校验类型相对应的第一监测任务比与计算类型相对应的第二监测任务先执行，而第二监测任务的告警文件比第一监测任务的告警文件先发送，等等。

可选地，可选地，根据业务项目所涉及的数据安全性要求级别等级以及业务项目重要度等，确定告警优先级。

需要说明的是，所述业务项目包括资源保障投入项目、资源分配项目等。

具体地，设定与告警优先级相对应的发送方式。

进一步地，所述告警优先级包括与电话、短信、邮件相对应的第一优先级、第二优先级和第三优先级。

可选地，根据所确定的告警优先级，进一步确定告警文件的发送顺序。

具体地，所述告警文件包括发送方式、告警优先级、告警时间、被通知用户。

进一步地，根据所确定告警文及其发送顺序，进行发送。由此，通过告警优先级的设置，能够对告警文件进行有效控制，能够更有效、更及时发送告警优先级高的告警文件，还能够有效避免过度告警造成的信息埋没等问题。

需要说明的是，上述仅作为示例进行说明，不能理解成对本发明的限制。

上述方法的过程仅用于对本发明的说明，其中，步骤的顺序和数量没有特别的限制。此外，上述方法中的步骤还可以拆分成两个、三个，或者有些步骤也可以合并成一个步骤，根据实际示例进行调整。

与现有技术相比，本发明通过灵活配置数据质量监测任务，能够实现更有效、更及时的数据监测，能够保证告警信息(或通知)的及时性，能够有效地保证数据质量监测。

进一步地，通过灵活配置与表、字段的准确度、空值率、枚举值、主键重复性、空值率、波动性等多方面相关的检测任务以进行监控，能够增加监控类型的多样性，还能够实现数据完整性、准确性和一致性的监测；通过主动监控告警，在监测任务运行完成时，能即时执行检测程序，再将检测结果及时通知给相应用户，有效避免因错误数据或问题数据造成的后续运行资源浪费(或者因错误的表结果造成下游依赖表的执行错误)，进而能够保证监控告警的及时性和可靠性；通过告警优先级的设置，能够对告警文件进行有效控制，能够更有效、更及时发送告警优先级高的告警文件，还能够更有效避免过度告警造成的信息埋没等问题。

实施例2

下面描述本发明的系统实施例，该系统可以用于执行本发明的方法实施例。对于本发明系统实施例中描述的细节，应视为对于上述方法实施例的补充；对于在本发明系统实施例中未披露的细节，可以参照上述方法实施例来实现。

参照图4、图5和图6，本发明还提供了一种数据质量监控系统400，其用于监控离线数据仓库的数据质量，所述数据质量监控系统400包括：创建模块401，用于创建数据质量监测任务，并将所述监测任务信息存储于文档型数据库；监测模块402，用于将所述监测任务提交到基于集群的数据仓库，以对离线状态下的数据仓库中的数据进行监测，该监测任务包括监测配置信息和告警配置信息；存储模块403，用于将执行所述监测任务获得的监测结果与相应的监测任务信息进行处理后存储到关系型数据库中；告警模块404，用于检测所述关系型数据库，根据检测结果进行告警，该检测结果包括所述由监测任务获得的监测结果和所述告警配置信息。

如图5所示，所述数据质量监控系统400还包括处理模块501，该处理模块501用于将执行所述监测任务获得的监测结果与相应的监测任务信息进行处理后存储到关系型数据库中，其中，对监测结果与相应的监测任务信息进行动态拼装处理，以生成关系型数据库的操作指令。

具体地，所述拼装处理的参数包括表名、字段名、校验指标以及计算指标，其中，所述校验指标包括是否是给定数据表名称、主键字段、枚举值字段、空值字段、时间字段以及源表名称和目标表名称；所述计算指标包括枚举值、空值率、时间字段，该波动性表示为同比值与环比值的比值。

在本示例中，所述检测所述关系型数据库，根据检测结果进行告警包括：当检测结果包括校验指标或计算类型相对应的指标，以确定校验类型或计算类型，该校验类型包括主键重复性、数据一致性，该计算类型包括与枚举值、空值率、波动性相对应的类型。

具体地，所述根据检测结果进行告警包括：在所述检测结果存在校验类型的指标时，将该检测结果与预设阈值进行对比，在超过所设定的阈值时，确定相应的告警文件，并执行该告警文件。

如图6所示，所述数据质量监控系统400还包括确定模块601，所述确定模块601用于确定相应的告警文件，所述确定模块601在所监测到的监测内容中存在计算类型的指标时，将计算结果作为告警内容，并确定相应告警文件，以进行告警通知。

具体地，所述告警文件包括发送方式、告警优先级、告警时间、被通知用户，所述告警优先级包括与电话、短信、邮件相对应的第一优先级、第二优先级和第三优先级。

需要说明的是，在实施例2中，省略了与实施例1相同的部分的说明。

本领域技术人员可以理解，上述系统实施例中的各模块可以按照描述分布于系统中，也可以进行相应变化，分布于不同于上述实施例的一个或多个系统中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

与现有技术相比，本发明通过灵活配置数据质量监测任务，能够实现更有效、更及时的数据监测，能够保证告警信息(或通知)的及时性，能够有效地保证数据质量监测。

进一步地，通过灵活配置与表、字段的准确度、空值率、枚举值、主键重复性、空值率、波动性等多方面相关的检测任务以进行监控，能够增加监控类型的多样性，还能够实现数据完整性、准确性和一致性的监测；通过主动监控告警，在监测任务运行完成时，能即时执行检测程序，再将检测结果及时通知给相应用户，有效避免因错误数据或问题数据造成的后续运行资源浪费(或者因错误的表结果造成下游依赖表的执行错误)，进而能够保证监控告警的及时性和可靠性；通过告警优先级的设置，能够对告警文件进行有效控制，能够更有效、更及时发送告警优先级高的告警文件，还能够更有效避免过度告警造成的信息埋没等问题。

实施例3

下面描述本发明的计算机设备实施例，该计算机设备可以视为对于上述本发明的方法和系统实施例的具体实体实施方式。对于本发明计算机设备实施例中描述的细节，应视为对于上述方法或系统实施例的补充；对于在本发明计算机设备实施例中未披露的细节，可以参照上述方法或系统实施例来实现。

图7是根据本发明的一种计算机设备的示例性实施例的结构框图。下面参照图7来描述根据本发明该实施例的的计算机设备200。图7显示的计算机设备200仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机设备200以通用计算设备的形式表现。计算机设备200的组件可以包括但不限于：至少一个处理单元210、至少一个存储单元220、连接不同装置组件(包括存储单元220和处理单元210)的总线230、显示单元240等。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元210执行，使得所述处理单元210执行本说明书上述计算机设备的处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元210可以执行如图1所示的步骤。

所述存储单元220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202，还可以进一步包括只读存储单元(ROM)2203。

所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204，这样的程序模块2205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

计算机设备200也可以与一个或多个外部设备300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该计算机设备200交互的设备通信，和/或与使得该计算机设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且，计算机设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与计算机设备200的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，本发明描述的示例性实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本发明的上述方法。当所述计算机程序被一个数据处理设备执行时，使得该计算机程序产品能够实现本发明的上述方法。

如图8所示，所述计算机程序可以存储于一个或多个计算机程序产品上。计算机程序产品例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机程序产品的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机程序产品可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

综上所述，本发明可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)等通用数据处理设备来实现根据本发明实施例中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机程序产品上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，本发明不与任何特定计算机、虚拟装置或者计算机设备固有相关，各种通用装置也可以实现本发明。以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。