数据质量检测方法、装置、设备及介质

技术领域

本公开涉及计算机应用技术领域，尤其涉及一种数据质量检测方法、装置、设备及介质。

背景技术

随着大数据时代的到来，数据的重要性不言而喻，高质量的数据为准确、可靠的决策提供了基础，如果数据质量低劣，决策可能会出现错误或误导，导致不良后果。面对井喷式增长的数据量级，实现对数据质量的自动化检测迫在眉睫。

当前也提出了一些数据质量检测方案，但存在明显的局限性，主要体现在实现方式为基于SQL(Structured Query Language，结构化查询语言数据库)的处理方式，每个SQL的配置只能满足一个业务规则的校验，部分实现方式中提出了SQL模板的概念，但复用程度很低，人工参与度依旧很高，且场景覆盖程度较差，伴随着业务规则的增加和变更，检测规则的维护成本会很大，导致整个质量检测活动效率低下。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种数据质量检测方法、装置、设备及介质，至少在一定程度上改善因数据检测规则实例复用程度很低，人工参与度依旧很高所导致的质量检测活动效率低下，检测规则的维护成本较大的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供了一种数据质量检测方法，包括：

获取用户输入的元数据；

在规则数据库中查询第一规则实例，其中，规则数据库中存储有已创建的规则实例，第一规则实例的名称属性与元数据的名称属性之间的相似度大于预设阈值；

在查询到第一规则实例的情况下，复制第一规则实例得到目标规则实例，应用目标规则实例对元数据的名称属性关联的实例数据进行质量检测；

在未查询到第一规则实例的情况下，获取用户创建的第二规则实例，并将第二规则实例存储至规则数据库；

运行第二规则实例对元数据的名称属性关联的实例数据进行质量检测。

在本公开的一个实施例中，在未查询到第一规则实例的情况下，获取用户创建的第二规则实例，包括：

判断元数据对应的元模型是否有绑定的规则模板；

在有绑定的规则模板的情况下，获取用户针对绑定的规则模板输入的模板参数；

根据绑定的规则模板，以及用户针对绑定的规则模板输入的模板参数，得到第三规则实例；

在没有绑定的规则模板的情况下，获取用户创建的第二规则实例。

在本公开的一个实施例中，在没有绑定的规则模板的情况下，获取用户创建的第二规则实例，包括：

在没有绑定的规则模板的情况下，判断是否有可用模板；

在有可用模板的情况下，获取用户针对可用模板输入的模板参数；

根据可用模板，以及用户针对可用模板输入的模板参数，得到第四规则实例；

在没有可用模板的情况下，获取用户创建的第二规则实例。

在本公开的一个实施例中，规则数据库中的规则实例，包括表级别规则实例和字段级规则实例。

在本公开的一个实施例中，在规则数据库中查询第一规则实例，包括：

分别计算第一规则实例的名称属性与元数据中的名称属性之间的相似度；其中，名称属性为表名称或字段名称；

将相似度大于预设阈值的规则实例，作为第一规则实例。

在本公开的一个实施例中，获取用户输入的元数据之前，方法还包括：

新建规则模板，并为所述规则模板配置规则算法；

将规则模板，存储至规则数据库。

在本公开的一个实施例中，新建规则模板后，方法还包括：

将规则模板与元模型进行绑定。

根据本公开的另一个方面，提供一种数据质量检测装置，包括：

数据获取模块，用于获取用户输入的元数据；

实例查询模块，用于在规则数据库中查询第一规则实例，其中，规则数据库中存储有已创建的规则实例，第一规则实例的名称属性与元数据的名称属性之间的相似度大于预设阈值；

第一检测模块，用于在查询到第一规则实例的情况下，复制第一规则实例得到目标规则实例，应用目标规则实例对元数据的名称属性关联的实例数据进行质量检测；

实例创建模块，用于在未查询到第一规则实例的情况下，获取用户创建的第二规则实例，并将第二规则实例存储至规则数据库；

第二检测模块，用于运行第二规则实例对元数据的名称属性关联的实例数据进行质量检测。

根据本公开的又一个方面，提供一种电子设备，包括：存储器，用于存储指令；处理器，用于调用所述存储器中存储的指令，实现上述的数据质量检测方法。

根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令被处理器执行时实现上述的数据质量检测方法。

根据本公开的又一个方面，提供一种计算机程序产品，计算机程序产品存储有指令，所述指令在由计算机执行时，使得计算机实施上述的数据质量检测方法。

根据本公开的又一个方面，提供一种芯片，包括至少一个处理器和接口；

接口，用于为至少一个处理器提供程序指令或者数据；

至少一个处理器用于执行程序指令，以实现上述的数据质量检测方法。

本公开实施例所提供的数据质量检测方法、装置、设备及介质，在用户输入元数据后，能够自动在规则数据库中查询第一规则实例，复制第一规则实例得到目标规则实例，应用目标规则实例对元数据的名称属性关联的实例数据进行质量检测，减少人工操作，自动匹配规则实例进行检测，提升检测效率。在未查询到第一规则实例的情况下，用户创建第二规则实例，并将第二规则实例存储至规则数据库，运行第二规则实例对元数据的名称属性关联的实例数据进行质量检测，其中，存储第二规则实例能够丰富规则数据库中的规则实例，便于后期进行自动匹配，从而提升规则维护效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了相关技术中的一种数据质量规则构建方法流程图；

图2示出本公开实施例中一种数据质量检测方法流程图；

图3示出本公开实施例中一种第二规则实例创建流程图；

图4示出本公开实施例中又一种第二规则实例创建流程图；

图5示出本公开实施例中另一种数据质量检测方法流程图；

图6示出本公开实施例中一种元模型结构示意图；

图7示出本公开实施例中一种界面示意图；

图8示出本公开实施例中一种自动识别流程图；

图9示出本公开实施例中一种数据质量检测装置示意图；

图10示出本公开实施例中一种电子设备的结构框图。

具体实施方式

下面将参考附图更全面地描述示例实施方式。

需要说明的是，示例实施方式能够以多种形式实施，不应被理解为限于在此阐述的范例。

为了便于理解，下面首先对本公开涉及到的相关技术及名词解释如下：

元数据(Metadata):指描述数据的数据，它提供关于数据的信息和特征，帮助人们更好地理解和管理数据。一般分为业务元数据、技术元数据和操作元数据，提供有关数据库对象(例如表、列、索引等)的信息，以及数据库的结构、权限、数据类型、关系等方面的信息。数据库的元数据对于数据库管理和运维非常重要，它使得数据库系统能够有效地管理和查询数据。

元模型(Metamodel)：是定义元数据的属性和关系的模型，每类元数据都属于一个元模型，可以根据元模型来采集和管理元数据信息。企业要实现元数据管理，首先需要定义一个符合存储数据现状的元数据模型。

通配符(Wildcard)：是一种用于模式匹配的特殊字符，常用于字符串搜索、文件查找以及数据库查询等场景中。通配符可以代表一个或多个字符，或者表示某些字符的范围，从而帮助我们在一组数据中匹配符合特定模式的项。

基于背景技术部分可知，相关技术中数据检测规则实例复用程度很低，人工参与度很高，导致质量检测活动效率低下，检测规则的维护成本较大的问题。

具体地，用户需要根据数据标准或元数据的描述判断，对某个数据库表中的某个字段添加一条质量检测规则，并设计规则对应的SQL语句，现有实现中一般是通过手动书写SQL或利用SQL模板手动填充条件参数生成规则实例，然后配置运行任务完成检测活动。同时元数据和质量规则独立维护，当元数据发生变化，需要手动同步对应的检测规则，维护成本较高。

图1示出一种现有进行数据质量规则构建的常用方法，元数据和质量规则单独维护，且需要由人工判断是否添加检测规则，并且为每个规则设置对应的运行SQL，部分场景中有使用SQL模板的构建方式，但人工参与程度仍然较高，支持的检测场景有限。

为解决上述问题，本公开提供了一种数据质量检测方法、装置、设备及介质，通过建立规则模板实现对同类业务规则的统一管理，并与元数据管理打通，通过元模型绑定和智能识别的方式自动生成检测规则，同时扩充规则运行算法，支持更多复杂场景的检测活动，提高整体的检测效率，并大大减少规则后期的维护成本。

下面结合附图及实施例对本示例实施方式进行详细说明。

首先，本公开实施例中提供了一种数据质量检测方法，该方法可以由任意具备计算处理能力的电子设备执行。

图2示出本公开实施例中一种数据质量检测方法流程图，如图2所示，本公开实施例中提供的数据质量检测方法包括步骤S210-S250。

在S210中，获取用户输入的元数据。

在S220中，在规则数据库中查询第一规则实例，其中，规则数据库中存储有已创建的规则实例，第一规则实例的名称属性与元数据的名称属性之间的相似度大于预设阈值。

自动根据名称属性计算与已有规则(规则数据库中的规则实例)的文本相似度，查询相似度大于预设阈值的第一规则实例。

在一些实施例中，规则数据库中的规则实例，包括表级别规则实例和字段级规则实例。

需要说明的是，名称属性可以包括包含表名称和/或字段名称，若相似度大于预设阈值，则推荐规则或规则组供用户直接复制生成针对新表(字段)的新规则实例。

在S230中，在查询到第一规则实例的情况下，复制第一规则实例得到目标规则实例，应用目标规则实例对元数据的名称属性关联的实例数据进行质量检测。

在S240中，在未查询到第一规则实例的情况下，获取用户创建的第二规则实例，并将第二规则实例存储至规则数据库。

若相似度低于预设阈值，可以通过人工操作，创建第二规则。

在S250中，运行第二规则实例对元数据的名称属性关联的实例数据进行质量检测。

本公开实施例所提供的数据质量检测方法，在用户输入元数据后，能够自动在规则数据库中查询第一规则实例，复制第一规则实例得到目标规则实例，应用目标规则实例对元数据的名称属性关联的实例数据进行质量检测，减少人工操作，自动匹配规则实例进行检测，提升检测效率。在未查询到第一规则实例的情况下，用户创建第二规则实例，并将第二规则实例存储至规则数据库，然后运行第二规则实例对元数据的名称属性关联的实例数据进行质量检测，本公开实施例，中将第二规则实例存储至规则数据库，能够丰富规则数据库中的规则实例，便于后期进行自动匹配，从而提升规则维护效率。

在一些实施例中，还可以将上述目标规则实例存储至规则数据库，进一步丰富规则数据库中的规则实例，便于后期进行自动匹配，减少人工操作。

在一些实施例中，如图3所示，在未查询到第一规则实例的情况下，获取用户创建的第二规则实例，包括步骤S301-S304。

在S301中，判断元数据对应的元模型是否有绑定的规则模板。

在上述S240相似度低于预设阈值，未查询到第一规则实例的情况下，可以启动第二级匹配，系统自动搜索录入的元数据条目对应的元模型项是否存在绑定的规则模板，若存在则自动匹配到规则模板并填充条件参数生成新的规则实例。

在S302中，在有绑定的规则模板的情况下，获取用户针对绑定的规则模板输入的模板参数。

在S303中，根据绑定的规则模板，以及用户针对绑定的规则模板输入的模板参数，得到第三规则实例。

在S304中，在没有绑定的规则模板的情况下，获取用户创建的第二规则实例。

需要说明的是，第一规则实例是是已创建的规则实例；第三规则实例是在预先创建的模板基础上，在用户辅助下创建的；第二规则实例是由用户创建的。也就是说，在数据质量检测过程中，如果使用第一规则实例，那么所需的人工操作最少，如果使用第三规则实例，那么人工操作多于第一规则实例，如果使用第二规则实例，人工操作多于第三规则实例。

在一些实施例中，还可以将上述第三规则实例存储至规则数据库，进一步丰富规则数据库中的规则实例，便于后期进行自动匹配，减少人工操作。

在一些实施例中，在未查询到第一规则实例的情况下，获取用户创建的第二规则实例的过程也可以如图4所示，其中，图4中步骤S401-S403与图3中S301-S303相似，在此不再赘述。

在S404中，在没有绑定的规则模板的情况下，判断是否有可用模板。

在S405中，在有可用模板的情况下，获取用户针对可用模板输入的模板参数；

在S406中，根据可用模板，以及用户针对可用模板输入的模板参数，得到第四规则实例；

在S407中，在没有可用模板的情况下，获取用户创建的第二规则实例。

第四规则实例是在预先创建的模板基础上，在用户辅助下创建的。

这里用户创建第二规则实例，可以是用户新建规则模板配置规则算法，并关联元数据参数，得到第二规则实例。

本公开实施例中，若不存在与元模型绑定的规则模板，启动第三级匹配，支持用户手动选择规则模板，并手动填充条件参数生成新的规则实例，并复用模板的运行算法。

在一些实施例中，还可以将上述第四规则实例存储至规则数据库，进一步丰富规则数据库中的规则实例，便于后期进行自动匹配，减少人工操作。

需要说明的是，在执行本公开实施例后，其中涉及到的规则实例均会存储至规则数据库，例如，本公开实施例中第一规则实例、目标规则实例、第二规则实例、第三规则实例和第四规则实例，进而进一步丰富规则数据库中的规则实例。

本公开实施例，提供多级规则构建机制，与元数据管理模块打通，在用户维护元数据信息时自动生成对应的规则实例，如果没有可使用的规则模板，且检测场景不具有通用性，则可以手动创建规则并配置规则运行算法生成新的规则实例。

在一些实施例中，在获取用户输入的元数据之前，还可以新建规则模板；为规则模板配置规则算法；将规则模板，存储至规则数据库。

本公开实施例配置规则模板，实现规则复用，减少频繁设计SQL的过程。通过通配符表示参数类型，不限于SQL语句，支持正则、脚本等多种实现形式，覆盖更多、更复杂的检测场景。

在一些实施例中，新建规则模板后，还可以将规则模板与元模型进行绑定。

本公开实施例规则模板与元模型双向绑定，通过明确的绑定关系，提供根据元数据条目自动匹配到规则模板，然后根据规则模板中的通配符自动匹配和填充条件参数最后生成规则实例的能力。

图5示出本公开实施例中一种数据质量检测方法流程图，如图5所示，本公开实施例中提供的数据质量检测方法包括步骤S501-S508。

在S501中，新建规则模板；在S502中，配置规则算法；在S503中，绑定元模型。上述步骤为前期模板准备。

前期模板准备主要为新建规则模板并为其配置运行算法(也可以称为规则算法)以及绑定元模型，规则模板的数据描述如下表1所示。

表1

上述表1描述规则模板的基础信息，ID为规则模板的唯一ID，模板名称为模板的中文名称，规则类型分为表级和字段级，算法类型根据需要可支持SQL、脚本、正则等类型，算法描述为含有通配符的执行语句，在后台可根据算法类型和算法描述为规则模板选择对应的计算引擎并执行检测任务。元模型ID为规则模板绑定的元模型条目，元模型如图6所示，根据元模型可渲染出如图7的元数据录入界面，也可统一离线采集元数据的数据解析结构。

表2为表1的辅助信息，解释算法描述中的通配符信息，其中模板ID为表1中的ID，通配符标识指代算法描述中的${xxx}，类型为通配符的指代类型，表示填充条件参数的选择依据，具体值和功能可自行定义，例如table和other_table分别为类型3和类型5，虽然均绑定了B3数据表标识，但自动填充时存在差异，类型3自动填充当前录入的表标识，类型5可以渲染出一个其他所有表名称列表的下拉框供用户选择，此场景主要用于表间规则的设定。元模型ID为通配符绑定的元模型条目，根据类型和元模型ID为规则模板自动填充或渲染前端表单元素辅助填充条件参数。

表2

可以看到，两个表中维护了元数据到规则模板，规则模板到条件参数两个绑定关系，通过这种绑定关系，不仅可以完成从元数据录入到生成规则实例的自动化过程，在元数据变化(如字段长度由原来的15位变成18位)时还可自动同步到规则实例中，减少维护成本。

在S504中，新建数据表。

此处的数据表为用于存储实例数据的物理表，包含物理表的创建和实例数据的导入，实例数据即为待检测的数据对象。例如新建一张客户信息表的物理表，包含名称、身份证号、手机号等信息。

在S505中，获取用户针对数据表填写的数据。

用户填写元数据信息。根据上述步骤中描述的元模型渲染元数据录入界面，如图7所示，分别录入表级别和属性级别元数据信息。例如维护客户信息表的元数据信息，依次录入表名称、标识、所属数据库、主键、属性名称、属性标识、类型、是否为空等信息。

在S506中，智能识别规则。

根据用户录入的元数据信息，自动识别质量检测规则。

在S507中，配置稽核任务；在S508中，执行稽核任务。

需要说明的是稽核任务也可以称为数据质量检测任务或检测任务。为规则实例创建检测任务，配置任务执行频率、执行时间、失败重试和告警机制等。根据规则模板的类型启动对应的计算引擎，进行任务调度和资源分配，执行规则实例中的算法并生成检测报告。

图8示出了上述S506中智能识别规则的自动识别流程，如图8所示，首先对元数据中的名称属性进行相似度判断，包含表名称和字段名称，根据表名称提供表级别规则推荐，根据字段名称提供字段级规则推荐。相似度样本为已创建的规则实例，如身份证号的校验规则包含不为空校验、长度为15或18校验等，可以直接复制规则组。根据元模型(如字段长度、是否为空、格式、枚举值列表等)绑定的规则模板，获取录入的条件参数自动填充模板内容生成规则实例。手动选择模板类型，填充所需参数，生成规则实例。手动创建规则，配置规则算法，生成规则实例。

以客户信息表为例，录入属性名称为“身份证号”时，系统检测已创建的规则实例中是否有文本相似度高于预设阈值的属性名称，若存在则直接复制规则实例并根据S601中的模板替换通配符中的条件参数。

例如发现有针对“身份证”属性(来源于员工信息表)的规则，包含非空、长度为15或18位等多个约束组成的规则组，直接复制为客户信息表中的“身份证号”的规则实例。

如果低于阈值，则根据用户录入的其他元数据信息进行匹配，例如根据“是否为空”数据元检索到与其绑定的非空检测模板，提取出算法描述(select*from${db}.${table}where(${field}is null))，并根据其中的通配符类型自动填充库表标识(根据绑定的元模型条目)等信息，其中db为data_center，table为user_info，field为idcard_no，生成最后的规则实例为select*from data_center.user_info where(idcard_no isnull)。

如果没有绑定规则模板，则用户可以自行选择规则模板，并手动填充参数生成规则实例，复用规则模板的运行算法。

如果没有可用模板，且规则不具有通用性，则可以手动创建规则并配置个性化的运行算法。生成的规则实例如下表3所示。

表3

基于同一发明构思，本公开实施例还提供一种数据质量检测系统，该数据质量检测系统包括：规则模板管理模块，元数据管理模块，规则管理模块，任务管理模块，基础服务模块。

规则模板管理模块：管理规则模板的新增、修改和删除操作，配置规则详情，绑定元模型。并提供规则模板的版本管理，提供发布和回溯等功能；

元数据管理模块：提供元数据模板维护、元数据录入/采集、元数据维护等功能，并提供元数据的版本管理，提供发布和回溯等功能；

规则管理模块：结合规则模板和元数据，提供四种规则构建方式(推荐复制、绑定元数据自动生成、手动选择模板配置生成、手动配置算法)的管理，包含新增、修改和删除操；

任务管理模块：提供任务流程管理、规则选择、执行方式、通知告警机制等功能，支持手动和自动触发，提供任务状态管理；

基础服务模块：人员权限管理，实例数据管理，配置计算引擎，负责任务调度和资源分配，运行检测任务，收集任务日志并存储任务结果；

本公开实施例通过维护元模型，且将质量检测规则模板、模板参数与元模型进行绑定的方式，在用户录入元数据信息时能够自动匹配规则和条件参数并生成规则实例，减少人工操作，提升规则维护效率。

丰富检测规则模板，支持SQL、脚本等多种形式，能够处理复杂检测场景。

提供规则实例的多级构建方式，既能支持简易规则的自动批量添加，又能支持复杂检测需求的规则配置，覆盖质量检测的全场景。

在本公开实施例中，术语“第一”、“第二”和“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。

在一些实施例中，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

基于同一发明构思，本公开实施例中还提供了一种数据质量检测装置，如下面的实施例所述。由于该装置实施例解决问题的原理与上述方法实施例相似，因此该装置实施例的实施可以参见上述方法实施例的实施，重复之处不再赘述。

图9示出本公开实施例中一种数据质量检测装置示意图，如图9所示，该数据质量检测装置900，包括：

数据获取模块902，用于获取用户输入的元数据；

实例查询模块904，用于在规则数据库中查询第一规则实例，其中，规则数据库中存储有已创建的规则实例，第一规则实例的名称属性与元数据中的名称属性之间的相似度大于预设阈值；

第一检测模块906，用于在查询到第一规则实例的情况下，复制第一规则实例得到目标规则实例，应用目标规则实例对元数据的名称属性关联的实例数据进行质量检测；

实例创建模块908，用于在未查询到第一规则实例的情况下，获取用户创建的第二规则实例，并将第二规则实例存储至规则数据库；

第二检测模块910，用于运行第二规则实例对元数据的名称属性关联的实例数据进行质量检测。

在一些实施例中，实例创建模块908，用于在未查询到第一规则实例的情况下，判断元数据对应的元模型是否有绑定的规则模板；在有绑定的规则模板的情况下，获取用户针对绑定的规则模板输入的模板参数；根据绑定的规则模板，以及用户针对绑定的规则模板输入的模板参数，得到第三规则实例；在没有绑定的规则模板的情况下，获取用户创建的第二规则实例。

在一些实施例中，实例创建模块908，还用于在没有绑定的规则模板的情况下，判断是否有可用模板；在有可用模板的情况下，获取用户针对可用模板输入的模板参数；根据可用模板，以及用户针对可用模板输入的模板参数，得到第四规则实例；在没有可用模板的情况下，获取用户创建的第二规则实例。

在一些实施例中，规则数据库中的规则实例，包括表级别规则实例和字段级规则实例。

在一些实施例中，该数据质量检测装置900，还可以包括：

模板新建模块，用于新建规则模板，并为所述规则模板配置规则算法；

存储模块，用于将规则模板，存储至规则数据库。

在一些实施例中，该数据质量检测装置900，还可以包括：

绑定模块，用于将规则模板与元模型进行绑定。

本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

关于上述实施例中的数据质量检测装置，其中各个模块执行操作的具体方式已经在有关该数据质量检测方法的实施例中进行了详细描述，此处将不做详细阐述说明。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。

实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

下面参照图10来描述本公开实施例提供的电子设备。图10显示的电子设备1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

图10示出本本公实施例提供的一种电子设备1000的架构示意图。如图10所示，该电子设备1000包括但不限于：至少一个处理器1010、至少一个存储器1020。

存储器1020，用于存储指令。

在一些实施例中，存储器1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)10201和/或高速缓存存储单元10202，还可以进一步包括只读存储单元(ROM)10203。

在一些实施例中，存储器1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204，这样的程序模块10205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

在一些实施例中，存储器1020可存储操作系统。该操作系统可以是实时操作系统(Real Time eXecutive，RTX)、LINUX、UNIX、WINDOWS或OS X之类的操作系统。

在一些实施例中，存储器1020中还可以存储有数据。

作为一个示例，处理器1010可以读取存储器1020中存储的数据，该数据可以与指令存储在相同的存储地址，该数据也可以与指令存储在不同的存储地址。

处理器1010，用于调用存储器1020中存储的指令，实现本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理器1010可以执行上述方法实施例的各步骤。

需要说明的是，上述处理器1010可以是通用处理器或者专用处理器。处理器1010可以包括一个或者一个以上处理核心，处理器1010通过运行指令执行各种功能应用以及数据处理。

在一些实施例中，处理器1010可以包括中央处理器(central processing unit，CPU)和/或基带处理器。

在一些实施例中，处理器1010可以根据各个控制指令中携带的优先级标识和/或功能类别信息确定一个指令。

本公开中，处理器1010和存储器1020可以单独设置，也可以集成在一起。

作为一个示例，处理器1010和存储器1020可以集成在单板或者系统级芯片(system on chip，SOC)上。

如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000还可以包括总线1030。

总线1030可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1000也可以与一个或多个外部设备1040(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1050进行。

并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。

如图10所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。

应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

可以理解的是，本公开实施例示意的结构并不构成对电子设备1000的具体限定。在本公开另一些实施例中，电子设备1000可以包括比图10所示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图10所示的部件可以以硬件，软件或软件和硬件的组合实现。

本公开还提供了一种计算机可读存储介质，其上存储有计算机指令，计算机指令被处理器执行时实现上述方法实施例描述的数据质量检测方法。

本公开实施例中计算机可读存储介质，为可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的计算机指令。

作为一个示例，计算机可读存储介质是非易失性存储介质。

在一些实施例中，本公开中的计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、U盘、移动硬盘或者上述的任意合适的组合。

本公开实施例中，计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机指令(可读程序代码)。

这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。

在一些示例中，计算机可读存储介质上包含的计算指令可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

本公开实施例还提供一种计算机程序产品，计算机程序产品存储有指令，指令在由计算机执行时，使得计算机实施上述方法实施例描述的数据质量检测方法。

上述指令可以是程序代码。在具体实施时，程序代码可以由一种或多种程序设计语言的任意组合来编写。

程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。

程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本公开实施例还提供了一种芯片，包括至少一个处理器和接口；

接口，用于为至少一个处理器提供程序指令或者数据；

至少一个处理器用于执行程序指令，以实现上述方法实施例描述的数据质量检测方法。

在一些实施例中，该芯片还可以包括存储器，该存储器，用于保存程序指令和数据，存储器位于处理器之内或处理器之外。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。

本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。