一种数据质量稽查平台

技术领域

本发明属于数据稽查管控技术领域，具体为一种数据质量稽查平台。

背景技术

当前，以大数据、云计算、移动互联网等为代表的新一轮科技革命席卷全球，正在构筑信息互通、资源共享、能力协同、开放合作的制造业新体系，极大地扩展了制造业创新与发展空间。新一代信息通信技术的发展驱动制造业迈向转型级的新阶段，即数据驱动的新阶段，这是新的技术条件下制造业生产全流程、全产业链、产品全生命周期的数据可获取、可分析、可执行的必然结果，也是隐性知识显性化不断取得突破的内在要求。

现有技术在解决电厂的数据问题时，提出许多的数据集成平台。该数据集成平台针对大数据类型多，数据量大，多数提供了多种格式的数据采集能力，进行数据的实时采集、实时处理，具有实时性要求高等特点。但其也存在如下的问题：数据采集后直接进行处理，不能保证采集数据的准确性与有效性，这是由于采集的数据中可能存在许多异常数据，将异常数据进行计算，势必会导致处理结果的不准确。同时，异常数据不及时查出，也会难以发现电厂中存在的问题。

针对上述技术问题，申请公布号为CN112508433A的中国发明专利申请，公开了一种运维系统的数据稽查方法及装置，该中国发明专利通过获取待稽查数据，将其存储在数据表中；配制待稽查数据表的稽查属性，根据稽查属性对待稽查数据表中数据进行稽查，根据稽查结果将异常数据进行报警；该发明专利提供的技术方案能够及时的监控分析数据质量问题，提升企业数据质量；但是，该数据稽查方法稽查范围比较局限，不能全面的有效的对数据质量进行高效、准确的稽查。

发明内容

针对现有技术的不足，本发明提供了一种数据质量稽查平台，解决了上述背景技术中提出的问题。

本发明技术方案如下：

一种数据质量稽查平台，包括处理器、数据源存储服务器以及远程服务器，所述处理器包括规则录入模块、任务管理模块以及存储器，所述存储器存储计算机程序，所述处理器调取存储器中存储的计算机程序执行以下过程：

步骤S1、根据需求通过所述规则录入模块录入数据稽查规则，并将所述数据稽查规则存储到远程服务器中；

步骤S2、按照规则组合通过任务管理模块创建稽查任务，所述稽查任务包括单次稽查任务以及周期性稽查任务；

步骤S3、根据所述稽查任务对数据源存储服务器中存储的数据源逐一稽查，并将问题数据存储至远程服务器中。

进一步，所述数据稽查规则为SQL语句。

进一步，所述步骤S2中的单次稽查任务由人工选择性执行，所述周期性稽查任务为依据设定的稽查间期自动执行的定期稽查任务。

进一步，所述步骤S3的过程如下：

步骤S41、调取所述数据源服务器中的数据源，逐一与标准数据进行比对；

步骤S42、执行步骤S41后，如果当前数据源与任一标准数据一致，则调取数据源服务器中的其它任一数据源重复步骤S41，否则，执行步骤S43；

步骤S43、执行步骤S41后，如果当前数据源与每一标准数据均不一致，则将该数据源定义为问题数据，并同步将该问题数据存储至远程服务器中；

步骤S44、执行步骤S43后，循环执行步骤S41-S43，直至将数据源服务器中的所有数据全部稽查完毕；

步骤S45、执行步骤S44后，人员调取远程服务器中的问题数据进行整改。

进一步，在执行完步骤S44后，还包括创建任务工单的步骤，待数据源服务器中的所有数据源全部完成稽查后，处理器自动针对问题数据生成任务工单，将所有的问题数据汇总为问题任务工单，并将所述任务工单派发给对应的负责人员。

进一步，执行所述步骤S41时，将当前数据源的特征与每一标准数据的特征进行比对，所述特征至少包括数据的名称、数据的位置、数据的类型、数据的账户以及数据的密码。

进一步，执行所述步骤S41时，还包括对当前数据源的特征数量、特征的类目和特征排列规则的比对。

进一步，执行所述步骤S41时的具体过程为：

步骤S81、调取所述数据源服务器中的任一数据源，并识别出当前数据源的特征；

步骤S82、将步骤S81中获得的当前数据特征的特征数量、特征类目以及特征排列规则规与标准数据特征的特征数量、特征类目以及特征排列规则进行逐一比对；

步骤S83、完成步骤S82后，如果当前数据特征的特征数量、特征类目以及特征排列规则规与标准数据特征的特征数量、特征类目以及特征排列规则不一致，则终止稽查当前数据；如果特征数量、特征类目以及特征排列规则规与标准数据特征的特征数量、特征类目以及特征排列规则一致，则执行步骤S84；

步骤S84、将当前数据源的数据特征逐一与标准数据的数据特征进行逐一比对。

进一步，还包括建立标准数据源数据库：

构建标准数据集合，作为标准数据源的存储集合；

构建标准数据子集，针对不同的数据类型构建各自独立的标准数据子集，并将所有的数据子集存储到标准数集合中；

构建所述标准数据子集的数据标识，利用数据的特征作为标准数据子集的数据标识，并存储到对应的标准数据子集的数据标识列表中。

有益效果

相对于现有技术，本发明提供的数据质量稽查平台，具备以下有益效果：

本发明按照特定的规则组合对数据进行单次或者周期性稽查，并将问题数据进行汇总，以便于根据问题数据稽查情况生成整改工单，从而有效的保证数据的一致性、完整性和准确性；并且本发明对于数据的特征按照特定的规则进行排列，采用统一的规则进行存储，从而有效的提高数据稽查过程的效率。

附图说明

图1为本发明的架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

如图1所示，一种数据质量稽查平台，包括处理器、数据源存储服务器以及远程服务器，所述处理器包括规则录入模块、任务管理模块以及存储器，所述存储器存储计算机程序，所述处理器调取存储器中存储的计算机程序执行以下过程：

步骤S1、根据需求通过所述规则录入模块录入数据稽查规则，并将所述数据稽查规则存储到远程服务器中；

步骤S2、按照规则组合通过任务管理模块创建稽查任务，所述稽查任务包括单次稽查任务以及周期性稽查任务；

步骤S3、根据所述稽查任务对数据源存储服务器中存储的数据源逐一稽查，并将问题数据存储至远程服务器中。

本发明中，所述数据稽查规则为SQL语句，SQL语句是一种结构化查询语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统，作为数据稽查规则，能够有效的实现数据管理。

本发明中，所述步骤S2中的单次稽查任务由人工选择性执行，所述周期性稽查任务为依据设定的稽查间期自动执行的定期稽查任务；在具体实施时，人员可以根据需要选择性执行稽查任务，有人工手动启动稽查任务；对于周期性稽查任务，责任依据设定的稽查间期，处理器自动的定期对数据源启动稽查任务。

进一步，所述步骤S3的过程如下：

步骤S41、调取所述数据源服务器中的数据源，逐一与标准数据进行比对；

步骤S42、执行步骤S41后，如果当前数据源与任一标准数据一致，则调取数据源服务器中的其它任一数据源重复步骤S41，否则，执行步骤S43；

步骤S43、执行步骤S41后，如果当前数据源与每一标准数据均不一致，则将该数据源定义为问题数据，并同步将该问题数据存储至远程服务器中；

步骤S44、执行步骤S43后，循环执行步骤S41-S43，直至将数据源服务器中的所有数据全部稽查完毕；

步骤S45、执行步骤S44后，人员调取远程服务器中的问题数据进行整改。

本发明中，在执行完步骤S44后，还包括创建任务工单的步骤，待数据源服务器中的所有数据源全部完成稽查后，处理器自动针对问题数据生成任务工单，将所有的问题数据汇总为问题任务工单，并将所述任务工单派发给对应的负责人员；以便于对应人员能够根据任务工单对问题数据进行整改。

本发明中，执行所述步骤S41时，将当前数据源的特征与每一标准数据的特征进行比对，所述特征至少包括数据的名称、数据的位置、数据的类型、数据的账户以及数据的密码；具体的，将当前数据源的特征与多个标准数据源逐一进行比对，如果当前数据的特征与任一标准数据的数据特征一致，则停止当前数据源的特征比对。

本发明中，执行所述步骤S41时，还包括对当前数据源的特征数量、特征的类目和特征排列规则的比对；每个标准数据的特征数量、特征类目和特征排列规则均为固定的，不同的标准数据之间的特征数量、特征类目和特征排列规则可能不同。

本发明中，执行所述步骤S41时的具体过程为：

步骤S81、调取所述数据源服务器中的任一数据源，并识别出当前数据源的特征；

步骤S82、将步骤S81中获得的当前数据特征的特征数量、特征类目以及特征排列规则规与标准数据特征的特征数量、特征类目以及特征排列规则进行逐一比对；

步骤S83、完成步骤S82后，如果当前数据特征的特征数量、特征类目以及特征排列规则规与标准数据特征的特征数量、特征类目以及特征排列规则不一致，则终止稽查当前数据；如果特征数量、特征类目以及特征排列规则规与标准数据特征的特征数量、特征类目以及特征排列规则一致，则执行步骤S84；

步骤S84、将当前数据源的数据特征逐一与标准数据的数据特征进行逐一比对。

本发明中，还包括建立标准数据源数据库：

构建标准数据集合，作为标准数据源的存储集合；

构建标准数据子集，针对不同的数据类型构建各自独立的标准数据子集，并将所有的数据子集存储到标准数集合中；

构建所述标准数据子集的数据标识，利用数据的特征作为标准数据子集的数据标识，并存储到对应的标准数据子集的数据标识列表中；

在执行步骤S41时，处理器调取标准数据源数据库中的标准数据集合，将当前数据源与标准数据集合中的标准数据子集进行逐一比对。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。