一种基于大数据治理平台的数据标准方法及系统

技术领域

本发明涉及大数据治理技术领域，具体为一种基于大数据治理平台的数据标准方法及系统。

背景技术

随着全球信息化和数字化的发展，各行各业都在进行或即将进行数据治理，根据国际及国内对数据治理的主流理解，数据标准是数据治理中非常重要的组成部分。

现有技术中，越来越多的企业开始关注自身的数据问题，开始在企业数据管理和数据规划中使用一定手段进行数据管控。这些手段在一定程度上可以帮助企业提升数据质量，同时为解决不同经验水平的运维人员可以通过用户界面设置数据规则的方式来达到降低工作量的目的。

但是，目前，行业中标准杂乱、专业术语不通用，每个企业都定制了自身的标准，在实际开发中难以复用且重复劳动繁杂。

发明内容

本发明的目的在于提供一种基于大数据治理平台的数据标准方法及系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于大数据治理平台的数据标准方法，所述方法包括以下步骤：

采集元数据；

通过数据标准模块注册标准文档和数据字典；

通过数据标准模块，注册数据元构成元数据标准信息；

将元数据按照数据标准进行归类；

编写数据规则；

根据企业需求编写专业术语；

根据数据规则校验数据。

优选的，采集元数据具体包括以下数据：

创建采集任务，从第三方数据库中获取元数据信息；

将元数据写入本地数据库中。

优选的，通过数据标准模块注册标准文档和数据字典具体包括以下数据：

在数据标准模块中，标准文档主要包含标准文档名成、文档编码、文档编号、发布时间和单位、以及标准文档文件；

数据字典主要包含字典名称、编码、字典项信息；

两者构成标准规范文件来源信息和数据值域信息。

优选的，注册数据元包含数据类型、是否为空、最大长度、最小长度、精度信息。

优选的，将元数据按照数据标准进行归类具体包括以下步骤：

通过元数据管理模块的元数据信息，编辑绑定数据元、数据字典信息。

优选的，编写数据规则具体包括以下步骤：

通过数据标准模块创建相关的规则信息规则格式为JS脚本和正则表达式。

一种基于大数据治理平台的数据标准系统，所述系统由管理数据元模块、管理数据字典模块、管理数据规则模块、管理标准文档模块、管理专业术语模块以及管理枚举集模块组成；

用户通过服务数据元模块对数据元进行管理，包含数据类型、是否为空、最大长度、最小长度、精度等信息，构成元数据标准信息。数据元信息被数据资产所引用；

用户通过服务数据字典模块对数据字典进行管理，数据字典主要包含字典名称、编码、字典项信息；

用户通过服务数据规则模块对数据规则进行管理，数据规则主要包含了规则编码，规则内容和类型，类型可分两种JS脚本以及正则表达式；

用户通过服务标准文档模块对标准文档进行管理，标准文档主要包含标准文档名成、文档编码、文档编号、发布时间和单位、以及标准文档文件；

用户通过服务专业术语模块对专业术语进行管理，专业术语主要包含术语的解释和术语的版本、编码；

用户通过枚举集模块对枚举集进行管理，枚举集主要包括名称和枚举值，枚举集为数据安全提供支撑。

与现有技术相比，本发明的有益效果是：

本发明提出的基于大数据治理平台的数据标准方法及系统，通过元数据采集和数据标准的关联，通过数据安全等模块和数据标准的关联，打破了企业在数据治理中业务需求与技术需求上的壁垒，通过数据标准制定数据规则在数据开发中对数据进行核验，达到了对数据质量管控的目的，同时，在发现企业问题数据时后续业务提供依据，另外，还可以根据数据标准要求给出整改意见，真正做到了以技术为手段，实现了企业在大数据治理中的高效复用，对企业提高数据质量、规范数据定义，保证数据资产安全等领域具有重要意义，且具有很好的应用价值。

附图说明

图1为本发明元数据采集、管理和引用关系图；

图2为本发明数据标准模块与数据治理平台其他模块的引用关系图。

具体实施方式

为了使本发明的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本发明实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本发明一部分实施例，而不是全部的实施例，仅仅用以解释本发明实施例，并不用于限定本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

请参阅图1至图2，本发明提供一种技术方案：在本发明的一个实施例中，数据元查看引用的流程为：

(1)用户通过数据标准注册标准文档和数据字典，标准文档主要包含标准文档名成、文档编码、文档编号、发布时间和单位、以及标准文档文件等，数据字典主要包含字典名称、编码、字典项信息等，两者构成标准规范文件来源信息和数据值域信息。

(2)用户通过数据标准注册数据元，包含数据类型、是否为空、最大长度、最小长度、精度等信息，构成元数据标准信息。

(3)用户通过数据元注册和维护数据元信息，构成数据元信息。

(4)用户通过数据资产元数据模块的元数据管理模块采集元数据，形成元数据信息。

(5)用户通过元数据模块的元数据管理模块的元数据信息，编辑绑定数据元、数据字典信息。

(6)用户通过数据标准的数据元模块的查看引用功能可以查看引用数据元的元数据信息列表及元数据信息详情。

采用了本发明的大数据治理平台实现辅助制定数据标准的方法，实现了获取元数据和制定元数据标准信息的解耦，并支持对后续数据开发中的数据进行校验，通过数据文档和数据字典对元数据进行规范性描述，从而大大降低人力成本，解决了目前数据标准不全面，效率低的问题。

实施例二

在实施例一的基础上，一种基于大数据治理平台的数据标准系统，数据标准系统服务的对象包括元数据系统与资源管理系统，通过数据标准管理系统实现对数据的标准化管理，使数据更加的规范，并将标准文件传递给其他系统，从而规范整个业务树上的各个单元，是数据传输的“标尺”，所述的系统包括以下模块：

(1)管理数据元模块

(2)管理数据字典模块

(3)管理数据规则模块

(4)管理标准文档模块

(5)管理专业术语模块

(6)管理枚举集模块

以上的六个模块为整个数据治理提供了标准基础，以下对六个模块的功能进行介绍:

(1)用户通过服务数据元模块对数据元进行管理，包含数据类型、是否为空、最大长度、最小长度、精度等信息，构成元数据标准信息。数据元信息被数据资产所引用；

(2)用户通过服务数据字典模块对数据字典进行管理，数据字典主要包含字典名称、编码、字典项信息等；

(3)用户通过服务数据规则模块对数据规则进行管理，数据规则主要包含了规则编码，规则内容和类型，类型可分两种JS脚本以及正则表达式；

(4)用户通过服务标准文档模块对标准文档进行管理，标准文档主要包含标准文档名成、文档编码、文档编号、发布时间和单位、以及标准文档文件；

(5)用户通过服务专业术语模块对专业术语进行管理，专业术语主要包含术语的解释和术语的版本、编码；

(6)用户通过枚举集模块对枚举集进行管理，枚举集主要包括名称和枚举值，枚举集为数据安全提供支撑；

所述管理数据元模块具体包括以下功能:

(1.1)、创建数据元信息其中包括了数据元的类型如整数，浮点数，字符串等；

(1.2)、数据元绑定数据字典和文档对数据元进一步描述和规定；

(1.3)、查看与数据资产相关联的引用关系；

所述管理数据字典模块具体包括以下功能:

(2.1)、数据字典主要包含字典名称、编码、字典项信息等；

所述管理数据规则模块具体包括以下功能:

(3.1)、创建数据规则，数据规则需有唯一编码，规则内容可选JS脚本或正则表达式且具有复用性；

(3.2)、规则由运维人员书写也可使用生成功能生成简单的正则表达式，书写的规则需要进行可行性校验，通过校验的规则才能正确的入库；

(3.3)、规则可查看是否被其他模块所引用，为保证数据的可靠性被引用的规则不能被修改；

所述管理标准文档模块具体包括以下功能:

(4.1)、提供对标准文档的维护，包括查询、新增、编辑、删除。采用值域标准和数据元标准对标准文档进行管理，采用国家、行业、地方、自建对标准文件进行分级；

(4.2)、标准文档(国家标准，行业标准)中抽取而来，各种规范文件，规范公告是各种规范的基础；

所述管理专业术语模块具体包括以下功能:

(5.1)、提供对专业术语的维护，包括查询、新增、编辑、删除。采用行业术语，公司专有术语对数据进行描述；

所述管理枚举集模块具体包括以下功能:

(6.1)、提供对枚举集的维护，包括查询、新增、编辑、删除。枚举集为后续数据安全模块提供支持。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。