一种元数据管理方法及装置

技术领域

本申请涉及数据管理技术领域，尤其涉及一种元数据管理方法及装置。

背景技术

当前，数据正在以前所未有的速度增长，在数据大爆发的时代，数据治理，可以说是企业实现数据资产创造价值的过程中的基础。其中元数据最简单的定义是“描述数据的数据”，元数据的信息范围很广，它描述了数据本身，数据表示的概念，数据与概念之间的联系等。元数据可以帮助组织理解其自身的数据、系统和流程，同时帮助用户评估数据质量，对数据库与应用程序的管理来说是不可或缺的。

元数据本身也需要管理。目前现有技术中对于元数据管理的工具普遍分为四种，包括：元数据抽取工具、前端展现工具、建模工具和元数据存储工具，通过上述工具实现的元数据管理方法，仅可以将元数据采集和存储，但无法对采集和存储的元数据的质量进行检查核验(以下简称检核)。而无法对元数据质量进检核就直接导致了元数据不准确，进而使得现有技术中的元数据管理方法缺乏准确性。由此，如何设计出一种准确的元数据管理方法成为本领域亟需解决的技术问题。

发明内容

有鉴于此，本申请实施例提供了一种元数据管理方法及装置，旨在达到对元数据进行管理时对元数据质量进行检核的要求。

第一方面，本申请实施例提供了一种元数据管理方法，该方法包括：

根据预设的元数据种类对存储的未检核元数据进行分类；

根据预设的价值分级表，将分类后的元数据进行价值分级得到元数据的管理优先级，并得到待管理元数据组；

将待管理元数据组通过预设的检核规则表进行检核，并将检核结果发送至用户管理端。

可选的，所述将分类后的元数据进行价值分级得到元数据的管理优先级，并得到待管理元数据组，包括：

根据分类后的元数据对应的价值分级表，得到每个元数据对应的价值；

根据所述价值确定对应的元数据的管理优先级；其中，所述管理优先级包括，第一管理优先级>第二管理优先级>第三管理优先级；

将具有第一管理优先级的元数据组成待管理元数据组。

可选的，在将具有第一管理优先级的元数据组成待管理元数据组后，还包括：

将具有第二管理优先级的元数据发送至用户管理端；

将具有第三管理优先级的元数据标记为暂缓处理元数据并存储。

可选的，所述将待管理元数据组通过预设的检核规则表进行检核，并将检核结果发送至用户管理端，包括：

判断所述待管理元数据组中的元数据是否符合检核规则表内容；其中，所述预设的检核规则表包括疑似命中检核规则表和准确命中检核规则表；

若元数据符合准确命中检核规则表内容，则将所述元数据标记为待修改元数据；

若元数据仅符合疑似命中检核规则表内容，则将所述元数据标记为待确定元数据；

将所述待修改元数据和所述待确定元数据作为检核结果发送至用户管理端。

可选的，在将检核结果发送至用户管理端后，还包括：

将存储的检核后不符合检核规则表内容的元数据标记为已检核元数据。

可选的，所述元数据管理方法还包括：

接收用户管理端反馈的修改元数据；

判断修改元数据对应存储中的元数据是否为未检核元数据；

若为未检核元数据，将所述未检核元数据替换为修改后的元数据，若不为未检核元数据，则将所述修改元数据缓存并向用户管理端发送修改确认请求。

第二方面，本申请实施例提供了一种元数据管理装置，该装置包括：

分类模块，用于根据预设的元数据种类对存储的未检核元数据进行分类；

分级模块，用于根据预设的价值分级表，将分类后的元数据进行价值分级得到元数据的管理优先级，并得到待管理元数据组；

检核模块，用于将待管理元数据组通过预设的检核规则表进行检核，并将检核结果发送至用户管理端。

可选的，所述分级模块具体用于：

根据分类后的元数据对应的价值分级表，得到每个元数据对应的价值；

根据所述价值确定对应的元数据的管理优先级；其中，所述管理优先级包括，第一管理优先级>第二管理优先级>第三管理优先级；

将具有第一管理优先级的元数据组成待管理元数据组。

可选的，所述分级模块还用于：

在将具有第一管理优先级的元数据组成待管理元数据组后，将具有第二管理优先级的元数据发送至用户管理端；

将具有第三管理优先级的元数据标记为暂缓处理元数据并存储。

可选的，所述检核模块具体用于：

判断所述待管理元数据组中的元数据是否符合检核规则表内容；其中，所述预设的检核规则表包括疑似命中检核规则表和准确命中检核规则表；

若元数据符合准确命中检核规则表内容，则将所述元数据标记为待修改元数据；

若元数据仅符合疑似命中检核规则表内容，则将所述元数据标记为待确定元数据；

将所述待修改元数据和所述待确定元数据作为检核结果发送至用户管理端。

本申请实施例提供了一种元数据管理方法，包括：根据预设的元数据种类对存储的未检核元数据进行分类，再根据预设的价值分级表，将分类后的元数据进行价值分级，得到待管理元数据组，通过预设的检核规则表进行检核，并将检核结果发送至用户管理端。可见，本申请中的元数据管理方法根据元数据种类对存储的元数据进行分类，保证覆盖到每一个存储的未检核元数据，且对于元数据的管理检核制定管理优先级，在不浪费检核资源的前提下，对元数据质量进行检核保证了元数据的准确性，从而提高了对元数据的管理的准确性。

此外，本申请还提供了一种元数据管理装置，其技术效果与上述方法相对应，这里不再赘述。

附图说明

为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的元数据管理方法的一种方法流程图；

图2为本申请实施例提供的元数据检核判断流程图；

图3为本申请实施例提供的元数据管理装置的一种结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

元数据最简单的定义是“描述数据的数据”，元数据的信息范围很广，不仅包括技术和业务流程、数据规则和约束，还包括逻辑数据结构与物理数据结构等。它描述了数据本身(如数据库、数据元素、数据模型)，数据表示的概念(如业务流程、应用系统、软件代码、技术基础设施)，数据与概念之间的联系(关系)。元数据可以帮助组织理解其自身的数据、系统和流程，同时帮助用户评估数据质量，对数据库与应用程序的管理来说是不可或缺的。

数据管理需要元数据，元数据本身也需要管理。持续地优化元数据管理有助于提高数据的可信度、增加战略信息的价值、提高运营效率、避免使用过时或不正确的数据、减少清理数据的时间、改善数据使用者和开发人员之间的沟通。

当前各厂商已有对元数据相关的工具大致可分为四类：数据抽取工具，也就是把业务系统中的数据抽取、转换、集成，这些仅提供了技术元数据，几乎没有提供对业务元数据的支持；前端展现工具：通过把关系表映射成与业务相关的事实表和维表来支持多维业务视图，进而对数据进行多维分析。提供了业务元数据与技术元数据相对应的语义层；建模工具：为非技术人员准备的业务建模工具，这些工具可以提供更高层的与特定业务相关的语义；元数据存储工具：元数据通常存储在专用的数据库中，该数据库就如同一个“黑盒子”，外部无法知道这些工具所用到和产生的元数据是如何存储的。

然而，针对元数据的质量检核，还没有一个普适性的解决方案。通过前述四种工具采集获取到的元数据其质量如何，是否可以信任无法确切获知。由于元数据同时涵盖了数据的业务属性和技术属性。元数据质量管理需要组织中各团队的协调与配合，包括业务管理部门、开发部门、数据管理部门等。所以在缺少高效的解决方案的背景下，元数据完整度、质量想要提升困难重重。

本申请实施例提供一种元数据管理方法，该方法的流程图如图1所示，包括如下步骤：

S10，根据预设的元数据种类对存储的未检核元数据进行分类。

一条元数据包括，系统、数据库、数据表三部分，按照这三部分将元数据进行初步分类后，还可以根据用户预设的分类方式进一步分类，例如：将系统按系统运行情况分成已下线系统、待下线系统、正常运营自主研发或联合开发系统、正常运营外购系统。将数据库分为主库、归档库、备份库、查询库。将数据表分为正常使用表、接口或服务表、第三方接入表、本司其他系统接入的表、临时表或历史表或物理表或产品表或作废表。

上述分类方式可以是用户根据具体需求确定的，本申请在此不做具体的限定。

S20，根据预设的价值分级表，将分类后的元数据进行价值分级得到元数据的管理优先级，并得到待管理元数据组。

其中价值分级表可以如表1中所示，得到已经进行分类后的元数据对应的价值。根据每个不同种类的元数据的价值确定它们的管理优先级，例如:系统价值分级，正常运营系统对应高价值，已下线系统、待下线系统(该类系统不再有增量数据产生，但存量数据仍然有使用价值)对应中价值；库价值分级，主库对应高价值，归档库或备份库或查询库对应低价值；表价值分级，本系统产生数据且正常使用表、第三方接入表对应高价值；本司其他系统接入的表(该类表的元数据应在源头系统进行管理)、临时表或历史表或物理表或产品表或作废表(该表多为技术性数据表)对应低价值。

以便后续可以精确的对元数据进行管理，从而避免管理资源的浪费。

表1

S30，将待管理元数据组通过预设的检核规则表进行检核，并将检核结果发送至用户管理端。

将待管理元数据组通过用户预设的检核规则表进行检核，并将检核结果发送至用户管理端以供用户确认。可以将检核结果以表单的形式发送至用户管理端，让用户知晓哪些元数据符合检核规则表内容。

其中预设的检核规则表可以是根据用户的需求设置的，本申请在此不做具体限定。

可见，本申请中的元数据管理方法根据元数据种类对存储的元数据进行分类，保证覆盖到每一个存储的未检核元数据，且对于元数据的管理检核制定管理优先级，在不浪费检核资源的前提下，对元数据质量进行检核保证了元数据的准确性，从而提高了对元数据的管理的准确性。

在一些具体实施例中，步骤S20具体包括：

根据分类后的元数据对应的价值分级表，得到每个元数据对应的价值；

根据所述价值确定对应的元数据的管理优先级；其中，所述管理优先级包括，第一管理优先级>第二管理优先级>第三管理优先级；

根据上文表1中的价值划分管理优先级，将高中低三种价值的元数据分别对应第一、第二、第三优先级。

将具有第一管理优先级的元数据组成待管理元数据组。

将高优先级的元数据采取直接进行管理的策略，组成管理元数据组，以便后续对管理元数据组进行检核。

将具有第二管理优先级的元数据发送至用户管理端。

将中等优先级的元数据采取酌情进行管理的策略，将具有中等优先级的元数据发送至用户管理端，使用户进行确定。若用户确定对其进行管理，则将对应的元数据分配高优先级，否则将对应的元数据分配低优先级。

将具有第三管理优先级的元数据标记为暂缓处理元数据并存储。

将检测为低优先级的元数据标记暂缓处理，不再参与之后的检核，将其直接存储在数据库中。

在一些具体实施例中，为方便进一步理解，步骤S30中的检核流程可以如图2中的元数据管理方法的元数据检核判断流程图所示，具体包括：

S31，接收待管理元数据组。

接收经过步骤S20将元数据进行价值分级后，得到高管理优先级的元数据组成的管理元数据组。

S32，判断所述待管理元数据组中的元数据是否符合检核规则表内容；其中，所述预设的检核规则表包括疑似命中检核规则表和准确命中检核规则表。

表2为疑似命中检核表，表3为准确命中检核表，表2和表3均体现了检核规则类型和检核规则的对应关系。如表2中所示，疑似命中表中的检核规则相对为范围概念，在命中之后元数据质量不一定不合格，则需要人工进一步判断。如表3中所示，准确命中表中的检核规则相对为准确的固定概念，在命中后可以确定对应的元数据不合格。

表2

表3

S33，将存储的检核后不符合检核规则表内容的元数据标记为已检核元数据。

将存储的所有在检核后不符合检核规则表内容的元数据均标记为已检核元数据，以便后续不会重复检核，导致资源浪费。

S34，判断元数据是否符合准确命中检核规则表内容。

步骤S33中判断符合任意一项检核规则表内容，当前步骤S34判断是否符合准确命中检核规则表内容，将符合准确命中检核规则表内容的元数据挑选出来。

S35，若元数据符合准确命中检核规则表内容，则将所述元数据标记为待修改元数据。

只要当元数据符合准确命中检核规则表内容，不论其是否符合疑似命中检核规则表内容，都将元数据标记为待修改元数据，并把元数据和其符合的具体内容对应。

S36，若元数据仅符合疑似命中检核规则表内容，则将所述元数据标记为待确定元数据。

当判断符合检核表内容的元数据，不符合准确命中检核规则表内容时，确定其仅符合疑似命中检核规则表内容，将其标记为待确定元数据，并把元数据和其符合的具体内容对应。

将所述待修改元数据和所述待确定元数据作为检核结果发送至用户管理端。

在一些具体实施例中，所述元数据管理方法还包括：

接收用户管理端反馈的修改元数据；

判断修改元数据对应存储中的元数据是否为未检核元数据；

若为未检核元数据，将所述未检核元数据替换为修改后的元数据，若不为未检核元数据，则将所述修改元数据缓存并向用户管理端发送修改确认请求。

在用户管理端需要对存储的元数据进行修改时，接收用户管理端发送的修改元数据。确定将要被修改的元数据是否为未检核元数据，若是未检核元数据，则说明该元数据是待修改元数据。而若不为未检核元数据，则该元数据有可能是已检核元数据或暂缓处理元数据，这时将接收到的修改元数据缓存，避免重复传输。并向用户管理端发送修改确认请求，是否确定修改(已检核元数据)或是否值得修改(暂缓处理元数据)。若非未检核数据被修改后，将修改后的元数据标记为未检核元数据。

基于上述实施例提供的元数据管理方法，本申请实施例则提供一种执行上述元数据管理的装置。该元数据管理装置的结构示意图如图3所示，元数据管理装置包括：

分类模块10，用于根据预设的元数据种类对存储的未检核元数据进行分类。

一条元数据由系统、数据库、数据表，三部分组成，按照这三部分将元数据进行初步分类后，还可以根据用户预设的分类方式进一步分类。

分级模块20，用于根据预设的价值分级表，将分类后的元数据进行价值分级得到元数据的管理优先级，并得到待管理元数据组。

其中价值分级表可以如上文表1中所示，得到已经进行分类后的元数据对应的价值。根据每个不同种类的元数据的价值确定它们的管理优先级，以便后续可以精确的对元数据进行管理，从而避免管理资源的浪费。

检核模块30，用于将待管理元数据组通过预设的检核规则表进行检核，并将检核结果发送至用户管理端。

将待管理元数据组通过用户预设的检核规则表进行检核，并将检核结果发送至用户管理端以供用户确认。

在一些具体实施例中，所述分级模块具体用于：

根据分类后的元数据对应的价值分级表，得到每个元数据对应的价值；

根据所述价值确定对应的元数据的管理优先级；其中，所述管理优先级包括，第一管理优先级>第二管理优先级>第三管理优先级；

根据上文表1中的价值划分管理优先级，将高中低三种价值的元数据分别对应第一、第二、第三优先级。

将具有第一管理优先级的元数据组成待管理元数据组。

将高优先级的元数据采取直接进行管理的策略，组成管理元数据组，以便后续对管理元数据组进行检核。

将具有第二管理优先级的元数据发送至用户管理端。

将中等优先级的元数据采取酌情进行管理的策略，将具有中等优先级的元数据发送至用户管理端，使用户进行确定。若用户确定对其进行管理，则将对应的元数据分配高优先级，否则将对应的元数据分配低优先级。

将具有第三管理优先级的元数据标记为暂缓处理元数据并存储。

将检测为低优先级的元数据标记暂缓处理，不再参与之后的检核，将其直接存储在数据库中。

在一些具体实施例中，所述检核模块具体用于：

判断所述待管理元数据组中的元数据是否符合检核规则表内容；其中，所述预设的检核规则表包括疑似命中检核规则表和准确命中检核规则表；

若元数据符合准确命中检核规则表内容，则将所述元数据标记为待修改元数据；

若元数据仅符合疑似命中检核规则表内容，则将所述元数据标记为待确定元数据；

将所述待修改元数据和所述待确定元数据作为检核结果发送至用户管理端。

将存储的检核后不符合检核规则表内容的元数据标记为已检核元数据。

只要当元数据符合准确命中检核规则表内容，不论其是否符合疑似命中检核规则表内容，都将元数据标记为待修改元数据，并把元数据和其符合的具体内容对应。

当判断符合检核表内容的元数据，不符合准确命中检核规则表内容时，确定其仅符合疑似命中检核规则表内容，将其标记为待确定元数据，并把元数据和其符合的具体内容对应。

在一些具体实施例中，所述元数据管理装置还包括：

接收用户管理端反馈的修改元数据；

判断修改元数据对应存储中的元数据是否为未检核元数据；

若为未检核元数据，将所述未检核元数据替换为修改后的元数据，若不为未检核元数据，则将所述修改元数据缓存并向用户管理端发送修改确认请求。

在用户管理端需要对存储的元数据进行修改时，接收用户管理端发送的修改元数据。确定将要被修改的元数据是否为未检核元数据，若是未检核元数据，则说明该元数据是待修改元数据。而若不为未检核元数据，则该元数据有可能是已检核元数据或暂缓处理元数据，这时将接收到的修改元数据缓存，避免重复传输。并向用户管理端发送修改确认请求，是否确定修改(已检核元数据)或是否值得修改(暂缓处理元数据)。若非未检核数据被修改后，将修改后的元数据标记为未检核元数据。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。