元数据管理方法及装置、存储介质、计算机设备

技术领域

本申请涉及数据管理和数字医疗技术领域，尤其是涉及到一种元数据管理方法及装置、存储介质、计算机设备。

背景技术

数字化的时代下，企业虽然有很多数据，但是核心负责人需要知道具体数据，比如有什么数据、数据如何存储、如何获取，是从哪里产生、加工得到的。随着数字医疗技术的快速发展，越来越多的医疗业务应用软件产品出现，例如，健康监测应用软件、医疗挂号应用软件、各种购药或问诊应用软件、预防针预约应用软件等，各类医疗软件可能有医生、患者、医院、药房等多个使用方，不同使用方产生的业务数据的存储形态不尽相同。

对于数据本身，企业负责人需要了解值的含义，保存多久，数据的权限和安全，对数据的使用历史，怎么验证数据的质量。这些正是元数据管理的范畴，如果缺乏有效的元数据管理，可能让数据平台混乱不堪，难以承受日益庞大的业务。

发明内容

有鉴于此，本申请提供了一种元数据管理方法及装置、存储介质、计算机设备，元数据管理系统只需要同步一个基准离线数据源的离线元数据，即可实现对多个离线数据源的统一元数据管理，只需要保证元数据管理系统支持一种离线数据源，即可实现对多数据源的元数据管理。

根据本申请的一个方面，提供了一种元数据管理方法，应用于元数据管理系统，所述元数据管理系统至少接入多个离线数据源，所述方法包括：

确定所述离线数据源中的基准离线数据源，分别构建每个剩余离线数据源向所述基准离线数据源的第一数据表映射关系，并将所述第一数据表映射关系部署在所述基准离线数据源中，其中，所述剩余离线数据源为除所述基准离线数据源之外的离线数据源；

通过预设数据感知程序，感知所述离线数据源中的元数据变化情况；

当感知到所述剩余离线数据源中任意的目标离线数据源中的元数据变化满足数据源同步条件时，基于所述目标离线数据源对应的第一数据表映射关系，将所述目标离线数据源中的第一新增元数据同步至所述基准离线数据源中；

当感知到所述基准离线数据源中的元数据变化满足离线数据同步条件时，对所述基准离线数据源中的离线元数据向所述元数据管理系统进行数据同步。

可选地，元数据包括业务元数据、技术元数据和操作元数据，所述业务元数据用于描述业务数据的唯一含义，所述技术元数据用于描述业务数据的存储信息和流转信息，所述操作元数据用于描述对业务数据的操作记录；

所述基于所述目标离线数据源对应的第一数据表映射关系，将所述目标离线数据源中的第一新增元数据同步至所述基准离线数据源中，包括：

若所述第一新增元数据为所述技术元数据或所述操作元数据，则基于所述目标离线数据源对应的第一数据表映射关系，将所述目标离线数据源中的所述第一新增元数据同步至所述基准离线数据源中；

若所述第一新增元数据为所述业务元数据，则基于所述目标离线数据源对应的第一数据表映射关系，将所述目标离线数据源中的所述第一新增元数据以及所述第一新增元数据对应的新增数据表均同步至所述基准离线数据源中。

可选地，所述确定所述离线数据源中的基准离线数据源之后，所述方法还包括：

若所述基准离线数据源不是所述元数据管理系统的开发框架原生支持的数据源，则调用所述元数据管理系统的开发框架提供的开发接口，定义所述基准离线数据源中元数据所需的第一类型索引，并通过反向查询接口对所述元数据管理系统中的第一类型索引进行验证，以确保所述第一类型索引定义成功；

相应地，所述对所述基准离线数据源中的离线元数据向所述元数据管理系统进行数据同步，包括：

调用所述开发接口，基于所述第一类型索引对所述基准离线数据源中的离线元数据向所述元数据管理系统进行数据同步。

可选地，所述元数据管理系统还接入至少一个实时数据源，所述方法还包括：

构建所述实时数据源向所述基准离线数据源的第二数据表映射关系，将所述第二数据表映射关系部署在所述元数据管理系统中；

当监听到所述实时数据源产生元数据变化时，基于所述第二数据表映射关系，将所述实时数据源中的第二新增元数据同步至所述元数据管理系统中。

可选地，所述构建所述实时数据源向所述基准离线数据源的第二数据表映射关系之前，所述方法还包括：

若所述实时数据源不是所述元数据管理系统的开发框架原生支持的数据源，则调用所述元数据管理系统的开发框架提供的开发接口，定义所述实时数据源中元数据所需的第二类型索引，并通过反向查询接口对所述元数据管理系统中的第二类型索引进行验证，以确保所述第二类型索引定义成功；

相应地，所述当监听到所述实时数据源产生元数据变化时，基于所述第二数据表映射关系，将所述实时数据源中的第二新增元数据同步至所述元数据管理系统中，包括：

通过监听接口实时监听所述实时数据源中的元数据变化，并在监听到元数据变化时，调用所述开发接口，基于所述第二类型索引和所述第二数据表映射关系，将所述实时数据源中的第二新增元数据同步至所述元数据管理系统中。

可选地，所述方法还包括：

接收数据查询指令，其中，确定所述数据查询指令对应的查询者身份信息以及被查询对象信息；

在所述元数据管理系统存储的元数据中查询所述被查询对象信息对应的查询者权限信息，并依据所述查询者权限信息对所述查询者身份信息进行验证；

若所述查询者身份信息通过验证，则在所述元数据管理系统存储的元数据中获取所述被查询对象信息对应的查询路由信息，其中，所述查询路由信息用于指示所述被查询对象信息对应的数据获得方式；

基于所述查询路由信息，获取所述被查询对象信息对应的数据查询结果。

可选地，所述基于所述查询路由信息，获取所述被查询对象信息对应的数据查询结果，包括：

若所述查询路由信息为元数据路由信息，则依据所述元数据路由信息，在所述元数据管理系统存储的元数据中获取所述被查询对象信息对应的元数据查询结果；

若所述查询路由信息为业务数据路由信息，则依据所述业务数据路由信息，在所述基准离线数据源中获取所述被查询对象信息对应的业务数据查询结果。

根据本申请的另一方面，提供了一种元数据管理装置，其特征在于，应用于元数据管理系统，所述元数据管理系统至少接入多个离线数据源，所述装置包括：

部署模块，用于确定所述离线数据源中的基准离线数据源，分别构建每个剩余离线数据源向所述基准离线数据源的第一数据表映射关系，并将所述第一数据表映射关系部署在所述基准离线数据源中，其中，所述剩余离线数据源为除所述基准离线数据源之外的离线数据源；

变化感知模块，用于通过预设数据感知程序，感知所述离线数据源中的元数据变化情况；

数据同步模块，用于当感知到所述剩余离线数据源中任意的目标离线数据源中的元数据变化满足数据源同步条件时，基于所述目标离线数据源对应的第一数据表映射关系，将所述目标离线数据源中的第一新增元数据同步至所述基准离线数据源中；

所述数据同步模块，还用于当感知到所述基准离线数据源中的元数据变化满足离线数据同步条件时，对所述基准离线数据源中的离线元数据向所述元数据管理系统进行数据同步。

可选地，元数据包括业务元数据、技术元数据和操作元数据，所述业务元数据用于描述业务数据的唯一含义，所述技术元数据用于描述业务数据的存储信息和流转信息，所述操作元数据用于描述对业务数据的操作记录；

所述数据同步模块，还用于：

若所述第一新增元数据为所述技术元数据或所述操作元数据，则基于所述目标离线数据源对应的第一数据表映射关系，将所述目标离线数据源中的所述第一新增元数据同步至所述基准离线数据源中；

若所述第一新增元数据为所述业务元数据，则基于所述目标离线数据源对应的第一数据表映射关系，将所述目标离线数据源中的所述第一新增元数据以及所述第一新增元数据对应的新增数据表均同步至所述基准离线数据源中。

可选地，所述部署模块，还用于：

在所述确定所述离线数据源中的基准离线数据源之后，若所述基准离线数据源不是所述元数据管理系统的开发框架原生支持的数据源，则调用所述元数据管理系统的开发框架提供的开发接口，定义所述基准离线数据源中元数据所需的第一类型索引，并通过反向查询接口对所述元数据管理系统中的第一类型索引进行验证，以确保所述第一类型索引定义成功；

相应地，所述数据同步模块，还用于：

调用所述开发接口，基于所述第一类型索引对所述基准离线数据源中的离线元数据向所述元数据管理系统进行数据同步。

可选地，所述元数据管理系统还接入至少一个实时数据源；

所述部署模块，还用于：构建所述实时数据源向所述基准离线数据源的第二数据表映射关系，将所述第二数据表映射关系部署在所述元数据管理系统中；

所述装置还包括：监听模块，用于当监听到所述实时数据源产生元数据变化时，基于所述第二数据表映射关系，将所述实时数据源中的第二新增元数据同步至所述元数据管理系统中。

可选地，所述部署模块，还用于：

若所述实时数据源不是所述元数据管理系统的开发框架原生支持的数据源，则调用所述元数据管理系统的开发框架提供的开发接口，定义所述实时数据源中元数据所需的第二类型索引，并通过反向查询接口对所述元数据管理系统中的第二类型索引进行验证，以确保所述第二类型索引定义成功；

相应地，所述监听模块，还用于：

通过监听接口实时监听所述实时数据源中的元数据变化，并在监听到元数据变化时，调用所述开发接口，基于所述第二类型索引和所述第二数据表映射关系，将所述实时数据源中的第二新增元数据同步至所述元数据管理系统中。

可选地，所述装置还包括：查询模块，用于：

接收数据查询指令，其中，确定所述数据查询指令对应的查询者身份信息以及被查询对象信息；

在所述元数据管理系统存储的元数据中查询所述被查询对象信息对应的查询者权限信息，并依据所述查询者权限信息对所述查询者身份信息进行验证；

若所述查询者身份信息通过验证，则在所述元数据管理系统存储的元数据中获取所述被查询对象信息对应的查询路由信息，其中，所述查询路由信息用于指示所述被查询对象信息对应的数据获得方式；

基于所述查询路由信息，获取所述被查询对象信息对应的数据查询结果。

可选地，所述查询模块，还用于：

若所述查询路由信息为元数据路由信息，则依据所述元数据路由信息，在所述元数据管理系统存储的元数据中获取所述被查询对象信息对应的元数据查询结果；

若所述查询路由信息为业务数据路由信息，则依据所述业务数据路由信息，在所述基准离线数据源中获取所述被查询对象信息对应的业务数据查询结果。

依据本申请又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述元数据管理方法。

依据本申请再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述元数据管理方法。

借由上述技术方案，本申请提供的一种元数据管理方法及装置、存储介质、计算机设备，在元数据管理系统接入的多个离线数据源中确定唯一的基准离线数据源，将各剩余离线数据源向基准离线数据源的第一数据表映射关系部署在基准离线数据源中，从而在感知到任意剩余离线数据源的元数据变化满足数据源同步条件时，基于第一数据表映射关系将剩余离线数据源中的第一新增元数据同步到基准离线数据源中，在感知到基准离线数据源中的元数据变化满足离线数据同步条件时，对基准离线数据源向元数据管理系统进行统一数据同步。本申请构建其他离线数据源向唯一的基准离线数据源的数据表映射关系，并基于映射关系将其他离线数据源向基准离线数据源进行数据同步，从而元数据管理系统只需要同步一个基准离线数据源的离线元数据，即可实现对多个离线数据源的统一元数据管理，只需要保证元数据管理系统支持一种离线数据源，即可实现对多数据源的元数据管理。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出了本申请实施例提供的一种元数据管理方法的流程示意图；

图2示出了本申请实施例提供的另一种元数据管理方法的流程示意图；

图3示出了本申请实施例提供的一种元数据管理装置的结构示意图；

图4示出了本申请实施例提供的一种计算机设备的装置结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在本实施例中提供了一种元数据管理方法，应用于元数据管理系统，所述元数据管理系统至少接入多个离线数据源，如图1所示，该方法包括：

步骤101，确定所述离线数据源中的基准离线数据源，分别构建每个剩余离线数据源向所述基准离线数据源的第一数据表映射关系，并将所述第一数据表映射关系部署在所述基准离线数据源中，其中，所述剩余离线数据源为除所述基准离线数据源之外的离线数据源。

在本申请中的元数据管理系统具体可以为基于Atlas的元数据管理系统，统以Atlas为基础工具，使用Atlas可扩展的RestApi来自定义元数据体系，例如扩展Mysql数据源、Flink数据源等，以便将实时和离线元数据整合，非结构化和结构化元数据整合，全部统一到Atlas，适用于企业级元数据管理。

元数据一般分为三类：业务元数据、技术元数据和操作元数据。业务元数据其核心是说明业务的具体含义。让业务使用人员明确理解，消除业务数据的二义性。技术元数据是说明业务数据存储方式、存储结构、数据直接的关系，描述数据的来源和去向。操作元数据主要表示对数据的操作记录，是数据权限、数据安全的基础。操作元数据描述数据的操作属性，包括管理部门、管理责任人等。明确管理属性有利于将数据管理责任落实到部门和个人，是数据安全管理的基础。元数据管理是指从元数据产生、存储、流转一系列过程管理并控制，确保元数据在企业级别一致的相关活动。

首先，在元数据管理系统接入的多个离线数据源中确定一个基准离线数据源，除了基准离线数据源之外的其他离线数据源作为剩余离线数据源，不同数据源的数据表存储方式有所不同，为了实现统一管理，本申请实施例分别构建每个剩余离线数据源向基准离线数据源的第一数据表映射关系，并将第一数据表映射关系部署在基准离线数据源中，以便实现数据表统一管理。例如元数据管理系统接入hive、Hbase、Mysql等数据源，以Mysql作为基准离线数据源。

步骤102，通过预设数据感知程序，感知所述离线数据源中的元数据变化情况。

步骤103，当感知到所述剩余离线数据源中任意的目标离线数据源中的元数据变化满足数据源同步条件时，基于所述目标离线数据源对应的第一数据表映射关系，将所述目标离线数据源中的第一新增元数据同步至所述基准离线数据源中。

其次，利用预先部署在元数据管理系统中的预设数据感知程序对各离线数据源中的元数据变化情况进行感知。在感知到任意一个剩余离线数据源中的元数据发生变化，且元数据变化已经满足数据源同步条件的情况下，将这个离线数据源即目标离线数据源中的第一新增元数据，按照第一数据表映射关系同步到基准离线数据源中。这样，不同离线数据源的离线元数据都会统一同步到一个基准离线数据源中，并且基于第一数据表映射关系进行数据同步，使得不同离线数据源的数据表实现统一化。

步骤104，当感知到所述基准离线数据源中的元数据变化满足离线数据同步条件时，对所述基准离线数据源中的离线元数据向所述元数据管理系统进行数据同步。

最后，在感知到基准离线数据源中的元数据发生变化，且变化程度已经满足离线数据同步条件的情况下，将基准离线数据源中的增量离线元数据同步至元数据管理系统中，由于其他的离线数据源中的元数据是同步到基准离线数据源中的，因此基准数据源中包含全部的离线数据源中产生的离线元数据，只要将基准离线数据源中的离线元数据向元数据管理系统同步，即可实现全部离线数据源向元数据管理系统的数据同步。

通过应用本实施例的技术方案，在元数据管理系统接入的多个离线数据源中确定唯一的基准离线数据源，将各剩余离线数据源向基准离线数据源的第一数据表映射关系部署在基准离线数据源中，从而在感知到任意剩余离线数据源的元数据变化满足数据源同步条件时，基于第一数据表映射关系将剩余离线数据源中的第一新增元数据同步到基准离线数据源中，在感知到基准离线数据源中的元数据变化满足离线数据同步条件时，对基准离线数据源向元数据管理系统进行统一数据同步。本申请构建其他离线数据源向唯一的基准离线数据源的数据表映射关系，并基于映射关系将其他离线数据源向基准离线数据源进行数据同步，从而元数据管理系统只需要同步一个基准离线数据源的离线元数据，即可实现对多个离线数据源的统一元数据管理，只需要保证元数据管理系统支持一种离线数据源，即可实现对多数据源的元数据管理。

进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施过程，提供了另一种元数据管理方法，如图2所示，该方法包括：

步骤201，确定所述离线数据源中的基准离线数据源，分别构建每个剩余离线数据源向所述基准离线数据源的第一数据表映射关系，并将所述第一数据表映射关系部署在所述基准离线数据源中，其中，所述剩余离线数据源为除所述基准离线数据源之外的离线数据源。

步骤202，若所述基准离线数据源不是所述元数据管理系统的开发框架原生支持的数据源，则调用所述元数据管理系统的开发框架提供的开发接口，定义所述基准离线数据源中元数据所需的第一类型索引，并通过反向查询接口对所述元数据管理系统中的第一类型索引进行验证，以确保所述第一类型索引定义成功。

在本申请实施例中，用户可以将熟悉使用的离线数据源指定为基准离线数据源，如果用户指定的基准离线数据源是元数据管理系统的开发框架原生支持的数据源，那么直接使用开发框架原生的数据源同步方法对基准离线数据源进行数据同步即可。而如果用户指定的基准离线数据源不是元数据管理系统的开发框架原生支持的数据源，那么需要进行二次开发，以便元数据管理系统能够实现对基准离线数据源的数据同步。具体地，可以调用开发框架提供的开发接口，例如Atlas Rest Api，从而对在元数据管理系统中定义基准离线数据源中元数据所需的第一类型索引type，通过预定义的json，将数据库、表、字段以及表和字段、数据库和表的关系都用json来描述，然后将json发送给Atlas来构建type。根据已经创建的type，向type中添加数据。主要是构建对应的Entity，在Entity中指定type，设置好具体的属性，用于表示元数据的信息，比如表名、owner、字段属性，创建时间等。以便基于第一类型索引实现基准离线数据源中元数据向元数据管理系统的同步。为了保证定义成功，还可以通过反向查询接口对元数据管理系统中的第一类型索引进行验证，Atlas服务允许用户为他们想要管理的元数据对象进行自定义一个模型。该模型由称为“Type类型”的定义组成。“Type类型”的实例被称为“Entity实体”表示被管理的实际元数据对象。Atlas类型系统是Atlas组件中自带的一项服务，允许用户进行使用和管理类型和实体，类型服务中自带像hiveType、HbaseType等默认类型，也支持用户进行自行定义扩展自己需要的类型。我们可以基于上述特性，使用Atlas自定义Oracle数据库元数据类型的方式来实现基于Atlas管理oracle数据库元数据的方法。在具体应用场景中，关于Type体系，type体系建议是：库、表、字段，库和表建立关系；表和字段建立关系，表中有字段信息以及Schema信息，同时将Owner、创建时间、更新时间、使用的应用信息以及应用使用的SQL都关联进去，是那次发版使用的该表等信息。要包含：库、表、字段、用户、应用、发版、权限等信息。

步骤203，构建所述实时数据源向所述基准离线数据源的第二数据表映射关系，将所述第二数据表映射关系部署在所述元数据管理系统中。

步骤204，若所述实时数据源不是所述元数据管理系统的开发框架原生支持的数据源，则调用所述元数据管理系统的开发框架提供的开发接口，定义所述实时数据源中元数据所需的第二类型索引，并通过反向查询接口对所述元数据管理系统中的第二类型索引进行验证，以确保所述第二类型索引定义成功。

在本申请实施例中，还支持实时数据源向元数据管理系统中进行数据同步，其中，构建实时数据源向基准离线数据源的第二数据表映射关系，并部署在元数据管理系统中。另外，如果实时数据源是元数据管理系统的开发框架原生支持的数据源，那么直接使用开发框架原生的数据源同步方法对实时数据源进行数据同步即可。而如果实时数据源不是开发框架原生支持的数据源，那么需要进行二次开发，以便元数据管理系统能够实现对实时数据源的数据同步。具体地，可以调用开发框架提供的开发接口，例如Atlas Rest Api，从而对实时数据源中元数据所需的第二类型索引type，以便基于第二类型索引实现实时数据源中元数据向元数据管理系统的同步。

步骤205，通过预设数据感知程序，感知所述离线数据源中的元数据变化情况；元数据包括业务元数据、技术元数据和操作元数据，所述业务元数据用于描述业务数据的唯一含义，所述技术元数据用于描述业务数据的存储信息和流转信息，所述操作元数据用于描述对业务数据的操作记录。

步骤206，当感知到所述剩余离线数据源中任意的目标离线数据源中的元数据变化满足数据源同步条件时，若所述第一新增元数据为所述技术元数据或所述操作元数据，则基于所述目标离线数据源对应的第一数据表映射关系，将所述目标离线数据源中的所述第一新增元数据同步至所述基准离线数据源中；若所述第一新增元数据为所述业务元数据，则基于所述目标离线数据源对应的第一数据表映射关系，将所述目标离线数据源中的所述第一新增元数据以及所述第一新增元数据对应的新增数据表均同步至所述基准离线数据源中。

步骤207，当感知到所述基准离线数据源中的元数据变化满足离线数据同步条件时，调用所述开发接口，基于所述第一类型索引对所述基准离线数据源中的离线元数据向所述元数据管理系统进行数据同步。

在本申请实施例中，通过预设数据感知程序对各离线数据源中的元数据变化情况进行感知。当感知到剩余离线数据源中任意的目标离线数据源中的元数据变化满足数据源同步条件时，确定第一新增元数据，如果第一新增元数据为技术元数据或操作元数据，那么基于所述目标离线数据源对应的第一数据表映射关系，直接将第一新增元数据同步至基准离线数据源中即可；如果第一新增元数据为业务元数据，那么除了同步第一新增元数据外，还需要将第一新增元数据对应的新增数据表也同步到基准离线数据源中，以便实现基准离线数据源对业务数据的统一管理。当感知到基准离线数据源中的元数据变化满足离线数据同步条件时，调用开发接口向元数据管理系统进行数据同步。

步骤208，当监听到所述实时数据源产生元数据变化时，基于所述第二数据表映射关系，将所述实时数据源中的第二新增元数据同步至所述元数据管理系统中。

在本申请实施例中，对于实时数据源，通过监听接口实时监听实时数据源中的元数据变化，并在监听到元数据变化时，调用开发接口，基于第二类型索引和所述第二数据表映射关系，将实时数据源中的第二新增元数据同步至元数据管理系统中。

进一步，本申请实施例还提供数据查询功能，可选地，所述方法还包括：

步骤301，接收数据查询指令，其中，确定所述数据查询指令对应的查询者身份信息以及被查询对象信息；

步骤302，在所述元数据管理系统存储的元数据中查询所述被查询对象信息对应的查询者权限信息，并依据所述查询者权限信息对所述查询者身份信息进行验证；

步骤303，若所述查询者身份信息通过验证，则在所述元数据管理系统存储的元数据中获取所述被查询对象信息对应的查询路由信息，其中，所述查询路由信息用于指示所述被查询对象信息对应的数据获得方式；

步骤304，基于所述查询路由信息，获取所述被查询对象信息对应的数据查询结果。

在该实施例中，系统接收到数据查询指令时，先根据数据查询指令携带的被查询对象信息确定被查询对象对应的查询者权限信息，并对数据查询指令对应的查询者身份信息进行验证，验证通过后，再利用被查询对象信息在存储的元数据中获取被查询对象信息对应的查询路由信息。其中，若所述查询路由信息为元数据路由信息，则依据所述元数据路由信息，在所述元数据管理系统存储的元数据中获取所述被查询对象信息对应的元数据查询结果；若所述查询路由信息为业务数据路由信息，则依据所述业务数据路由信息，在所述基准离线数据源中获取所述被查询对象信息对应的业务数据查询结果。

通过应用本实施例的技术方案，以基于Apache atlas的元数据管理系统为例。1、Apache atlas是基于JanusGraph图数据库，以Solr为搜索引擎，提供了可视化的UI界面，方便查看数据血缘，表基础信息，不用再自己开发UI界面。2、能够自定义数据源，接入Mysql等数据源，显示的信息也可以自定义，方便扩展。3、实时、离线、应用、用户信息全部集成到一起，将大数据线路完全闭环。能追溯到表血缘、字段血缘，同时能够确定哪些应用使用了该表，哪个用户创建了该表，哪个用户对该表做了变更，能够通过血缘能够快速定位。

进一步的，作为图1方法的具体实现，本申请实施例提供了一种元数据管理装置，应用于元数据管理系统，所述元数据管理系统至少接入多个离线数据源，如图3所示，该装置包括：

部署模块，用于确定所述离线数据源中的基准离线数据源，分别构建每个剩余离线数据源向所述基准离线数据源的第一数据表映射关系，并将所述第一数据表映射关系部署在所述基准离线数据源中，其中，所述剩余离线数据源为除所述基准离线数据源之外的离线数据源；

变化感知模块，用于通过预设数据感知程序，感知所述离线数据源中的元数据变化情况；

数据同步模块，用于当感知到所述剩余离线数据源中任意的目标离线数据源中的元数据变化满足数据源同步条件时，基于所述目标离线数据源对应的第一数据表映射关系，将所述目标离线数据源中的第一新增元数据同步至所述基准离线数据源中；

所述数据同步模块，还用于当感知到所述基准离线数据源中的元数据变化满足离线数据同步条件时，对所述基准离线数据源中的离线元数据向所述元数据管理系统进行数据同步。

可选地，元数据包括业务元数据、技术元数据和操作元数据，所述业务元数据用于描述业务数据的唯一含义，所述技术元数据用于描述业务数据的存储信息和流转信息，所述操作元数据用于描述对业务数据的操作记录；

所述数据同步模块，还用于：

若所述第一新增元数据为所述技术元数据或所述操作元数据，则基于所述目标离线数据源对应的第一数据表映射关系，将所述目标离线数据源中的所述第一新增元数据同步至所述基准离线数据源中；

若所述第一新增元数据为所述业务元数据，则基于所述目标离线数据源对应的第一数据表映射关系，将所述目标离线数据源中的所述第一新增元数据以及所述第一新增元数据对应的新增数据表均同步至所述基准离线数据源中。

可选地，所述部署模块，还用于：

在所述确定所述离线数据源中的基准离线数据源之后，若所述基准离线数据源不是所述元数据管理系统的开发框架原生支持的数据源，则调用所述元数据管理系统的开发框架提供的开发接口，定义所述基准离线数据源中元数据所需的第一类型索引，并通过反向查询接口对所述元数据管理系统中的第一类型索引进行验证，以确保所述第一类型索引定义成功；

相应地，所述数据同步模块，还用于：

调用所述开发接口，基于所述第一类型索引对所述基准离线数据源中的离线元数据向所述元数据管理系统进行数据同步。

可选地，所述元数据管理系统还接入至少一个实时数据源；

所述部署模块，还用于：构建所述实时数据源向所述基准离线数据源的第二数据表映射关系，将所述第二数据表映射关系部署在所述元数据管理系统中；

所述装置还包括：监听模块，用于当监听到所述实时数据源产生元数据变化时，基于所述第二数据表映射关系，将所述实时数据源中的第二新增元数据同步至所述元数据管理系统中。

可选地，所述部署模块，还用于：

若所述实时数据源不是所述元数据管理系统的开发框架原生支持的数据源，则调用所述元数据管理系统的开发框架提供的开发接口，定义所述实时数据源中元数据所需的第二类型索引，并通过反向查询接口对所述元数据管理系统中的第二类型索引进行验证，以确保所述第二类型索引定义成功；

相应地，所述监听模块，还用于：

通过监听接口实时监听所述实时数据源中的元数据变化，并在监听到元数据变化时，调用所述开发接口，基于所述第二类型索引和所述第二数据表映射关系，将所述实时数据源中的第二新增元数据同步至所述元数据管理系统中。

可选地，所述装置还包括：查询模块，用于：

接收数据查询指令，其中，确定所述数据查询指令对应的查询者身份信息以及被查询对象信息；

在所述元数据管理系统存储的元数据中查询所述被查询对象信息对应的查询者权限信息，并依据所述查询者权限信息对所述查询者身份信息进行验证；

若所述查询者身份信息通过验证，则在所述元数据管理系统存储的元数据中获取所述被查询对象信息对应的查询路由信息，其中，所述查询路由信息用于指示所述被查询对象信息对应的数据获得方式；

基于所述查询路由信息，获取所述被查询对象信息对应的数据查询结果。

可选地，所述查询模块，还用于：

若所述查询路由信息为元数据路由信息，则依据所述元数据路由信息，在所述元数据管理系统存储的元数据中获取所述被查询对象信息对应的元数据查询结果；

若所述查询路由信息为业务数据路由信息，则依据所述业务数据路由信息，在所述基准离线数据源中获取所述被查询对象信息对应的业务数据查询结果。

需要说明的是，本申请实施例提供的一种元数据管理装置所涉及各功能单元的其他相应描述，可以参考图1至图2方法中的对应描述，在此不再赘述。

本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，如图4所示，该计算机设备包括总线、处理器、存储器和通信接口，还可以包括输入输出接口和显示设备。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储位置信息。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现各方法实施例中的步骤。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质可以是非易失性，也可以是易失性，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(MagnetoresistiveRandomAccessMemory，MRAM)、铁电存储器(FerroelectricRandomAccessMemory，FRAM)、相变存储器(PhaseChangeMemory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccessMemory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(StaticRandomAccessMemory，SRAM)或动态随机存取存储器(DynamicRandomAccessMemory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。