掌桥专利:专业的专利平台
掌桥专利
首页

元数据处理方法、装置、设备及存储介质

文献发布时间:2023-06-19 18:53:06


元数据处理方法、装置、设备及存储介质

技术领域

本发明涉及元数据领域,尤其涉及一种元数据处理方法、装置、设备及存储介质。

背景技术

互联网全球化、移动设备普及化、云计算存储低成本化、物质世界网络化,都在为“数据大爆发”储蓄能量,大数据已成为继云计算、物联网之后IT产业又一次颠覆性的技术变革。

可视化数据建模通过降低技术门槛、提升建模效率和模型解释程度,优化了数据建模的流程和投入成本。传统数据建模的技术门槛较高,需要大量的建模专业人员,具备包括统计学、算法和编程能力等,以便在具体场景下选择合适的数据预处理规则,并使用编程软件实现数据建模和数据分析。

随着软件的复杂程度日益增加,软件的需求建模的重要性也日益凸显。对于相当复杂而又难于理解、难以用言语表达的系统,需求可视化技术提供了一种更加直观和易于理解的方式.可视化是指使用图形、图像或者图片等技术,使一些不可见的对象、表达或者抽象概念变成可见的符号。可视化技术和需求建模的结合,给软件的需求工程领域带来了新的机遇和光明的前景。

但随着大数据、人工智能等技术的飞速发展,如今的大屏显示系统不仅要负责对海量数据信息进行高效率的分析,还要将分析结果展现出来,帮助用户发现挖掘数据背后的逻辑和规律,为用户决策行为提供依据。

鉴于以上背景,迫切的需要一种元数据处理方法及装置。

上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种元数据处理方法、装置、设备及存储介质,旨在解决现有技术无法帮助用户发现挖掘数据背后的逻辑和规律,为用户决策行为提供依据的技术问题。

为实现上述目的,本发明提供了一种元数据处理方法,所述方法包括以下步骤:

通过数据同步的方式获取目标业务数据源;

获取预设规划内容,通过所述预设规划内容对所述目标业务数据源进行数据规划并获取规划结果;

根据所述规划结果采取可视化方式完成模型创建以生成可沉淀模型模板;

通过所述可沉淀模型模板对所述目标业务数据源进行数据管理以输出元数据管理结果。

可选的,所述通过数据同步的方式获取目标业务数据源的步骤,包括:

通过数据同步的方式获取目标业务数据源,其中所述目标业务数据源包括:DB2、PostgreSQL、Greenplum、SAPHana、Hbase、ClickHouse、Redis、IceBerg、RabbitMQ、ActiveMQ、MongoDB、MySQL、ORACLE、SqlServer。

可选的,所述通过数据同步的方式获取目标业务数据源的步骤之后,还包括:

对所述目标业务数据源进行数据清洗;

将所述目标数据源中的异构数据进行数据脱敏、数据去重以及数据拆分。

可选的,所述获取预设规划内容,通过所述预设规划内容对所述目标业务数据源进行数据规划并获取规划结果的步骤,包括:

获取预设规划内容,所述预设规划内容包括:数据战略制定、数据元数据治理体系以及数据战略实施;

根据所述预设规划内容对所述目标业务数据源进行数据规划并获取规划结果。

可选的,所述根据所述预设规划内容对所述目标业务数据源进行数据规划并获取规划结果的步骤,包括:

建立数据的生产者、使用者、数据以及支持系统之间的相互关联关系、建立企业全景数据视图;

通过数据质量核心领域和数据质量保障机制建立数据生命周期管理;

获取阶段性工作信息,并对所述阶段性工作进行评估。

可选的,所述根据所述规划结果采取可视化方式完成模型创建以生成可沉淀模型模板的步骤,包括:

建立可视化界面,通过所述可视化界面生成数据加工的逻辑模型;

对所述逻辑模型进行充分验证和模拟实验之后,通过介质存储待训练数据;

将所述逻辑模型转化为物理模型以生成可沉淀模型模板。

可选的,所述通过所述可沉淀模型模板对所述目标业务数据源进行数据管理以输出元数据管理结果的步骤,包括:

基于所述可沉淀模型模板中的业务数据、元数据结合所述目标数据源进行分类和分组,获取处理结果;

根据所述处理结果获取目标核心数据和待共享数据作为元数据管理结果。

此外,为实现上述目的,本发明还提一种元数据处理装置,所述元数据处理装置包括:

数据获取模块,用于通过数据同步的方式获取目标业务数据源;

内容获取模块,用于获取预设规划内容,通过所述预设规划内容对所述目标业务数据源进行数据规划并获取规划结果;

模板生成模块,用于根据所述规划结果采取可视化方式完成模型创建以生成可沉淀模型模板;

结果输出模块,用于通过所述可沉淀模型模板对所述目标业务数据源进行数据管理以输出元数据管理结果。

此外,为实现上述目的,本发明还提一种元数据处理设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的元数据处理程序,所述元数据处理程序配置为实现如上文所述的元数据处理方法的步骤。

此外,为实现上述目的,本发明还提一种存储介质,所述存储介质上存储有元数据处理程序,所述元数据处理程序被处理器执行时实现如上文所述的元数据处理方法的步骤。

本发明通过数据同步的方式获取目标业务数据源;获取预设规划内容,通过所述预设规划内容对所述目标业务数据源进行数据规划并获取规划结果;根据所述规划结果采取可视化方式完成模型创建以生成可沉淀模型模板;通过所述可沉淀模型模板对所述目标业务数据源进行数据管理以输出元数据管理结果;基于目标应用进行各层数据全链路追踪、标签管理以达到数据溯源分析的技术效果。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的元数据处理设备的结构示意图;

图2为本发明元数据处理方法第一实施例的流程示意图;

图3为本发明元数据处理方法第一实施例的另一实施方式的示意图;

图4为本发明元数据处理方法第一实施例的基础框架图;

图5为本发明元数据处理装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。

参照图1,图1为本发明实施例方案涉及的硬件运行环境的元数据处理设备结构示意图。

如图1所示,该元数据处理设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-VolatileMemory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解,图1中示出的结构并不构成对元数据处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及元数据处理程序。

在图1所示的元数据处理设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明元数据处理设备中的处理器1001、存储器1005可以设置在元数据处理设备中,所述元数据处理设备通过处理器1001调用存储器1005中存储的元数据处理程序,并执行本发明实施例提供的元数据处理方法。

本发明实施例提供了一种元数据处理方法,参照图2,图2为本发明元数据处理方法第一实施例的流程示意图。

本实施例中,所述元数据处理方法包括以下步骤:

步骤S10:通过数据同步的方式获取目标业务数据源。

需要说明的是,元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(data about data),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录,为了达到编制目录的目的,必须在描述并收藏数据的内容或特色,进而达成协助数据检索的目的。都柏林核心集(DublinCore Metadata Initiative,DCMI)是元数据的一种应用,是1995年2月由国际图书馆电脑中心(OCLC)和美国国家超级计算应用中心(NationalCenter for SupercomputingApplications,NCSA)所联合赞助的研讨会,在邀请52位来自图书馆员、电脑专家,共同制定规格,创建一套描述网络上电子文件之特征。元数据是关于数据的组织、数据域及其关系的信息,简言之,元数据就是关于数据的数据。

可以理解的是,元数据被定义为:描述数据的数据,对数据及信息资源的描述性信息。

元数据(Metadata)是描述其它数据的数据(data about other data),或者说是用于提供某种资源的有关信息的结构数据(structured data)。元数据是描述信息资源或数据等对象的数据,其使用目的在于:识别资源;评价资源;追踪资源在使用过程中的变化;实现简单高效地管理大量网络化数据;实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。元数据的基本特点主要有:

a)元数据一经建立,便可共享。元数据的结构和完整性依赖于信息资源的价值和使用环境;元数据的开发与利用环境往往是一个变化的分布式环境;任何一种格式都不可能完全满足不同团体的不同需要;

b)元数据首先是一种编码体系。元数据是用来描述数字化信息资源,特别是网络信息资源的编码体系,这导致了元数据和传统数据编码体系的根本区别;元数据的最为重要的特征和功能是为数字化信息资源建立一种机器可理解框架。

元数据体系构建了电子政务的逻辑框架和基本模型,从而决定了电子政务的功能特征、运行模式和系统运行的总体性能。电子政务的运作都基于元数据来实现。其主要作用有:描述功能、整合功能、控制功能和代理功能。

由于元数据也是数据,因此可以用类似数据的方法在数据库中进行存储和获取。如果提供数据元的组织同时提供描述数据元的元数据,将会使数据元的使用变得准确而高效。用户在使用数据时可以首先查看其元数据以便能够获取自己所需的信息。

需要说明的是,在数据仓库领域中,元数据按用途分成技术元数据和业务元数据。首先,元数据能提供基于用户的信息,如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次,元数据能支持系统对数据的管理和维护,如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说,在数据仓库系统中,元数据机制主要支持以下五类系统管理功能:

(1)描述哪些数据在数据仓库中;

(2)定义要进入数据仓库中的数据和从数据仓库中产生的数据;

(3)记录根据业务事件发生而随之进行的数据抽取工作时间安排;

(4)记录并检测系统数据一致性的要求和执行情况;

(5)衡量数据质量。

进一步地,为了实现业务数据源的兼容性,所述通过数据同步的方式获取目标业务数据源的步骤,包括:通过数据同步的方式获取目标业务数据源,其中所述目标业务数据源包括:DB2、PostgreSQL、Greenplum、SAPHana、Hbase、ClickHouse、Redis、IceBerg、RabbitMQ、ActiveMQ、MongoDB、MySQL、ORACLE、SqlServer。

进一步地,为了减少多余数据的计算,所述通过数据同步的方式获取目标业务数据源的步骤之后,还包括:对所述目标业务数据源进行数据清洗;将所述目标数据源中的异构数据进行数据脱敏、数据去重以及数据拆分。

在具体实施中,数据清洗(Data cleaning)–对数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性。

数据清洗从名字上也看的出就是把“脏”的“洗掉”,指发现并纠正数据文件中可识别的错误的最后一道程序,包括检查数据一致性,处理无效值和缺失值等。因为数据仓库中的数据是面向某一主题的数据的集合,这些数据从多个业务系统中抽取而来而且包含历史数据,这样就避免不了有的数据是错误数据、有的数据相互之间有冲突,这些错误的或有冲突的数据显然是我们不想要的,称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”,这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据,将过滤的结果交给业务主管部门,确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。数据清洗是与问卷审核不同,录入后的数据清理一般是由计算机而不是人工完成。

需要说明的是,本实施例还提供了一种方法,如图3所示,包括如下步骤:S1、数据引入:通过数据同步的方式,将业务数据源的数据引入平台,过程中允许对多数据源、异构数据进行数据数据清洗、调优。S2、数据规划:从上而下,顶层开始设计,对业务数据进行区域、分层管理。S3、数据建模:基于目标数据采取可视化方式完成模型创建,可沉淀模型模板,针对业务目标数据分类结果,调用不同的模型模板实现目标数据的采集与分析。S4、数据管理:基于目标数据以及模型模板的业务数据、元数据进行分类、分组管理。S5、数据可视化加工:基于目标数据(贴源层、明细层、汇总汇层、业务应用)各加工流转过程可视化配置,自动化适配传统或大数据ETL 系统规则,完成任务生成。S6、数据血缘:基于目标应用进行各层数据全链路追踪、标签管理以达到数据溯源分析。

在具体实施中,S1、数据引入:通过数据同步的方式,将业务数据源的数据引入平台系统,过程中允许对多数据源、异构数据进行数据数据清洗、调优。其中S1.1、多种数据源是指包括且不限于:

DB2、PostgreSQL、Greenplum、SAPHana、Hbase、ClickHouse、Redis、IceBerg、RabbitMQ、ActiveMQ、MongoDB、MySQL、ORACLE、SqlServer 等;

S1.2、异构数据是指包括且不限于:

日志文件、XML文档、JSON文档、Email、办公文档、文本、图片、HTML、各类报表、图像/音频/视频信息等;

S1.3、数据清洗与调优是指:

对S1.1和S1.2 结构化或非结构化数据中敏感数据进行数据脱敏、对关键数据去重、对日期等指标数据进行拆分等处理。

在具体实施中,根据业务数据源或数据类型,配置不同的数据同步任务。首先,配置多种数据源模板类型,分类管理。其次根据业务需求选择相应模板。再者,灵活设置数据清洗规则和任务调优。最后,完成业务目标数据的引入。

可以理解的是,数据同步任务配置过程:明确数据来源端和目标端数据存放介质类型。选择平台不同的组件,按离线方式(T+1)或者实时方式(T+0)配置好任务,调度任务,把数据从业务数据来源端抽取到进入统一的数据管理平台。

步骤S20:获取预设规划内容,通过所述预设规划内容对所述目标业务数据源进行数据规划并获取规划结果。

需要说明的是,所述从业务视角出发,从上而下,顶层开始设计,对业务数据进行区域、空间分层划分管理。

在本实施例中包括S2、数据规划:从上而下,顶层开始设计,对业务数据进行区域、分层管理。主要包括元数据战略制定、数据元数据治理体系、数据战略实施三个方面。S2.1、元数据战略制定:数据战略路线制定是建立数据的生产者、使用者、数据以及支持系统之间的相互关联关系、建立企业全景数据视图,统领、协调各个层面的数据管理工作,提高数据管理规范和效率,确保企业内部各层级人员能够得到及时、准确的数据服务和支持。S2.2、元数据治理体系:数据治理体系是要涵盖数据资产目录、主数据管理、元数据管理、数据质量管理、数据标准管理、数据安全管理的数据生命周期管理等内容;数据治理可分为两方面,一是数据质量核心领域、而是数据质量保障机制。S2.3、数据战略实施:应规划项目里程碑,具备可控性、并对阶段性工作作出评估,总结经验、及时调整并对下一步工作锁好准备、为确保项目实施的成功,应使用成熟的实施方法论。

进一步地,为了提升规划结果获取的精确度,所述获取预设规划内容,通过所述预设规划内容对所述目标业务数据源进行数据规划并获取规划结果的步骤,包括:获取预设规划内容,所述预设规划内容包括:数据战略制定、数据元数据治理体系以及数据战略实施;根据所述预设规划内容对所述目标业务数据源进行数据规划并获取规划结果。

在具体实施中,所述根据所述预设规划内容对所述目标业务数据源进行数据规划并获取规划结果的步骤,包括:建立数据的生产者、使用者、数据以及支持系统之间的相互关联关系、建立企业全景数据视图;通过数据质量核心领域和数据质量保障机制建立数据生命周期管理;获取阶段性工作信息,并对所述阶段性工作进行评估。

步骤S30:根据所述规划结果采取可视化方式完成模型创建以生成可沉淀模型模板。

可以理解的是,模型模板快速沉淀、不同业务场景灵活配置模型模板,实现目标数据采集与分析。首先,可对元数据进行业务区分完成模型、模板分类沉淀。然后,可根据业务实际场景匹配与之相应的模型、模板,实现目标数据的采集。

在具体实施中,在本实施例中包括:S3、数据建模:基于目标数据采取可视化方式完成模型创建,可沉淀模型模板,针对业务目标数据分类结果,调用不同的模型模板实现目标数据的采集与分析。S3.1、模型,指的是逻辑模型:逻辑模型就像建筑蓝图,它决定了建筑整体结构的完整性。展现企业的事物与事件以及之间的关系、图形化展现数据需求与业务规则、标识业务实体、属性与关系。S3.2、模型的创建与模板,逻辑模型可以通过可视化界面,根据业务需求自由、灵活的组装出不同的事件、及其属性关系和事件之间数据流转规则。最终形成一条完整数据加工的逻辑模型。当逻辑模型通过充分验证和模拟实验后,通过介质把数据存储起来。把逻辑模型转化为物理模型,以及对数据逻辑模型进行分类归档,这一过程处理后的逻辑模型就是模板。模板可以进行导入、导出,在不同的服务环境中进行使用,达到高可用与复用。

进一步地,为了生成可沉淀模型模板,所述根据所述规划结果采取可视化方式完成模型创建以生成可沉淀模型模板的步骤,包括:建立可视化界面,通过所述可视化界面生成数据加工的逻辑模型;对所述逻辑模型进行充分验证和模拟实验之后,通过介质存储待训练数据;将所述逻辑模型转化为物理模型以生成可沉淀模型模板。

步骤S40:通过所述可沉淀模型模板对所述目标业务数据源进行数据管理以输出元数据管理结果。

在具体实施中,按数仓规范对数据的处理过程进行分层分类(如:贴源层,与业务源端最为相似的数据。明细层,对个业务数据进行规则制定,打通关联,拆分数据等。汇总汇层,对明细层数据进一步处理,根据不同指标完成数据转换。业务应用,把汇总的数据按周期性及时推送到对应业务、决策管理系统)。其中目标数据(贴源层、明细层、汇总汇层、业务应用)在各层之间加工流转过程是可视化方式配置,配置完成后,程序自动适配各项配置任务组件规则及任务生成。自动适配过程还包括:采用kimball维度建模、孤岛算法、kohonen网络神经算法等模型对数据进行归类、规则限定、自动匹配组件等。

需要说明的是,在本实施例中还包括:S4、数据管理:基于目标数据以及模型模板的业务数据、元数据进行分类、分组管理。从各部门的多个业务系统中整合最核心的、最需要共享的数据(主数据),集中进行数据的管理,并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据传送给企业内需要使用这些数据的操作型应用系统和分析型应用系统。对各系统的业务数据按系统来源、业务属性进行分类分组,也可以自定义标签对数据进行分类分组。

S5、数据可视化加工:基于目标数据(贴源层、明细层、汇总汇层、业务应用)各加工流转过程可视化配置,自动化适配传统或大数据ETL 系统规则,完成任务生成。

S6、数据血缘:基于目标应用进行各层数据全链路追踪、标签管理以达到数据溯源分析。

进一步地,为了提升元数据管理结果的合理性,所述通过所述可沉淀模型模板对所述目标业务数据源进行数据管理以输出元数据管理结果的步骤,包括:基于所述可沉淀模型模板中的业务数据、元数据结合所述目标数据源进行分类和分组,获取处理结果;根据所述处理结果获取目标核心数据和待共享数据作为元数据管理结果。

需要说明的是,本实施例的基础框架如图4所示包括:

系统基础架构平台:为平台所有服务提供基础技术支持,是平台应用运行骨架。

数据采集:通过各种技术手段对目标业务数据进行离线或实时采集,确保数据流入平台。

数据资产: 对平台的以及业务数据的全局资产管理。

数据地图:数据在平台各业务系统之间流转的全链路追踪和溯源。

规范建模:通过维度建模方式灵活建立数据模型。

数仓规划:根据业务对对数据进行统一规划配置。

任务组件:数据采集和加工过程中的任务配置组件。

数据源:业务原始业务数据源以及目标端业务数据统一管理。

元数据:各业务系统以及应用、分析系统结构化或非结构化的,描述数据的数据进行管理。

可视化建模:一种基于神经深度算法的方式,进行快速便捷的方式建模。

分层分域:对数据基于层级或域级按照一定规范进行分类管理。

任务执行分析:任务组件进行数据任务运行的一种监控和管理,便于定位追踪。

全域数据分析:元数据、业务数据多维度分析,汇总。

数据血缘分析:对数据流转链路进行分析。

数据预处理分析:对数据流转详细过程进行分析。

数据标签分析: 可对数据进行自定义标签管理,便于对数据进行分类、追踪、汇总。

应用数据平台可视化:对处理好的数据进行消费,以可视化的界面方式呈现。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

本实施例通过数据同步的方式获取目标业务数据源;获取预设规划内容,通过所述预设规划内容对所述目标业务数据源进行数据规划并获取规划结果;根据所述规划结果采取可视化方式完成模型创建以生成可沉淀模型模板;通过所述可沉淀模型模板对所述目标业务数据源进行数据管理以输出元数据管理结果;基于目标应用进行各层数据全链路追踪、标签管理以达到数据溯源分析的技术效果。

此外,本发明实施例还提出一种存储介质,所述存储介质上存储有元数据处理程序,所述元数据处理程序被处理器执行时实现如上文所述的元数据处理方法的步骤。

参照图5,图5为本发明元数据处理装置第一实施例的结构框图。

如图5所示,本发明实施例提出的元数据处理装置包括:

数据获取模块10,用于通过数据同步的方式获取目标业务数据源;

内容获取模块20,用于获取预设规划内容,通过所述预设规划内容对所述目标业务数据源进行数据规划并获取规划结果;

模板生成模块30,用于根据所述规划结果采取可视化方式完成模型创建以生成可沉淀模型模板;

结果输出模块40,用于通过所述可沉淀模型模板对所述目标业务数据源进行数据管理以输出元数据管理结果。

本实施例通过数据同步的方式获取目标业务数据源;获取预设规划内容,通过所述预设规划内容对所述目标业务数据源进行数据规划并获取规划结果;根据所述规划结果采取可视化方式完成模型创建以生成可沉淀模型模板;通过所述可沉淀模型模板对所述目标业务数据源进行数据管理以输出元数据管理结果;基于目标应用进行各层数据全链路追踪、标签管理以达到数据溯源分析的技术效果。

在一实施例中,所述数据获取模块10,还用于通过数据同步的方式获取目标业务数据源,其中所述目标业务数据源包括:DB2、PostgreSQL、Greenplum、SAPHana、Hbase、ClickHouse、Redis、IceBerg、RabbitMQ、ActiveMQ、MongoDB、MySQL、ORACLE、SqlServer。

在一实施例中,所述数据获取模块10,还用于对所述目标业务数据源进行数据清洗;将所述目标数据源中的异构数据进行数据脱敏、数据去重以及数据拆分。

在一实施例中,所述内容获取模块20,还用于获取预设规划内容,所述预设规划内容包括:数据战略制定、数据元数据治理体系以及数据战略实施;根据所述预设规划内容对所述目标业务数据源进行数据规划并获取规划结果。

在一实施例中,所述内容获取模块20,还用于建立数据的生产者、使用者、数据以及支持系统之间的相互关联关系、建立企业全景数据视图;通过数据质量核心领域和数据质量保障机制建立数据生命周期管理;获取阶段性工作信息,并对所述阶段性工作进行评估。

在一实施例中,所述模板生成模块30,还用于建立可视化界面,通过所述可视化界面生成数据加工的逻辑模型;对所述逻辑模型进行充分验证和模拟实验之后,通过介质存储待训练数据;将所述逻辑模型转化为物理模型以生成可沉淀模型模板。。

在一实施例中,所述结果输出模块40,还用于基于所述可沉淀模型模板中的业务数据、元数据结合所述目标数据源进行分类和分组,获取处理结果;根据所述处理结果获取目标核心数据和待共享数据作为元数据管理结果。

本发明元数据处理装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

相关技术
  • 一种元数据存储方法、装置、设备及计算机可读存储介质
  • 一种元数据查询方法、装置、设备及计算机可读存储介质
  • 一种元数据的保存方法、装置、设备及可读存储介质
  • 语音处理方法及装置、家电设备、存储介质电子装置
  • 文本处理方法、装置、设备、计算机设备和存储介质
  • 一种存储单元数据处理方法、装置、设备及存储介质
  • 元数据处理方法、元数据处理装置及可读存储介质
技术分类

06120115723017