掌桥专利:专业的专利平台
掌桥专利
首页

数据资产管理方法及装置

文献发布时间:2023-06-19 09:46:20


数据资产管理方法及装置

技术领域

本申请涉及数据管理技术领域,具体涉及一种数据资产管理方法及装置。

背景技术

在数据的采集、汇聚、清洗和转换的过程中,把非机构化和机构化的数据转换成统一的标准数据的时候,需要对非机构化和机构化的数据进行一些数据的转换,包括时间格式、百分比格式等。针对于通常业务数据,无需进行很复杂的处理,即可完成数据的汇聚,但是针对于一些安防之类的数据,却需要一些清理转换等特殊处理,最终得到标准的数据结构。目前的安防数据有不同厂家的设备生产,数据的属性大部分相同,但是属性名称包括一些数据格式却都有各自的标准。把这些数据转成统一的标准格式,一般需要通过在代码中实现,针对不同的厂家源数据,进行特定的代码处理,工作量比较大,处理很繁琐,不利于维护。如果厂家进行一些改动,那么就需要修改代码,并进行测试,发布线上版本,验证功能,操作麻烦且耗时间。

因此,现有技术存在把不同的厂家源数据转成统一的标准格式,需要进行特定的代码处理,工作量比较大,处理很繁琐,不利于维护的问题。

发明内容

本申请实施例提供一种数据资产管理方法及装置,用于解决目前把不同的厂家源数据转成统一的标准格式,需要进行特定的代码处理,工作量比较大,处理很繁琐,不利于维护的技术问题。

为解决上述技术问题,本申请实施例提供以下技术方案:

本申请实施例提供一种数据资产管理方法,其包括:

通过标准字段配置界面配置标准数据中标准字段的标准字段属性;

通过标准字典配置界面配置所述标准字段的标准字段字典;

通过来源字段配置界面配置来源数据中来源字段的来源字段属性;

通过来源字典配置界面配置所述来源字段的来源字段字典;

通过转换模板配置界面绑定标准字段字典和来源字段字典,以生成字段转换模板;

通过所述字段转换模板将所述来源数据中的来源字段值转换成所述标准数据中的标准字段。

在本申请实施例提供的数据资产管理方法中,所述通过标准字段配置界面配置标准数据中标准字段的标准字段属性的步骤包括:

展示所述标准字段配置界面,所述标准字段配置界面包括厂家名称控件、字段名称控件、字段编码控件、字段分类控件;

通过所述厂家名称控件获取目标厂家名称,通过所述字段名称控件获取标准字段名称,通过所述字段编码控件获取标准字段编码,通过所述字段分类控件获取字段类型枚举。

在本申请实施例提供的数据资产管理方法中,所述通过标准字典配置界面配置所述标准字段的标准字段字典的步骤包括:

展示所述标准字典配置界面,所述标准字典配置界面包括字典名称控件、字典编码控件;

通过所述字典名称控件获取标准字典名称,通过所述字典编码控件获取标准字典编码。

在本申请实施例提供的数据资产管理方法中,所述通过来源字段配置界面配置来源数据中来源字段的来源字段属性的步骤包括:

展示所述来源字段配置界面,所述来源字段配置界面包括厂家名称控件、字段名称控件、字段编码控件、字段分类控件;

通过所述厂家名称控件获取来源厂家名称,通过所述字段名称控件获取来源字段名称,通过所述字段编码控件获取来源字段编码,通过所述字段分类控件获取字段类型枚举。

在本申请实施例提供的数据资产管理方法中,所述通过来源字典配置界面配置所述来源字段的来源字段字典的步骤包括:

展示所述来源字典配置界面,所述来源字典配置界面包括字典名称控件、字典编码控件;

通过所述字典名称控件获取来源字典名称,通过所述字典编码控件获取来源字典编码,所述来源字典名称和所述标准字典名称相同,所述来源字典编码与所述来源数据中的来源字段值一致。

在本申请实施例提供的数据资产管理方法中,所述通过转换模板配置界面绑定标准字段字典和来源字段字典,以生成字段转换模板的步骤包括:

展示所述转换模板配置界面,所述转换模板配置界面包括模板名称控件、厂家名称控件、分类名称控件、来源厂家字段控件、目标厂家字段控件;

通过所述模板名称控件获取转换模板名称,并通过所述厂家名称控件、所述分类名称控件获取需要配置转换模板的来源厂家字段和目标厂家字段;

通过所述来源厂家字段控件获取所述来源字段,通过所述目标厂家字段控件获取与所述来源字段对应的所述标准字段;

将所述来源字段与所述标准字段添加绑定,使所述来源字段对应的所述来源字典与所述标准字段对应的所述标准字典绑定,以生成所述字段转换模板。

在本申请实施例提供的数据资产管理方法中,所述通过所述字段转换模板将所述来源数据中的来源字段值转换成所述标准数据中的标准字段的步骤包括:

通过转换模块从所述来源数据中获取来源厂家编码、来源数据分类编码、所述来源字段编码、来源字段值;

根据所述来源厂家编码和所述来源数据分类编码获取所述字段转换模板;

根据所述来源字段编码获取所述来源字段字典和所述标准字段字典;

通过所述字段转换模板把所述来源字段字典转换成所述标准字段字典,并赋值给所述标准字段。

在本申请实施例提供的数据资产管理方法中,所述根据所述来源字段编码获取所述来源字段字典和所述标准字段字典的步骤包括:

根据所述字段转换模板,通过所述来源字段编码获取所述标准字段编码;

根据所述来源字段编码获取所述来源字段字典;

根据所述标准字段编码获取所述标准字段字典。

在本申请实施例提供的数据资产管理方法中,所述通过所述字段转换模板把所述来源字段字典转换成所述标准字段字典,并赋值给所述标准字段的步骤包括:

根据所述来源字段值从所述来源字段字典获取所述来源字典编码;

根据所述来源字典编码获取所述来源字典名称;

根据所述来源字典名称获取所述标准字段字典中的所述标准字典名称;

根据所述标准字典名称获取所述标准字典编码;

将所述标准字典编码赋值给所述标准字段。

同时,本申请实施例还提供一种数据资产管理装置,其包括:

第一配置模块,用于配置标准数据中标准字段的标准字段属性;

第二配置模块,用于配置所述标准字段的标准字段字典;

第三配置模块,用于配置来源数据中来源字段的来源字段属性;

第四配置模块,用于配置所述来源字段的来源字段字典;

第五配置模块,用于绑定标准字段字典和来源字段字典,以生成字段转换模板;以及

第一转换模块,用于通过所述字段转换模板将所述来源数据中的来源字段值转换成所述标准数据中的标准字段。

本申请的有益效果:本申请提供一种数据资产管理方法及装置,数据资产管理方法包括在配置界面配置来源字段字典和标准字段字典,同时在转换模板配置界面配置字段转换模板,源数据在采集回来后,通过字段转换模板,对有字典的字段,按照字典编码和字典名称的对应关系进行转换,使用统一的数据处理流程,不需要进行特定的代码处理,提高了效率。同时对于来源数据中的来源字段字典和标准数据中的标准字段字典的变动或增加,只需要在配置界面中进行修改就可以,无需修改代码和配置文件,无需重启服务等操作,不影响其他的功能,有着极大的兼容性。且操作简单易懂,快捷方便,好维护,提高了系统的可维护性和操作性。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的数据资产管理系统的场景示意图;

图2为本申请实施例提供的数据资产管理方法的流程示意图;

图3为本申请实施例提供的字段管理界面的示意图;

图4为本申请实施例提供的标准字段配置界面的示意图;

图5为本申请实施例提供的标准字典配置界面的示意图;

图6为本申请实施例提供的来源字段配置界面的示意图;

图7为本申请实施例提供的来源字典配置界面的示意图;

图8为本申请实施例提供的转换模板配置界面的示意图;

图9为本申请实施例提供的数据转换流程示意图;

图10为本申请实施例提供的数据资产管理装置的框架示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请实施例提供一种数据资产管理方法及装置,数据资产管理方法通过在配置界面配置来源字段字典和标准字段字典,同时在转换模板配置界面配置字段转换模板,源数据在采集回来后,通过字段转换模板,对有字典的字段,按照字典编码和字典名称的对应关系进行转换,使用统一的数据处理流程,不需要进行特定的代码处理,提高了效率。同时对于来源数据中的来源字段字典和标准数据中的标准字段字典的变动或增加,只需要在配置界面中进行修改就可以,无需修改代码和配置文件,无需重启服务等操作,不影响其他的功能,有着极大的兼容性。且操作简单易懂,快捷方便,好维护,提高了系统的可维护性和操作性。

请参阅图1,图1为本申请实施例提供的数据资产管理系统的场景示意图。本申请实施例的数据资产管理方法应用于所述数据资产管理系统中,用于对所述数据资产管理系统中采集的不同厂家的不同来源数据进行统一的转换,并存储转换后的标准数据。所述数据资产管理系统可以包括厂家1设备、厂家2设备以及数据资产管理装置。厂家1设备和厂家2设备均可包括电围设备、前端摄像头设备以及电子眼等。电围设备可以设置于交通道路附近、园区或小区出入口、或小区内以及商场等公共场所,用于采集一定范围内的用户终端的终端标识。采集范围可以是以目标电围设备为圆心、以某一距离为半径的圆形区域。前端摄像头设备可以设置于交通道路中或园区、小区出入口以及商场等公共场所,用于采集人像数据、车辆数据等。

厂家1设备和厂家2设备通过网络把采集到的数据传送给数据资产管理装置,例如厂家1设备把采集的来源数据1、厂家2设备把采集的来源数据2分别通过网络传送给数据资产管理装置。来源数据1和来源数据2中均包括对应的来源厂家编码、来源数据分类编码、来源字段编码、来源字段值等信息,这些来源数据基础信息通过简单的封装以消息队列的方式缓存在数据资产管理装置的redis缓存中,redis缓存是指一种开源的高性能内存数据库。其中来源厂家编码和来源数据分类编码是数据资产管理装置与对应的厂家设备约定一致的。当来源数据1中的来源字段值和来源数据2中的来源字段值中的至少一个来源字段值与数据资产管理装置中的标准字段不同时,数据资产管理装置通过数据资产管理方法把来源数据1和来源数据2转换成统一的标准数据进行存储。

需要说明的是,本申请实施例的厂家设备不限于图1示出的厂家1设备和厂家2设备,厂家设备还可为更多的不同的厂家的设备,例如厂家3设备、厂家4设备等。当然的,厂家设备的厂家也不排除为一个。

下面将结合具体的实施例对数据资产管理方法实现数据的转换进行详细地描述:

请参阅图1和图2,图2为本申请实施例提供的数据资产管理方法的流程示意图,所述数据资产管理方法应用到图1所示实施例的数据资产管理装置中,所述数据资产管理方法包括以下步骤:

步骤S101,通过标准字段配置界面配置标准数据中标准字段的标准字段属性;

具体的,数据资产管理装置与对应的厂家设备约定一致后,在数据资产管理装置中创建厂家管理和数据分类的数据,数据创建完成后,数据资产管理装置的字段管理界面显示各厂家设备的基础信息。创建的厂家管理和数据分类的数据在字段管理界面组合成厂家数据类别树。

具体的,请参阅图3,图3为本申请实施例提供的字段管理界面的结构示意图。字段管理界面包括主控区10、基础属性展示区20、创建功能区30、搜索区40。

厂家数据类别树显示在主控区10内,主控区10包括多个厂家控件,厂家数据类别树包括厂家1、厂家2以及目标厂家,每个厂家对应一个厂家控件,其中目标厂家是指对应厂家1和厂家2提供标准数据的厂家。每个厂家控件包括多个子控件,通过厂家控件可以获取对应的多个子控件,且每个厂家控件会展示一个厂家名称,多个子控件展示该厂家名称下的数据分类名称。需要说明是的,每个厂家控件下的多个子控件为选择控件,通过厂家控件可以使多个子控件展示或隐藏,如图3所示的厂家控件目标厂家展示的两个子控件人像和机动车,而其他两个厂家控件厂家1和厂家2下对应的多个子控件隐藏,其中子控件人像和机动车即为目标厂家的数据分类名称。通过厂家控件下对应的子控件可获取该子控件对应的数据分类名称下的各属性,并在基础属性展示区20展示。

基础属性展示区20包括厂家名称、数据分类名称、字段名称、字段编码、字段分类、操作选项等,其中操作选项下会生成多个控件,生成的控件用于对对应行的字段属性进行查看、编辑、删除等操作,当字段分类为枚举时,操作选项下还会生成字典数据控件。如图3所示的字段管理界面中的基础属性展示区20因没有设置字段属性,故基础属性展示区20的字段名称、操作选项等没有显示对应的值。但厂家名称和数据分类名称是已配置过的,故图3中的基础属性展示区20会显示厂家名称的值目标厂家、数据分类名称的值人像。当然的,图3中基础属性展示区20展示的值即为通过在主控区10的厂家控件及对应的子控件获取的目标厂家以及数据分类名称人像,当在主控区10没有获取厂家名称和数据分类名称时,基础属性展示区20会展示主控区10内展示的所有厂家对应的基础属性值。

创建功能区30包括新增控件、导入控件、导出控件。新增控件用于新增字段;导入控件用于把配置好的字段模板导入到字段管理界面,例如导入配置好字段模板的Excel表格等;导出控件用于把字段管理界面的字段信息导出到Excel表格。搜索区40包括字段名称控件、字段编码控件、字段分类控件,在字段名称控件、字段编码控件、字段分类控件中的至少一个中获取检索值,即可在基础属性展示区20显示对应该检索值的所有字段信息。可以理解的是,选择获取检索值的控件越多,检索到的字段越精确。

可以理解的是,本实施例仅以在字段管理界面选择目标厂家及数据分类名称人像为例说明字段管理界面各区域的功能及配置,但本申请不限于此。

进一步的,以在目标厂家的标准数据分类名称人像下新增标准字段为例来说明字段的配置方法。请参阅图3和图4,图4为本申请实施例提供的标准字段配置界面示意图。在图3的字段管理界面的主控区10获取目标厂家,接着获取目标厂家下的子控件数据分类名称人像,然后通过创建功能区30的新增控件,会展示如图4所示的标准字段配置界面,标准字段配置界面会展示字段管理界面中基础属性展示区20的部分属性名称,且显示的部分属性名称以控件的方式展示,以使得在各控件获取显示的部分属性名称对应的值,实现标准字段的配置。

具体的,继续参阅图4,标准字段配置界面包括厂家名称控件、数据分类名称控件、字段名称控件、字段编码控件、字段分类控件等。其中通过所述厂家名称控件获取目标厂家名称,目标厂家名称的值为目标厂家;通过所述数据分类名称控件获取数据分类名称,数据分类名称的值为人像;通过所述字段名称控件获取标准字段名称,标准字段名称的值为性别代码;通过所述字段编码控件获取标准字段编码,标准字段编码的值为genderCode;通过所述字段分类控件获取字段分类类型为枚举。字段分类类型还包括字段属性,因枚举类型的字段能够配置字典取值,故字段分类类型选择枚举。其中字段编码为字段的唯一标识,同一厂家的同一数据分类名称下的所有字段的字段编码不能重复。

需要说明的是,通过标准字段配置界面获取的厂家名称和数据分类名称应与在字段管理界面中主控区获取的厂家名称和数据分类名称一致,否则字段配置失败。在图4的标准字段配置界面展示的标准字段名称及标准字段编码仅是示例性的进行说明,本申请不限于此。在同一数据分类名称下可以包括多个字段名称,例如数据分类名称人像下还可包括身高字段、年龄字段等。

标准字段配置界面的各标准字段属性配置完成后,配置的各标准字段的属性值会展示在字段管理界面的基础属性展示区,并缓存至redis中;且基础属性展示区的操作选项在对应新增的标准字段会生成字典数据控件、查看控件、编辑控件、删除控件等其他控件。其中通过查看控件能和编辑控件就能获取标准字段配置界面,同时可以对标准字段配置界面的各标准字段属性进行查看、编辑等操作。通过删除控件能够删除对应的标准字段。

步骤S102,通过标准字典配置界面配置所述标准字段的标准字段字典;

具体的,在字段管理界面的基础属性展示区上,通过新增的标准字段的字典数据控件,会展示该标准字段的字典管理界面,通过该标准字段的字典管理界面的新增控件,会展示标准字典配置界面。请参阅图5,图5为本申请实施例提供的标准字典配置界面的示意图,所述标准字典配置界面包括字典名称控件、字典编码控件、字典排序控件等。通过所述字典名称控件获取标准字典名称,标准字典名称的值为男性;通过所述字典编码控件获取标准字典编码,标准字典编码的值为1;通过所述字典排序控件获取标准字典的排布顺序,标准字典的排列顺序的值为1,以完成对标准字段的标准字段字典配置,并缓存至redis中。配置完成的标准字段字典会显示在字典管理界面,在字典管理界面同样可以进行对新增标准字段字典的查看、编辑、删除等操作。当然的,获取的标准字典名称的值、标准字典编码的值以及标准字典的排列顺序的值仅为对本实施例进行示例性的说明,本申请不限于此,本申请的标准字典名称的值也可以为女性或其他,因在性别代码标准字段可以对应配置多个标准字典数据。

步骤S103,通过来源字段配置界面配置来源数据中来源字段的来源字段属性;

具体的,配置来源数据中来源字段的来源字段属性与配置标准数据中的标准字段属性的方法相同。具体的,请参阅图3和图6,图6为本申请实施例提供的来源字段配置界面示意图。在图3的字段管理界面的主控区10获取厂家1,接着获取目标厂家下的子控件数据分类名称人像,然后通过创建功能区30的新增控件,会展示如图6所示的来源字段配置界面,来源字段配置界面会展示字段管理界面中基础属性展示区20的部分属性名称,且显示的部分属性名称以控件的方式展示,以使得在各控件获取显示的部分属性名称对应的值,实现来源字段的配置。

具体的,继续参阅图6,来源字段配置界面包括厂家名称控件、数据分类名称控件、字段名称控件、字段编码控件、字段分类控件等。其中通过所述厂家名称控件获取来源厂家名称,来源厂家名称的值为厂家1;通过所述数据分类名称控件获取数据分类名称,数据分类名称的值为人像;通过所述字段名称控件获取来源字段名称,来源字段名称的值为性别;通过所述字段编码控件获取来源字段编码,来源字段编码的值为genderCode;通过字段分类控件获取字段分类类型为枚举。字段分类类型还包括字段属性,因枚举类型的字段能够配置字典取值,故字段分类类型选择枚举。其中字段编码为字段的唯一标识,同一厂家的同一数据分类名称下的所有字段的字段编码不能重复。

来源字段配置界面的各来源字段属性配置完成后,配置的各来源字段的属性值会展示在字段管理界面的基础属性展示区,并缓存至redis中;且基础属性展示区的操作选项在对应新增的来源字段会生成字典数据控件等其他控件、查看控件、编辑控件、删除控件等其他控件。其中通过查看控件能和编辑控件就能展示来源字段配置界面,同时可以对来源字段配置界面的各来源字段属性进行查看、编辑等操作。通过删除控件能够删除对应的标准字段。

步骤S104,通过来源字典配置界面配置所述来源字段的来源字段字典;

具体的,配置所述来源字段的来源字段字典与配置所述标准字段的标准字段字典的方法相同。具体的,在字段管理界面的基础属性展示区上,通过新增的来源字段的字典数据控件,会展示该来源字段的字典管理界面,通过该来源字段的字典管理界面的新增控件,会展示来源字典配置界面。请参阅图7,图7为本申请实施例提供的来源字典配置界面的示意图,所述来源字典配置界面包括字典名称控件、字典编码控件等。通过所述字典名称控件获取来源字典名称,来源字典名称的值为男性;通过所述字典编码控件获取来源字典编码,来源字典编码的值为M,以完成对来源字段的来源字段字典配置,并缓存至redis中。配置完成的来源字段字典会显示在字典管理界面,在字典管理界面同样可以进行对新增来源字段字典的查看、编辑、删除等操作。其中,来源字典名称需与标准字典名称一致,也即来源字典名称获取的值与标准字典名称获取的值是相同的;来源字典编码与所述来源数据中的来源字段值一致,也即来源字典编码获取的值与所述来源数据中传送的来源字段值保持一致。

步骤S105,通过转换模板配置界面绑定标准字段字典和来源字段字典,以生成字段转换模板;

具体的,请参阅图8,图8为本申请实施例提供的转换模板配置界面的示意图,转换模板配置界面的创建方法和新增字段的创建方法类似,即在模板管理界面通过新增控件会展示转换模板配置界面。转换模板配置界面包括可输入区50和绑定区60。可输入区50包括模板名称控件、厂家名称控件、分类名称控件,在可输入区50可获取对应控件的值。绑定区60包括来源厂家字段控件、目标厂家字段控件、绑定控件、来源字段控件、标准字段控件等,其中来源字段控件和标准字段控件展示绑定成功的来源厂家字段和目标厂家字段。

通过所述模板名称控件获取转换模板名称,转换模板名称的值为厂家1人像。通过所述厂家名称控件、所述分类名称控件获取需要配置转换模板的来源厂家字段和目标厂家字段。所述厂家名称控件和所述分类名称控件均为可选择控件,通过所述厂家名称控件获取厂家名称,厂家名称的值为厂家1;通过所述分类名称控件获取分类名称,分类名称的值为人像,该分类名称和数据分类名称相同。获取厂家名称和分类名称之后,即会在来源厂家字段控件下显示厂家1的人像分类数据下的所有来源字段名称,步骤S103中新增的来源字段名称也显示在列,如图8示出的来源厂家字段控件下显示的来源字段名称值性别。而目标厂家字段控件下会显示目标厂家人像分类数据下的所述标准字段名称,步骤S101中新增的标注字段名称也显示在列,如图8示出的目标厂家字段控件下显示的标准字段名称值性别代码。

继续参阅图8,通过所述来源厂家字段控件获取所述来源字段,通过所述目标厂家字段控件获取与所述来源字段对应的所述标准字段,所述标准字段也即图8中的目标字段。转换模板配置界面的所述来源字段和所述标准字段均展示的字段名称。具体的,通过来源厂家字段控件获取来源字段名称性别,通过目标厂家字段控件获取标准字段名称性别代码,然后通过添加绑定控件进行绑定,如此可使所述来源字段对应的所述来源字典与所述标准字段对应的所述标准字典绑定,以生成字段转换模板,生成的字段转换模板会展示在模板管理界面,且缓存至redis中。绑定成功的字段会显示在来源字段控件和目标字段控件下,如图8中,来源字段控件下显示的性别,目标字段控件显示的性别代码。

步骤S106,通过所述字段转换模板将所述来源数据中的来源字段值转换成所述标准数据中的标准字段。

具体的,请参阅图9,图9为本申请实施例提供的数据转换流程示意图。数据转换流程包括以下步骤:

步骤S10,转换模块消费消息队列中的消息,从消息的来源数据中来源厂家编码、来源数据分类编码、所述来源字段编码、来源字段值。转换模块的作用是进行数据处理和入库,就是把采集的数据通过处理转换之后变成统一的数据,然后进行入库。

步骤S20,根据来源厂家编码和来源数据分类编码从redis中获取字段转换模板,该字段转换模板为步骤105中配置的字段转换模板。

步骤S30,通过字段转换模板判断字段是否是枚举类型,即通过字段转换模板中的字段属性判断需要进行数据转换的数据中的字段的字段类型是否为枚举类型,以判断是否进行字典的转换,因枚举类型的字段配置有字典。故步骤S30根据判断结果会分为如下两个分支步骤:

若步骤S30的判断结果为否,即为非枚举类型字段,则执行步骤S310,直接把消息中的来源字段值赋值给标准字段。

若步骤S30的判断结果为是,即为枚举类型字段,则需要进行另一分支步骤:字典的转换。

字典转换的具体过程包括以下步骤:

步骤S320,根据来源字段编码从redis中获取来源字段字典和标准字段字典。具体的,根据所述字段转换模板,通过所述来源字段编码获取所述标准字段编码。在配置字段转换模板时,来源厂家的来源字段名称与目标厂家的标注字段名称已绑定,而在同一来源厂家的同一数据分类下来源字段名称对应有唯一的来源字段编码,同样的,在目标厂家的同一数据分类下标准字段名称对应唯一的标准字段编码。因此,通过来源字段编码能够找到对应的标准字段编码。根据所述来源字段编码从redis中获取所述来源字段字典。在来源字段配置界面配置来源字段的属性时,配置的有来源字段名称、来源字段编码、来源字段分类等,且在同一来源厂家的同一数据分类下来源字段名称对应有唯一的来源字段编码。通过来源字段编码即可获取该来源字段的所有字段属性,若配置的来源字段分类为枚举类型,则可获取该来源字段的来源字段字典的所有属性。根据所述标准字段编码从redis中获取所述标准字段字典。同样的,在标准字段配置界面配置标准字段的属性时,配置的有标准字段名称、标准字段编码、标准字段分类等,且在目标厂家的同一数据分类下标准字段名称对应有唯一的标准字段编码。通过标准字段编码即可获取该标准字段的所有字段属性,若配置的标准字段分类为枚举类型,则可获取该标准字段的标准字段字典的所有属性。

步骤S321,根据消息中的来源字段值匹配来源字典编码,并得到来源字典名称。具体的,根据所述来源字段值从所述来源字段字典获取所述来源字典编码。在来源字典配置界面配置来源字段字典时,来源字典编码和来源厂家传递的来源数据中的来源字段值一致,故根据来源字段值能从来源字段字典获取所述来源字典编码。根据所述来源字典编码获取所述来源字典名称。在来源字典配置界面配置来源字段字典时,来源字段字典属性中的来源字典名称和来源字典编码是一一对应的,根据来源字典编码即可找到来源字典名称。

步骤S322,根据来源字典名称匹配标准字典名称,并得到标准字典编码。具体的,根据所述来源字典名称获取所述标准字段字典中的所述标准字典名称。在来源字典配置界面配置来源字段字典时,来源字段字典属性中的来源字典名称和标准字段字典属性中的标准字典名称是相同的,根据来源字典名称即可找到标准字典名称。根据所述标准字典名称获取所述标准字典编码。在标准字典配置界面配置标准字段字典时,标准字段字典属性中的标准字典名称和标准字典编码是一一对应的,根据标准字典名称即可找到标准字典编码。

步骤S323,将标准字典编码赋值给标准字段,以完成整个字典的转换。

步骤S30判断结果的两个分支步骤完成后,均会进行数据的存储,如步骤S40:数据转换完,存入数据库。

需要说明的是,本实施例仅示例性的列举了来源字段、来源字段字典、标准字段、标准字段字典以及字段转换模板的配置方法,使用此配置方法可以配置厂家1和目标厂家的各种数据分类下的各种字段,以及各字段对应的字段转换模板。当然的,此配置方法还可配置其他多个厂家的各种数据分类下的各种字段,例如使用该配置方法配置厂家2的机动车数据的车牌颜色、车型、车辆编码等各种字段,而且同样的可以配置各字段对应的字段转换模板,以把厂家2的来源数据转换成标准数据,在此不再赘述。

在本实施例中,通过在配置界面配置来源字段字典和标准字段字典,同时在转换模板配置界面配置字段转换模板,源数据在采集回来后,通过字段转换模板,对有字典的字段,按照字典编码和字典名称的对应关系进行转换,使用统一的数据处理流程,不需要进行特定的代码处理,提高了效率。同时对于来源数据中的来源字段字典和标准数据中的标准字段字典的变动或增加,只需要在配置界面中进行修改就可以,无需修改代码和配置文件,操作简单易懂,快捷方便,好维护,提高了系统的可维护性和操作性。

基于上述数据资产管理方法,本申请实施例还提供一种数据资产管理装置。请参阅图1和图10,图10为本申请实施例提供的数据资产管理装置的框架示意图。该数据资产管理装置可以包括第一配置模块100、第二配置模块200、第三配置模块300、第四配置模块400、第五配置模块500以及第一转换模块600。

第一配置模块100,用于配置标准数据中标准字段的标准字段属性。具体的,所述标准字段属性包括标准字段名称、标准字段编码、标准字段分类等,其中标准字段分类为枚举类型。配置完成的标准字段支持查看、编辑、删除等操作。

第二配置模块200,用于配置所述标准字段的标准字段字典。具体的,所述第一配置模块100配置的标准字段分类为枚举类型,则该标准字段可以设置对应的标准字段字典。标准字段字典的属性包括标准字典名称和标准字段编码等。配置完成的标准字段字典支持查看、编辑、删除等操作。

第三配置模块300,用于配置来源数据中来源字段的来源字段属性。具体的,所述来源字段属性包括来源字段名称、来源字段编码、来源字段分类等,其中来源字段分类为枚举类型。配置完成的来源字段支持查看、编辑、删除等操作。来源数据中包括来源厂家编码、来源数据分类编码、来源字段编码、来源字段值等。

第四配置模块400,用于配置所述来源字段的来源字段字典。具体的,所述第三配置模块300配置的来源字段分类为枚举类型,则该来源字段可以设置对应的来源字段字典。来源字段字典的属性包括来源字典名称和来源字段编码等。其中来源字典名称和第二配置模块配置的标准字典名称相同,来源字典编码和来源数据中传递的字段值一致。配置完成的标准字段字典支持查看、编辑、删除等操作。

第五配置模块500,用于绑定标准字段字典和来源字段字典,以生成字段转换模板。具体的,通过绑定第一配置模块100配置的标准字段和第三配置模块300配置的来源字段,使标准字段对应的标准字段字典和来源字段对应的来源字段字典绑定,以生成字段转换模板。

第一转换模块600,用于通过所述字段转换模板将所述来源数据中的来源字段值转换成所述标准数据中的标准字段。第一转换模块600和上述数据资产管理方法中的转换模块的作用不同,上述数据资产管理方法中的转换模块主要用于对来源数据的处理及入库,而第一转换模块600主要用于通过第五配置模块500配置的字段转换模板将所述来源数据中的来源字段值转换成所述标准数据中的标准字段。具体的,第一转换模块600用于根据来源数据中的来源字段编码获取来源字段字典和标准字段字典,并根据来源数据中的来源字段值获取来源字典编码,根据来源字典编码找到对应的来源字典名称,根据来源字典名称找到对应的标准字典名称,根据标准字典名称找到对应的标准字典编码,把标准字典编码赋值给标准字段。

本申请实施例还提供了一种计算机设备,该计算机设备可以包括上述实施例提供的数据资产管理装置。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现上述实施例所述的数据资产管理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。为此,本申请实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的数据资产管理方法中任一实施例的步骤。

其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令,可以执行本申请实施例所提供的数据资产管理方法中任一实施例的步骤,因此,可以实现本申请实施例所提供的数据资产管理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。

以上对本申请实施例所提供的数据资产管理方法、装置、计算机设置以存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

相关技术
  • 数据资产管理方法、数据资产管理装置及计算机可读介质
  • 一种数据银行中的数据资产管理方法和数据银行系统
技术分类

06120112292440