掌桥专利:专业的专利平台
掌桥专利
首页

数据标识方法、装置、计算机可读存储介质及电子设备

文献发布时间:2023-06-19 10:38:35


数据标识方法、装置、计算机可读存储介质及电子设备

技术领域

本发明涉及能源技术领域,尤其涉及数据标识方法、装置、计算机可读存储介质及电子设备。

背景技术

通过对物联数据,基于大数据技术,对数据进行BI分析,产生的结果是可视化的图表和/或报告。后续,通常需要对可视化的图表和/或报告进行分析。

目前,主要通过BI的创建者写的标题来识别图表和/或报告的内容意义,比如某某公司某某泛能站节能月报表。

但是,由于创建者进行命名,导致对图表和/或报告的内部的描述方式上具有较大差异,增加了对大量图表和/或报告的分析难度。

发明内容

本发明提供了一种数据标识方法、装置、计算机可读存储介质及电子设备,可通过标题结构中标题属性对应的标题属性值,实现对数据的标识,统一数据的描述方式,降低了后续的数据分析难度。

第一方面,本发明提供了一种数据标识方法,包括:

获取目标数据以及标题结构,所述标题结构基于标题属性确定;

确定所述目标数据对应在所述标题属性上的标题属性值,所述标题属性值符合所述标题属性对应的标准标题格式;

根据所述标题结构和所述目标数据对应在所述标题属性上的标题属性值,确定所述目标数据对应在所述标题结构上的目标标题名称;

将所述目标标题名称作为所述目标数据的数据标签。

第二方面,本发明提供了一种数据标识装置,包括:

获取模块,用于获取目标数据以及标题结构,所述标题结构基于标题属性确定;

属性值确定模块,用于确定所述目标数据对应在所述标题属性上的标题属性值,所述标题属性值符合所述标题属性对应的标准标题格式;

名称确定模块,用于根据所述标题结构和所述目标数据对应在所述标题属性上的标题属性值,确定所述目标数据对应在所述标题结构上的目标标题名称;

标签确定模块,用于将所述目标标题名称作为所述目标数据的数据标签。

第三方面,本发明提供了一种计算机可读存储介质,包括执行指令,当电子设备的处理器执行所述执行指令时,所述处理器执行如第一方面中任一所述的方法。

第四方面,本发明提供了一种电子设备,包括处理器以及存储有执行指令的存储器,当所述处理器执行所述存储器存储的所述执行指令时,所述处理器执行如第一方面中任一所述的方法。

本发明提供了一种数据标识方法、装置、计算机可读存储介质及电子设备,该方法通过获取目标数据以及标题结构,标题结构基于标题属性确定,然后,确定目标数据对应在标题属性上的标题属性值,标题属性值符合所述标题属性对应的标准标题格式,然后,根据标题结构和目标数据对应在标题属性上的标题属性值,确定目标数据对应在标题结构上的目标标题名称,之后,将目标标题名称作为目标数据的数据标签。综上所述,通过本发明的技术方案,可通过标题结构中标题属性对应的标题属性值,实现对数据的标识,通过标题结构和标题属性对应的标准标题格式统一数据的描述方式,降低了后续的数据分析难度。

上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

为了更清楚地说明本发明实施例或现有的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种数据标识方法的流程示意图;

图2为本发明一实施例提供的另一种数据标识方法的流程示意图;

图3为本发明一实施例提供的一种数据标识装置的结构示意图;

图4为本发明一实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

如图1所示,为本发明实施例提供的一种数据标识方法。本发明实施例所提供的数据标识方法可应用在电子设备上,具体可以应用于服务器或一般计算机上。本实施例中,所述方法具体包括以下步骤:

步骤101、获取目标数据以及标题结构,所述标题结构基于标题属性确定。

目标数据可以是需要进行标识、能够用于数据分析的数据,该数据可以是后端数据或可视化数据,后端数据指的是存储在数据库中的数据,可视化数据指的是报表、图、表格等。标题结构指示了标题由哪些标题属性组成,以及标题属性之间的先后顺序关系。其中,标题属性可以是时间、数据所属区域、数据主体、数据用途以及可视化类型中的任意一种或多种,可视化类型指示了以何种方式表现出目标数据,比如,可以是图、表、报表等。标题结构由按照顺序排列的标题属性组成,标题结构中可能存在具有层级关系的标题属性,则具有层级关系的标题属性是按照层级由大到小进行排序的,换言之,具有层级关系的标题属性中的任意一个标题属性对应的层次大于其后的标题属性对应的层次。标题结构可能存在不同维度的标题属性,则不同维度的标题属性依次按照时间维度、数据维度、可视化维度进行排序。可视化维度指的是数据展示方式,这里,将可视化维度放在最后,便于实现对图、表以及报表进行筛选,从而便于数据分析。当然,也可以没有可视化维度,仅仅具有时间维度和数据维度,具体需要结合实际需求确定。

在一些可能的实现方式中,具体可通过如下方式确定目标数据:

获取物联数据,并将所述物联数据进行结构化存储,以得到数据仓库;

获取数据模型,并根据所述数据模型,对所述数据仓库中的数据进行转化,以确定目标数据。

物联数据指的是通过物联网采集上来的数据,通常是脏数据,为了便于数据分析,通常需要对物联数据进行结构化存储,得到数据仓库,数据仓库用于存储海量数据,通常是基于数据仓库工具HIVE构建,数据仓库中的数据为结构化数据,结构化数据指的是高度组织和整齐格式化的数据,即能够用数据或统一的结构加以表示的信息,如数字、符号。它是可以放入表格和电子表格中的数据类型。数据类型在数据结构中的定义是一组性质相同的值的集合以及定义在这个值集合上的一组操作的总称。

为了便于数据管理和数据分析,通常需要数据模型对数据仓库中的数据进行转化,以确定便于数据分析的目标数据。其中,数据模型指的是用于描述不同对象及其相关特性的描述框架,采用相同的描述词来描述相同语义的数据。

步骤102、确定所述目标数据对应在所述标题属性上的标题属性值,所述标题属性值符合所述标题属性对应的标准标题格式。

本实施例中,标题属性值指的是目标属性对应在标题属性上的值,标题属性值符合标准标题格式,标准标题格式指的是标题属性值的描述方式,比如,标题属性值是2020年,则2020年对应的时间格式即为标准标题格式。

在一些可行的实现方式中,具体可通过如下实现方式确定标题属性值:

获取所述标题属性对应的标题属性问句描述;

根据所述标题属性问句描述,从所述目标数据中确定所述标题属性问句描述对应的答复数据;

根据所述标题属性对应的标准标题格式和所述答复数据,确定标题属性值。

标题属性问句描述指的是对数据中是否存在标题属性对应的属性值的提问的描述,比如,时间是?,数据用处是?,数据主体是?,数据所属区域是?。在确定了标题属性问句描述之后,即可对目标数据进行扫描,以确定目标数据中是否存在标题属性问句描述的答复数据。需要说明的是,目标数据中通常包括数据的多个属性,这些属性之间具有层级关系,层级关系反应了属性之间的包含关系,比如,数据a属于A系统,来源是设备A1,那么A系统包括设备A1,故对目标数据进行扫描,可以按照从上到下的层级关系进行扫描,也可以按照从下到上的层级关系进行扫描。当目标数据中存在标题属性问句描述对应的答复数据时,基于标题属性值对应的标准标题格式对答复数据进行相关处理,以确定标题属性值。这里,标准标题格式指示了答复数据的数据结构,比如,标题属性问句描述为时间是?,则标准标题格式为yyyy年,即年份,比如,2020年,标题属性问句描述为数据用处是?,则标准标题格式为分析+指标,比如,分析能耗,标题属性问句描述为数据主体是?,则标准标题格式为设备名称,比如,锅炉,标题属性问句描述为数据所属区域是?,则标准标题格式为系统名称,比如,工业园,泛能站,综合能源系统。需要说明的是,标题属性值也是符合存储目标数据的数据仓库的数据模型的。

步骤103、根据所述标题结构和所述目标数据对应在所述标题属性上的标题属性值,确定所述目标数据对应在所述标题结构上的目标标题名称。

本实施例中,通过标题结构和目标数据对应在标题属性上的标题属性值,确定目标数据对应在标题结构上的目标标题名称。

作为一种可能的实现方式,具体可通过如下方式确定目标标题名称:

确定所述标题属性在所述标题结构中的位置信息;

根据所述标题属性在所述标题结构中的位置信息,对所述标题属性值进行组合,确定所述目标数据对应的目标标题名称。

考虑到不同的标题属性在标题结构中的位置是不同的,因此,确定标题属性在标题结构中的位置信息,位置信息指示了标题属性在标题结构中的位置,举例来说,假设有4个标题属性值,分别为2020年、工业园、锅炉、分析能耗,2020年、工业园、锅炉、分析能耗各自对应的位置信息可以为1、2、3、4,则目标标题名称为2020年工业园锅炉分析能耗。

需要说明的是,标题属性问句描述对应的标题属性值可以有多个,则对所有标题属性的字段关键词进行组合,得到多个目标标题名称,每个目标标题名称均包括所有标题属性各自的一个字段关键词。举例来说,假设有N个标题属性,分别表示为a1、a2、…、ai、…、aN-1、aN,N个标题属性各自对应有n个标题属性值,以a1为例进行说明,a1对应的n个标题属性值分别表示为a11、a12、…、a1i、…、a1n-1、an,基于N个标题属性,对N个标题属性各自对应的标题属性值进行组合,得到多个标题,每个标题包括N个标题属性各自对应的一个标题属性值。

步骤104、将所述目标标题名称作为所述目标数据的数据标签。

通过目标标题名称标识目标数据,确定目标数据的数据标签。

进一步地,在实际应用中,可通过数据标签进行数据筛选,快速得到用于数据分析的数据,具体可通过如下方式实现数筛选:

获取数据请求;

根据所述数据请求,从所述数据标签中确定出所述数据请求对应的目标数据标签;

将所述目标数据标签对应的数据确定为所述数据请求对应的数据。

数据请求指示了想要获取什么样的数据的请求,基于对数据请求的解析即可确定出数据请求对应的数据的描述信息,然后基于数据的描述信息,从数据标签中找到对应的目标数据标签,并将目标数据标签对应的目标数据,确定为数据请求对应的数据,后续用户即可根据数据请求对应的数据实现数据分析。

通过以上技术方案可知,本实施例存在的有益效果是:

可通过标题结构中标题属性对应的标题属性值,实现对数据的标识,通过标题结构和标题属性对应的标准标题格式统一数据的描述方式,降低了后续的数据分析难度。

图1所示仅为本发明所述方法的基础实施例,在其基础上进行一定的优化和拓展,还能够得到所述方法的其他优选实施例。

如图2所示,为本发明所述数据标识方法的另一个具体实施例。本实施例在前述实施例的基础上,结合应用场景进行了更加具体的描述。所述方法具体包括以下步骤:

步骤201、获取物联数据,并将所述物联数据进行结构化存储,以得到数据仓库;获取数据模型,并根据所述数据模型,对所述数据仓库中的数据进行转化,以确定目标数据。

在实际应用中,采集工业能源的物联数据上来,存放在数据湖中;业务员基于企业或者市场需求,提出数据需求;数据分析人员基于需要的数据,从数据湖中提炼数据,将数据结构化存储形成数据仓库,数据分析师将数据建模,做数据分析,得到目标数据。假设目标数据包括2020、2019年某一工业园中锅炉的能效分析数据。

步骤202、获取标题结构,所述标题结构基于标题属性确定。

标题结构为时间-数据所属区域-数据主体-数据用途。

步骤203、获取所述标题属性对应的标题属性问句描述;根据所述标题属性问句描述,从所述目标数据中确定所述标题属性问句描述对应的答复数据;根据所述标题属性对应的标准标题格式和所述答复数据,确定标题属性值。

标题属性问句描述包括时间是?,数据用途是?,数据主体是?,数据所属区域是?,假设时间是?,数据用途是?,数据主体是?,数据所属区域是?各自对应的标题属性值是2020年+2019年、分析能耗、锅炉、工业园。

步骤204、确定所述标题属性在所述标题结构中的位置信息;根据所述标题属性在所述标题结构中的位置信息,对所述标题属性值进行组合,确定所述目标数据对应的目标标题名称。

时间、数据所属区域、数据主体、数据用途各自对应的位置信息为1、2、3、4,则目标标题名称为2020年工业园锅炉分析能耗以及2019年工业园锅炉分析能耗。

步骤205、将所述目标标题名称作为所述目标数据的数据标签。

2020年工业园锅炉分析能耗以及2019年工业园锅炉分析能耗作为目标数据的数据标签。

通过以上技术方案可知,本实施例存在的有益效果是:

可通过标题结构中标题属性对应的不同标题属性值的组合,实现对数据的多方位标识,通过标题结构和标题属性对应的标准标题格式统一数据的描述方式,降低了后续的数据分析难度。

基于与本发明方法实施例相同的构思,请参考图3,本发明实施例还提供了一种数据标识装置,包括:

获取模块301,用于获取目标数据以及标题结构,所述标题结构基于标题属性确定;

属性值确定模块302,用于确定所述目标数据对应在所述标题属性上的标题属性值,所述标题属性值符合所述标题属性对应的标准标题格式;

名称确定模块303,用于根据所述标题结构和所述目标数据对应在所述标题属性上的标题属性值,确定所述目标数据对应在所述标题结构上的目标标题名称;

标签确定模块304,用于将所述目标标题名称作为所述目标数据的数据标签。

本发明一个实施例中,所述属性值确定模块302,包括:描述获取单元、答复单元及属性值确定单元;其中,

所述描述获取单元,用于获取所述标题属性对应的标题属性问句描述;

所述答复单元,用于根据所述标题属性问句描述,从所述目标数据中确定所述标题属性问句描述对应的答复数据;

所述属性值确定单元,用于根据所述标题属性对应的标准标题格式和所述答复数据,确定标题属性值。

本发明一个实施例中,所述名称确定模块303,包括:位置确定单元以及名称确定单元;其中,

所述位置确定单元,用于确定所述标题属性在所述标题结构中的位置信息;

所述名称确定单元,用于根据所述标题属性在所述标题结构中的位置信息,对所述标题属性值进行组合,确定所述目标数据对应的目标标题名称。

本发明一个实施例中,所述标题属性包括时间、数据所属区域、数据主体、数据用途中的任意一种或多种。

本发明一个实施例中,所述标题属性还包括可视化类型;

所述标题结构中具有层级关系的标题属性是按照层级由大到小进行排序的,所述标题结构中不同维度的标题属性依次按照时间维度、数据维度、可视化维度进行排序。

本发明一个实施例中,所述获取模块301,包括:存储单元以及数据获取单元;其中,

所述存储单元,用于获取物联数据,并将所述物联数据进行结构化存储,以得到数据仓库;

所述数据获取单元,用于获取数据模型,并根据所述数据模型,对所述数据仓库中的数据进行转化,以确定目标数据。

本发明一个实施例中,还包括:选取模块;其中,

所述选取模块,用于获取数据请求;根据所述数据请求,从所述数据标签中确定出所述数据请求对应的目标数据标签;将所述目标数据标签对应的数据确定为所述数据请求对应的数据。

图4是本发明实施例提供的一种电子设备的结构示意图。在硬件层面,该电子设备包括处理器401以及存储有执行指令的存储器402,可选地还包括内部总线403及网络接口404。其中,存储器402可能包含内存4021,例如高速随机存取存储器(Random-AccessMemory,RAM),也可能还包括非易失性存储器4022(non-volatile memory),例如至少1个磁盘存储器等;处理器401、网络接口404和存储器402可以通过内部总线403相互连接,该内部总线403可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等;内部总线403可以分为地址总线、数据总线、控制总线等,为便于表示,图4中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。当然,该电子设备还可能包括其他业务所需要的硬件。当处理器401执行存储器402存储的执行指令时,处理器401执行本发明任意一个实施例中的方法,并至少用于执行如图1或图2所示的方法。

在一种可能实现的方式中,处理器从非易失性存储器中读取对应的执行指令到内存中然后运行,也可从其它设备上获取相应的执行指令,以在逻辑层面上形成一种数据标识装置。处理器执行存储器所存放的执行指令,以通过执行的执行指令实现本发明任一实施例中提供的一种数据标识方法。

处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本发明实施例还提供了一种计算机可读存储介质,包括执行指令,当电子设备的处理器执行执行指令时,所述处理器执行本发明任意一个实施例中提供的方法。该电子设备具体可以是如图4所示的电子设备;执行指令是一种数据标识装置所对应计算机程序。

本领域内的技术人员应明白,本发明的实施例可提供为方法或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例,或软件和硬件相结合的形式。

本发明中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

相关技术
  • 数据标识方法、装置、计算机可读存储介质及电子设备
  • 标识定位方法、装置、电子设备及计算机可读存储介质
技术分类

06120112623728