一种异构数据的处理方法、装置及介质

技术领域

本发明涉及一种异构数据的处理方法、装置及介质。

背景技术

工业数据以时序数据为主，即每一条数据均会带有一个时间标签，表示该条数据产生的时间，随着设备的持续工作和时间的推移，时序数据会源源不断地产生，因此为了实现这些数据的价值，需要将其持久化保存。然而，由于工厂内设备种类众多，每种设备产生的数据往往不是统一的数据结构，在入库前需要针对每一类数据单独写一个定制化的数据处理脚本，这样无疑增加了很多不必要的代码开发量。

发明内容

本发明所要解决的技术问题是针对现有技术的上述不足，提供一种异构数据的处理方法、装置及介质，以解决现有的异构数据处理方法在入库前需要针对每一类数据单独写一个定制化的数据处理脚本，导致代码开发量大的问题。

第一方面，本发明提供一种异构数据的处理方法，包括：

获取第一类型数据或第二类型数据，所述第一类型数据和第二类型数据具有不同的数据结构；

判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，所述目标数据映射关系用于将所述第一类型数据或第二类型数据映射为具有目标数据结构的第三类型数据；

若是，则根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据。

优选地，所述判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，包括：

判断管理数据库中是否存在与所述目标数据映射关系对应的目标数据解析规则，若是，则所述映射关系表中存在所述目标数据映射关系，否则，所述映射关系表中不存在所述目标数据映射关系。

优选地，所述方法还包括：

若所述映射关系表中不存在所述目标数据映射关系，则获取用户输入的目标数据解析规则；

根据所述目标数据解析规则生成目标数据映射关系。

优选地，所述根据所述目标数据解析规则生成目标数据映射关系之后，还包括：

根据生成的所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据；

将所述目标数据解析规则存入管理数据库中；

将生成的所述目标数据映射关系存入所述映射关系表中，并与所述目标数据解析规则相对应。

优选地，所述根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据，包括：

判断管理数据库中与所述目标数据映射关系对应的目标数据解析规则在预设时间范围内是否经过更改；

若是，则根据更改后的目标数据解析规则生成新的目标数据映射关系，并根据新的目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据；

否则，根据未更改的所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据。

优选地，所述根据更改后的目标数据解析规则生成新的目标数据映射关系之后，还包括：

将所述新的目标数据映射关系存入所述映射关系表中，并与所述更改后的目标数据解析规则相对应。

优选地，所述目标数据解析规则包括筛选字段、过滤数据、合并以及设置阈值中的至少一种。

第二方面，本发明还提供一种异构数据的处理装置，包括：

获取模块，用于获取第一类型数据或第二类型数据，所述第一类型数据和第二类型数据具有不同的数据结构；

判断模块，与所述获取模块连接，用于判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，所述目标数据映射关系用于将所述第一类型数据或第二类型数据映射为具有目标数据结构的第三类型数据；

映射模块，与所述判断模块连接，用于当所述判断模块判断为是时，根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据。

第三方面，本发明还提供一种异构数据的处理装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现上述第一方面所述的异构数据的处理方法。

第四方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的异构数据的处理方法。

本发明提供的异构数据的处理方法、装置及介质，首先获取第一类型数据或第二类型数据，所述第一类型数据和第二类型数据具有不同的数据结构；判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，所述目标数据映射关系用于将所述第一类型数据或第二类型数据映射为具有目标数据结构的第三类型数据，若是，则根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据，由于本发明在获取到数据后，能够根据与数据的类型相对应的目标数据映射关系将获取的数据映射为统一的数据结构，在降低代码开发量的同时，实现了异构数据的自动化管理，解决了现有的异构数据处理方法在入库前需要针对每一类数据单独写一个定制化的数据处理脚本，导致代码开发量大的问题。

附图说明

图1为本发明实施例1的一种异构数据的处理方法的流程图；

图2为本发明实施例2的一种异构数据的处理装置的结构示意图；

图3为本发明实施例3的一种异构数据的处理装置的结构示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面将结合附图对本发明实施方式作进一步地详细描述。

可以理解的是，此处描述的具体实施例和附图仅仅用于解释本发明，而非对本发明的限定。

可以理解的是，在不冲突的情况下，本发明中的各实施例及实施例中的各特征可相互组合。

可以理解的是，为便于描述，本发明的附图中仅示出了与本发明相关的部分，而与本发明无关的部分未在附图中示出。

可以理解的是，本发明的实施例中所涉及的每个单元、模块可仅对应一个实体结构，也可由多个实体结构组成，或者，多个单元、模块也可集成为一个实体结构。

可以理解的是，在不冲突的情况下，本发明的流程图和框图中所标注的功能、步骤可按照不同于附图中所标注的顺序发生。

可以理解的是，本发明的流程图和框图中，示出了按照本发明各实施例的系统、装置、设备、方法的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可代表一个单元、模块、程序段、代码，其包含用于实现规定的功能的可执行指令。而且，框图和流程图中的每个方框或方框的组合，可用实现规定的功能的基于硬件的系统实现，也可用硬件与计算机指令的组合来实现。

可以理解的是，本发明实施例中所涉及的单元、模块可通过软件的方式实现，也可通过硬件的方式来实现，例如单元、模块可位于处理器中。

实施例1：

本实施例提供一种异构数据的处理方法，如图1所示，该方法包括：

步骤S1，获取第一类型数据或第二类型数据，所述第一类型数据和第二类型数据具有不同的数据结构。

在本实施例中，第一类型数据可以从第一设备获取，第二类型数据可以从第二设备获取，第一类型数据和第二类型数据可以由一组或多组数据组成，第一类型数据和第二类型数据的数据组成结构以及字段等方面存在不同。

步骤S2：判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，所述目标数据映射关系用于将所述第一类型数据或第二类型数据映射为具有目标数据结构的第三类型数据。

在本实施例中，若已经获取过第一类型数据或第二类型数据，则在映射关系表中存在与第一类型数据或第二类型数据相对应的目标数据映射关系，可以根据已经存在的目标数据映射关系对第一类型数据或第二类型数据进行映射处理。

可选地，所述判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，包括：

判断管理数据库中是否存在与所述目标数据映射关系对应的目标数据解析规则，若是，则所述映射关系表中存在所述目标数据映射关系，否则，所述映射关系表中不存在所述目标数据映射关系。

在本实施例中，管理数据库保存有映射关系表以及目标数据解析规则，目标数据映射关系是根据目标数据解析规则生成的，当管理数据库中存在目标数据映射关系时，可以有目标数据解析规则与之相对应。

步骤S3：若是，则根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据。

在本实施例中，当预存的映射关系表中存在与第一类型数据或第二类型数据对应的目标数据映射关系时，则已经获取过用户输入的目标数据解析规则并根据目标数据解析规则生成了目标数据映射关系。

可选地，所述根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据，包括：

判断管理数据库中与所述目标数据映射关系对应的目标数据解析规则在预设时间范围内是否经过更改；

若是，则根据更改后的目标数据解析规则生成新的目标数据映射关系，并根据新的目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据；

否则，根据未更改的所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据。

在本实施例中，预设时间范围可以是距离上一次获取第一类型数据或第二类型数据后经过的时间，在预设时间范围内，用户可以对与第一类型数据或第二类型数据对应的目标数据解析规则进行修改，在此次获取第一类型数据或第二类型数据后，可以根据修改后的目标数据解析规则生成新的目标数据映射关系，从而可以根据新的目标数据映射关系对第一类型数据或第二类型数据进行归一化映射。

可选地，所述根据更改后的目标数据解析规则生成新的目标数据映射关系之后，还包括：

将所述新的目标数据映射关系存入所述映射关系表中，并与所述更改后的目标数据解析规则相对应。

在本实施例中，一个目标数据解析规则可以只与一个目标数据映射关系相对应，当根据目标数据解析规则生成了新的目标数据映射关系，新的目标数据映射关系可以替换原先的目标数据映射关系。

可选地，所述方法还包括：

若所述映射关系表中不存在所述目标数据映射关系，则获取用户输入的目标数据解析规则；

根据所述目标数据解析规则生成目标数据映射关系。

在本实施例中，目标数据映射关系为一段可执行代码，根据目标数据解析规则生成目标数据映射关系可以是根据目标数据解析规则自动生成代码，无需根据数据结构以及解析规则的差异临时编写代码。

可选地，所述根据所述目标数据解析规则生成目标数据映射关系之后，还包括：

根据生成的所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据；

将所述目标数据解析规则存入管理数据库中；

将生成的所述目标数据映射关系存入所述映射关系表中，并与所述目标数据解析规则相对应。

可选地，所述目标数据解析规则包括筛选字段、过滤数据、合并以及设置阈值中的至少一种。

在本实施例中，第三类型数据是对异构数据进行归一化映射后得到的数据，将不同数据结构的数据统一映射为第三类型数据后可以存储进数据库中，方便进行统一管理与查询。

在一个具体的实施例中，从至少一个工业设备中获取第一类型数据或第二类型数据，在管理数据库中，每个工业设备的信息与一个目标数据解析规则以及一个目标数据映射关系相对应，对于每个目标工业设备，该异构数据的处理方法可以包括如下步骤：

(1)获取目标工业设备上传的第一类型数据或第二类型数据，使得该设备上的第一类型数据或第二类型数据可以通过映射处理，进而存入数据库供工业应用调用。

(2)判断管理数据库中的映射关系表上是否有与目标工业设备对应的目标数据映射关系。

(3)如果管理数据库中有与目标工业设备对应的目标数据映射关系，则进一步判断目标数据解析规则是否在预设的时间范围内被更改，如果目标数据解析规则在预设的时间范围内没有被更改，则根据目标数据映射关系对目标工业设备上传的第一类型数据或第二类型数据进行映射后存入数据库；如果目标数据解析规则在预设的时间范围内被更改过，则根据更改后的目标数据解析规则生成新的目标数据映射关系，并根据新的目标数据映射关系对目标工业设备上传的第一类型数据或第二类型数据进行映射后存入数据库，更新映射关系表；

(4)如果管理数据库中没有与目标工业设备对应的目标数据映射关系，则获取用户输入的与目标工业设备对应的目标数据解析规则，如筛选字段、过滤数据、合并、设置阈值等，根据输入的目标数据解析规则生成目标数据映射关系，并根据目标数据映射关系对目标工业设备上传的第一类型数据或第二类型数据进行映射后存入数据库，在管理数据库中存入目标工业设备的信息、目标数据解析规则以及目标数据映射关系，令目标工业设备的信息、目标数据解析规则以及目标数据映射关系三者相对应。

本发明实施例提供的异构数据的处理方法，首先获取第一类型数据或第二类型数据，所述第一类型数据和第二类型数据具有不同的数据结构；判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，所述目标数据映射关系用于将所述第一类型数据或第二类型数据映射为具有目标数据结构的第三类型数据，若是，则根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据，由于本发明在获取到数据后，能够根据与数据的类型相对应的目标数据映射关系将获取的数据映射为统一的数据结构，在降低代码开发量的同时，实现了异构数据的自动化管理，解决了现有的异构数据处理方法在入库前需要针对每一类数据单独写一个定制化的数据处理脚本，导致代码开发量大的问题。

实施例2：

如图2所示，本实施例提供一种数据处理装置，用于执行上述异构数据的处理方法，包括：

获取模块101，用于获取第一类型数据或第二类型数据，所述第一类型数据和第二类型数据具有不同的数据结构；

判断模块102，与所述获取模块101连接，用于判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，所述目标数据映射关系用于将所述第一类型数据或第二类型数据映射为具有目标数据结构的第三类型数据；

映射模块103，与所述判断模块102连接，用于当所述判断模块判断为是时，根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据。

优选地，判断模块102包括：

第一判断单元，用于判断管理数据库中是否存在与所述目标数据映射关系对应的目标数据解析规则，若是，则所述映射关系表中存在所述目标数据映射关系，否则，所述映射关系表中不存在所述目标数据映射关系。

优选地，所述装置还包括：

规则模块，用于当判断模块102判断为否时，获取用户输入的目标数据解析规则；

生成模块，用于根据所述目标数据解析规则生成目标数据映射关系。

优选地，所述装置还包括：

映射模块，用于根据生成的所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据；

第一储存模块，用于将所述目标数据解析规则存入管理数据库中；

第二储存模块，用于将生成的所述目标数据映射关系存入所述映射关系表中，并与所述目标数据解析规则相对应。

优选地，映射模块103包括：

第二判断单元，用于判断管理数据库中与所述目标数据映射关系对应的目标数据解析规则在预设时间范围内是否经过更改；

生成单元，用于当所述判断单元判断为是时，根据更改后的目标数据解析规则生成新的目标数据映射关系，并根据新的目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据；

映射单元，用于当所述判断单元判断为否时，根据未更改的所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据。

优选地，所述装置还包括：

第三存储模块，用于将所述新的目标数据映射关系存入所述映射关系表中，并与所述更改后的目标数据解析规则相对应。

优选地，所述目标数据解析规则包括筛选字段、过滤数据、合并以及设置阈值中的至少一种。

实施例3：

如图3所示，本实施例提供一种数据处理装置，用于执行上述异构数据的处理方法，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202被设置为运行所述计算机程序以执行实施例1中的异构数据的处理方法。

其中，存储器201与处理器202连接，存储器201可采用闪存或只读存储器或其他存储器，处理器202可采用中央处理器或单片机。

实施例4：

本实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例1中的异构数据的处理方法。

该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory，随机存取存储器)，ROM(Read-Only Memory，只读存储器)，EEPROM(Electrically ErasableProgrammable read only memory，带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory，光盘只读存储器)，数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。

实施例2至实施例4提供的异构数据的处理装置及计算机可读存储介质，首先获取第一类型数据或第二类型数据，所述第一类型数据和第二类型数据具有不同的数据结构；判断预存的映射关系表中是否存在与所述第一类型数据或第二类型数据对应的目标数据映射关系，所述目标数据映射关系用于将所述第一类型数据或第二类型数据映射为具有目标数据结构的第三类型数据，若是，则根据所述目标数据映射关系对获取的第一类型数据或第二类型数据进行映射以获得对应的第三类型数据，由于本发明在获取到数据后，能够根据与数据的类型相对应的目标数据映射关系将获取的数据映射为统一的数据结构，在降低代码开发量的同时，实现了异构数据的自动化管理，解决了现有的异构数据处理方法在入库前需要针对每一类数据单独写一个定制化的数据处理脚本，导致代码开发量大的问题。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。