一种异构数据处理方法及系统

技术领域

本发明涉及数据处理技术领域，具体涉及一种异构数据处理方法及系统。

背景技术

随着云计算、大数据、物联网等新一代信息技术的发展以及信息化与工业化的“深度融合”，传统的制造工业不断向智能制造的方向转型升级。传统的计算构架应用在智能工业网络中常常面临着数据分析时延大、系统功能复杂、感知数据多源异构、控制对象和方式多样、计算量大实时性高以及数据传输困难等问题。

多源异构数据由于其自身特点很难做到并行采集，即数据来源不同、传输接口不同、传输协议不同。传统的计算构架常采用轮询或多线程的方式采集多源异构数据，这会导致数据的采集时间和响应时间随着待采集设备数量的增加而增加，难以满足工业网络的实时性要求。另一方面，传统数据采集设备大多针对特定的设备组进行设计，无法用来灵活应对不同应用的功能要求和满足先进制造过程柔性化的应用要求。而当系统需要与多种不同采集和控制接口进行连接时，则必须依靠多个内核分别完成感知数据的采集和控制命令/逻辑的生成。这样大大增加了系统结构的复杂程度和实际成本，不符合先进制造技术小型化、低成本、高集成的发展要求。

发明内容

本发明要解决的问题是：扩展出了支持多种通讯协议的数据接口，保证了数据采集的实时性，有效的解决多源异构资源接入的困难。

为解决上述技术问题，本发明采用的技术方案是：一种异构数据处理方法，其中，包括静态数据处理过程以及动态数据处理过程；其中，静态数据处理过程包括：

接收不同通讯协议的异构数据，并且对异构数据进行识别、封装以及生成静态文件；

接收数据调用的控制指令，并且对数据调用的控制指令进行解析；

根据数据调用的控制指令对封装的异构数据进行调用。

优选地，对异构数据进行识别以及封装之后还包括：

存储生成的静态文件。

优选地，动态数据处理过程包括：

接收功能配置的控制指令，并且加载存储的动态文件；

根据功能配置指令进行动态重构。

优选地，还包括：

接收接口配置指令，并且对接口配置指令进行解析；

根据接口配置指令动态配置不同种类的通讯协议接口。

一种异构数据处理方法，其中，包括：

输出数据调用的控制指令；

接收调用的数据，并且对调用的数据进行计算；

输出计算结果；

输出功能配置的控制指令；以及

输出接口配置指令。

一种异构数据处理系统，其中，包括：静态数据处理模块以及动态数据处理过程，其中，静态数据处理模块包括：

第一接口模块，用于获取不同通讯协议的异构数据；

数据处理模块，用于接收不同通讯协议的异构数据，并且对异构数据进行识别、封装以及生成静态文件；

现场控制模块，用于接收数据调用的控制指令，并且对数据调用的控制指令进行解析；以及

接口配置模块，用于接收解析的数据调用的控制指令，并且根据数据调用的控制指令对封装的异构数据进行调用。

优选地，还包括：Flash模块，用于存储静态文件。

优选地，还包括：

第一接口模块以及第二接口模块，用于不同通讯协议的接口的适配；

接口配置模块，用于根据接口配置指令对第一接口模块以及第二接口模块进行定义以及配置。

优选地，还包括：系统功能重构模块，用于获取功能配置的控制指令，并且加载功能配置文件；并且根据功能配置指令对功能配置文件进行动态重构。

一种异构数据处理系统，其中，包括：ARM芯片，用于输出数据调用的控制指令；接收调用的数据，并且对调用的数据进行计算；输出计算结果；输出功能配置的控制指令；以及输出接口配置指令。

本发明具有的优点和积极效果是：本发明实施例融入了感算控集成的原理，即将传感、计算、控制三部分集成到一个片上系统中，由可编程接口模块、动态处理模块以及静态处理模块以及ARM芯片协同完成系统任务。本发明同时在片上集成FPGA与ARM内核处理器，将制造过程的感知、计算、控制功能集成到一个片上系统，通过FPGA可重构性灵活改变系统功能，提升了制造系统计算终端实时采集控制、本地运算处理、交互密集通信的能力。

本发明扩展出了支持多种通讯协议的数据接口，保证了数据采集的实时性，有效的解决多源异构资源接入的困难。本发明提升了数据采集的灵活性和通信速率，减小了系统对外数据传输的压力，改善了模块本身的综合性能。还通过利用FPGA并行控制处理的能力扩展出了支持多种通讯协议的数据接口，保证了数据采集的实时性，有效的解决多源异构资源接入的困难。

系统功能重构模块通过FPGA功能重构重新配置静态处理模块以及第一接口模块和第二接口模块，还集成了高性能ARM处理器和网络通信接口完成数据的计算和传输。本发明利用FPGA的动态重构功能可以很好得应对传统的计算构架无法适应工业场景下采集需求实时变化的情况，能够有效地解决数据采集系统的实时配置问题，使得系统的性能得到优化。

附图说明

图1示出了本发明实施例的异构数据处理系统的结构示意图；

图2示出了ARM芯片的结构示意图；

图3示出了静态处理过程的结构示意图；

图4示出了异步数据采集过程；

图5示出了动态处理过程的结构示意图。

具体实施方式

为了更好的理解本发明，下面结合具体实施例和附图对本发明进行进一步的描述。

图1示出了本发明实施例的异构数据处理系统的结构示意图，如图1所示，所述系统包括第一接口模块、第二接口模块、静态处理模块以及动态处理模块，第一接口模块、第二接口模块、静态处理模块以及动态处理模块集成于FPGA芯片上。

第一接口模块以及第二接口模块为可编辑接口，接口配置模块利用FPGA多内核并行控制能力对第一接口模块进行配置以及定义，以使其适用不同通讯协议的异构数据。通过设置接口配置模块，可以对第一接口模块以及第二接口模块进行灵活地配置，使其具有更高的适配度。第一接口模块以及第二接口模块分别与静态处理模块连接。

第一接口模块用于获取不同通讯协议的异构数据；第一接口模块包括并行的多种通讯协议的接口，以实现不同通讯协议的接口的适配，不同通讯协议的接口例如包括传感器的数据接口。在一个具体的实施例中，第一接口模块例如包括SPI、IIC、GPIO、UART、CAN、USB、RJ-45、开关量等通讯协议的接口。

第二接口用于获取控制指令以及传输数据；本实施例中，第二接口例如实现FPGA新片与ARM芯片之间的数据交互，包括控制指令以及封装数据等的交互。

静态处理模块包括：数据处理模块、现场控制模块以及接口配置模块。

数据处理模块用于对异构数据进行识别、封装以及生成静态文件；数据处理模块接收第一接口模块的并行异构数据，并且对并行异构数据进行协议解析、预处理和归一化封装，并且生成静态文件，例如bit文件。具体地，数据处理模块将接收的异构数据进行协议解析，分析所采集数据的类型，然后在FIFO缓存器中进行缓存，再将缓存之后的异步数据送入ROM中完成时钟同步，然后根据系统设置的控制指令将存储在ROM中相邻地址的同步数据依次提取出来，封装成统一的数据格式供调用，并生成bit文件。现场控制模块用于接收第二接口模块获取的数据调用的控制指令，并且对数据调用的控制指令进行解析。具体地，现场控制模块控制命令，对控制命令进行转化，以使得数据调用的控制指令可识别。接口配置模块根据解析之后的数据调用控制指令对封装的异构数据进行调用，并且经由第二接口模块输出。

进一步地，FPGA芯片还配置片外Flash，静态文件存储于片外Flash中。

进一步地，第二接口模块还用于获取接口配置的控制指令，现场控制模块对接口配置指令进行解析；接口配置模块根据接口配置的控制指令对第一接口模块进行配置以及定义。具体地，接口配置模块利用FPGA多核心并行控制能力对第一接口模块进行配置以及定义，以使其适用不同通讯协议的异构数据。通过设置接口配置模块，可以对第一接口模块进行灵活地配置。

本发明实施例的接口配置模块利用FPGA多核心并行控制能力，可以扩展出不同种类通讯协议的接口，用于和不同类型的传感器连接获取数据，并和执行机构连接完成过程控制。保证了数据采集和现场控制的实时性，可以有效的解决异构资源接入的困难。

动态处理模块包括系统功能重构模块，系统功能重构模块用于获取功能配置的控制指令，并且加载功能配置文件；并且根据功能配置指令对功能配置文件进行动态重构。具体地，第二接口模块还用于获取功能配置的控制指令，系统功能重构模块根据接收的功能配置指令，读取存取在Flash中的bit功能定义文件，重新构建接口配置模块、数据处理模块以及现场控制模块，动态配置系统功能。其中，系统功能重构可以在系统初始化配置过程中完成，也可以在系统运行过程中动态重构，提高了终端接口和处理功能的灵活性。

传统的异构数据处理系统无法根据采集需求的变化实时动态配置采集方法，很容易出现数据采集方法与传输协议不兼容的现象。本发明实施例的动态重构功能可有效地解决数据采集系统的实时可配置问题，用来灵活应对不同应用的功能要求，以满足先进制造过程柔性化的应用要求。

图2示出了ARM芯片的结构示意图，如图2所示，异构数据处理系统还包括：ARM芯片，用于输出数据调用的控制指令；接收调用的数据，并且对调用的数据进行计算；输出计算结果；输出功能配置的控制指令；以及输出接口配置指令。

具体地，ARM芯片主要用于完成与系统任务相关的数据处理和与外部交互通信的功能。与系统任务相关的数据处理包括：系统初始化功能配置、制造过程现场控制、输入命令与数据响应、与制造系统其他模块终端的数据协同操作。与外部的交互通信包括：与其他模块终端数据交互、与边缘和云端服务器的数据交互。本地处理和现场控制避免了大量数据的通信带来的网络拥塞，外部交互通信为功能模块参与制造系统多模块协同操作和边云优化提供了数据接口。

本发明实施例还提供一种异构数据处理方法，其中，包括静态数据处理过程以及动态数据处理过程。

图3示出了静态处理过程的结构示意图，图4示出了异步数据采集过程；如图3和图4所示，静态数据处理过程包括：接收不同通讯协议的异构数据，并且对异构数据进行识别、封装以及生成静态文件；接收数据调用的控制指令，并且对数据调用的控制指令进行解析；根据数据调用的控制指令对封装的异构数据进行调用。

其中，对异构数据进行识别、封装以及生成静态文件的方法包括：接收并行异构数据，对并行异构数据进行协议解析、预处理和归一化封装，并且生成静态文件，例如bit文件。具体地，对接收的异构数据进行协议解析，分析所采集数据的类型，然后再进行缓存，再将缓存之后的异步数据完成时钟同步，然后封装成统一的数据格式供调用。进一步地，对异构数据进行识别以及封装之后还包括：生成bit文件存储在片外Flash中。

进一步地，还包括：接收接口配置指令；对接口配置指令进行解析；利用FPGA多核心并行控制能力对不同通讯协议的接口进行配置以及定义，以使其适用不同通讯协议的异构数据。通过对接口进行配置，可以实现不同种类数据的灵活接入。

图5示出了动态处理过程的结构示意图，如图5所示，动态数据处理过程包括：接收功能配置的控制指令；加载功能配置文件；并且根据功能配置指令对功能配置文件进行动态重构。具体地，FPFA芯片内置重构状态机，重构状态机读取存取在Flash中的bit功能定义文件，重新构建接口配置模块、数据处理模块以及现场控制模块，动态配置系统功能。

本发明实施例在FPGA芯片内设置重构状态机，FPGA芯片具有并行处理能力，在接收到重构指令时，可以同时对多个采集通道进行动态配置，可以有效提高系统的实时性和运行效率，同时减少系统对ARM内核计算资源的占用，以节约ARM内部的计算资源。

另外，本实施例中，将用于重构的bit流文件储存在FPGA芯片的片上Flash中，当接收控制指令时，重构状态机可以从本地的Flash读取重构文件完成本地运算，减小ARM芯片的传输负载；

进一步地，异构数据处理方法包括：输出数据调用的控制指令；接收调用的数据，并且对调用的数据进行计算；输出计算结果；输出功能配置的控制指令；以及输出接口配置指令。

ARM芯片主要用于完成与系统任务相关的数据处理和与外部交互通信的功能。与系统任务相关的数据处理包括：系统初始化功能配置、制造过程现场控制、输入命令与数据响应、与制造系统其他模块终端的数据协同操作。与外部的交互通信包括：与其他模块终端数据交互、与边缘和云端服务器的数据交互。本地处理和现场控制避免了大量数据的通信带来的网络拥塞，外部交互通信为功能模块参与制造系统多模块协同操作和边云优化提供了数据接口。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等，均应仍归属于本专利涵盖范围之内。