适用于火电厂多协议数据采集与数据回写的数据处理系统

技术领域

本发明涉及过程控制及自动化技术领域，特别是涉及一种适用于火电厂多协议数据采集与数据回写的数据处理系统。

背景技术

目前，火电厂当前主要生产系统包括主机DCS、辅网DCS、NCS、ECMS及电计量系统，如智慧监盘、生产过程寻优、控制优化等应用都依赖于这些生产控制系统的数据，如何高效地采集并统一汇聚存储这些生产系统的数据，在智慧电厂越来越重要的现在非常重要。

发明内容

本发明提供一种适用于火电厂多协议数据采集与数据回写的数据处理系统，通过将多种工业协议转换成标准统一的物联网消息，进行数据采集和远程控制，实现工业物联网平台与各种设备的互联互通，最终为以数据为中心的自动化和智能制造提供数据支撑，且基于解耦的模块化插件架构设计，使每个插件独立工作并具有自己特定的服务能力，也使得对生产系统的数据处理效率更高。

为达到上述目的，本发明提供一种适用于火电厂多协议数据采集与数据回写的数据处理系统，包括协议转换器模块、数据网关模块和树形结构数据库；其中，

所述协议转换器模块与火电厂中的生产系统相连，用于将所述生产系统的标准工业协议转换成统一的订阅发布模式的消息协议；将从所述生产系统中采集的实时数据发送至所述数据网关模块，并将从所述数据网关模块处接收的回写数据发送至所述生产系统；所述生产系统包括主机DCS、辅网DCS、NCS、ECMS和电计量系统；

所述数据网关模块与所述协议转换器模块相连，用于接收所述协议转换器模块发送的实时数据，并将所述实时数据存储至所述树形结构数据库的特定位置；接收第三方应用发送的数据值，根据所述数据值获取回写数据，并将所述回写数据发送至所述协议转换器模块；

所述树形结构数据库，用于存放实时数据。

进一步地，协议转换器模块包括协议转换实体单元，所述协议转换实体单元用于将所述生产系统的标准工业协议转换成统一的订阅发布模式的消息协议，与所述数据网关模块进行数据交互，并配置应用程序信息，所述协议转换实体单元包括：

消息订阅单元，用于接收所述数据网关模块发送的回写数据；

消息发布单元，用于向所述数据网关模块发送实时数据；

配置单元，用于配置应用程序信息，所述应用程序信息包括IP地址、端口、消息发布主题、消息订阅主题以及所述生产系统的地址信息；

数据持久化单元，用于将实时数据持久化一份到本地磁盘；

协议交互单元，用于将所述生产系统的标准工业协议转换成统一的订阅发布模式的消息协议。

进一步地，协议转换器模块还包括协议转换管理单元，所述协议转换管理单元用于对所述协议转换实体单元进行管理和监控，所述协议转换管理单元包括：

协议转换器全生命周期管理单元，用于对所述协议转换实体单元进行创建、删除、配置更新以及功能升级；

协议转换器状态监测单元，用于对多个所述协议转换实体单元进行实时状态监控，包括协议转换时当前占用CPU、内存、硬盘、网络吞吐量以及与所述生产系统的连接状态。

进一步地，协议转换实体单元分为OPC DA协议转换单元，MODBUS协议转换单元，IEC104协议转换单元和IEC102协议转换单元。

进一步地，数据网关模块包括数据网关实体，所述数据网关实体用于分别与所述协议转换器模块及第三方应用进行数据交互，对接收到的数据进行处理，并将处理后的数据存储至树形结构数据库的特定位置，所述数据网关实体包括：

消息订阅单元，用于接收所述协议转换器模块发送的实时数据；

消息发布单元，用于向所述协议转换器模块发送回写数据；

配置单元，用于配置应用程序信息，所述应用程序信息包括IP地址、端口、消息发布主题、消息订阅主题以及所述树形结构数据库的地址信息；

API接口单元，用于发布restfuil API接口，与第三方应用建立连接，并接收第三方应用发送的数据值及所述数据值的数据存储路径；

关系数据库交互单元，用于通过读取数组ID与测点ID关系对应表，以及测点ID与测点存储路径关系对应表，确定实时数据在所述树形结构数据库的特定位置；

树形结构数据库交互单元，用于读写实时数据到所述树形结构数据库。

进一步地，数据网关模块还包括数据网关管理单元，所述数据网关管理单元用于对所述数据网关实体进行管理和监控，所述数据网关管理单元包括：

数据网关全生命周期管理单元，用于对所述数据网关实体进行创建、删除、配置更新以及功能升级；

数据网关状态监测单元，用于对多个所述数据网关实体进行实时状态监控，包括协议转换时当前占用CPU、内存、硬盘、网络吞吐量以及与所述协议转换器模块的连接状态。

进一步地，协议转换器模块，还用于根据应用程序信息建立数组ID与测点ID对应表；根据测点ID从所述生产系统中采集实时数据；根据所述数组ID与测点ID对应表，将测点ID对应的实时数据按照数组ID组装成特定消息格式，并发布具有特定消息格式的实时数据至所述数据网关模块生成的数据入库topic。

进一步地，协议转换器模块，还用于订阅所述数据网关模块生成的数据回写topic，并接收从所述数据网关模块处发送的回写数据；根据所述数组ID与测点ID对应表，获取所述回写数据中的数组对应的测点ID，并将所述回写数据根据测点ID发送至所述生产系统。

进一步地，数据网关模块，还用于创建数据网关实体，并生成数据入库topic；根据应用程序信息建立测点ID与测点存储路径关系对应表；通过数据网关实体订阅所述数据入库topic，接收所述协议转换器模块发布到所述数据入库topic的实时数据；通过所述数据网关实体读取数组ID与测点ID关系对应表，获取数组ID代表的实时数据中各个数据对应的测点ID；通过所述数据网关实体读取测点ID与测点存储路径关系对应表，获取测点在所述树形结构数据库的存储路径，使所述数据网关实体根据测点在所述树形结构数据库的存储路径，将所述实时数据存储至所述树形结构数据库的特定位置。

进一步地，数据网关模块，还用于创建数据网关实体，并生成数据回写topic，发布restfuil API接口，与第三方应用建立连接，接收第三方应用从restfuil API接口发送的数据值及所述数据值的数据存储路径；通过所述数据网关实体读取测点ID与测点存储路径关系对应表，获取所述数据值的数据存储路径对应的测点ID；通过所述数据网关实体读取数组ID与测点ID关系对应表，获取测点ID对应的数组ID，并根据所述数组ID从所述树形结构数据库调取对应的回写数据；通过所述数据网关实体发布所述回写数据到所述数据回写topic。

与现有技术相比，本发明实施例的有益效果在于：

本发明提供一种适用于火电厂多协议数据采集与数据回写的数据处理系统及方法，通过将多种工业协议转换成标准统一的物联网消息，进行数据采集和远程控制，实现工业物联网平台与各种设备的互联互通，最终为以数据为中心的自动化和智能制造提供数据支撑，且基于解耦的模块化插件架构设计，使每个插件独立工作并具有自己特定的服务能力，也使得对生产系统的数据处理效率更高。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明某一实施例一种适用于火电厂多协议数据采集与数据回写的数据处理系统框架图；

图2是本发明某一实施例提供的协议转换实体单元结构图；

图3是本发明某一实施例提供的协议转换管理单元结构图；

图4是本发明某一实施例提供的数据网关实体结构图；

图5是本发明某一实施例提供的数据网关管理单元结构图；

图6是本发明某一实施例提供的树形结构数据库结构图。

具体实施方式

下面结合附图和实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在一实施例中，如图1所示，本发明提供一种适用于火电厂多协议数据采集与数据回写的数据处理系统，包括：协议转换器模块10、数据网关模块20和树形结构数据库30；其中，

协议转换器模块10与火电厂中的生产系统40相连，用于将生产系统40的标准工业协议转换成统一的订阅发布模式的消息协议；将从生产系统40中采集的实时数据发送至数据网关模块20，并将从数据网关模块20处接收的回写数据发送至生产系统40；

在一具体实施例中，协议转换器模块10包括协议转换实体单元12，协议转换实体单元12用于将生产系统40的标准工业协议转换成统一的订阅发布模式的消息协议，与数据网关模块30进行数据交互，并配置应用程序信息，协议转换实体单元12的结构如图2所示，包括：

消息订阅单元120，用于接收数据网关模块20发送的回写数据；

消息发布单元121，用于向数据网关模块20发送实时数据；

配置单元122，用于配置应用程序信息，应用程序信息包括IP地址、端口、消息发布主题、消息订阅主题以及生产系统40的地址信息；

数据持久化单元123，用于将实时数据持久化一份到本地磁盘；具体的，数据持久化单元可确保协议转换单元因故障重启后，所有数值均与故障前保持一致，不会全部为0，避免数据通讯的数值发生调变。

协议交互单元124，用于将生产系统40的标准工业协议转换成统一的订阅发布模式的消息协议；在一具体实施例中，协议转换实体单元12分为OPC DA协议转换单元，MODBUS协议转换单元，IEC104协议转换单元和IEC102协议转换单元。具体的，本申请通过协议交互单元124与生产系统40进行信息交互，由于火电厂的生产系统40包括主机DCS、辅网DCS、NCS、ECMS和电计量系统，各个生产系统40对外的数据通讯接口也不相同，因此，需要多个协议转换实体单元12与生产系统40进行对接。一般来说，协议转换器常部署在单独的工控机上，数据网关以及数据库部署在多台服务器组成的集群上，并通过网线与生产系统进行连接。所以，协议转换器模块10采用OPC、Modbus、IEC102及IEC104协议进行通讯，并采集传输电厂中生产系统40的各个测点的实时数据。

在一具体实施例中，协议转换器模块10还包括协议转换管理单元11，协议转换管理单元11用于对协议转换实体单元12进行管理和监控，协议转换管理单元的结构如图3所示，包括：

协议转换器全生命周期管理单元110，用于对协议转换实体单元12进行创建、删除、配置更新以及功能升级；

协议转换器状态监测单元111，用于对多个协议转换实体单元12进行实时状态监控，包括协议转换时当前占用CPU、内存、硬盘、网络吞吐量以及与生产系统的连接状态。

具体的，协议转换器模块10通过协议转换管理单元11来对协议转换实体单元12进行管理，可实时监测协议转换实体单元12的工作状态和性能变化，实现对协议转换实体单元12的新建、更新配置、删除及升级等全生命周期的管理。

OPC DA协议转换单元，MODBUS协议转换单元，IEC104协议转换单元和IEC102协议转换单元中的协议交互单元分别为OPC DA协议交互单元，MODBUS协议交互单元，IEC104协议交互单元和IEC102协议交互单元。而生产系统中的OPC服务器是DCS对外的数据通讯接口，其余生产系统所用的工业协议也不相同，因此，DCS OPC服务器与OPC DA协议转换单元连接，DCS通讯卡与MODBUS协议转换单元连接，NCS及ECMS与IEC104协议转换单元连接，电计量系统与IEC102协议转换单元连接。

每个协议转换实体单元对应一种或两种生产系统，每个协议的协议转换器都是一个单独的应用实体，将工业协议转换成特定格式的消息协议，基于解耦的模块化插件架构设计，使每个插件都可独立工作并具有自己特定的服务能力，而多个协议转换实体单元结合在一起形成协议转换器模块进行数据采集和远程控制，为以数据为中心的自动化和智能制造提供数据支撑。

在一具体实施例中，协议转换器模块10还用于根据应用程序信息建立数组ID与测点ID对应表；根据测点ID从生产系统40中采集实时数据；根据数组ID与测点ID对应表，将测点ID对应的实时数据按照数组ID组装成特定消息格式，并发布具有特定消息格式的实时数据至数据网关模块20生成的数据入库topic；也就是说，协议转换器模块10还用于从生产系统40中采集实时数据，通过协议转换器模块10将生产系统40中工业协议转换成特定格式的消息协议，使协议转换器模块可与多个生产系统连接，并从中采集实时数据，实现了工业物联网平台与各种设备的互联互通。

在一具体实施例中，协议转换器模块10还用于订阅数据网关模块20生成的数据回写topic，并接收从数据网关模块20处发送的回写数据；根据数组ID与测点ID对应表，获取回写数据中的数组对应的测点ID，并将回写数据根据测点ID发送至生产系统40；也就是说，协议转换器模块10还用于对生产系统40中发送回写数据。

本申请中通过协议转换器模块与生产系统的双向通信，通过将多种工业协议转换成标准统一的物联网消息，进行数据采集和远程控制，不仅可以从生产系统中采集实时数据，也可将实时数据回写至生产系统中，使火电厂中生产数据的处理效率得到了很大的提升的同时，还实现工业物联网平台与各种设备的互联互通。

数据网关模块20与协议转换器模块10相连，用于接收协议转换器模块10发送的实时数据，并将实时数据存储至树形结构数据库30的特定位置；接收第三方应用50发送的数据值，根据数据值获取回写数据，并将回写数据发送至协议转换器模块10；

在一具体实施例中，数据网关模块20包括数据网关实体22，数据网关实体22用于分别与协议转换器模块10及第三方应用50进行数据交互，对接收到的数据进行处理，并将处理后的数据存储至树形结构数据库30的特定位置，数据网关实体22的结构如图4所示，包括：

消息订阅单元220，用于接收协议转换器模块10发送的实时数据；

消息发布单元221，用于向协议转换器模块10发送回写数据；

配置单元222，用于配置应用程序信息，应用程序信息包括IP地址、端口、消息发布主题、消息订阅主题以及树形结构数据库30的地址信息；

API接口单元223，用于发布restfuil API接口，与第三方应用50建立连接，并接收第三方应用50发送的数据值及数据值的数据存储路径；

关系数据库交互单元224，用于通过读取数组ID与测点ID关系对应表，以及测点ID与测点存储路径关系对应表，确定实时数据在树形结构数据库30的特定位置；

树形结构数据库交互单元225，用于读写实时数据到树形结构数据库30。

每个数据网关实体都是一个单独的应用实体，与协议转换器对接，订阅实时消息，将测点按照树形结构存放到数据库，基于解耦的模块化插件架构设计，使每个插件都可独立工作并具有自己特定的服务能力，而多个数据网关实体结合在一起形成数据网关模块进行数据采集和远程控制，为以数据为中心的自动化和智能制造提供数据支撑。

在一具体实施例中，数据网关模块20还包括数据网关管理单元21，数据网关管理单元21用于对数据网关实体22进行管理和监控，数据网关管理单元21的结构如图5所示，包括：

数据网关全生命周期管理单元210，用于对数据网关实体22进行创建、删除、配置更新以及功能升级；

数据网关状态监测单元211，用于对多个数据网关实体22进行实时状态监控，包括协议转换时当前占用CPU、内存、硬盘、网络吞吐量以及与协议转换器模块10的连接状态；

具体的，数据网关模块20通过数据网关管理单元21来对数据网关实体22进行管理，可实时监测数据网关实体22的工作状态和性能变化，实现对数据网关实体22的新建、更新配置、删除及升级等全生命周期的管理。

在一具体实施例中，数据网关模块20还用于创建数据网关实体22，并生成数据入库topic；根据应用程序信息建立测点ID与测点存储路径关系对应表；通过数据网关实体22订阅数据入库topic，接收协议转换器模块10发布到数据入库topic的实时数据；通过数据网关实体22读取数组ID与测点ID关系对应表，获取数组ID代表的实时数据中各个数据对应的测点ID；通过数据网关实体22读取测点ID与测点存储路径关系对应表，获取测点在树形结构数据库30的存储路径，使数据网关实体22根据测点在树形结构数据库30的存储路径，将实时数据存储至树形结构数据库30的特定位置；也就是说，数据网关模块20还用于接收协议转换器模块10发送的实时数据，并将实时数据存储至树形结构数据库30的特定位置，通过测点ID与测点存储路径关系对应表，可确定数据所在位置，方便后期查询调用。

在一具体实施例中，数据网关模块20，还用于创建数据网关实体22，并生成数据回写topic，发布restfuil API接口，与第三方应用50建立连接，接收第三方应用50从restfuil API接口发送的数据值及数据值的数据存储路径；通过数据网关实体22读取测点ID与测点存储路径关系对应表，获取数据值的数据存储路径对应的测点ID；通过数据网关实体22读取数组ID与测点ID关系对应表，获取测点ID对应的数组ID，并根据数组ID从树形结构数据库30调取对应的回写数据；通过数据网关实体22发布回写数据到数据回写topic；也就是说，数据网关模块20还用于完成实时数据的回写过程。

本申请中通过数据网关模块对外暴露API接口，接收第三方应用发送的数据值，并对实时数据进行处理，将实时数据存入到树形数据存储数据库的特定位置中，使数据的来去均可查询，实现工业物联网平台与各种设备的互联互通，并为以数据为中心的自动化和智能制造提供数据支撑。

在对火电厂生产系统的数据采集和数据回写过程中，协议转换器模块与数据网关模块之间的消息交互示例如下所示：

其中，data数组"data":[16672,0,16672,0,16672,0,16672,0,16672,0]，代表着实时数据，数组的第几位代表的是哪个测点，这个是由数组ID与测点ID对应关系表决定的，数组ID与测点ID对应关系表格式如下所示：

数据网关模块在接收到实时数据之后，通过查询数组ID与测点ID对应关系表，获取到数组各个点对应的测点ID，进一步根据测点ID获取到测点的存储路径。

测点ID与测点存储路径关系对应表格式如下所示：

数据网关模块在获取到存储路径之后，将测点对应的实时数据存放到树形结构数据库内。

树形结构数据库30，用于存放实时数据。具体的，树形结构数据库采用树形方式存储，依托于电厂设备树的概念，由于火电厂每个系统下边包含若干设备，每个设备下包含若干子设备，每个子设备有多个测点，按照树形结构将实时数据存储到树形结构数据库中，有助于后期查询、提取与调用。电厂设备树将电厂生产系统的设备进行整合，每个设备下挂载有多个测点信息，通过协议转换器与数据网关，将这些测点的实时数据传输到数据平台，与设备进行绑定。

树形结构数据库的结构如图6所示，以树状结构为数据模型，存储时序数据，根据企业组织结构和设备实体层次结构，将其物联网数据模型表示为如图6所示的属性层级组织结构，即电力集团层-风电场层-实体层-物理量层，其中ROOT为根节点，物理量层的每一个节点为叶子节点。采用树形结构定义数据模式，以从ROOT节点到叶子节点的路径来命名一个时间序列，层次间以“.”连接。如测点ID与测点存储路径关系对应表中的Root.ln1.device1.status等，图6最左侧路径对应的时间序列名称为ROOT.ln.wf01.wt01.status。

本申请实施例中提供的一种适用于火电厂多协议数据采集与数据回写的数据处理系统，通过将多种工业协议转换成标准统一的物联网消息，进行数据采集和远程控制，实现工业物联网平台与各种设备的互联互通，最终为以数据为中心的自动化和智能制造提供数据支撑，且基于解耦的模块化插件架构设计，使每个插件独立工作并具有自己特定的服务能力，也使得对生产系统的数据处理效率更高。

需要说明的是，上述一种系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

综上，本发明公开了一种适用于火电厂多协议数据采集与数据回写的数据处理系统，该系统包括：协议转换器模块，用于将所述生产系统的标准工业协议转换成，统一的订阅发布模式的消息协议；将从所述生产系统中采集的实时数据发送至所述数据网关模块，并将从所述数据网关模块处接收的回写数据发送至所述生产系统；数据网关模块，用于接收所述协议转换器模块发送的实时数据，并将所述实时数据存储至所述树形结构数据库的特定位置；接收第三方应用发送的数据值，根据所述数据值获取回写数据，并将所述回写数据发送至所述协议转换器模块；树形结构数据库，用于存放实时数据。本发明的数据处理系统实现了工业物联网平台与各种设备的互联互通。

本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。