一种基于时序数据库的船舶边缘智能数采模块

技术领域

本发明涉及一种基于时序数据库的船舶边缘智能数采模块，属于船舶自动化与智能化技术领域。

背景技术

目前，船舶自动化系统正朝着系统信息集成和智能化升级的方向发展，而先进的数据采集系统是工业过程控制领域实现信息集成和智能化升级的必然选择。数据采集系统已发展成为一门专门技术，向采集速度更高、实时性更强、存储量更大而信息集成度更高的方向发展。针对工业过程控制的数据采集、数据存储、用户监测与管理以及企业信息系统集成的需求，主要的解决途径大致分为两种：其一为采用“实时数据库系统”技术；另一途径则是通过“工业互联网”技术，两种技术的主要差别如表1所示：

表1实时数据库和工业以太网技术对比分析

查阅的专利文献和期刊出版物：

在万方数据库(2014年4月11日更新)、中国学位论文文摘数据库、数字化期刊、会议论文、科技成果、专利技术、政策法规等数据库中检索，字段如“数据采集”、“时序数据库”、“数据压缩”、“系统集成”等。

查询结论：目前国内外尚未有针对长期处于船岸分离的船舶设备，安装位置设立于设备边缘，利用“时序数据库”和“数据压缩”等技术，以满足船舶设备的高速、长周期数据采集、数据存储与进一步系统集成与数据分析等功能为目标的船舶边缘智能数采模块相关研究。

目前存在主要问题：

1)传统的监控系统数据记录功能，一般采用关系型数据库甚至文件的形式进行存储，一方面，无法实现强实时性的数据采集，大多以秒级甚至分钟级的频率进行存储，无法满足更高时间颗粒度要求的实时动态过程分析、故障追忆等功能需求，并受存储容量限制，运行过程中产生的实时数据量大，一般无法存储很长时间，需定期清除设备数据；

2)另一方面，各船舶设备缺乏统一的数据存储规范，造成设备运行数据孤立，数据缺乏有效收集，也无法实现进一步系统集成和数据分析利用。

发明内容

本发明的目的是：针对长期处于船岸分离的船舶监控系统与设备，设计满足船舶设备的数据查询、数据收集、事后故障追忆等使用需求，并具有强实时性、长周期性以及后续系统集成和数据有效分析利用等功能特点的船舶边缘设备智能数据采集模块。

为了达到上述目的，本发明的技术方案是提供了一种基于时序数据库的船舶边缘智能数采模块，其特征在于：包括该数采模块的硬件及设备接口层能够满足不同现场设备类型的接入需求，读取所连接现场设备的实时数据，并将读取的实时数据发送至数采模块的数据管理层，实现与数采模块数据管理层的数据交互；

该数采模块的数据管理层，负责接收、处理和存储来自硬件及设备接口层的实时数据，实现实时数据和历史数据的保存与管理，其中现场设备的实时数据存储采用基于Elasitc Search时序数据库实现；

该数采模块的用户应用层，为用户提供人机管理界面、设备接口配置、用户权限配置、历史数据查询和数据库点表管理功能，并将文件同步至上层信息集成系统。

优选地，所述硬件及设备接口层通过MODBUS RTU、MODBUS TCP或 MQTT通信协议实现现场设备实时数据的读取。

优选地，所述硬件及设备接口层通过实时消息通信服务组件将读取到的现场设备的实时数据发送至数据管理层的消息队列，与数据管理层实现数据交互。

优选地，所述历史数据为过期的实时数据，通过历史数据库实现保存和管理，Elasitc Search时序数据库系统传来的数据按测点的压缩管理配置，对实时数据依照既定的数据压缩算法进行压缩，从而定期将实时数据发送至历史数据库。

优选地，所述测点包括时间值、数值、质量码以及用户自定义数据，对于冗余度高的时间值、质量码数据，采用RLE算法进行压缩降低其冗余度和存储空间；对于数值数据，采用美国OSI公司的旋转门压缩算法进行压缩。

与现有技术相比，本发明的有益效果是：

1)本发明针对船舶现场设备常用通信协议数据格式，能够满足绝大部分船舶设备的标准化、配置化接入；

2)本发明采用了“时序数据库”和“数据压缩”等技术，结合各自技术优势，实现了船舶边缘设备的智能化数据采集，满足船舶现场设备的数据分析与利用等需求。相比于原采用传统关系型数据库或者文件存储的数据库，具有更高的采集实时性，最小采集时间间隔支持20ms；存储经数据压缩处理后，压缩比不低于 20：1，能够满足更长周期的存储要求，支持2000个测点、1年时间段的存储容量不高于250G。

3)本发明能够具有标准式访问接口和数据导出等工具，满足了数据的后续分析、向上层系统集成、数据分析与利用等需求。

附图说明

图1为本发明一种基于时序数据库的船舶边缘智能数采模块结构示意图；

图2为本发明数据流向图。

具体实施方式

为使本发明更明显易懂，兹以优选实施例，并配合附图作详细说明如下。

如图1所示，本发明为一种基于时序数据库的船舶边缘智能数采模块，根据船舶设备的强实时、长周期数据采集、数据存储与进一步系统集成等功能需求，采用硬件及设备接口层、数据管理层和用户应用层三层体系结构，并采用实时消息通信服务组件技术，屏蔽数据通信细节和提高数采与存储技术的可扩展性，实现各层级之间的统一网络通信服务。本发明的数据流向如图2所示。

本发明的硬件及设备接口层满足不同物理设备类型的接入需求，在常见船舶现场设备通信协议如MODBUS RTU、MODBUS TCP、MQTT等规约约定下，通过设备接口处理程序，读取所连接现场设备的实时数据，并将数据通过消息通信服务组件发送至消息队列，实现与数据管理层的数据交互。

本发明的数据管理层负责接收、处理和存储来自硬件及设备接口层的实时数据，实现实时数据管理、历史数据管理。硬件配置要求CPU性能不低于2核，内存不低于8G。其中，实时数据存储用的数据库是改变原传统方式的MySQL、 SQLite等关系型数据库，采用了基于Elasitc Search时序数据库，实现现场设备的实时数据存储。时序数据库按照时间序列存储即时、完整地存放数据，能够很好地适用于大量实时数据写入、数据结构化、数据很少更新、写多读少等应用场合，避免传统关系型数据库的实时写入和查询技术瓶颈，并能够最大程度地满足后续系统的集成和数据分析需要。相比于原采用传统关系型数据库或者文件存储的数据库，时序数据库具有更高的采集实时性和写性能，最小采集时间间隔可支持20ms。

历史数据通过历史数据库负责保存和管理，历史数据为过期的实时数据。通过接收时序数据库系统传来的数据，按测点的压缩管理配置，对实时数据依照既定的数据压缩算法进行压缩，从而定期将实时数据发送至关系型历史数据库。

数据压缩处理时，每个测点一般包括时间值、数值和质量码(TVQ)以及用户自定义数据几大部分，对于不同的数据内容，采用不同的数据压缩算法，实现数据的有效压缩与存储。对于时间值、质量码等冗余度高的数据，采用RLE算法降低其冗余度和存储空间。对于数值部分，采用美国OSI公司的旋转门压缩算法(SDA，swinging door algorithm)，从而有效减少数据写入次数，大幅减少存储成本。本数采模块的压缩比不低于20：1，能够满足更长周期的存储要求，支持2000个测点、1年时间段的存储容量不高于250G。

本发明的应用管理层为用户提供图形化、报表等人机管理界面，提供设备接口配置、用户权限配置、历史数据查询、数据库点表管理等功能。