一种可持续采集数据的物联网数据采集系统

技术领域

本发明涉及物联网领域，尤其是涉及一种可持续采集数据的物联网数据采集系统。

背景技术

随着物联网的发展，社会逐渐向信息化、自动化和数字化的方向发展，基于物理采集设备的信息处理系统已经广泛应用与人们的生产和生活中。通过物理采集设备采集监控数据，上传至应用系统，大大提高了工作效率。

目前基于物联网的信息处理系统包括物理采集设备、采集网关和云端服务器，物理采集设备实时获取采集数据，并通过采集网关上传至云端服务器，云端服务器设置对外服务的接口。当采集网关或云端服务器发生故障，采集网关或云端服务器之间无法传输数据，导致数据传输链路中断，物理采集设备无法继续向采集网关上传采集数据，在数据传输链路修复之前的这段时间内的物理采集设备所获取的采集数据则会丢失，无法实现采集数据的持续上传，使得云端服务器无法在这段故障时间内通过物理采集设备进行数据监控，安全性差。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种可持续采集数据的物联网数据采集系统，实现数据持续上传，安全性好。

本发明的目的可以通过以下技术方案来实现：

一种可持续采集数据的物联网数据采集系统，包括物理采集设备、缓存服务器和云端服务器；

所述的缓存服务器包括若干个与物理采集设备对应的设备模块，所述的设备模块包括数据读取单元、数据存储单元、数据上传单元和数据清理单元，所述的数据读取单元读取物理采集设备获取的采集数据，并存储至数据存储单元，所述的数据上传单元将采集数据上传至云端服务器，缓存服务器处于离线状态，无法上传采集数据时，所述的物理采集设备的采集数据仍能够缓存在缓存服务器内，避免数据丢失，安全性好，所述的数据存储单元将已上传和未上传至云端服务器的采集数据标分别标记为已上传状态和未上传状态，所述的数据清理单元周期性删除处于已上传状态的采集数据，能够对已经上传的采集数据进行定时清理，防止缓存服务器的存储空间耗尽而影响数据上传；

一个缓存服务器可与多个物理采集设备连接，一个云端服务器可与多个缓存服务器连接，配置灵活，缓存服务器上的设备模块可根据物理采集设备的增加和删除进行在线调整，无需重启缓存服务器。

进一步地，所述的数据清理单元周期性删除处于未上传状态、且未上传成功或不需要上传的采集数据，减小数据传输量，提高传输效率，同时使得缓存服务器处于离线状态时能够缓存更多采集数据；

所述的数据上传单元发起上传请求，请求连接发生错误时，无法完成上传；

当数据上传单元的上传周期大于物理采集设备的采集周期时，数据存储单元获取采集数据的速度大于数据上传单元的上传速度，所述的数据上传单元周期性上传数据上传单元中最新存储的一个周期的采集数据，当数据上传单元的存储空间占满时，则最早上传至数据存储单元的采集数据不需要上传，所述的数据清理单元周期性删除该采集数据。

进一步地，当数据读取单元无法读取物理采集设备时，向云端服务器发送数据读取异常信号，所述的云端服务器可及时发现数据上传异常并处理。

进一步地，所述的缓存服务器处于在线状态时向云端服务器发送心跳信号，并在离线时向云端服务器发送遗嘱信号，所述的云端服务器接收到缓存服务器的心跳信号时，判定该缓存服务器处于在线状态，接收到遗嘱信号时，判定该缓存服务器处于离线状态，实现云端服务器对缓存服务器在线状态的实时监控。

进一步地，所述的缓存服务器上部署有Node-RED，所述的设备模块基于Node-RED配置，所述的缓存服务器采用标准网关或超融合服务器。

进一步地，所述的设备模块还包括数据报警单元，所述的数据报警单元存储有报警规则，当数据读取单元最新读取的采集数据触发报警规则时，所述的数据报警单元生成报警信号，并由数据上传单元上传至云端服务器。

与现有技术相比，本发明具有以如下有益效果：

(1)本发明缓存服务器包括若干个与物理采集设备对应的设备模块，设备模块包括数据读取单元、数据存储单元、数据上传单元和数据清理单元，数据读取单元读取物理采集设备获取的采集数据，并存储至数据存储单元，所述的数据上传单元将采集数据上传至云端服务器，缓存服务器处于离线状态，无法上传采集数据时，物理采集设备的采集数据仍能够缓存在缓存服务器内，避免数据丢失，实现采集数据的持续上传，安全性好；

(2)本发明数据存储单元将已上传和未上传至云端服务器的采集数据标分别标记为已上传状态和未上传状态，数据清理单元周期性删除处于已上传状态的采集数据，能够对已经上传的采集数据进行定时清理，防止缓存服务器的存储空间耗尽而影响数据上传，实现采集数据的持续上传；

(3)本发明一个缓存服务器可与多个物理采集设备连接，一个云端服务器可与多个缓存服务器连接，配置灵活，缓存服务器上的设备模块可根据物理采集设备的增加和删除进行在线调整，无需重启缓存服务器；

(4)本发明数据读取单元无法读取物理采集设备时，向云端服务器发送数据读取异常信号，所述的云端服务器可及时发现数据上传异常并处理。

附图说明

图1为本发明的系统结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

一种可持续采集数据的物联网数据采集系统，如图1，包括物理采集设备、缓存服务器和云端服务器；

缓存服务器包括若干个与物理采集设备对应的设备模块，各个设备模块包括数据读取单元、数据存储单元、数据上传单元、数据清理单元和数据报警单元，数据读取单元通过Modbus协议读取物理采集设备获取的采集数据，并存储至数据存储单元，数据上传单元将采集数据上传至云端服务器，云端服务器配置对外提供服务的端口，缓存服务器处于离线状态，无法上传采集数据时，物理采集设备的采集数据仍能够缓存在缓存服务器内，避免数据丢失，安全性好，数据存储单元将已上传和未上传至云端服务器的采集数据标分别标记为已上传状态和未上传状态，数据清理单元周期性删除处于已上传状态的采集数据，能够对已经上传的采集数据进行定时清理，防止缓存服务器的存储空间耗尽而影响数据上传；

一个缓存服务器可与多个物理采集设备连接，一个云端服务器可与多个缓存服务器连接，配置灵活，缓存服务器上的设备模块可根据物理采集设备的增加和删除进行在线调整，无需重启缓存服务器；

数据报警单元存储有报警规则，当数据读取单元最新读取的采集数据触发报警规则时，数据报警单元生成报警信号，并由数据上传单元上传至云端服务器。

数据清理单元周期性删除处于未上传状态、且未上传成功或不需要上传的采集数据，减小数据传输量，提高传输效率，同时使得缓存服务器处于离线状态时能够缓存更多采集数据。

数据上传单元发起上传请求，请求连接发生错误时，无法完成上传；

采集数据存储在以天为单位的SQLite文件中，数据存储单元的存储容量为7个SQLite文件，数据存储单元每天生成一个SQLite文件，若数据上传单元的上传周期大于物理采集设备的采集周期，则数据存储单元获取采集数据的速度大于数据上传单元的上传速度，当数据上传单元的存储空间占满，即数据存储单元存储的SQLite文件数量达到7个后，物理采集设备下一次上传采集数据时，数据清理单元清理数据存储单元中最早生成的一个SQLite文件。

当数据读取单元无法读取物理采集设备时，向云端服务器发送数据读取异常信号，云端服务器可及时发现数据上传异常并处理。

缓存服务器处于在线状态时，数据报警单元向云端服务器发送心跳信号，缓存服务器离线时，数据报警单元向云端服务器发送遗嘱信号，云端服务器接收到缓存服务器的心跳信号时，判定该缓存服务器处于在线状态，接收到遗嘱信号时，判定该缓存服务器处于离线状态，实现云端服务器对缓存服务器在线状态的实时监控。

缓存服务器上部署有Node-RED，Node-RED是IBM开发的构建物联网应用程序的一个应用程序框架，采用可视化编程方法，允许开发人员将预定义的代码块连接起来执行任务，设备模块基于Node-RED配置，操作简便。

缓存服务器采用标准网关。

实施例2

本实施例中，缓存服务器采用超融合服务器，其它与实施例1相同。

实施例1和实施例2提出了一种可持续采集数据的物联网数据采集系统，使得缓存服务器和云端服务器断开连接时，物理采集设备仍能够持续上传采集数据，避免数据丢失，实现云端服务器的持续监控，安全性好，缓存服务器能够对已经上传的采集数据进行定时清理，防止缓存服务器的存储空间耗尽而影响数据上传，实现采集数据的持续上传，通过Node-RED配置设备模块，增删灵活，可根据物理采集设备的增加和删除进行在线调整，无需重启缓存服务器，操作简便。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。