一种基于MQTT协议的能耗数据处理方法、系统、设备及介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于MQTT协议的能耗数据处理方法、系统、设备及介质。

背景技术

在目前的物联网领域的技术中，针对数据的采集和分析需求，普遍采用的是将数据采集和数据分析集成在同一模块中，这种技术使得设备能够同一模块中进行数据采集和初步分析，能根据分析结果进行即时决策和响应，然而随着物联网的发展，由于采集和分析模块在同一模块中集成，而终端设备的计算资源是有限的，在面对大规模数据采集和分析需求时，将出现采集和分析同时抢占这部分有限资源，导致设备无法满足这些数据处理需求，从而影响系统性能和响应速度。

然而，在物联网领域将数据采集和数据分析分开独立设置后，传感器网络内的数据通常需要及时传输到后端服务器进行处理，在大规模数据的情况下传统的通信方法会面临通信延迟和数据丢失的问题。其次，由于传感器网络内的数据通常需要传输到后端服务器进行处理，不同的传感器可能产生不同的数据流量，传统方法未能有效地处理流量分配和控制问题，导致一些传感器的数据被忽略或其他传感器被过度访问，从而降低了系统的效率。同时，传统方法往往未能考虑参数的不确定性，这在实时系统中可能导致模型不稳定或不可靠，尤其是在快速变化的环境中。

发明内容

本发明的目的在于提供一种基于MQTT协议的能耗数据处理方法、系统、设备及介质，通过MQTT协议在传感器网络和后端服务器之间建立实时高效的通信，确保能耗数据的及时传输和处理，以解决上述现有技术问题的至少之一。

本发明提供了一种基于MQTT协议的能耗数据处理方法，所述方法具体包括：

在建筑物内部部署传感器网络，通过所述传感器网络采集所述建筑物的能耗数据；

根据MQTT协议在所述传感器网络和后端服务器之间建立实时高效的通信；

根据所述后端服务器计算分析所述能耗数据，生成能耗数据分析结果并传输至客户端；

在所述客户端基于WebSockets连接实时获取所述能耗数据分析结果，根据图形函数库将所述能耗数据分析结果转换为能耗图表。

进一步的，所述根据MQTT协议在所述传感器网络和所述后端服务器之间建立实时高效的通信，具体包括：

在所述后端服务器设置MQTT Broker，为所述传感器网络中每个传感器配置MQTT客户端库；

根据建筑物区域和传感器类型，在MQTT Broker内构建若干个主题topic；

基于贝叶斯回归算法为每个传感器建立流量预测模型，根据所述流量预测模型对每个传感器的未来预测流量和每个传感器的当前实际流量动态调整每个传感器的当前权重；

根据每个传感器的当前权重，先后将每个传感器的能耗数据包转发到对应的主题topic下。

更进一步的，所述基于贝叶斯回归算法为每个传感器建立流量预测模型，具体包括：

获取每个传感器的历史流量数据集以及第一特征集，所述第一特征集包括消息频率、消息大小、消息时延、主题分布、传感器类型、传感器位置和传感器设备能耗；

基于皮尔逊相关系数，从所述第一特征集中确定第二特征集；

基于贝叶斯回归模型，根据每个传感器的历史流量数据集以及所述第二特征集，确定每个传感器的流量预测模型。

更进一步的，所述基于皮尔逊相关系数，从所述第一特征集中确定第二特征集，具体包括：

设置相关系数阈值，计算每个传感器的历史流量数据集与所述第一特征集中每个特征的皮尔逊相关系数；

将所述第一特征集中皮尔逊相关系数低于所述相关系数阈值的特征进行剔除，获得第二特征集。

更进一步的，所述皮尔逊相关系数满足

更进一步的，所述基于贝叶斯回归模型，根据每个传感器的历史流量数据集以及所述第二特征集，确定每个传感器的流量预测模型，具体包括：

基于贝叶斯回归公式

将高斯分布作为参数向量

通过最大似然估计法确定所述参数向量

基于MCMC方法，根据所述参数向量

基于MCMC方法，根据所述误差项

根据所述参数向量

更进一步的，所述根据所述流量预测模型对每个传感器的未来预测流量和每个传感器的当前实际流量动态调整每个传感器的当前权重，具体包括：

为每个传感器设置初始当前权重和调整系数，所述调整系数用于控制每个传感器的当前权重的调整幅度；

根据所述流量预测模型确定每个传感器的下一个时间步长的未来预测流量；

基于权重调整公式，根据所述初始当前权重、所述调整系数、每个传感器的下一个时间步长的未来预测流量和每个传感器的当前实际流量确定新的当前权重，所述权重调整公式满足

将新的当前权重作为

本发明还提供了一种基于MQTT协议的能耗数据处理系统，所述系统具体包括：

数据采集层，用于在建筑物内部部署传感器网络，通过所述传感器网络采集所述建筑物的能耗数据；

数据传输层，用于根据MQTT协议在所述传感器网络和后端服务器之间建立实时高效的通信；

数据分析层，用于根据所述后端服务器计算分析所述能耗数据，生成能耗数据分析结果并传输至客户端；

客户端应用层，用于基于WebSockets连接实时获取所述能耗数据分析结果，根据图形函数库将所述能耗数据分析结果转换为能耗图表。

本发明还提供了一种计算机设备，包括：存储器和处理器及存储在存储器上的计算机程序，当所述计算机程序在处理器上被执行时，实现如上述方法中任一项所述的基于MQTT协议的能耗数据处理方法。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如上述方法中任一项所述的基于MQTT协议的能耗数据处理方法。

与现有技术相比，本发明具有以下技术效果的至少之一：

1、通过MQTT协议在传感器网络和后端服务器之间建立实时高效的通信，可以确保能耗数据的及时传输和处理。

2、使用贝叶斯回归算法为每个传感器建立流量预测模型，并动态调整传感器的当前权重，帮助优化数据流的分发，确保高流量的传感器获得更多的带宽，提高系统的效率。

3、使用皮尔逊相关系数来确定特征集，有助于识别对能耗数据流量预测最相关的特征，提高了模型的预测性能。

4、采用了贝叶斯回归模型，结合先验分布和后验分布，更好地考虑了参数的不确定性，提高了模型的鲁棒性。

5、客户端基于WebSockets连接，可以实时获取能耗数据分析结果，并通过图形函数库将结果转换为能耗图表，使用户能够方便地监视和分析能耗情况。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于MQTT协议的能耗数据处理方法的流程示意图；

图2是本发明实施例提供的一种基于MQTT协议的能耗数据处理系统的结构示意图；

图3是本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

参照图1，本发明实施例提供了一种基于MQTT协议的能耗数据处理方法，所述方法具体包括：

S101：在建筑物内部部署传感器网络，通过所述传感器网络采集所述建筑物的能耗数据；

根据MQTT协议在所述传感器网络和后端服务器之间建立实时高效的通信。

该实施例中，MQTT是指Message Queue Telemetry Transport（消息队列遥测传输协议），MQTT 协议的通信模型包括Publisher（发布者）、Subscriber（订阅者）和MQTTBroker（代理服务器），MQTT Broker是基于发布/订阅模型的消息代理服务器，需要创建主题用于传感器数据的发布和订阅，MQTT Broker负责接收Publisher的消息，并发送给相应的Subscriber，是整个MQTT 订阅/发布的核心，比如说可以选择Mosquitto开源软件作为MQTT Broker，通过安装Mosquitto开源软件并监听端口、配置认证方式从而实现消息转发、存储。

传感器网络负责感知数据，并将数据作为消息通过MQTT协议发布到MQTT Broker上的特定主题，数据将被存储在Broker的消息队列中，后端服务器通过MQTT的订阅者功能，可以选择性地订阅感兴趣的主题，当订阅了某主题后，它将接收到该主题下所有发布的消息，还可以在后端服务器通过设置的响应温度过高、湿度过低等条件，发送通知、警报或其他指令。

在一些实施例中，所述根据MQTT协议在所述传感器网络和所述后端服务器之间建立实时高效的通信，具体包括：

在所述后端服务器设置MQTT Broker，为所述传感器网络中每个传感器配置MQTT客户端库；

根据建筑物区域和传感器类型，在MQTT Broker内构建若干个主题topic；

基于贝叶斯回归算法为每个传感器建立流量预测模型，根据所述流量预测模型对每个传感器的未来预测流量和每个传感器的当前实际流量动态调整每个传感器的当前权重；

根据每个传感器的当前权重，先后将每个传感器的能耗数据包转发到对应的主题topic下。

该实施例中，在后端服务器上设置一个MQTT Broker，例如使用Mosquitto，为了与传感器网络中的每个传感器通信，配置每个传感器上的MQTT客户端库，以便它们可以连接到MQTT Broker。根据建筑物区域和传感器类型，在MQTT Broker内构建一系列主题topic，用于传感器数据的发布和订阅，例如可以创建以下主题："building/area1/temperature"用于区域1的温度数据，"building/area2/lighting"用于区域2的照明数据，"building/area3/humidity"用于区域3的湿度数据，等等。

为了实现流量均衡和动态权重调整，使用贝叶斯回归算法为每个传感器建立流量预测模型，将特征作为输入，流量作为输出，并考虑了特征和流量之间的不确定性。通过流量预测模型动态地预测每个传感器的未来流量，得到的预测值用于与每个传感器的当前实际流量进行权重调整，从而根据每个传感器的当前权重，可以动态地将传感器的能耗数据包转发到对应的主题topic下，较高权重的传感器将有更多的数据包转发，以实现流量均衡。

在一些实施例中，所述基于贝叶斯回归算法为每个传感器建立流量预测模型，具体包括：

获取每个传感器的历史流量数据集以及第一特征集，所述第一特征集包括消息频率、消息大小、消息时延、主题分布、传感器类型、传感器位置和传感器设备能耗；

基于皮尔逊相关系数，从所述第一特征集中确定第二特征集；

基于贝叶斯回归模型，根据每个传感器的历史流量数据集以及所述第二特征集，确定每个传感器的流量预测模型。

该实施例中，收集每个传感器的历史流量数据集，并确定第一特征集，该特征集包括以下特征：消息频率，每个传感器发送消息的频率；消息大小，每个传感器发送消息的平均大小；消息时延，每个传感器消息的传输延迟；主题分布，每个传感器发布消息到不同主题的分布情况；传感器类型，每个传感器的类型，例如温度传感器、湿度传感器等；传感器位置，每个传感器在建筑中的位置；传感器设备能耗，每个传感器的设备能耗情况。

在第一特征集的基础上，使用皮尔逊相关系数来确定哪些特征与流量之间存在高度相关性，并设置相关系数阈值，以确定是否将特征包括在第二特征集中。

在一些实施例中，所述基于皮尔逊相关系数，从所述第一特征集中确定第二特征集，具体包括：

设置相关系数阈值，计算每个传感器的历史流量数据集与所述第一特征集中每个特征的皮尔逊相关系数；

将所述第一特征集中皮尔逊相关系数低于所述相关系数阈值的特征进行剔除，获得第二特征集。

具体的，所述皮尔逊相关系数满足

该实施例中，由于贝叶斯回归算法针对于具有线性关系的特征和输出，而皮尔逊相关系数有助于了解特征与输出之间的线性关联程度，皮尔逊相关系数的值范围在-1到1之间。如果r接近于1，表示特征和输出之间有强正相关关系；如果r接近于-1，表示特征和输出之间有强负相关关系；如果r接近于0，表示特征和输出之间基本没有线性关系。因此，可以在[0,1]的区间中选择一个数值作为相关系数阈值。

在一些实施例中，所述基于贝叶斯回归模型，根据每个传感器的历史流量数据集以及所述第二特征集，确定每个传感器的流量预测模型，具体包括：

基于贝叶斯回归公式

将高斯分布作为参数向量

通过最大似然估计法确定所述参数向量

基于MCMC方法，根据所述参数向量

基于MCMC方法，根据所述误差项

根据所述参数向量

该实施例中，在贝叶斯回归中，利用先验分布来表达模型参数的不确定性，以及在没有观测数据时的初始假设，假设参数向量

对于高斯分布的情况，需要估计两个参数：均值

在贝叶斯统计中，可以将均值

但由于在流量预测的情况下，直接计算后验分布的解析表达式是困难的，特别是对于复杂的模型。在这种情况下，可以使用数值方法，如马尔可夫链蒙特卡洛（Markovchain Monte Carlo，MCMC）方法，来从后验分布中采样，以获取参数的分布信息。MCMC方法是一种常用的贝叶斯推断方法，用于从后验分布中采样，在MCMC的每个迭代中，根据一定的采样规则，通过当前参数的值和先验分布，计算出新的参数值，这个过程会生成一系列参数值的样本，称为MCMC链。 经过一定次数的迭代采样后，需要检查MCMC链是否已经收敛到稳定的后验分布，在MCMC链收敛后，可以使用链上的样本来近似计算参数的后验分布。具体的，选择一个初始参数值作为起点，在当前参数值的基础上，生成一个候选参数值，然后计算接受概率，它是当前参数值下的似然值与先验分布乘积的比例与候选参数值下的似然值与先验分布乘积的比例的比较。根据接受概率以及一个随机生成的值来决定是否接受候选参数值，如果这个随机数小于接受概率，那么接受候选参数值作为新的参数值，否则保留当前参数值。重复上述采用和计算接收概率的步骤多次后，生成一系列参数值，这些值逐渐接近目标后验分布。

在一些实施例中，所述根据所述流量预测模型对每个传感器的未来预测流量和每个传感器的当前实际流量动态调整每个传感器的当前权重，具体包括：

为每个传感器设置初始当前权重和调整系数，所述调整系数用于控制每个传感器的当前权重的调整幅度；

根据所述流量预测模型确定每个传感器的下一个时间步长的未来预测流量；

基于权重调整公式，根据所述初始当前权重、所述调整系数、每个传感器的下一个时间步长的未来预测流量和每个传感器的当前实际流量确定新的当前权重，所述权重调整公式满足

将新的当前权重作为

该实施例中，调整系数控制着权重的调整幅度，即当前权重的更新频率，它是一个介于0和1之间的值，较大的调整系数会导致更快的权重调整，而较小的调整系数会导致较慢的权重调整，选择调整系数需要根据系统的响应速度和稳定性来平衡。如果希望系统对该传感器的负载变化能够快速响应，可以选择较大的调整系数，这会导致权重较快地向预测的目标权重靠近。如果希望系统对该传感器的权重调整更平缓，可以选择较小的调整系数，这可以减少权重的震荡和不稳定性。

此外，在一定条件下，可以周期性地重置传感器的权重，以确保分发过程不会过于偏向某个传感器，比如在每次选择传感器后，可以将选中的传感器权重适当减少，让其他传感器有更大的机会被选择。

S102：根据所述后端服务器计算分析所述能耗数据，生成能耗数据分析结果并传输至客户端；

在所述客户端基于WebSockets连接实时获取所述能耗数据分析结果，根据图形函数库将所述能耗数据分析结果转换为能耗图表。

该实施例中，在后端服务器上部署WebSocket库，用于处理客户端的连接请求和消息传递，在客户端应用程序中可以使用JavaScript创建WebSocket客户端，后端服务器收到传感器数据后，进行计算和分析，比如每个资源的实时使用量、总能耗、节能建议等，计算出能耗数据分析结果后以WebSocket消息的形式发送给已连接的客户端。客户端监听从WebSocket接收到的消息，在收到实时数据更新消息时，使用JavaScript图形库（例如Chart.js）将数据转换为能耗图表。每当新数据到达时，客户端可以动态地更新图表，以实现实时监控。

参照图2，本发明实施例还提供了一种基于MQTT协议的能耗数据处理系统2，所述系统2具体包括：

数据采集层201，用于在建筑物内部部署传感器网络，通过所述传感器网络采集所述建筑物的能耗数据；

数据传输层202，用于根据MQTT协议在所述传感器网络所述后端服务器之间建立实时高效的通信；

数据分析层203，用于根据所述后端服务器计算分析所述能耗数据，生成能耗数据分析结果并传输至客户端；

客户端应用层204，用于基于WebSockets连接实时获取所述能耗数据分析结果，根据图形函数库将所述能耗数据分析结果转换为能耗图表。

可以理解的是，如图1所示的基于MQTT协议的能耗数据处理方法实施例中的内容均适用于本基于MQTT协议的能耗数据处理系统实施例中，本基于MQTT协议的能耗数据处理系统实施例所具体实现的功能与如图1所示的基于MQTT协议的能耗数据处理方法实施例相同，并且达到的有益效果与如图1所示的基于MQTT协议的能耗数据处理方法实施例所达到的有益效果也相同。

需要说明的是，上述系统之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

参照图3，本发明实施例还提供了一种计算机设备3，包括：存储器302和处理器301及存储在存储器302上的计算机程序303，当所述计算机程序303在处理器301上被执行时，实现如上述方法中任一项所述的基于MQTT协议的能耗数据处理方法。

所述计算机设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该计算机设备3可包括，但不仅限于，处理器301、存储器302。本领域技术人员可以理解，图3仅仅是计算机设备3的举例，并不构成对计算机设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器301可以是中央处理单元(Central Processing Unit，CPU)，该处理器301还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器302在一些实施例中可以是所述计算机设备3的内部存储单元，例如计算机设备3的硬盘或内存。所述存储器302在另一些实施例中也可以是所述计算机设备3的外部存储设备，例如所述计算机设备3上配备的插接式硬盘，智能存储卡（Smart MediaCard, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器302还可以既包括所述计算机设备3的内部存储单元也包括外部存储设备。所述存储器302用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器302还可以用于暂时地存储已经输出或者将要输出的数据。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，实现如上述方法中任一项所述的基于MQTT协议的能耗数据处理方法。

该实施例中，所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所公开的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。