一种基于多协议的供水设备数据整合和转发方法

技术领域

本发明涉及数据信息传输技术领域，尤其涉及一种基于多协议的供水设备数据整合和转发方法。

背景技术

在现代城市的供水系统中，供水设备的智能化程度越来越高，这些设备通过传感器收集的数据可以用于监测水质、水量、压力等多个参数，从而实现对供水系统的实时监控和智能调控。在现代供水设备中，数据的整合和转发是确保水资源合理分配和使用的关键，然而，由于供水设备通常采用不同的通信协议，这些设备之间的数据交换和通信面临着协议不统一的问题，因此在不同设备之间进行数据交换时，需要进行协议转换，这不仅增加了系统的复杂性，还可能导致数据传输的不准确和不可靠。

对于供水设备数据整合、转发以及传输的方法有很多，中国发明专利申请号为“CN201510244039.2”，公开日：2015.08.19，公开了一种变频供水设备的数据传输方法、装置、系统及中心服务器，主要包括：获取供水设备所处网络的IP地址，并将IP地址进行动态域名解析；根据动态域名解析的结果，在供水设备与中心服务器之间建立网络连接；接收中心服务器发送的访问指令，并根据访问指令采集供水设备的工作数据；以及将工作数据发送至中心服务器；在该发明实施例中，通过对供水设备工作数据的统一管理和传输，进而使任意用户通过终端设备与供水设备之间可以进行互动，解决了相关技术中存在的供水设备由于数据信号传输接口和传输协议的不同造成的各供水设备之间的数据信号无法有效互联互通的问题。

但上述技术至少存在如下技术问题：对数据处理不够准确以及不可靠的技术问题。

发明内容

本申请实施例通过提供一种基于多协议的供水设备数据整合和转发方法，解决了现有技术对数据处理不够准确以及不可靠的技术问题，实现了对供水设备数据整合和转发更准确更安全的技术效果。

本申请提供了一种基于多协议的供水设备数据整合和转发方法，具体包括以下技术方案：

一种基于多协议的供水设备数据整合和转发方法，包括以下步骤：

S1. 部署传感器对供水设备进行实时数据采集，并识别数据所对应的通信协议，引入智能结构解析算法和协议智能匹配算法，得到标记了通信协议的供水设备数据；

S2. 对标记了通信协议的供水设备数据进行校验以及错误纠正，得到校验和错误纠正后的供水设备数据，同时对校验和错误纠正后的供水设备数据进行加密处理；

S3. 对加密处理后的供水设备数据进行解密校验处理，再进行数据转换处理，得到统一格式的供水设备数据，对所述统一格式的供水设备数据进行整合与同步；

S4. 将整合与同步后的统一格式的供水设备数据进行远程监控和实时数据传输。

优选的，所述S1，具体包括：

首先，部署传感器，对供水设备的实时数据进行采集，得到供水设备的原始数据，再对供水设备的原始数据进行预处理，首先采用噪声滤除算法，对原始数据进行去噪处理；再采用滤波算法，对去噪后的数据进行滤波处理；再采用数据归一化算法，对滤波后的数据进行归一化处理，所述归一化后的数据为预处理后的数据；对所述预处理后的数据进行分析，识别数据所对应的通信协议。

优选的，在所述S1中，还包括：

在识别数据所对应的通信协议的过程中，使用智能结构解析算法对预处理后的数据进行格式分析；并引入数据格式特征集合得到格式特征。

优选的，在所述S1中，还包括：

在识别数据所对应的通信协议的过程中，使用协议特征智能提取算法提取数据中的协议特征，引入协议特征集合得到协议特征；使用协议智能匹配算法，将提取的协议特征与已知的通信协议特征进行匹配，引入协议匹配函数进行匹配，得到标记了通信协议的供水设备数据。

优选的，所述S2，具体包括：

对标记了通信协议的供水设备数据，按照通信协议进行分类处理，使用数据格式化技术，将收集到的数据转换为统一的格式，得到按协议分类并格式化的供水设备数据；使用循环冗余校验技术，对数据进行错误检测，对于可纠正的错误，使用纠错码技术进行错误纠正；对于不可纠正的错误，使用重传请求技术，重新获取数据，得到纠正后的供水设备数据。

优选的，在所述S2中，还包括：

通过优化对称加密算法对经过校验和纠正的供水设备数据进行加密处理，在所述优化对称加密算法实现过程中，首先根据所述优化对称加密算法，生成相应的密钥，对经过校验和纠正的供水设备数据进行加密处理，进一步，引入哈希函数，对密文进行哈希处理，得到哈希值，然后将哈希值和密文一起传输，得到加密后的供水设备数据和哈希值。

优选的，所述S3，具体包括：

利用所述优化对称加密算法产生的密钥对加密数据进行解密处理，得到解密后的标记了通信协议的供水设备数据，并利用哈希值进行数据完整性校验，得到解密并校验完整性后的标记了通信协议的供水设备数据，进一步，对解密并校验完整性后的标记了通信协议的供水设备数据进行协议提取，并使用多协议转换方法进行数据转换。

优选的，在所述S3中，还包括：

在实现数据转换过程中，引入协议融合算法，所述协议融合算法的核心思想是通过建立协议映射表，将不同协议的数据格式进行统一。

优选的，在所述S3中，还包括：

在接收到转换为统一格式的供水设备数据后，进行整合处理，得到整合后的数据；对整合后的数据利用数据同步优化算法进行处理。

优选的，在所述S3中，还包括：

所述数据同步优化算法，具体实现过程有：引入动态调整同步频率算法；并结合数据压缩和传输算法。

有益效果：

本申请实施例中提供的多个技术方案，至少具有如下技术效果或优点：

1、本申请通过使用智能结构解析算法和协议特征智能提取算法，能够准确地识别数据中的特定格式和结构，以及提取数据中的协议特征，有效地识别数据所对应的通信协议，从而确保数据的正确传输和处理；通过引入数据格式特征集合和协议特征集合，能够准确地分析数据中的格式特征和协议特征，所述方法使用了公式化的分析方法，能够确保数据分析的准确性和一致性，使用协议智能匹配算法，能够将提取的协议特征与已知的通信协议特征进行匹配，从而准确地识别数据所对应的通信协议。

2、本申请通过选择对称加密算法，并对其进行优化，确保数据的安全性。使用确定的加密算法和生成的密钥，对经过校验和纠正的供水设备数据进行加密处理，从而确保数据在不安全的通道中的安全性，此外，引入哈希函数对密文进行哈希处理，进一步增加了数据的安全性。

3、本申请通过多协议转换方法，将数据转换为统一的数据格式，提高数据的一致性，引入协议融合算法，通过建立协议映射表，将不同协议的数据格式进行统一，简化数据转换的过程，从而提高数据处理的效率，引入动态调整同步频率算法，解决数据同步的延迟问题。使用数据压缩和传输算法，提高数据同步的效率。监控数据同步的成功率，确保数据同步的完整性和一致性。

4、本申请的技术方案能够有效解决对数据处理不够准确以及不可靠的技术问题，通过使用智能结构解析算法和协议特征智能提取算法，能够准确地识别数据中的特定格式和结构，以及提取数据中的协议特征，有效地识别数据所对应的通信协议，从而确保数据的正确传输和处理；通过引入数据格式特征集合和协议特征集合，能够准确地分析数据中的格式特征和协议特征，所述方法使用了公式化的分析方法，能够确保数据分析的准确性和一致性，使用协议智能匹配算法，能够将提取的协议特征与已知的通信协议特征进行匹配，从而准确地识别数据所对应的通信协议；选择对称加密算法，并对其进行优化，确保数据的安全性。使用确定的加密算法和生成的密钥，对经过校验和纠正的供水设备数据进行加密处理，从而确保数据在不安全的通道中的安全性，此外，引入哈希函数对密文进行哈希处理，进一步增加了数据的安全性；利用多协议转换方法，将数据转换为统一的数据格式，提高数据的一致性，引入协议融合算法，通过建立协议映射表，将不同协议的数据格式进行统一，简化数据转换的过程，从而提高数据处理的效率，引入动态调整同步频率算法，解决数据同步的延迟问题。使用数据压缩和传输算法，提高数据同步的效率，监控数据同步的成功率，确保数据同步的完整性和一致性。

附图说明

图1为本申请对基于多协议的供水设备数据整合和转发方法的流程图。

具体实施方式

本申请实施例通过提供一种基于多协议的供水设备数据整合和转发方法，解决了现有技术中对数据处理不够准确以及不可靠的技术问题，总体思路如下：

首先，部署传感器对供水设备进行实时数据采集，并识别数据所对应的通信协议；对标记了通信协议的供水设备数据进行校验以及错误纠正，得到校验和纠正的供水设备数据，同时对校验和纠正的供水设备数据进行加密处理，得到更完整、更准确、更安全的数据；对加密后的供水设备数据进行解密校验处理，得到解密并校验完整性后的标记了通信协议的供水设备数据，再进行数据转换处理，得到统一格式的供水设备数据，对所述统一格式的供水设备数据进行整合与同步，得到同步后的供水设备数据集；最后，将整合与同步后的统一格式的供水设备数据进行远程监控和实施数据传输。通过使用智能结构解析算法和协议特征智能提取算法，能够准确地识别数据中的特定格式和结构，以及提取数据中的协议特征，有效地识别数据所对应的通信协议，从而确保数据的正确传输和处理；通过引入数据格式特征集合和协议特征集合，能够准确地分析数据中的格式特征和协议特征，所述方法使用了公式化的分析方法，能够确保数据分析的准确性和一致性，使用协议智能匹配算法，能够将提取的协议特征与已知的通信协议特征进行匹配，从而准确地识别数据所对应的通信协议；选择对称加密算法，并对其进行优化，确保数据的安全性。使用确定的加密算法和生成的密钥，对经过校验和纠正的供水设备数据进行加密处理，从而确保数据在不安全的通道中的安全性，此外，引入哈希函数对密文进行哈希处理，进一步增加了数据的安全性；利用多协议转换方法，将数据转换为统一的数据格式，提高数据的一致性，引入协议融合算法，通过建立协议映射表，将不同协议的数据格式进行统一，简化数据转换的过程，从而提高数据处理的效率，引入动态调整同步频率算法，解决数据同步的延迟问题。使用数据压缩和传输算法，提高数据同步的效率，监控数据同步的成功率，确保数据同步的完整性和一致性。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

参照附图1，本申请所述一种基于多协议的供水设备数据整合和转发方法，包括以下步骤：

S1. 部署传感器对供水设备进行实时数据采集，并识别数据所对应的通信协议，引入智能结构解析算法和协议智能匹配算法，得到标记了通信协议的供水设备数据；

在供水设备的关键位置部署传感器，所述传感器如流量传感器、压力传感器、水质传感器；所述传感器将实时监测供水设备的运行状态，所述运行状态根据关键参数获得，所述关键参数包括水流量、水压和水质；在收到传感器传输的数据后，利用采集设备对供水设备的数据进行采集，在供水设备的数据采集完成后，得到供水设备的原始数据，再对供水设备的原始数据进行预处理，首先采用噪声滤除算法，对原始数据进行去噪处理，滤除数据中的噪声部分，得到去噪后的数据，再采用滤波算法，对去噪后的数据进行滤波处理，保留数据中的有效部分，得到滤波后的数据；再采用数据归一化算法，对滤波后的数据进行归一化处理，使数据值落在一个特定的范围内，得到归一化后的数据，所述归一化后的数据为预处理后的供水设备数据；对预处理后的数据进行分析，识别数据所对应的通信协议，具体实现过程如下：

记预处理后的供水设备数据，表示为

其中，

其中，

进一步，使用协议特征智能提取算法提取数据中的协议特征，引入协议特征集合

其中，

其中，

最后，使用协议智能匹配算法，将提取的协议特征

其中，

最终，得到标记了通信协议的供水设备数据

本申请通过使用智能结构解析算法和协议特征智能提取算法，能够准确地识别数据中的特定格式和结构，以及提取数据中的协议特征，有效地识别数据所对应的通信协议，从而确保数据的正确传输和处理；通过引入数据格式特征集合和协议特征集合，能够准确地分析数据中的格式特征和协议特征，所述方法使用了公式化的分析方法，能够确保数据分析的准确性和一致性，使用协议智能匹配算法，能够将提取的协议特征与已知的通信协议特征进行匹配，从而准确地识别数据所对应的通信协议。

S2. 对标记了通信协议的供水设备数据进行校验以及错误纠正，得到校验和错误纠正后的供水设备数据，同时对校验和错误纠正后的供水设备数据进行加密处理；

S21. 数据校验与纠正

首先，对标记了通信协议的供水设备数据，按照通信协议进行分类处理，确保每种协议的数据被正确识别和处理，接着，使用数据格式化技术，将收集到的数据转换为统一的格式，确保数据的一致性，得到按协议分类并格式化的供水设备数据；

随后，使用循环冗余校验（CRC）技术，对数据进行错误检测，确保数据在传输过程中的完整性，对于发现的错误，使用标记技术进行标记，并记录到错误日志中，得到标记了错误的供水设备数据和错误日志；

对于可纠正的错误，使用纠错码技术进行错误纠正，恢复数据的正确性；对于不可纠正的错误，使用重传请求技术，重新获取数据，确保数据的准确性，得到纠正后的供水设备数据；

最后，使用哈希函数技术，对数据进行完整性校验，确保数据在传输过程中未被篡改，对于完整性校验失败的数据，使用重传请求技术，重新获取数据，确保数据的完整性，得到完整性校验后的供水设备数据；

S22. 数据加密处理；

根据数据的敏感性和安全性要求，选择对称加密算法，本申请对原始对称加密算法进行优化，得到优化对称加密算法，根据选择的优化对称加密算法，生成相应的密钥，数学公式表示为：

其中，

使用确定的加密算法和生成的密钥，对经过校验和纠正的供水设备数据进行加密处理，数学公式为：

其中，

进一步，为了增加安全性，引入哈希函数

其中，

经上述过程得到加密后的供水设备数据和哈希值。

本申请通过选择对称加密算法，并对其进行优化，确保数据的安全性。使用确定的加密算法和生成的密钥，对经过校验和纠正的供水设备数据进行加密处理，从而确保数据在不安全的通道中的安全性，此外，引入哈希函数对密文进行哈希处理，进一步增加了数据的安全性。

S3. 对加密处理后的供水设备数据进行解密校验处理，再进行数据转换处理，得到统一格式的供水设备数据，对所述统一格式的供水设备数据进行整合与同步；

S31. 解密并转换；

首先利用步骤S2中的优化对称加密算法产生的密钥对加密数据进行解密处理，得到解密后的标记了通信协议的供水设备数据，并利用哈希值进行数据完整性校验，确保数据在传输过程中没有被篡改，最终得到解密并校验完整性后的标记了通信协议的供水设备数据；

进一步，对标记了通信协议的供水设备数据进行协议提取，根据提取的通信协议，使用多协议转换方法进行数据转换，将数据转换为统一的数据格式；

在实现数据转换过程中，为了因不同协议之间的数据格式不一致，导致数据转换的复杂性增加的问题，本申请引入协议融合算法，所述协议融合算法的核心思想是通过建立一个协议映射表，将不同协议的数据格式进行统一，从而简化数据转换的过程；具体实现过程如下：

第一步，建立协议映射表；由技术人员按照规则和标准，设定协议映射表List，其中List的行表示源协议，列表示目标协议，List的元素表示源协议到目标协议的映射关系；此外，为了确保映射表的准确性，利用验证算法对映射表进行验证，确保每一条映射关系都是正确的；

第二步：识别源协议和目标协议；对于每一条需要转换的数据，首先，采用协议识别算法识别其源协议P1和目标协议P2；此外，利用识别验证算法对识别结果进行验证，确保识别的协议是正确的；

第三步，查找映射关系；在协议映射表List中查找List [P1][P2]，得到映射关系g；此外，为了确保映射关系的准确性，利用重复验证法对映射关系进行验证；

第四步，数据转换，根据映射关系g，将数据从源协议P1转换为目标协议P2；此外，由专业人员预设的对比验证法对转换结果进行验证，确保转换后的数据格式是正确的；

最后得到经过验证的统一格式的供水设备数据。

S32. 整合与同步；

在接收到转换为统一格式的供水设备数据后，首先进行所述统一格式的供水设备数据去重处理，通过设备ID和时间戳进行去重，使用哈希表存储已处理的数据，以便快速查找和去重。数据按照设备ID和时间戳排序，遍历整个数据集，检查每条数据是否存在于哈希表中，如果存在，则删除；如果不存在，则添加到哈希表中，以便后续的去重处理；经过所述去重处理得到的数据集中每条数据都是唯一的，不存在重复的数据；

接下来，进行数据融合处理，使用数据融合技术，将不同设备的数据融合在一起，形成一个完整的数据集；数据按照设备ID分组，然后对每组数据进行融合处理，合并同一设备的数据；经过所述融合处理得到的数据集中每组数据都是同一设备的数据，不存在不同设备的数据混杂在一起；

随后，进行数据一致性处理，使用数据一致性处理技术，处理数据中的冲突和不一致问题，确保数据的一致性；数据按照时间戳排序，遍历整个数据集，检查每条数据是否与前后的数据一致，如果存在不一致的情况，进行修正；经过所述一致性处理得到的数据集中每条数据都是一致的，不存在冲突和不一致的情况；

最后，进行数据完整性检查；使用数据完整性检查技术，处理数据中的缺失和不完整问题，确保数据的完整性；数据按照时间戳排序，遍历整个数据集，检查每条数据是否完整，如果存在不完整的情况，进行补充；经过所述完整性检查处理得到的数据集中每条数据都是完整的，不存在缺失和不完整的情况；

进一步，对整合后的数据利用数据同步优化算法进行处理，具体实现过程如下：

首先，引入动态调整同步频率算法解决数据同步的延迟问题，所述动态调整同步频率算法具体有：

第一步，定义同步频率

第二步，定义参数指标，所述参数指标有定义网络状况指标N，数据量指标D，以及同步成功率指标S；所述网络状况指标N表示当前网络的质量，其值越大，表示网络状况越好；数据量指标D表示待同步的数据量大小，其值越大，表示数据量越大；同步成功率指标S表示数据同步的成功率，其值越大，表示同步成功的概率越高；

第三步，同步频率的动态调整；根据网络状况指标N和数据量指标D动态调整同步频率

如果

第四步，监控参数指标；在调整同步频率的同时，监控数据同步的成功率指标S；如果

进一步，基于上述处理结果，结合数据压缩和传输算法来提高数据同步的效率；所述数据压缩和传输算法具体过程如下：对待同步的数据进行压缩处理，得到压缩后的数据，所述数据压缩是通过压缩算法将数据的大小减小，以便于传输；再使用高效的传输协议进行数据传输；所述传输协议是规定数据传输方式的一种规则，不同的传输协议有不同的传输效率；在接收端进行数据解压和验证；所述数据解压是将压缩后的数据恢复到原始状态，验证是确保数据的完整性和一致性；如果数据验证失败，重新请求数据传输；如果数据验证成功，存储数据并更新同步状态。

最后，监控数据同步的成功率，如果低于预设的阈值，重新进行数据同步；

特别地，在数据同步的过程中，如果遇到网络中断或其他异常情况，采取相应的错误处理机制，确保数据同步的完整性和一致性。

本申请通过多协议转换方法，将数据转换为统一的数据格式，提高数据的一致性，引入协议融合算法，通过建立协议映射表，将不同协议的数据格式进行统一，简化数据转换的过程，从而提高数据处理的效率，引入动态调整同步频率算法，解决数据同步的延迟问题。使用数据压缩和传输算法，提高数据同步的效率。监控数据同步的成功率，确保数据同步的完整性和一致性。

S4. 将整合与同步后的统一格式的供水设备数据进行远程监控和实时数据传输。

首先，按照评估性能、安全性、成本和服务的方法，选择合适的云平台，用于存储和处理供水设备的数据，得到选定的云平台；然后，按照使用SSL/TLS加密协议的方法，建立安全的数据传输通道，确保数据在传输过程中的安全性，得到安全的数据传输通道；接着，按照使用MQTT实时通信协议的方法，实现数据的实时传输，得到实时传输的供水设备数据；同时，按照使用Zabbix监控工具的方法，实时收集和分析供水设备的数据，得到实时监控的供水设备数据；最后，按照使用数据库的方法，存储供水设备的数据，得到存储在云平台上的供水设备数据。

综上所述，便完成了本申请所述的一种基于多协议的供水设备数据整合和转发方法。

上述本申请实施例中的技术方案，至少具有如下的技术效果或优点：

1、本申请通过使用智能结构解析算法和协议特征智能提取算法，能够准确地识别数据中的特定格式和结构，以及提取数据中的协议特征，有效地识别数据所对应的通信协议，从而确保数据的正确传输和处理；通过引入数据格式特征集合和协议特征集合，能够准确地分析数据中的格式特征和协议特征，所述方法使用了公式化的分析方法，能够确保数据分析的准确性和一致性，使用协议智能匹配算法，能够将提取的协议特征与已知的通信协议特征进行匹配，从而准确地识别数据所对应的通信协议。

2、本申请通过选择对称加密算法，并对其进行优化，确保数据的安全性。使用确定的加密算法和生成的密钥，对经过校验和纠正的供水设备数据进行加密处理，从而确保数据在不安全的通道中的安全性，此外，引入哈希函数对密文进行哈希处理，进一步增加了数据的安全性。

3、本申请通过多协议转换方法，将数据转换为统一的数据格式，提高数据的一致性，引入协议融合算法，通过建立协议映射表，将不同协议的数据格式进行统一，简化数据转换的过程，从而提高数据处理的效率，引入动态调整同步频率算法，解决数据同步的延迟问题。使用数据压缩和传输算法，提高数据同步的效率。监控数据同步的成功率，确保数据同步的完整性和一致性。

效果调研：

本申请的技术方案能够有效解决对数据处理不够准确以及不可靠的技术问题，并且，上述系统或方法经过了一系列的效果调研，通过使用智能结构解析算法和协议特征智能提取算法，能够准确地识别数据中的特定格式和结构，以及提取数据中的协议特征，有效地识别数据所对应的通信协议，从而确保数据的正确传输和处理；通过引入数据格式特征集合和协议特征集合，能够准确地分析数据中的格式特征和协议特征，所述方法使用了公式化的分析方法，能够确保数据分析的准确性和一致性，使用协议智能匹配算法，能够将提取的协议特征与已知的通信协议特征进行匹配，从而准确地识别数据所对应的通信协议；选择对称加密算法，并对其进行优化，确保数据的安全性。使用确定的加密算法和生成的密钥，对经过校验和纠正的供水设备数据进行加密处理，从而确保数据在不安全的通道中的安全性，此外，引入哈希函数对密文进行哈希处理，进一步增加了数据的安全性；利用多协议转换方法，将数据转换为统一的数据格式，提高数据的一致性，引入协议融合算法，通过建立协议映射表，将不同协议的数据格式进行统一，简化数据转换的过程，从而提高数据处理的效率，引入动态调整同步频率算法，解决数据同步的延迟问题。使用数据压缩和传输算法，提高数据同步的效率，监控数据同步的成功率，确保数据同步的完整性和一致性。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。