基于物联网的农作物监控数据高效处理方法

技术领域

本发明涉及数据处理技术领域，具体涉及基于物联网的农作物监控数据高效处理方法。

背景技术

随着科学技术的发展，如何提高农作物产量是农业发展的重中之重，而提高农作物产量的一个关键环节为对农作物的生长环境进行实时监控，因此将物联网与农业结合，通过搭建物联网监控平台，安装布置多种传感器采集农作物生长环境数据，包括温度、湿度、土壤水分以及土壤温度等环境数据，实现对农作物的监控；在现有的对农作物生长环境进行监控时，受到采样频率以及多种传感器数据采集的影响，会造成数据量较大且较为冗余，并且由于网络带宽以及服务器存储空间的影响，需要对采集的监控数据进行压缩处理，保证后续对监控数据高效处理时使用。

由于环境传感器采集的为长时间的序列数据，因此在现有的压缩算法中，往往会使用旋转门压缩算法进行数据压缩；而在传统的旋转门压缩算法中，由于其采用的为有损压缩的原理，会使得传感器采集的数据的部分信息丢失，造成信息丢失的主要原因为在设置一定大小的容差参数后，采用两个数据点之间的直线进行数据序列的代替，会极大的丢失趋势分布信息，因此需要集合多维数据之间的趋势分布关系来对每个维度进行自适应压缩，在保证数据压缩率的同时，保证数据趋势分布信息的完整性。

发明内容

本发明提供基于物联网的农作物监控数据高效处理方法，以解决现有的利用旋转门算法压缩监控数据会丢失数据趋势信息的问题，所采用的技术方案具体如下：

本发明一个实施例提供了基于物联网的农作物监控数据高效处理方法，该方法包括以下步骤：

获取多个维度的当前监控数据及长期与短期历史监控数据；

根据多维的长期历史监控数据获取每个维度的若干关联维度，根据多维的长期历史监控数据获取每个维度与每个关联维度监控数据之间的趋势分布模型；

根据每个维度中每个时刻在短期历史监控数据与当前监控数据的差异获取每个维度的当前监控数据中每个时刻下数据的第一差异性，根据趋势分布模型获取到的每个时刻的预测数据与当前监控数据的差异获取每个维度的当前监控数据中每个时刻下数据的第二差异性，根据第一差异性及第二差异性获取每个维度的当前监控数据中每个时刻下数据的综合差异性，根据综合差异性获取每个维度的当前监控数据中的有效信息点；

根据每个维度的当前监控数据被压缩前后有效信息点的变化获取每个维度的当前监控数据的参考程度，根据参考程度获取初始参考维度，根据初始参考维度及每个维度的若干关联维度获取每个维度的第一参考维度，记录每个维度的第一容差；

根据第一容差获取每个维度及第一参考维度的当前监控数据压缩后的若干数据段，将每个数据段在每个维度的当前监控数据中对应部分的数据记为待拟合数据，将每个数据段在第一参考维度的当前监控数据中对应部分的数据记为拟合参考数据，根据拟合参考数据及趋势分布模型获取每个维度中每个时刻的模拟数据，根据待拟合数据、模拟数据及综合差异性，获取每个维度中每个时刻的拟合权重，结合旋转门算法完成压缩。

可选的，所述根据多维的长期历史监控数据获取每个维度与每个关联维度监控数据之间的趋势分布模型，包括的具体方法为：

获取任意一个维度作为目标维度，获取目标维度的任意一个关联维度作为目标关联维度，将目标维度的长期历史监控数据及目标关联维度的长期历史监控数据中同一时刻的两个数据作为数据点的二维坐标，目标维度的长期历史监控数据为横坐标，目标关联维度的长期历史监控数据为纵坐标，将所有时刻的数据都转换为若干数据点的二维坐标，对所有数据点进行曲线拟合，拟合得到的曲线及曲线公式即为目标维度与目标关联维度监控数据之间的趋势分布模型。

可选的，所述获取每个维度的当前监控数据中每个时刻下数据的第一差异性，包括的具体方法为：

其中，

可选的，所述获取每个维度的当前监控数据中每个时刻下数据的第二差异性，包括的具体方法为：

其中，

所述预测数据的具体计算方法为：获取第

可选的，所述根据每个维度的当前监控数据被压缩前后有效信息点的变化获取每个维度的当前监控数据的参考程度，包括的具体方法为：

其中，

可选的，所述根据初始参考维度及每个维度的若干关联维度获取每个维度的第一参考维度，包括的具体方法为：

获取任意一个维度作为目标维度，初始参考维度组成初始参考维度集合，目标维度的关联维度组成目标维度的关联维度集合，获取初始参考维度集合与关联维度集合中的交集，将交集中的元素记为目标维度的关联参考维度，将所有关联参考维度中与目标维度的皮尔逊相关系数绝对值最大的维度作为目标维度的第一参考维度。

可选的，所述获取每个维度中每个时刻的拟合权重，包括的具体方法为：

其中，

获取第

本发明的有益效果是：本发明根据长期历史监控数据来量化得到多个维度监控数据之间的趋势分布模型，通过短期历史监控数据确定有效信息数据点来获取在旋转门压缩前后数据的变化，进而得到不同维度的参考程度，并确定每个维度的第一参考维度；根据每个维度及第一参考维度的趋势分布模型来计算每个数据段中每个数据点在曲线拟合过程中的拟合权重，进而进行自适应旋转门压缩处理；避免了传统的旋转门压缩算法中采用两个数据点之间的直线进行数据序列的代替，会极大的丢失趋势分布信息，通过采用曲线拟合的方式获取两个数据点之间的数据趋势分布，并获取每个数据点在曲线拟合过程中的拟合权重，实现在保证数据压缩率的同时，保证数据趋势分布信息的完整性，进而实现对物联网中的农作物监控数据的高效处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例所提供的基于物联网的农作物监控数据高效处理方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例所提供的基于物联网的农作物监控数据高效处理方法流程图，该方法包括以下步骤：

步骤S001、采集多个维度的当前监控数据及长期与短期历史监控数据。

本实施例的目的是对当天即当前的多维农作物监控数据通过物联网监控平台进行压缩存储，同时保证压缩过程可以较好地保留监控数据的趋势分布信息；因此首先需要采集多维度的当前监控数据，同时为了更好地量化各个维度数据之间的趋势关系，以确保对于每个维度的当前监控数据的趋势提取准确，还需要获取历史监控数据，包括短期历史监控数据和长期历史监控数据。

具体的，本实施例通过安装各种环境传感器来采集大棚内农作物的环境数据实现监控，所述环境传感器采集到的环境数据包括但不限于大棚内的温度、大棚内的湿度、土壤温度、土壤湿度以及大棚内光照强度等多个维度的环境数据，具体的监控指标实施者可根据实际情况进行设定；为了避免多维度数据之间量纲差异所带来的影响，因此将采集到的每种环境数据都分别在同种数据之间进行线性归一化处理，将每种环境数据的归一化值记为每个维度的监控数据，且每个维度的监控数据的采样频率均相同；将当天的监控数据记为当前监控数据，历史采集到的监控数据记为历史监控数据；长期历史监控数据用于确定任意两个维度的监控数据之间的趋势分布关系，即两个维度的监控数据在趋势变化上的关联性，因此需要获取较长时间的监控数据来较好地量化各维度监控数据的趋势变化关联，本实施例获取当前监控数据之前最近三个月的每个维度的历史监控数据作为每个维度的长期历史监控数据；短期历史监控数据用于对当前监控数据的趋势特征进行量化，则需要较短时间的监控数据来保证与当前监控数据的相似性较大，以确保可以更好地提取当前监控数据独有的趋势特征，本实施例获取当前监控数据之前最近10天的每个维度的历史监控数据作为每个维度的短期监控数据。

至此，获取到了每个维度的当前监控数据，以及长期及短期的历史监控数据。

步骤S002、根据多维的长期历史监控数据获取每个维度的若干关联维度，获取每个维度与每个关联维度监控数据之间的趋势分布模型。

需要说明的是，多维的监控数据之间的趋势变化存在一定关联，例如大棚内光照强度增加，大棚内温度就会上升，相对的大棚内湿度就会降低；因此可以通过各维度长期历史监控数据之间的相关性，获取相关性较大的多维度监控数据之间的关系来构建两两维度监控数据之间的趋势分布模型，根据趋势分布模型参与后续有效信息点及参考维度计算，以此来完成保留趋势特征的压缩存储。

具体的，以任意一个维度作为目标维度，获取每个维度的长期历史监控数据与目标维度的长期历史监控数据的皮尔逊相关系数，对得到的皮尔逊相关系数求绝对值，给出第一预设阈值用于判断长期历史监控数据之间的相关性，本实施例第一预设阈值采用0.6进行计算，若皮尔逊相关系数的绝对值大于等于第一预设阈值，则表明皮尔逊相关系数对应的维度与目标维度的长期历史监控数据之间具有较大的相关性，将该维度记为目标维度的关联维度，获取目标维度的所有关联维度；按照上述方法获取每个维度的所有关联维度；每个维度与对应的关联维度在长期历史监控数据之间均具有较大的相关性，可以参与构建趋势分布模型以此来反映趋势变化的关联性；其中皮尔逊相关系数计算为公知技术，本实施例不再赘述。

进一步的，以任意一个维度作为目标维度，获取目标维度的任意一个关联维度为例，将两个维度的长期历史监控数据中同一时刻的两个数据作为数据点的二维坐标，目标维度的长期历史监控数据为横坐标，关联维度的长期历史监控数据为纵坐标，将所有时刻的数据都转换为若干数据点的二维坐标；通过最小二乘法对所有数据点进行曲线拟合，本实施例拟合的曲线是多项式曲线，多项式的最高次幂设置为5，拟合得到的曲线及曲线公式即为目标维度与关联维度监控数据之间的趋势分布模型；按照上述方法获取每个维度与每个关联维度监控数据之间的趋势分布模型；并且根据上述拟合方法可知：趋势分布模型的输入为每个关联维度的监控数据，该模型的输出为每个关联维度对应维度的预测数据。

至此，获取到了每个维度的所有关联维度，以及每个维度与每个关联维度之间的趋势分布模型，用于参与后续有效信息点及参考维度的计算。

步骤S003、根据每个维度中每个时刻在短期历史监控数据与当前监控数据的差异，以及通过关联维度的趋势分布模型获取到的每个时刻的预测数据与当前监控数据的差异，获取每个维度的当前监控数据中每个时刻下数据的综合差异性，并得到其中的有效信息点。

需要说明的是，为了在压缩过程中保留有效信息，需要提取各维度的当前监控数据中的有效信息点，因此可以通过同一维度的当前监控数据与短期历史监控数据中相同时刻的数据之间的差异性，提取其中差异较大的点；同时通过每个维度的关联维度的当前监控数据以及趋势分布模型获取对于每个维度的预测数据，通过预测数据与当前监控数据的差异同样提取出其中的差异性较大的点；这些数据点不符合趋势分布模型，同时与历史监控数据差异较大的点也不符合对应维度的趋势分布特征，根据这两类差异较大的数据点，进而得到数据点的综合差异性，差异较大的点可能包含了较多重要信息，因此在压缩过程中应尽量保证不损失，以此来保证压缩后的数据不会过多损失当前监控数据中的趋势分布信息。

具体的，以第

其中，

进一步的，以第

其中，

进一步的，以第

其中，

进一步的，给出第二预设阈值

至此，获取到了每个维度的当前监控数据中的所有有效信息点，有效信息点反映了当前监控数据中的重要信息，压缩过程中应尽量保证不损失，以此来保证压缩后的数据不会过多损失当前监控数据中的趋势分布信息。

步骤S004、根据每个维度的当前监控数据被压缩前后有效信息点的变化获取每个维度的当前监控数据的参考程度，得到初始参考维度，根据初始参考维度及每个维度的若干关联维度获取每个维度的第一参考维度。

需要说明的是，本实施例采用旋转门算法对当前监控数据进行压缩，同时不考虑设置的容差参数方面的优化，因此本实施例根据预设容差对每个维度的当前监控数据先进行一次压缩，通过压缩前后每个维度的有效信息点的变化来获取每个维度的参考程度，根据参考程度获取每个维度自适应的第一参考维度并进行压缩。

具体的，本实施例中对于旋转门算法的预设容差采用0.3进行计算，实施者可根据实际情况进行设置，以第

其中，

进一步的，按照上述方法获取每个维度的当前监控数据的参考程度，对所有参考程度进行线性归一化处理，给出第三预设阈值

进一步的，以任意一个维度为例，初始参考维度组成初始参考维度集合，该维度的关联维度组成该维度的关联维度集合，获取两个集合中的交集，将交集中的元素记为该维度的关联参考维度，将所有关联参考维度中与该维度的皮尔逊相关系数绝对值最大的维度作为该维度的第一参考维度；所述皮尔逊相关系数绝对值即为步骤S002中通过长期历史监控数据获取到的两个维度之间皮尔逊相关系数绝对值；按照上述方法获取每个维度的第一参考维度；

特殊的，若某个维度的关联维度集合与初始参考维度集合不存在交集，则需要调整预设容差以获取更多的参考维度，本实施例对预设容差每次减小0.05进行计算，根据减小后的预设容差，即容差大小为0.25，对每个维度的当前监控数据再次进行压缩并得到参考程度，第三预设阈值不变获取到新的若干初始参考维度，根据新的初始参考维度集合与关联维度集合求交集，将交集中与该维度的皮尔逊相关系数绝对值最大的维度作为该维度的第一参考维度；若此时的预设容差下仍无法获取某个维度的第一参考维度，则继续减小容差，每次减小0.05，并按照上述方法直到得到该维度的第一参考维度为止，记录下此时的容差大小；将每个维度获取到第一参考维度时对应的容差记为每个维度的第一容差；若容差为0.05时某个维度仍无法得到第一参考维度，则将此时的初始参考维度集合中，与该维度的皮尔逊相关系数绝对值最大的维度作为该维度的第一参考维度，容差0.05即为该维度的第一容差。

此时，获取到的第一参考维度中均为压缩前后有效信息点损失较小的维度，通过第一参考维度结合趋势分布模型可以在压缩过程中较好地保留每个维度的趋势分布特征，减小每个维度的有效信息点的损失。

至此，获取到了每个维度的第一参考维度，用于后续对每个维度的当前监控数据进行压缩，同时最大程度地减小每个维度的当前监控数据中的有效信息点的损失。

步骤S005、根据每个维度的第一参考维度及相应的趋势分布模型，获取每个维度中每个时刻的拟合权重，结合旋转门算法完成压缩。

需要说明的是，获取到每个维度的第一参考维度后，根据每个维度与第一参考维度的趋势分布模型，以及每个维度的当前监控数据压缩后的待拟合数据，获取每个待拟合数据的拟合权重，通过拟合权重进行曲线拟合，将传统旋转门压缩算法中的直线替换为拟合曲线，以提高对于有效信息点的保留程度。

具体的，以第

具体的，以第

其中，

进一步的，按照上述方法获取第

至此，本发明根据长期历史监控数据来量化得到多个维度监控数据之间的趋势分布模型，通过短期历史监控数据确定有效信息数据点来获取在旋转门压缩前后数据的变化，进而得到不同维度的参考程度，并确定每个维度的第一参考维度；根据每个维度及第一参考维度的趋势分布模型来计算每个数据段中每个数据点在曲线拟合过程中的拟合权重，进而进行自适应旋转门压缩处理；避免了传统的旋转门压缩算法中采用两个数据点之间的直线进行数据序列的代替，会极大的丢失趋势分布信息，通过采用曲线拟合的方式获取两个数据点之间的数据趋势分布，并获取每个数据点在曲线拟合过程中的拟合权重，实现在保证数据压缩率的同时，保证数据趋势分布信息的完整性，进而实现对物联网中的农作物监控数据的高效处理。

特别需要说明的是，本实施例在步骤S002中获取每个维度的关联维度时，可能存在某个维度与其他所有维度的皮尔逊相关系数的绝对值均不满足第一预设阈值条件，则对于该维度不存在关联维度，该维度不再参与后续综合差异性、有效信息点以及参考程度计算，压缩时直接采用传统的旋转门算法对该维度的当前监控数据进行压缩，采用的容差为本实施例设置的容差，大小为0.3。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。