一种监测数据处理方法

技术领域

本发明属于工程监测技术领域，尤其涉及一种监测数据处理方法。

背景技术

目前的工程监测领域越来越多项目使用自动化监测，自动化监测具有实时高效的特点，深受广大第三方监测单位的欢迎，然而自动化监测广泛存在传感器数据丢包、设备受现场环境影响出现异常不工作数据不完整等问题，从而让技术人员无法判断或错误判断现场监测项目稳定性及安全性的情况。

发明内容

本发明的目的在于提供一种监测数据处理方法，依据自动化监测项目中的监测数据，通过采用神经网络算法来进行数据训练、自生成及数据比对，从而实现监测数据中至少10％数据的缺失自生成填充的目的。

本发明的目的可以通过以下技术方案实现：

本申请实施例提供了一种监测数据处理方法，包括如下步骤：

S1，获取监测数据并进行样本选择与样本分类；

S2，采用神经网络算法对所述监测数据进行训练，获取训练模型；

S3，根据所述训练模型进行数据拟合，获取拟合数据；

S4，根据所述拟合数据对缺失数据进行重构。

优选的，在所述监测数据中选择振动频率和温度作为训练样本，将振动频率测量值设为x，将温度测量值设为y。

优选的，根据所述训练样本生成样本数据集并将其划分为训练组和测试组；其中，训练组数据与测试组数据的比值为7:2。

优选的，在所述步骤S2中根据所述神经网络算法依次确定输入层、隐藏层和输出层；其中，将所述隐藏层的数量设置为十个，且其数量根据所述输出层输出的数据效果进行动态调整；所述输入层为一个1*2的矩阵。

优选的，将所述输入层设置为(x

H＝(x

其中，H为输入层函数；W

优选的，在所述隐藏层到所述输出层之前设置第一激活函数，所述第一激活函数的计算公式为：

其中，x为所述输入层函数。

优选的，经过所述第一激活函数计算后输出最终值，其位于为(0,1)区间内；将经过所述第一激活函数计算后的所述输入层函数输入至所述输出层，其计算公式为：(x

其中，输入层函数H为2*10的矩阵，W

优选的，在所述输出层设置第二激活函数，其公式表示为：

其中，zi表示第i个节点的输出值；C表示输出节点的个数；

其中，C设置为两个。

优选的，引入交叉熵损失函数计算所述第二激活函数的损失值，获取交叉熵损失值；所述交叉熵损失函数的表达式为：

根据所述交叉熵损失值对模型参数进行优化，当所述交叉熵损失值无限接近于0时，结束训练；

其中，所述模型参数包括：所述第一权重因子、所述第二权重因子、所述第一修正值和所述第二修正值。

优选的，所述测试组数据用于进行数据拟合；

其中，采用均方差表示所述拟合数据与所述测试组数据之间的误差，所述均方差表示为：

其中，n表示用于测试的数据量，所述数据量小于等于所述测试组数据；

Y

本发明的有益效果为：

(1)本发明依据自动化监测项目中的监测数据，通过采用神经网络算法来进行数据训练、自生成及数据比对，从而实现监测数据中10％数据的缺失自生成填充的目的。

(2)本发明通过引入交叉熵损失函数来计算softmax函数的损失值，并且通过其优化模型参数，使得数据训练更加精准。

(3)本发明中训练组数据占全部数据的70％，主要用于调整神经网络的权重；测试组数据占全部数据的20％，主要用于依据神经网络进行数据拟合，从而生成拟合数据；通过训练组数据提高训练的准确性，通过测试组数据确认神经网络的实际拟合能力。

(4)本发明采用均方差MSE来表示和计算拟合数据与测试组数据之间的误差，如果该误差越小，则表示训练模型的拟合效果越好，通过最小化该均方差MSE来优化训练模型的参数。

附图说明

为了更好地理解和实施，下面结合附图详细说明本申请的技术方案。

图1为本申请实施例提供的一种监测数据处理方法的步骤流程图。

具体实施方式

为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法和系统的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

以下结合附图及较佳实施例，对依据本发明的具体实施方式、特征及其功效做详细说明。

请参阅图1，本申请实施例提供一种监测数据处理方法，包括如下步骤：

S1，获取监测数据并进行样本选择与样本分类；

S2，采用神经网络算法对监测数据进行训练，获取训练模型；

S3，根据训练模型进行数据拟合，获取拟合数据；

S4，根据拟合数据对缺失数据进行重构。

在本申请提供的一种实施例中，在所述监测数据中选择振动频率和温度作为训练样本，将振动频率测量值设为x，将温度测量值设为y。

进一步地，根据所述训练样本生成样本数据集并将其划分为训练组和测试组；其中，训练组数据与测试组数据的比值为7:2。

需要说明的是，在自动化监测项目中，数据丢失率大概在10％左右，由于自动化监测项目如果出现数据中断会有预警短信通知维护人员，维护人员可以及时进行维护处理并恢复正常的数据采集，所以数据丢失率被控制在10％左右。由于有90％的数据可用，则可采用神经网络算法来进行数据训练、自生成以及比对，从而达到10％数据的缺失自生成填充的目的。

本申请实施例以建筑工程项目中常用的力学振弦传感器为例，振弦传感器输出的数据为温度和振动频率，依据不同监测物体，根据振动频率和温度可以计算出不同结构物的受力值。因此首先对数据进行训练，设振动频率测量值为x，温度测量值为y，隐藏层的个数可以先设置为十个，隐藏层的个数依据输出层的最终数据效果做动态的调整。

在本申请提供的一种实施例中，在所述步骤S2中根据所述神经网络算法依次确定输入层、隐藏层和输出层；其中，将所述隐藏层的数量设置为十个，且其数量根据所述输出层输出的数据效果进行动态调整；所述输入层为一个1*2的矩阵。

进一步地，将所述输入层设置为(x

H＝(x

其中，H为输入层函数；W

进一步地，在所述隐藏层到所述输出层之前设置第一激活函数，所述第一激活函数的计算公式为：

其中，x为所述输入层函数。

需要说明的是，激活函数用于计算非线性化，如果都为线性数据，则无法得到训练数据的目的，经过第一激活函数计算之后的最终值为(0,1)区间，公式(2)中的x为公式(1)中的输入层函数H。

进一步地，经过所述第一激活函数计算后输出最终值，其位于为(0,1)区间内；将经过所述第一激活函数计算后的所述输入层函数H输入至所述输出层，其计算公式为：(x

其中，H为2*10的矩阵，W

进一步地，在所述输出层设置第二激活函数，其公式表示为：

其中，zi表示第i个节点的输出值，即公式(3)的输出值；C表示输出节点的个数，在本实施例中输出节点的个数C设置为两个。

进一步地，为了让训练更加精准，引入交叉熵损失函数计算所述第二激活函数的损失值，获取交叉熵损失值；所述交叉熵损失函数的表达式为：

根据所述交叉熵损失值对模型参数进行优化，当所述交叉熵损失值无限接近于0时，结束训练；

其中，所述模型参数包括：所述第一权重因子、所述第二权重因子、所述第一修正值和所述第二修正值。

在本申请提供的一种实施例中，所述测试组数据用于进行数据拟合；

其中，采用均方差表示所述拟合数据与所述测试组数据之间的误差，所述均方差表示为：

其中，n表示用于测试的数据量，所述数据量小于等于所述测试组数据；

Y

需要说明的是，交叉熵损失函数主要是为了优化神经网络运算的优劣，算出交叉熵损失值之后，开始优化模型参数，主要包括第一权重因子W

在本实施例中，训练组数据占全部数据的70％，主要用于调整神经网络的权重；测试组数据用于神经网络进行数据拟合从而生成拟合数据；该测试组数据不调整神经网络的权重，如果训练组数据的准确性提高，但测试组数据的准确性保持不变或降低，则说明神经网络过度拟合，应当停止训练；测试组数据仅用于测试最终解决方案，进而确认神经网络的实际拟合能力。

综上所述，本申请依据自动化监测项目中的监测数据，通过采用神经网络算法来进行数据训练、自生成及数据比对，从而实现监测数据中10％数据的缺失自生成填充的目的。

本申请通过引入交叉熵损失函数来计算softmax函数的损失值，并且通过其优化模型参数，使得数据训练更加精准。

本申请中训练组数据占全部数据的70％，主要用于调整神经网络的权重；测试组数据占全部数据的20％，主要用于依据神经网络进行数据拟合，从而生成拟合数据；通过训练组数据提高训练的准确性，通过测试组数据确认神经网络的实际拟合能力。

本申请采用均方差MSE来表示和计算拟合数据与测试组数据之间的误差，如果该误差越小，则表示训练模型的拟合效果越好，通过最小化该均方差MSE来优化训练模型的参数。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的算法步骤，能够以电子硬件，或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。