一种用于软测量建模的数据去噪方法

技术领域

本发明专利涉及一种用于软测量建模的数据去噪方法，该方法在数据去噪和软测量建模中具有重要的应用前景。

背景技术

在复杂的工业过程中，为了实现对系统运行的优化，实现对运行成本的控制，扩大工业工厂的经济效益，实时监管工业运行系统的关键变量成为企业的重中之重。目前，大多数的过程变量及质量参数继续沿用传统的监测思路，即通过研发新型的硬件仪器进行在线测量，但是在线监测的设备和仪器往往造价昂贵，不利于维护。此外，监测仪器的研制涉及诸多研究方面，同时受到仪器使用环境的限制。另一方面，大多数现有的过程变量无法用硬件仪器进行测量。近些年来，对于这类过程变量，控制检测领域出现了一种新技术---软测量技术，极大的解决了这个难题。该技术通过一定的学习算法，构建一种辅助变量与关键变量的数学模型。通过构建的数学模型模型能够间接得到关键变量的值，从而为企业监管工业系统提供数据保障，进而提升工业生产效益。

随着分布式控制系统(DCS)在工业上的应用，大量的历史数据被传感器采集和记录，通常这些数据在软测量技术中可被称为辅助变量。由于在工业系统运行期间，获取的数据数量越来越大，数据的形式也越来越复杂，这些辅助变量的维度也越来越高，而这些高维数据包含许多与关键变量没有相关性的特征，与此同时在收集数据过程中，也会容易产生一些异常数据和各种白噪声数据。这些数据的存在会大大的影响辅助变量特征识别的效率和精度。因此，在使用辅助变量进行构建软测量模型前需要先进行选择和去噪处理。

发明内容

高质量的数据往往能够在软测量建

为此，本发明采用如下的技术方案：

一种用于软测量建模的数据去噪方法，包含以下步骤：

步骤1：从高维过程变量中确定用于软测量建模中的辅助变量；从工业现场采集并收集数据，建立数据集；软测量模型的建立需要多个辅助变量，一般软测量模型的输入为辅助变量，输出为关键变量；假设软测量模型为y＝f(X)，其中y为预测的关键变量，X'是从大量的过程变量X中通过主成分分析(Principalcomponentanalysis，PCA)降维并进行归一化后的数据。

其中PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于数据的主要特征分量，常常用于高维数据的降维。

步骤2：构建软阈值去噪自动编码器，用于对降维后的数据进一步清洗，清洗数据中异常信息和各种噪声信息。在自编码器重构数据的过程中，对PCA降维后的数据通过自编码器的编码器进行高级编码，通过软阈值模块对编码后的数据进行降噪，然后通过自编码器的解码器进行重构。具体的软阈值去噪自编码器如附图1所示；详细具体构建过程在步骤2.1,步骤2.2和步骤2.3进行说明：

步骤2.1：构建自编码器中的编码器；本发明由两层全连接网络构成，并且在每一层使用L2正则化，编码器可以表示为：

通过映射函数f将PCA处理后的数据X'映射到隐藏层表示X

X

其中f为激活函数，在本发明中采用RELU激活函数；W1，W2,B1,B2分别为编码器第一层第二层网络的权值和偏置；最终X

步骤2.2：构建软阈值去噪模块；去噪模块主要由软阈值函数构成，软阈值函数可以定义为：

其中B为N维变量，在本发明中B作为自编码器中编码器的输出X

通过将X

α＝δ*average|X

步骤2.3：构建自编码器的解码器；为了考虑自编码的编-解码架构，本发明中自编码器的解码器同样使用对称结构，采用两层全连接神经网络，为保持编码器输入维度和输出维度相同，则神经元数量的设置为编码器对称，每一层同样使用L2正则化，其解码器可以被定义为：

X

其中同样采用RELU激活函数，X

步骤3：训练软阈值去噪自编码器，软阈值去噪自编码器的训练计算最小重构损失通过BP算法自动调节阈值来达到去噪的功能，其最小重构损失误差函数为：

步骤4：进行去噪方法可行性验证，为了验证该方法有着较好的去噪能力，首先随机生成具有三种模态呈现非线性的无噪声数据，在其中加入高斯噪声，构成新的有噪声数据集，通过步骤1，步骤2和步骤3构建并训练软阈值去噪自编码器，通过训练完成后软阈值去噪自编码器得到该数据集下编码器的输出X

步骤4.1：构建验证噪声数据集；生成了包含三种模态的990个样本作为训练集用于对比模型训练，生成110个样本作为测试集用于模型性能测试；具体关系如下表所示：

步骤4.2：通过步骤2和步骤3构建并训练软阈值自编码器,得到去噪后高质量的数据集；其中自编码器的神经元设置[3,10,10,3]，通过步骤3进行训练，训练的epoch为300，得到编码器中间层的输出，即X

步骤4.3：得到X

上述公式中n为样本总数，为第i个样本的预测值，为第i个样本的预测值，为真实数据的平均值，通过验证发现这种编-解码架构的软阈值去噪自编码器能够很好的改变原始数据的质量，验证结果如下：

附图说明

图1是本发明中软阈值去噪自编码器的结构图

图2是本发明中发电厂工业流程图

图3是本发明实施案例中各指标结果对比的直方图

具体实施方式

下面结合附图和实施例对本发明进一步说明：

一种用于软测量建模的数据去噪方法，包含以下步骤：

步骤1：采集数据集进行PCA降维；实验数据来源于国内某火力发电厂过程数据，火力发电是生产和生活用电的主要来源。火力发电的流程是原料加热产生的水蒸气促使汽轮机旋转，进而产生电能。因此蒸汽量是发电厂的监控的重要指标，直接影响着产生电能的多少。图2给出了发电厂工业流程图，面对发电厂复杂的工艺流程，蒸汽量的直接测量成为了一大难题，唯一的直接测量方法采用蒸汽流量计来测量，但因其测量环境的限制导致测量结果不准确。传统的方法是根据人工经验和理论知识分析得到，这种方法需要耗费大量的时间成本和需要专业的工程师，增加企业成本。利用软测量技术可以间接得到蒸汽量的值，但是火力发电是一个高度复杂的工业过程。

在这过程中具有38个过程变量，其中包括：V0:锅炉床压，V1:锅炉床温，V2:给水水量，V3:返料风，V4:二次给风量，V5:炉膛温度，V6:过热器温度，V7:炉膛压力等等。共收集2886条的历史数据，通过PCA降维，得到用于软测量建模的20个辅助变量。

步骤2：构建软阈值去噪自动编码器；详细具体构建该数据集下的软阈值去噪自编码器过程在步骤2.1，步骤2.2和步骤2.3进行说明：

步骤2.1：构建自编码器的编码器，由于共有20个辅助变量，因此自编码器的输入为20，采用两层全连接，经过试错后，将两层全连接的神经元设置为[20,5]，每一层使用L2正则化，采用RELU激活函数，得到X

步骤2.2：构建软阈值去噪模块；编码器的输出为[None,5]，因此构建软阈值去噪模块中计算阈值的感知机的神经元设置为5，通过将X

步骤2.3：构建自编码器的解码器；为了尽可能保留信息，为了重构损失误差在构建解码器时采用对称结构，神经元设置为[5,20],分别在训练集和测试集计算X

步骤3：训练软阈值去噪自编码器，通过最小重构损失误差BP训练，采用Adam优化器，epoch设置为300；得到软阈值去噪后的高质量数据；

步骤4：去噪效果验证；将蒸汽量数据集去噪后X

图3给出了各指标的对比结果，通过对比发现软阈值去噪自编码器能够去除数据噪声信息，分别对比了PLSR，SVR和ANN简单回归器，发现图中显示数据经过软阈值自编码器去噪后再进行软测量建模时误差更小，其中回归模型为PLSR时，原始数据最终的R