一种基于遗传算法的深度神经网络建模自变量降维方法

技术领域

本发明涉及脱硫系统技术领域，具体地涉及一种基于遗传算法的深度神经网络建模自变量降维方法。

背景技术

目前，在火力发电厂中，对烟气的脱硫是必不可少的一个环节。脱硫系统在运行过程中产生大量的运行数据，这些数据蕴含丰富的价值可供挖掘。而目前很多脱硫系统依然是靠运行人员凭经验对供浆量和浆液循环泵进行调节，其缺点是调节不及时、不精准。随着日益严格的环保要求，电站急需一套能够精准调节的脱硫智能控制系统。这种精准控制的系统需建立在数据驱动建模的基础上，因此对脱硫系统的历史数据进行深度学习既是环保的要求也是提高电站脱硫经济性的要求。

在现实生活中，实际问题很难用线性模型进行描述。神经网络的出现大大降低了模型建立的难度和工作量。只需将神经网络看成是一个黑箱子，根据输入与输出数据，神经网络依据相关的学习规则，便可以建立相应的数学模型。但是，当数学模型的输入自变量(即影响因素)很多、输入自变量之间不是相互独立时，利用神经网络容易出现过拟合现象，从而导致所建立的模型精度低、建模时间长等问题。因此，在建立模型之前，有必要对输入自变量进行优化选择，将冗余的一些自变量去掉，选择最能反映输入与输出关系的自变量参与建棋。

近年来，许多人对自变量压缩降维问题进行了深入的研究，取得了一定的成果。作为最常用的变量压缩方法，遗传算法已经在各种控制、信号处理、模式识别、金融证券、优化计算等诸多方面都得到了广泛应用。

发明内容

本发明所要解决的技术问题是提供一种基于遗传算法的深度神经网络建模自变量降维方法，解决了神经网络容易出现过拟合现象，从而导致所建立的模型精度低、建模时间长等问题，使得提高了所建立的模型精度，减少了建模时间，对输入自变量进行了优化选择，去除了冗余的自变量。

具体地，本发明旨在解决在现实生活中，实际问题很难用线性模型进行描述。神经网络的出现大大降低了模型建立的难度和工作量。只需将神经网络看成是一个黑箱子，根据输入与输出数据，神经网络依据相关的学习规则，便可以建立相应的数学模型。但是，当数学模型的输入自变量(即影响因素)很多、输入自变量之间不是相互独立时，利用神经网络容易出现过拟合现象，从而导致所建立的模型精度低、建模时间长等问题。因此，在建立模型之前，有必要对输入自变量进行优化选择，将冗余的一些自变量去掉，选择最能反映输入与输出关系的自变量参与建模。

通过本发明可以实现的技术目的不限于上文已经特别描述的内容，并且本领域技术人员将从下面的详细描述中更加清楚地理解本文中未描述的其他技术目的。

本发明解决上述技术问题的技术方案如下：

根据本公开的一方面，本发明提供一种基于遗传算法的深度神经网络建模自变量降维方法，所述方法包括：

S1：利用输入自变量建立深度网络预测模型；

S2：随机产生初始串结构数据，作为遗传算法开始迭代的初始点；

S3：计算遗传算法的适应度函数，针对每一个体计算适应度函数，以优化深度神经网络的权值和阈值；

S4：逐代演化优化问题的近似最优解；

S5：输出优化结果。

可选地，在如上所述的方法中，在S1中，基于全部可能与目标输出相关的输入自变量建立神经网络。

可选地，在如上所述的方法中，在S3中，适应度函数选取测试集的数据误差平方和的倒数。

可选地，在如上所述的方法中，S4包括选择、交叉、变异三个操作。

可选地，在如上所述的方法中，在S5中，所述优化结果包括筛选后的输入自变量与适应度函数进化曲线。

上述技术方案仅为本发明实施例的一些部分，本领域技术人员从以下本发明的详细描述中可以导出和理解包含了本发明的技术特征的各种实施例。

本领域技术人员将会理解，通过本发明可以实现的效果不限于上文已经具体描述的内容，并且从以下详细说明中将更清楚地理解本发明的其他优点。

附图说明

被包括以提供对本发明的进一步理解的附图示出本发明的实施例，并且与说明书一起用于解释本发明的原理。

图1为本发明实施例提供的一种基于遗传算法的深度神经网络建模自变量降维方法的示意图；

图2为本发明实施例提供的一种基于遗传算法的深度神经网络建模自变量降维方法的更具体细节的示意图；

图3为遗传算法优化深度神经网络的权值和阈值的实现过程；

图4为采用深度神经网络的脱硫系统运行参数预测输出示意图；

图5为采用深度神经网络的脱硫系统运行参数预测输出和期望输出的误差；

图6为本发明实施例提供的方法的种群适应度函数进化曲线。

具体实施方式

现在将详细参考本发明的示例性实施例，其示例在附图中示出。下面将参考附图给出的详细描述旨在解释本发明的示例性实施例，而不是示出可以根据本发明实现的唯一实施例。以下详细描述包括具体细节以便提供对本发明的透彻理解。然而，对于本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下实践本发明。

在一些情况下，已知的结构和设备被省略或以框图形式示出，集中于结构和设备的重要特征，以免模糊本发明的概念。在整个说明书中将使用相同的附图标记来表示相同或相似的部分。

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“中心”、“内”、“外”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

图1示出了本发明实施例提供的一种基于遗传算法的深度神经网络建模自变量降维方法的示意图。本发明提供一种基于遗传算法的深度神经网络建模自变量降维方法，所述方法包括：S1：利用输入自变量建立深度网络预测模型；S2：随机产生初始串结构数据，作为遗传算法开始迭代的初始点；S3：计算遗传算法的适应度函数，针对每一个体计算适应度函数，以优化深度神经网络的权值和阈值(具体地如图3所示)；S4：逐代演化优化问题的近似最优解；S5：输出优化结果。根据本发明的实施例，在S1中，基于全部可能与目标输出相关的输入自变量建立神经网络。根据本发明的实施例，在S3中，适应度函数选取测试集的数据误差平方和的倒数。根据本发明的实施例，如果深度神经网络的权值和阈值满足优化准则，则可以输出优化结果，不满足优化准则，则S4进一步包括选择、交叉、变异三个操作，然后返回S2以产生初始串结构数据(初始种群)。根据本发明的实施例，在S5中，所述优化结果包括筛选后的输入自变量与适应度函数进化曲线。根据本发明的实施例，在S5之后，本发明的方法还可以进一步包括训练神经网络，然后计算误差的步骤，如图2所示。

具体地，本发明的实施例采用浆液系统的供浆量，循环泵的工作负荷，前20s-40s的出口SO

步骤1，对热电站脱硫系统运行数据进行数据清理，剔除异常数据。对于排放浓度超标、测量参数不在正常范围内和突变的数据点需要识别剔除。

步骤2，对清理后健康的12000组机组运行数据中的11000组作为训练样本集，其余1000组数据作为测试样本集，并对训练样本集中的样本数据进行归一化处理。

步骤3，由训练样本集生成决策树，并用实时获取新的样本数据作为测试样本集中的数据校验决策树生成过程中产生的初步观测，将影响预测准确性的分枝剪除，选择合适的特征变量，得到运行参数预测模型的输入变量，包括浆液系统的供浆量、循环泵的工作负荷、20s-40s的出口SO

训练样本中通常包含很多变量，其中有些变量对预测输出的影响无关或很小，变量过多时，会导致神经网络很难正常工作，也会增加过拟合的可能性，因此，需要在BP神经网络训练前，根据预测输出对变量进行精简，选择合适的特征变量，确定BP神经网络的输入参数。本发明通过决策树提取最优的特征变量作为BP神经网络的输入参数，弥补BP神经网络无法有效确定输入参数的缺陷。

决策树网络是一种具有特定条件概率分布的有向图模型的简单形式。一般来说，可以将决策树玩过视为具有二值向量的状态s，其中状态的每个元素都受其祖先影响。决策树网络最常见的结构是被分为许多层的结构，其中原始采样通过一系列多个隐藏层进行，然后最终生成可见层。决策树构造可以分两步进行：第一步，决策树的生成：由训练样本集生成决策树的过程。第二步，决策树的剪枝：决策树的剪枝是对上一阶段生成的决策树进行检验、校正和修正的过程，主要是用新的样本数据集作为测试数据集中的数据校验决策树生成过程中产生的初步规则，将那些影响预测准确性的分枝剪除。本发明中决策树采用CART树算法剪枝。CART树的剪枝算法可以概括为两步，第一步是从原始决策树生成各种剪枝效果的决策树，第二部是用交叉验证来检验剪枝后的预测能力，选择泛化预测能力最好的剪枝后的数作为最终的CART树。

步骤4，以下一时刻的出口SO

BP神经网络(误差反向传播神经网络)是一种按误差反向传播算法训练的多层前馈神经络。BP神经网络的基本学习规则是使用梯度下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hidden layer)和输出层(output layer)。

本发明的BP神经网络选取一个隐含层的三层网络，输入层节点个数为4，输出层节点个数为1，隐含层节点个数为4～13个，隐含层采用logistic激活函数，输出层使用线性激活函数，代价函数为均方误差，训练方法采用BP算法。

BP神经网络的训练方法如下：给定输入变量，从输入层传递到隐含层，隐含层通过权值和激活函数将结果传递到输出层，输出层的结果与期望输出结果进行比较，当实际输出与期望输出出现误差时，再反向对神经网络权值进行反馈修正，直至误差值达到预设最小误差。

训练过程涉及一些比较重要的变量选择，比如学习效率，每次内循环迭代步数，训练结束判断标准如何确定，影响每次寻求最优值的迭代步长，初始值取值为0.1，为提高程序寻优速度，随着训练进行，逐步逼近最优解时每次循环根据误差判断标准，若此次比上次误差加大，学习效率取半值，降低步长，防止错过最优解。

在模型的预测阶段，选用一步预测的方式，即每次输出预测值y(t+1)后，在对y(t+2)进行预测时需要把实际观测值作为输入，以避免单次预测的不准确对之后预测的影响。

步骤5，对预测的结果进行评价分析，验证预测的有效性。

为了更全面的评价预测模型的性能，在预测模型训练后，需要从三个角度衡量模型对于短期SO

图4表明本发明基于决策树和BP神经网络的脱硫系统运行参数预测输出与真实测量值能较好的重合，而采用神经网络的脱硫系统运行参数预测输出存在较多异值点，与真实测量值有很多无法重合的点。图5表明发明基于决策树和BP神经网络的脱硫系统运行参数预测输出和期望输出的误差在0的上下波动较小，能很好的收敛，而采用神经网络的脱硫系统运行参数预测输出和期望输出的误差在0的上下波动很大，相对误差很大，无法很好的收敛。对比图5得出，本发明的基于决策树和BP神经网络的脱硫系统运行参数预测方法，在增加决策树方法后，预测模型的预测精度明显提高，通过曲线的振幅可以看出，决策树引入后能有效排除干扰噪声，是预测稳定性得到明显提高，预测性能大幅度提升，收敛效果更好，预测更为准确。图6示出本发明实施例提供的方法的种群适应度函数进化曲线。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

如上所述，已经给出了本发明的优选实施例的详细描述，以使本领域技术人员能够实施和实践本发明。虽然已经参照示例性实施例描述了本发明，但是本领域技术人员将会理解，在不脱离所附权利要求书中描述的本发明的精神或范围的情况下，可以在本发明中进行各种修改和改变。因此，本发明不应限于在此描述的特定实施例，而应被赋予与本文公开的原理和新颖特征一致的最宽范围。