一种管网供水流量优化控制方法及系统

技术领域

本发明涉及热力站一次管网供水流量优化控制算法技术领域，尤其涉及一种基于深度学习和强化学习的热力站一次管网供水流量优化控制算法。

背景技术

集中供热系统由热源、热力站、热用户三部分构成，三者之间通过供热管网连接。热源管网上安装有循环水泵负责一次网内的热水循环，通常一个热源连接多个热力站。来自热源的热水通过热力站的换热器将热量转换到二次管网，最终到达热用户端。在一次管网与二次管网上均安装有温度传感器、压力传感器，负责检测管网的运行状态。针对不同的热用户提供合理的热量，实现热量的按需分配和均匀分配协调统一。

我国集中供热规模不断扩大，单个城市供热总面积达到数千万平方米甚至数亿平方米，并趋于采用多源网络互补运行模式，提高供热可靠性和灵活性。在热源方面，热电联产机组种类繁多，各种容量的热水锅炉，也逐渐开始使用工业余热锅炉，地热、太阳能、风能供热等作为补充。在大中城市供热生产过程中，面对庞大而复杂的多热源供热系统，供热企业需要平衡供热安全性、可靠性、环保性、舒适性和经济性等矛盾因素，这就提出了一个挑战。供热系统规划设计和调度运行的重大挑战，迫切需要采用现代、科学、智能化的方法，在系统工程水平上提高供热生产技术水平。

随着工业技术的不断发展，集中供热方式在我国得到了广泛的应用，基于深度学习和强化学习算法并调节控制器，实现热量与按需分布的均匀分布目标，节约成本，减少能源浪费，取得能源消耗的最小化。

发明内容

本发明的目的在于提供一种管网供水流量优化控制方法及系统，可以通过更少的能量得到更加舒适的环境，提高了热量的利用效率，降低了测量成本，可以解决背景技术中的问题。

为了解决上述技术问题，本发明提供的管网供水流量优化控制方法及系统的技术方案具体如下：

第一方面，本发明实施例公开了一种管网供水流量优化控制方法，所述方法包括以下步骤：

步骤1：设置数据采集系统，包括一次侧供热管网温度采集、一次侧供热管网流量采集、热力站瞬时热量采集、热负荷拟合；

步骤2：建立热力站热负荷预测模型、热力站供热量模型和热力站一次侧供水流量优化控制模型；

步骤3：将采集得到的数据送入热力站热负荷预测模型、热力站供热量模型和热力站一次侧供水流量优化控制模型中得到对应输出值；

步骤4：将模型输出的优化值送入锅炉控制器和一次网管阀门控制器对相应的设备进行调节。

在上述任一方案中优选的是，所述设置数据采集系统包括一次管网流量传感器、一次管网温度传感器、一次管网瞬时热量传感器和服务器，一次管网温度传感器、一次管网瞬时热量传感器采集热力站中一次管网温度、瞬时热量实时数据传输至服务器，一次管网流量传感器采集热力站流量至服务器。

在上述任一方案中优选的是，所述服务器包括深度学习热负荷预测、热力站建模算法和强化学习一次管网供水流量优化控制算法。

在上述任一方案中优选的是，所述供热系统采集一次管网瞬时热量传感器，通过中国天气网采集室外温度和室外风速数据，将得到的数据传输到热负荷预测模型，得到热负荷的预测值。

在上述任一方案中优选的是，通过深度学习模型，将一次管网瞬时热量传感器采集的数据拟合成热负荷数据，将中国天气网采集室外温度和室外风速数据以及拟合的热负荷数据送入热负荷预测模型中，输出未来的热负荷值。

在上述任一方案中优选的是，所述优化控制算法利用传感器、供热量模型、热负荷模型得到优化后的未来一次管网瞬时流量。

在上述任一方案中优选的是，在步骤2中，先使用历史数据，对神经网络进行训练，调节参数达到精度最高，将神经网络封装成.h5模型文件，并将模型文件放入强化学习中的环境体中，在强化学习优化控制模型中，通过历史数据训练强化学习模型，强化学习算法通过与环境进行交互逐渐得到优化的供水流量值。

在上述任一方案中优选的是，所述热力站热负荷预测模型、热力站供热量模型和热力站一次侧供水流量优化控制模型得到的未来时刻得供热量值和未来时刻得一次管网供水流量值,通过传输协议送到锅炉控制器和阀门控制器，锅炉控制器通过燃煤量控制总供热量，阀门控制器通过调节阀门开度控制一次管网供水流量。

在上述任一方案中优选的是，所述热力站热负荷预测模型和热力站供热量模型包括热负荷、供热量预测的方法，所述热力站热负荷预测模型采用时间卷积网络，数据先进入膨胀卷积获取多的输入特征，在膨胀卷积后引入ReLU函数使其变为非线性；所述的热力站供热量模型采用长短期记忆，数据通过LSTM实现预测，通过遗忘门的sigmoid激活函数后对信息进行筛选，进入输入门的sigmoid激活函数确定哪些信息需要更新，通过tanh函数创建一个新的备选值，用来更新细胞状态，Cell状态更新的过程为将旧状态与遗忘门输出的状态值相乘，再与输入门中输出值得乘积相加得到新状态值，通过sigmoid函数后与经过了tanh函数的cell的新状态值进行相乘，最终通过输出门得到最终输出值。

在上述任一方案中优选的是，所述热负荷预测模型采用时间卷积网络(TemporalConvolutional Network,TCN)。即数据先进入膨胀卷积获取多的输入特征，在膨胀卷积后引入ReLU函数使其变为非线性，设置强制规范化规范隐含层输入以此抵消梯度爆发的问题。为了防止过拟合，通过dropout引入正则化。由于输入通道宽度和输出通道宽度不同，因此使用卷积调整张量的宽度，输出最终的预测数据。

在上述任一方案中优选的是，所述的热力站供热量模型采用长短期记忆(LongShort-Term Memory,LSTM)，即数据通过LSTM的各种门实现预测。通过遗忘门的sigmoid激活函数后对信息进行筛选，进入输入门的sigmoid激活函数确定哪些信息需要更新，通过tanh函数创建一个新的备选值，用来更新细胞状态。Cell状态更新的过程为将旧状态与遗忘门输出的状态值相乘，再与输入门中输出值得乘积相加得到新状态值。通过sigmoid函数后与经过了tanh函数的cell的新状态值进行相乘，最终通过输出门得到最终输出值。

在上述任一方案中优选的是，所述的模型采用热力站一次管网供水流量优化控制算法模型采用DPPO算法。DPPO(Distributed ProximalPolicy Optimization)简单来说是多线程并行版的PPO，PPO算法利用新策略和旧策略的比例，限制新策略的更新幅度。DPPO的副网络有自己独立的环境，副网络在不同的环境中收集数据，再交由主网络来更新。将负责收集数据的副网络看作一类，将负责更新网络参数和采取动作的主网络看作一类，分别设置一个内部标识。一开始主网络的标识为False，副网络的为True，此时副网络收集数据；当数据收集到一定数量时，将副网络标识设为False，主网络的设为True，此时主网络更新；主网络更新完毕后，将自己的标识设为False，将副网络的设为True。不断重复以上步骤就可以让收集数据和更新网络两个步骤交替进行。

本发明与现有技术相比，具有如下有益效果：

本申请将深度学习和强化学习结合解决一次管网供水流量优化控制，使热力站可以通过更少的能量得到更加舒适的环境，提高了热量的利用效率，降低了测量成本；由模型得到的值，通过传输协议传输到锅炉控制器和阀门控制器，通过控制器调节状态，不需要人工调节，实现自动化，也避免了安全隐患；通过深度学习得到未来时刻供热量数据，通过强化学习得到未来时刻一次管网供水流量，这两个未来时刻的状态量同时作用可以使热力站的一次侧供水流量序列变得更加准确。

第二方面，一种管网供水流量优化控制系统，包括：

数据采集模块，用于设置数据采集系统，包括一次侧供热管网温度采集、一次侧供热管网流量采集、热力站瞬时热量采集、热负荷拟合；

建立模块，用于建立热力站热负荷预测模型、热力站供热量模型和热力站一次侧供水流量优化控制模型；

处理模块，用于将采集得到的数据送入热力站热负荷预测模型、热力站供热量模型和热力站一次侧供水流量优化控制模型中得到对应输出值；

优化模块，用于将模型输出的优化值送入锅炉控制器和一次网管阀门控制器对相应的设备进行调节。

本发明与现有技术相比，具有如下有益效果：通过深度学习得到未来时刻供热量数据，通过强化学习得到未来时刻一次管网供水流量，这两个未来时刻的状态量同时作用可以使热力站的一次侧供水流量序列变得更加准确。

附图说明

附图用于对本发明的进一步理解，与本发明的实施例起用于解释本发明，并不构成对本发明的限制。

图1是本发明一种管网供水流量优化控制方法系统优选实施例的整体结构示意图。

图2是本发明一种管网供水流量优化控制方法系统优选实施例的供热系统整体结构示意图。

图3是本发明一种管网供水流量优化控制方法系统优选实施例中热负荷预测所使用的时间卷积网络(TCN)结构示意图。

图4是本发明一种管网供水流量优化控制方法系统优选实施例中热力站供热量预测使用的长短期记忆(LSTM)结构示意图。

图5是本发明一种基于深度学习和强化学习的热力站一次侧流量优化控制算法系统优选实施例中一次管网供水流量优化控制使用的分布式近端策略优化(DPPO)结构示意图。

图6是本发明一种管网供水流量优化控制方法系统优选实施例中模型与控制器结合整体结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种管网供水流量优化控制方法，包括如下步骤：

步骤一，设置数据采集系统，其包括一次侧1号到n号管网流量传感器、一次侧1号到n号管网温度传感器、一次侧1号到n号管网瞬时热量，一次1号到n号管网温度传感器、一次1号到n号管网瞬时热量传感器采集各个热力站中一次管网温度、瞬时热量实时数据传输至服务器，一次1号到n号管网流量传感器采集各个热力站流量至服务器，服务器包括深度学习热负荷预测、热力站建模算法和强化学习一次管网供水流量优化控制算法；

步骤二，开启供热系统，采集一次1号到n号管网瞬时热量，通过中国天气网采集室外温度和室外风速数据，将得到的数据传输到热负荷预测模型，得到热负荷的预测值；

步骤三，采集一次1号到n号管网流量传感器、一次1号到n号管网温度传感器以及通过中国天气网采集室外温度数据，将得到的数据传输到供热量模型和一次管网供水流量优化控制模型，通过供热量模型可以得出未来供热量的状态值，通过一次管网供水流量优化控制模型得到未来一次管网供水流量的优化值；通过深度学习模型，将一次1号到n号管网瞬时热量传感器采集的数据拟合成热负荷数据，将中国天气网采集室外温度和室外风速数据以及拟合的热负荷数据送入热负荷预测模型中，输出未来的热负荷值；所述优化控制算法利用传感器、供热量模型、热负荷模型得到优化后的未来一次管网瞬时流量。

为了更好地理解上述技术方案，下面将结合说明书附图及具体实施方式对本发明技术方案进行详细说明。

实施例：

一种管网供水流量优化控制方法，包括如下步骤：

步骤一，设置数据采集装置，请参看图2，其中，在每个热力站中安装热量传感器，在每个热力站与一次管网的连接处安装温度传感器和流量传感器。热量传感器采集通过热力站的热量，温度传感器采集流经一次管网水的温度，流量传感器采集流经一次管网水的流量。请参看图1，是本发明一种管网供水流量优化控制方法优选实施例的整体结构示意图，包括中国天气网API数据采集、传感器数据采集、锅炉控制器控制、阀门控制器控制和深度、强化学习模型。

步骤二，将传感器采集的数据和中国天气网API获取的数据送入tensorflow建立的时间卷积网络模型，请参看图3，输入模型维度为[1,24,4]，其中24表示一天的24小时数据，4表示输入的是4个不同特征的数据，分别为当天的室外温度，下一天的室外温度、当天的室外风速和当天的热负荷数据。将数据输入进模型中将得到维度为[24,1]的数据，24为一天的24小时数据，1为模型预测的热负荷数据。

步骤三，将传感器采集的数据和中国天气网API获取的数据送入tensorflow建立的长短期预测模型中，请参看图4，输入模型数据维度为[1,24,3]，其中24表示一天的24小时数据，3表示输入的是3个不同特征的数据，分别为当天热力站一次管网供水流量、当天热力站一次管网供水温度以及下一天室外温度。将h(t-1)和x(t)送入遗忘门，经过sigmoid激活函数后对信息进行筛选。输入门的作用有两个，其中一个是h(t-1)和x(t)进入门后，通过sigmoid激活函数确定哪些信息需要更新。另一个是h(t-1)和x(t)通过tanh函数创建一个新的备选值g(t)，用来更新细胞状态。Cell状态更新的过程为将旧状态与遗忘门输出的f(t)相乘，再与输入门中输出的i(t)和g(t)的乘积相加得到新状态值。输出门输出最终的值，过程为h(t-1)和x(t)通过sigmoid函数后与经过了tanh函数的cell的新状态值进行相乘，得到最终输出值。最终输出的值的维度为[24,1],其中24为下一天24小时的数据，1为预测的热力站供热量模型。将得到的未来时刻的供热量值通过传输协议传输到锅炉控制器中，锅炉控制器通过得到的数据控制锅炉产热，减少能量损失。

步骤四，将热负荷模型输出的未来时刻的热负荷值和热力站供热量模型输出的未来时刻的供热量值在强化学习环境中进行目标函数和奖励函数的计算，使用pytorch建立一次管网供水流量优化控制模型。请参看图5，输入模型的维度为[10，24]，其中10表示10个热力站，24表示一天的24小时数据，s表示一次管网供热量的状态，action表示一次管网供水流量。将环境信息中的s输入到actor-new网络，得到两个值mu，sigma，然后将这两个值分别当作正态分布的均值和方差构建正态分布，然后通过这个正态分布sample出来一个action，再输入到环境中得到奖励r和下一步的状态s_，然后存储[(s,a,r),s_],再将s_输入到actor-new网络，循环步骤，直到存储了一定量的[(s,a,r),…]，此过程中不更新actor-new网络。将循环完最后一步得到的s_输入到critic-NN网络中，得到状态的v_值，然后计算折扣奖励，计算公式如下：

本申请将深度学习和强化学习的技术用于热力站优化中，使热力站可以达到按需供热和均匀供热的要求，提高了热量的利用效率，降低了成本；通过传感器采集数据，将其放入模型得到优化的供热量值和一次管网瞬时热量值。得到的供热量值可以更好的指导热源的产热量，减少的能源的浪费。得到的一次管网供水流量值能直接通过控制器控制阀门开度，更好的解决每个热力站的热量分配问题，提高了热量使用率，减少了资源的浪费。

第二方面，一种管网供水流量优化控制系统，包括：

数据采集模块，用于设置数据采集系统，包括一次侧供热管网温度采集、一次侧供热管网流量采集、热力站瞬时热量采集、热负荷拟合；

建立模块，用于建立热力站热负荷预测模型、热力站供热量模型和热力站一次侧供水流量优化控制模型；

处理模块，用于将采集得到的数据送入热力站热负荷预测模型、热力站供热量模型和热力站一次侧供水流量优化控制模型中得到对应输出值；

优化模块，用于将模型输出的优化值送入锅炉控制器和一次网管阀门控制器对相应的设备进行调节。

本发明与现有技术相比，具有如下有益效果：通过深度学习得到未来时刻供热量数据，通过强化学习得到未来时刻一次管网供水流量，这两个未来时刻的状态量同时作用可以使热力站的一次侧供水流量序列变得更加准确。

以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。