一种基于强化学习的无极变频泵房节能降耗方法

技术领域

本发明涉及自来水送水技术领域，尤其涉及基于强化学习的无极变频泵房节能降耗方法。

背景技术

城镇自来水厂的能源消耗主要以电能形式呈现，其中电能消耗的约30％～50％为送水泵房的水泵电耗。送水泵用于将贮水池中的清水加压到城镇供水管网中，使其能以一定压力达到千家万户，满足居民的用水需求。在我国碳达峰碳中和、节能减排的大战略下，降低自来水厂送水泵的运行电耗具有重要意义。

目前自来水厂降低送水泵房能耗的主要通过以下两种方式：

1.在电力配置端使用节能器件，降低输配环节的电能损耗。

2.采用效率更高的水泵及电机，降低恒压送水环节的电能损耗。

以上两种节能方式均能有效降低能耗，但囿于理论上界的约束，效率提升幅度较小，一般在20％以内。目前通过优化泵房控制系统降低能耗的方法较少，且均是进行简单的水泵运转调度、变频恒压送水的

尚未出现使用强化学习结合无极变频技术进行自来水厂送水泵房节能降耗的方法。

发明内容

本发明的目的是为了解决现有技术中存在的缺陷，而提出的基于强化学习的无极变频泵房节能降耗方法。

为了实现上述目的，本发明采用了如下技术方案：

一种基于强化学习的无极变频泵房节能降耗方法，包括以下步骤：

步骤一：建立供水管网拓扑结构；

步骤二：收集供水管网上数据、并进行清洗与预处理；

步骤三：建立学习模型，并将步骤二中获得的供水管网数据输入值模型中，进行学习模型预训练；

步骤四：对模型建立奖惩制度，强化学习模型在线训练和运行；

步骤五：通过工控机生成现状调度方案，获得反馈数据后，PLC基于反馈数据使用PID差分计算方法进行逻辑运算，再负反馈进行频率控制，实现PID无极变频控制恒压供水。

进一步地，用于步骤一中，对供水管网进行测绘和统计后，结合地理信息建立管网拓扑结构，其中，拓扑结构将供水零部件中的管段和管节抽象作为水力组件。

进一步地，用于步骤二中，数据收集依托安装在供水管网上的传感终端及超声波流量终端，其中，传感终端及超声波流量终端将压力与流量数据回传到中控服务器。

进一步地，用于步骤二中，所述压力终端安装密度为每2-4km主管(DN110及以上)安装一个终端，流量终端由供水分区情况确定。

进一步地，用于步骤二中，所述中控服务器通过滤波、去噪与模式识别，对压力与流量数据进行初步提取特征向量，随后，将特征向量存储在服务器的消息队列中，供后续模型的使用与工作。

进一步地，用于步骤三中，获得的供水管网数据包括但不限于输出压力、终端压力、节点流量、日期和时间。

进一步地，用于步骤四中，运行后，先输入前一时间片段的所有压力数据，并确定随后一时间片段的恒压值，其中，在后一时间片段，收集供应区反馈的数据，对强化学习模型进行惩罚或奖励，惩罚或奖励的规则为：

若终端水压与最佳水压区间有所偏离，则对模型进行惩罚，在运行期间持续上述在线训练过程；

反之，则进行奖励。

进一步地，用于步骤五中，PID无极变频控制的硬件部分包括但不限于变频器、可编程控制器(PLC)、接触器控制柜与工控机，其中，所述工控机用于生成现状调度方案和控制PLC获得最佳变频频率，再由变频器拖动电动机的方式发挥作用。

进一步地，用于步骤五中，在无极变频的每个时间片段，供应区的传感终端会反馈压力及流量，变频器会反馈现状电机频率，PLC按照上述两个信号使用PID差分计算方法进行逻辑运算，再负反馈进行频率控制，在一个时间片段内实现恒压供水。

相比于现有技术，本发明的有益效果在于：

1、降低自来水厂运行电耗，降低自来水生产成本；

2、有效稳定用水终端压力，提升供水质量；

3、降低管网综合运行压力，降低漏损率，节约水资源；

4、利用终端传感器的压力和流量数据，利用强化学习模型学习供水区的用水特性(时间、用量分布)，通过优化控制模式降低送水泵房的能耗，将原有“出厂恒压送水”变为“终端恒压供水”，结合无极变频技术，优化调度模式，使水泵始终运转于最优效率区间。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明提出的基于强化学习的无极变频泵房节能降耗方法的逻辑图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

在本实施例中：吨水电耗为供应一吨水所消耗的电能。

公式为

其中，γ＝0.00272为水能转换常数，η

因此，在不改变硬件设施的情况下，只有降低瞬时出水压力p

综上，本调度算法的直接优化目标为：在保证供水网络所有节点均满足市政压力要求的前提下，尽可能调低出厂水恒压值。

参照图1，基于强化学习的无极变频泵房节能降耗方法，包括以下步骤：

步骤一：建立供水管网拓扑结构；

具体的，对供水管网进行测绘和统计后，结合地理信息建立管网拓扑结构，其中，拓扑结构将供水零部件中的管段和管节抽象作为水力组件。

步骤二：收集供水管网上数据、并进行清洗与预处理；

具体的，数据收集依托安装在供水管网上的传感终端及超声波流量终端，其中，传感终端及超声波流量终端将压力与流量数据回传到中控服务器。

步骤三：建立学习模型，并将步骤二中获得的供水管网数据输入值模型中，进行学习模型预训练；

具体的，获得的供水管网数据包括但不限于输出压力、终端压力、节点流量、日期和时间。

步骤四：对模型建立奖惩制度，强化学习模型在线训练和运行；

步骤五：通过工控机生成现状调度方案，获得反馈数据后，PLC基于反馈数据使用PID差分计算方法进行逻辑运算，再负反馈进行频率控制，实现PID无极变频控制恒压供水。

具体的，PID无极变频控制的硬件部分包括但不限于变频器、可编程控制器(PLC)、接触器控制柜与工控机，其中，所述工控机用于生成现状调度方案和控制PLC获得最佳变频频率，再由变频器拖动电动机的方式发挥作用。

更具体的，在无极变频的每个时间片段，供应区的传感终端会反馈压力及流量，变频器会反馈现状电机频率，PLC按照上述两个信号使用PID差分计算方法进行逻辑运算，再负反馈进行频率控制，在一个时间片段内实现恒压供水。

在本申请的具体实施例中，用于步骤二中，所述压力终端安装密度为每2-4km主管(DN110及以上)安装一个终端，流量终端由供水分区情况确定。

在本申请的具体实施例中，用于步骤二中，所述中控服务器通过滤波、去噪与模式识别，对压力与流量数据进行初步提取特征向量；

将特征向量存储在服务器的消息队列中，供后续模型的使用与工作。

在本申请的具体实施例中，用于步骤四中，运行后，先输入前一时间片段的所有压力数据，并确定随后一时间片段的恒压值，其中，在后一时间片段，收集供应区反馈的数据，对强化学习模型进行惩罚或奖励，惩罚或奖励的规则为：

若终端水压与最佳水压区间有所偏离，则对模型进行惩罚，在运行期间持续上述在线训练过程；

反之，则进行奖励。

为了更好的理解本发明的技术方案，以下结合实验进一步说明。

实验场景：位于四川省某水务公司，该公司下辖两个自来水厂，供水主管网长度128km，装有管道压力监测站51套，管道流量计2套，耗电功率计5套。

实验内容：监测管道压力、噪声及出厂流量情况。

实验数据所用数据集、测试环境由该公司提供。

实测结果显示：本算法对于送水泵房的平均能耗降低14.3％，其中日间能耗降低5.8％，夜间能耗降低29.2％。

由上述可知，通过改变送水泵控制模式的方法，将原有“出厂恒压送水”变为“终端恒压供水”。结合供应区的用水情况及管道监测数据的反馈，使用该强化学习模型，通过无极变频技术调节送水泵的出厂压力，使水泵工作在最佳运行模式中，达到节能降耗的目的。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。