时间同步误差感知的边端协同分布式能源调控方法及系统

技术领域

本发明涉及时间同步误差感知的边端协同分布式能源调控方法及系统，属于通信技术领域。

背景技术

目前，低碳智慧园区中部署大量的可再生能源、可控负荷和分布式储能等多能源主体，是实现碳减排、碳中和，以及绿色可持续发展的基本单元。然而，由于分布式资源如风电、光伏等属于间歇性能源，随机波动的分布式能源供给和负荷需求之间难以实现稳定的供需平衡，严重影响电网安全稳定运行。因此，亟需研究低碳智慧园区分布式能源调控方法,对分布式资源进行统一协同管理,以消除能源调度盲区,从而实现资源互补、时空关联，促进新能源消纳，确保电力稳定供应。

为支撑低碳智慧园区分布式能源调控，包含大量电力设备与传感器节点的终端层采集光伏板、充电桩、可控负荷的电压、电流、有功/无功功率等海量运行状态数据。基于这些采集数据，可利用联邦学习训练分布式能源调控模型，形成电网运行状态、负荷状态等到光伏并网、负荷投切、储能充放电等分布式能源调控策略的映射。基于联邦学习的分布式能源调控模型训练通过边端之间模型的共享聚合，避免了大量原始采集数据的交互。具体来说，边缘网关与终端设备分别训练分布式能源调控全局模型和本地模型，并以迭代交互的方式协同优化模型训练性能，每次迭代交互包括四个步骤，即边端时间同步、网关全局模型下发、设备本地模型训练和上传、网关全局模型聚合，利用聚合的全局模型生成分布式能源调控策略。模型训练时延和训练精度是影响分布式能源调控策略时效性和有效性的关键指标。其中，模型训练时延包括模型传输时延、本地模型训练时延、全局模型聚合时延；模型训练精度与上传的本地模型数量和边端时间同步误差有关。模型训练性能由包括路由管理、设备调度在内的网络资源管理策略决定，因此，需要对网关和设备之间的网络资源进行协同管理优化，以实现低时延、高精度的分布式能源调控模型训练。然而，分布式能源调控模型训练仍需解决以下挑战：

第一，园区中网关与设备之间基于电力线通信(power line communication，PLC)进行时间同步，然而时间同步过程容易受信道条件和电磁干扰等因素影响，造成较大的时间同步误差，从而导致参与全局模型聚合的设备数据不同步，降低分布式能源调控模型训练的精度。

第二，分布式能源调控模型训练时延依赖于网络资源管理策略，然而针对设备的路由管理存在对抗性竞争问题，当多个设备选择同一个中继进行本地模型上传时，会由于频谱和功率等资源的限制，导致中继和网关间较大的模型传输时延，从而影响分布式调控模型训练性能。

第三，为优化分布式能源调控策略，模型训练的精度和时延性能需要权衡。一方面，为确保模型的精度，网关需要调度更多的设备进行全局模型聚合以满足充分的环境观测需求，然而，如果被调度设备计算资源和信道条件较差会增大模型训练的时延，难以保障分布式能源调控策略的时效性；另一方面，调度少量设备以减小模型训练时延则会导致不充分的环境观测，从而降低模型训练精度，难以保障分布式能源调控策略的有效性。

有鉴于上述的缺陷，本发明以期创设一种时间同步误差感知的边端协同分布式能源调控方法及系统，使其更具有产业上的利用价值。

发明内容

为解决上述技术问题，本发明的目的是提供一种时间同步误差感知的边端协同分布式能源调控方法及系统。实现智慧园区分布式能源调控模型训练与策略优化，同时考虑时间同步误差的影响，利用惩罚竞争深度Q网络(PDDQN)解决路由选择的对抗性竞争，减少边端同步时延和同步误差，实现高精度、低时延的分布式能源调控模型训练，支撑低碳智慧园区分布式能源调控策略优化。

本发明的时间同步误差感知的边端协同分布式能源调控方法，具体调控步骤为：

获得边层时间同步信号，通过边缘网关从卫星或地面基站接收时间同步信号；

将所述边层时间同步信号传输至终端层，并基于边端协同训练分布式能源调控全局模型和本地模型，建立路由选择及时间同步模型、基于时间同步误差的设备调度及本地模型训练模型、分布式能源调控全局聚合模型和模型训练时延模型；

基于所述路由选择及时间同步模型中的长期时间同步误差约束、基于时间同步误差的设备调度及本地模型训练模型、分布式能源调控全局聚合模型和模型训练时延模型，获得边端协同下基于路由选择和设备调度策略优化的分布式能源调控模型训练优化问题模型；

将上述边端协同分布式能源调控模型训练优化问题模型基于伸缩和和虚拟队列进行转换，进一步转化为马尔可夫问题，并基于PDDQN的时间同步误差敏感边端协同分布式能源调控算法进行求解，根据求解结果，获得所述路由选择与设备调度策略，以及训练后的所述分布式能源调控全局模型，确定时间同步误差感知的边端协同分布式能源调控。

进一步的，所述路由选择及时间同步模型具体为：

④基于PTP的网关与中继之间的时间同步过程

在第t次迭代中，网关m

其中，|U

⑤基于PTP的中继与设备之间的时间同步过程

同理，基于PTP的中继与设备之间的时间同步过程中获得时间同步报文传输时间戳分别为

其中，

综上，网关m

⑥长期时间同步误差约束

长期时间同步误差约束为：

其中，E

进一步的，所述基于时间同步误差的设备调度及本地模型训练模型具体为：

第t次迭代中，可调度设备的集合表示为

网关m

其中，

其中，σ为学习步长；

设备m

其中，ψ为训练一个数据样本所需的CPU周期数，f

进一步的，所述分布式能源调控全局聚合模型具体为：

本地模型训练结束后，设备m

评估全局模型训练精度的全局模型损失函数表示为：

其中，E(t)＝{E

进一步的，所述模型训练时延模型具体为：

(1)上下行传输速率

在第t次迭代中，网关m

其中，N

同理，可将网关m

(2)模型传输时延

在第t次迭代中，从网关m

其中，|ω(t-1)|表示全局模型的大小；

在第t次迭代中，从设备m

其中，|ω

(3)分布式能源调控模型训练总时延

在第t次迭代中，设备m

全局模型聚合在被调度设备完成本地模型上传之后执行，因此，在第t次迭代中，分布式能源调控模型训练总时延表示为：

其中，τ

进一步的，所述边端协同下基于路由选择和设备调度策略优化的分布式能源调控模型训练优化问题模型具体为：

定义路由选择和设备调度的优化变量分别为

P1:

其中，V是权重参数，用于动态权衡全局损失函数与平均模型训练总时延；C

基于伸缩和定理和虚拟队列，将长期优化目标变量F(ω(t),t,E(t))和长期时间同步误差约束C

进一步的，所述为马尔可夫问题包括状态空间、动作空间与奖励函数，具体定义如下：

1)状态空间：

基于PDDQN的路由选择优化的状态空间包括数据样本数量、时间同步误差最大阈值、Delay_Req报文大小、Sync报文大小和电磁干扰功率，即

基于DQN的设备调度优化的状态空间为

2)动作空间：

定义路由选择优化的动作空间为

定义设备调度优化问题的动作空间为A

3)奖励函数：

路由选择和设备调度优化的奖励函数定义为P2的优化目标RE(t)。

进一步的，所述基于PDDQN的时间同步误差敏感边端协同分布式能源调控算法的具体步骤为：

①初始化阶段：初始化时间同步误差赤字G

②对抗性路由选择和时间同步阶段：每次迭代开始时，m

③设备调度决策阶段：m

④模型训练阶段：基于路由选择和设备调度决策，m

⑤对抗性PDDQN学习阶段：对于设备m

其中，

其中，γ

m

基于梯度下降法，m

其中，

⑥DQN学习阶段：m

其中，γ

m

基于梯度下降法，m

其中，

重复上述步骤②到步骤⑥，直至T次迭代结束；随后，利用训练后的分布式能源调控模型，根据实时负载、储能单元状态、光照强度等输入，可以生成分布式能源调控策略，以改善能源供需平衡，并促进可再生能源利用。

时间同步误差感知的边端协同分布式能源调控系统，包括边层和终端层；

其中：

边层包括一个边缘网关；

边缘网关用于从卫星或地面基站接收时间同步信号，通过PLC对终端层进行授时，并负责进行分布式能源调控全局模型的聚合，边缘网关基于所提时间同步误差感知的边端协同分布式能源调控方法优化时间同步与模型交互的路由选择，以及优化参与全局模型聚合的设备调度，支撑低时延、高精度分布式能源调控模型训练；

终端层包括中继层和设备层；

中继层用于连接底层设备和网关，负责边端之间时间同步及模型转发；

设备层用于收集电气设备的状态信息并执行本地模型训练，并基于所提时间同步误差感知的边端协同分布式能源调控方法生成的路由选择和设备调度策略进本地模型上传。

一种时间同步误差感知的边端协同分布式能源调控装置，包括：

信号获取模块：用于获得边层时间同步信号，通过边缘网关从卫星或地面基站接收时间同步信号；

建模模块：用于将所述边层时间同步信号传输至终端层，并基于边端协同训练分布式能源调控全局模型和本地模型，建立路由选择及时间同步模型、基于时间同步误差的设备调度及本地模型训练模型、分布式能源调控全局聚合模型和模型训练时延模型；

优化建模模块：用于基于所述路由选择及时间同步模型中的长期时间同步误差约束、基于时间同步误差的设备调度及本地模型训练模型、分布式能源调控全局聚合模型和模型训练时延模型，获得边端协同下基于路由选择和设备调度策略优化的分布式能源调控模型训练优化问题模型；

转化计算模块：用于将上述边端协同分布式能源调控模型训练优化问题模型基于伸缩和和虚拟队列进行转换，进一步转化为马尔可夫问题，并基于PDDQN的时间同步误差敏感边端协同分布式能源调控算法进行求解，根据求解结果，获得所述路由选择与设备调度策略，以及训练后的所述分布式能源调控全局模型，确定时间同步误差感知的边端协同分布式能源调控。

进一步的，

所述优化建模模块中，边端协同下基于路由选择和设备调度策略优化的分布式能源调控模型训练优化问题模型具体为：

P1:

其中，V是权重参数，用于动态权衡全局损失函数与平均模型训练总时延；C

借由上述方案，本发明至少具有以下优点：

1.本发明提出时间同步误差感知的边端协同分布式能源调控方法，通过联合优化路由选择和设备调度策略以实现边侧网关和端侧设备协同的分布式能源调控模型训练，以最小化基于时间同步误差的全局损失函数和平均模型训练总时延的加权和为优化目标，动态权衡模型精度和时延，为智慧园区低碳运行提供低时延、高精度的分布式能源调控策略。

2.本发明解决了分布式能源调控模型训练中对抗性竞争与时间同步感知的问题。通过网关协调与基于中继选择次数的惩罚函数设计，解决不同设备在路由选择中的对抗性竞争问题，缓解了因对抗性竞争导致的模型训练时延增长问题；通过短期与长期时间同步误差约束设置与虚拟赤字队列转换，筛选可调度设备集合，并基于时间同步误差赤字动态调整路由选择与设备调度策略，实现时间同步误差感知，缓解由于时间同步误差较大导致的模型训练精度下降问题。

3.本发明提出时间同步误差感知的边端协同分布式能源调控系统，包括边层和终端层。在边端协同的分布式能源调控模型训练与策略优化下，边层网关基于所提方法生成的路由选择和设备调度策略对中继和设备进行时间同步，并下发全局模型，设备基于所提方法生成的路由选择和设备调度策略进行本地模型训练与上传，最终网关进行分布式能源调控全局模型的聚合，实现低时延、高精度分布式能源调控。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某个实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明的系统模型图；

图2是本发明的算法流程图；

图3是本发明V2G调节前后的负荷曲线(TARGET)；

图4是本发明V2G调节前后的负荷曲线(FCS-RMS)；

图5是本发明V2G调节前后的负荷曲线(DS-RMS)。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

整个技术方案包括整体系统和具体方法两部分。

1.整体系统

如图1所示，时间同步误差感知的边端协同分布式能源调控系统包括边层和终端层。

边层包含一个边缘网关，边缘网关从卫星或地面基站接收时间同步信号，通过PLC对终端层进行授时，并负责进行分布式能源调控全局模型的聚合。边缘网关基于所提时间同步误差感知的边端协同分布式能源调控方法优化时间同步与模型交互的路由选择，以及优化参与全局模型聚合的设备调度，支撑低时延、高精度分布式能源调控模型训练。

终端层包含中继层和设备层。在中继层，中继连接终底层设备和网关，负责边端之间时间同步及模型转发。在设备层，设备收集光伏板、充电桩等电气设备的状态信息并执行本地模型训练，并基于所提时间同步误差感知的边端协同分布式能源调控方法生成的路由选择和设备调度策略进本地模型上传。

2.具体方法

本发明设计了一种时间同步误差感知的边端协同分布式能源调控方法，主要包括分布式能源调控训练模型构建、优化问题建模及转化以及基于PDDQN的时间同步误差敏感边端协同分布式能源调控算法设计三阶段，具体介绍如下：

(1)分布式能源调控训练模型构建

本发明考虑智慧园区中时间同步误差敏感的边端协同分布式能源调控场景。边层网关m

①路由选择及时间同步：网关为每个设备选择中继来实现基于高精度时间同步协议(Precision Time Protocol，PTP)的时间同步。

②设备调度及全局模型下发：网关基于时间同步误差进行设备调度，并将全局模型通过所选择的中继下发到被调度的设备。

③本地模型训练：被调度的设备基于全局模型及采集到的状态信息执行本地模型训练。

④本地模型上传：被调度的设备将训练好的本地模型通过所选择的中继上传到网关。

⑤全局模型聚合：网关基于上传的本地模型执行全局模型聚合。

在每次迭代中，网关m

考虑路由选择及时间同步模型、基于时间同步误差的设备调度及本地模型训练模型、分布式能源调控全局聚合模型和模型训练时延模型，具体如下所述。

1)路由选择及时间同步模型

路由选择指示变量用二进制变量x

①基于PTP的网关与中继之间的时间同步过程

在第t次迭代中，网关m

其中，|U

②基于PTP的中继与设备之间的时间同步过程

同理，基于PTP的中继与设备之间的时间同步过程中获得时间戳分别为

其中，

综上，网关m

③长期时间同步误差约束

考虑到分布式能源调控对时间同步精度的严格要求，构建长期时间同步误差约束为

其中，E

2)基于时间同步误差的设备调度及本地模型训练模型

具有较大时间同步误差的设备不应参与模型训练，因此设置短期时间同步误差约束E

网关m

其中，

其中，σ为学习步长。

设备m

其中，ψ为训练一个数据样本所需的CPU周期数，f

3)分布式能源调控全局聚合模型

本地模型训练结束后，设备m

评估全局模型训练精度的全局模型损失函数表示为

其中，E(t)＝{E

4)模型训练时延

①上下行传输速率

本发明基于正交频分复用技术(orthogonal frequency divisionmultiplexing，OFDM)实现网关、中继和设备间时间同步报文、全局模型和本地模型传输。在第t次迭代中，网关m

其中，N

同理，可将网关m

②模型传输时延

在第t次迭代中，从网关m

其中，|ω(t-1)|表示全局模型的大小。

在第t次迭代中，从设备m

其中，|ω

③分布式能源调控模型训练总时延

在第t次迭代中，设备m

全局模型聚合在被调度设备完成本地模型上传之后执行，因此，在第t次迭代中，分布式能源调控模型训练总时延表示为

其中，τ

(2)优化问题建模与转换

1)问题建模

本发明的优化目标是在长期时间同步误差约束下，通过边端协同的路由选择和设备调度策略优化，最小化分布式能源调控模型训练全局损失函数和平均模型训练总时延的加权和。定义路由选择和设备调度的优化变量分别为

其中，V是权重参数，用于动态权衡全局损失函数与平均模型训练总时延。C

2)问题转换

由于分布式能源调控模型训练优化策略与F(ω(t),t,E(t))及长期时间同步误差约束C

其中，F(ω(t-1),t-1,E(t-1))在第t次迭代时为已知参量。

采用虚拟队列来解耦长期时间同步误差约束，即构建时间同步误差赤字虚拟队列为

G

当G

定义Lyapunov漂移加惩罚为

其中，

因此，P1被转换为最大化Δ

(3)基于PDDQN的时间同步误差敏感边端协同分布式能源调控算法设计

考虑到设备调度需要全部设备的时间同步误差信息，依赖路由选择策略，因此，路由选择和设备调度优化无法同时进行。本发明提出基于PDDQN的时间同步误差敏感边端协同分布式能源调控算法TARGET解决上述优化问题，其中，采用PDDQN进行路由选择优化以解决不同设备中继选择的对抗性竞争问题，并采用DQN进行设备调度优化。

本发明将优化问题建模为马尔可夫过程(Markov decision process，MDP)，状态空间、动作空间与奖励函数定义如下：

1)状态空间：

基于PDDQN的路由选择优化的状态空间包括数据样本数量、时间同步误差最大阈值、Delay_Req报文大小、Sync报文大小和电磁干扰功率，即

基于DQN的设备调度优化的状态空间为

2)动作空间：

定义路由选择优化的动作空间为

定义设备调度优化问题的动作空间为A

3)奖励函数：

路由选择和设备调度优化的奖励函数定义为P2的优化目标RE(t)。

如图2所示，所提基于PDDQN的时间同步误差敏感边端协同分布式能源调控算法的主体为网关m

对于路由选择优化，所采用的PDDQN的Q值由两部分组成，分别是仅与状态有关的价值函数

PDDQN的Q值设置能有效解决不同动作对应相同Q值的对抗性问题，有利于网关优化中继选择策略以加快学习收敛速度。PDDQN的目标网络和经验回放池作用与传统的DQN相同。

对于设备调度优化问题，采用DQN评估网络实现“状态-动作”到Q值的映射，并利用目标网络协助训练评估网络以提高学习过程的收敛性和稳定性。此外，通过经验回放池机制克服经验数据的相关性和非平稳分布问题，提高DQN的学习效率。

本发明设计的基于PDDQN的时间同步误差敏感边端协同分布式能源调控算法具体步骤如下：

①初始化阶段：初始化时间同步误差赤字G

②对抗性路由选择和时间同步阶段：每次迭代开始时，m

③设备调度决策阶段：m

④模型训练阶段：基于路由选择和设备调度决策，m

⑤对抗性PDDQN学习阶段：对于设备m

其中，

其中，γ

m

基于梯度下降法，m

其中，

⑥DQN学习阶段：m

其中，γ

m

基于梯度下降法，m

其中，

重复上述步骤②到步骤⑥，直至T次迭代结束。随后，利用训练后的分布式能源调控模型，根据实时负载、储能单元状态、光照强度等输入，可以生成分布式能源调控策略，以改善能源供需平衡，并促进可再生能源利用。

本发明对上述提出的基于PDDQN的时间同步误差敏感边端协同分布式能源调控算法，进行了如下仿真对比：

对比算法1为基于快速收敛调度的资源管理策略(the fast convergescheduling-based resource management strategy，FCS-RMS)，该算法通过优化路由选择和设备调度来最小化全局损失函数和平均训练延迟的加权和，但忽略了路由选择中的对抗性竞争问题。对比算法2为基于设备调度的资源管理策略(device scheduling-basedresource management strategy，DS-RMS)，该算法仅通过优化设备调度来最小化全局损失函数，而忽略了路由选择优化问题。此外，FCS-RMS和DS-RMS都无法保证长期时间同步误差约束。

本发明考虑典型分布式能源调控V2G(vehicle-to-grid)场景验证基于所提算法训练的分布式能源调控模型性能，假设100辆电动汽车通过充电桩面向电网充放电，其电池容量为60kWh，充放电功率为7kW。仿真结果如下。

图3、4、5分别展示了V2G场景中三种分布式能源调控策略应用前后的负荷曲线变化。其输入包括光伏出力、电价、负荷及可调控的电动汽车数量，应用训练好的分布式调控模型输出电动汽车充放电功率策略。与FCS-RMS和DS-RMS相比，应用TARGET的负荷率，即最大负荷与平均负荷之比，分别提升了10.33％和13.77％，说明电网运行稳定性更高。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。