一种基于DQN的边缘计算节点部署算法

技术领域

本发明涉及电力通信网的性能管理技术领域，特别涉及一种基于DQN的边缘计算节点部署算法。

背景技术

随着配电物联网技术的快速发展，配电物联网中的智能节点数量快速增加，每个智能节点的计算任务请求数量快速增加。仅仅以云服务器提供计算服务的网络架构，逐渐不能满足智能节点对时延敏感任务的计算需求。为解决此问题，边缘计算技术被融入到配电物联网的网络架构中，为智能节点提供快速的计算服务。边缘计算技术采用边缘节点分布式部署策略，将边缘计算节点部署到距离智能节点较近的位置，从而减小智能节点计算任务的计算时长，降低计算任务对网络流量和网络能耗的需求。但是，边缘计算节点的数量有限，如何部署最优的边缘计算节点，才能快速响应时延敏感的智能节点的计算请求任务，从而降低智能节点计算任务的网络能耗和网络流量，是一个重要的研究内容。

已有研究种，文献[Ouyang T,Zhou Z,Chen X.Follow me at the edge:Mobility-aware dynamic service placement for mobile edge computing[J].IEEEJournal on Selected Areas in Communications,2018,36(10):2333-2345.]采用动态迁移技术，提出启发式动态迁移策略，提升边缘计算资源利用率。文献 [Skarlat O,NardelliM,Schulte S,et al.Towards qos-aware fog service placement[C]//2017IEEE 1stinternational conference on Fog and Edge Computing(ICFEC).IEEE,2017:89-96.]采用分布式多中心的设计思路，提出分区域的边缘节点资源部署策略，提升了网络资源利用率。文献[Xu J,Chen L, Zhou P.Joint service caching and task offloading formobile edge computing in dense networks[C]//IEEE INFOCOM 2018-IEEE Conferenceon Computer Communications.IEEE,2018:207-215.]提出云计算平台和边缘节点相互协同的资源部署策略，降低了网络能耗。文献[Müller S,Atan O,van der Schaar M,etal.Context-aware proactive content caching with service differentiation inwireless networks[J].IEEE Transactions on Wireless Communications,2016,16(2):1024-1036.]采用机器学习算法，提出具有自学习能力的边缘节点资源部署策略，提高了边缘节点资源的利用率。通过对已有研究分析可知，已有研究在边缘节点的部署策略方面已经取得了较多的研究成果。但是，已有研究主要解决网络规模固定情况下的边缘节点部署问题，当边缘节点网络环境发生变化时，如何求解最优的边缘节点部署策略，是一个急需解决的问题。为解决此问题，本文将边缘节点部署问题建模为DQN网络，提出基于DQN的边缘计算节点部署算法，较好的解决了最优化边缘计算节点的部署问题，通过实验验证了本文算法较好的降低了智能节点计算任务消耗的网络流量和网络能量。

发明内容

本发明的目的在于提供使用一种基于DQN的边缘计算节点部署算法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于DQN的边缘计算节点部署算法，包括以下步骤：

101)、构建边缘计算网络架构的网络模型；

102)、构建能耗模型、网络流量模型、目标函数；

103)、定义DQN理论中的状态、动作和回报；

104)、提出基于DQN算法求解边缘计算节点的最优部署策略。

在步骤(101)中网络模型的架构是在配电物联网环境下实现的，该网络模型包括计算请求节点、网络节点、网络链路、边缘计算节点：

计算请求节点：是指边缘网络覆盖范围下配电物联网环境的智能节点，每个计算请求节点可以对边缘计算节点提出多个计算服务请求，使用q∈Q

网络节点和网络链路：均是指计算请求节点将计算服务请求上传到边缘计算节点需要通过的网络资源，且每个网络节点和网络链路都具有定量的网络带宽，而基于现有的网络技术发展，带宽限制已经解除，继而只需考虑计算请求节点将计算任务上传到边缘节点消耗的能量，使用p

边缘计算节点：其任务为完成计算请求节点的任务，假设有N个边缘计算节点，每个边缘计算节点使用

在步骤(102)中，构建的能耗模型所采用的能耗为计算任务在虚拟机上执行时的能耗，其包括计算能耗、传输能耗两种：

计算能耗是边缘计算节点在执行计算任务时的能源消耗、边缘计算节点运行时的基本能耗：

边缘计算节点执行计算任务能源消耗使用公式(1)计算，表示边缘计算节点执行计算任务的动态能耗

边缘计算节点运行时的基本能耗使用公式(2)计算，表示边缘计算节点不执行计算任务的静态能耗，其中，m

传输能耗是计算任务从智能节点传输到边缘计算节点过程中消耗的网络节点和网络链路的能耗，计算任务数据的传输能耗使用E

E

计算任务请求从智能节点上传到边缘计算节点需要消耗的网络流量使用 T

T

采用将目标函数定义为公式(5)的最大化目标函数，其中，

在步骤(103)中，在DQN算法中，采用神经网络代替Q-Learning算法中的Q表，用于解决大规模连续状态空间中Q表占用空间大、计算复杂度高的问题，而后首先将边缘计算节点部署问题建模为DQN算法可解决的问题，再提出基于DQN的边缘计算节点部署算法。

在步骤(104)中，提出的基于DQN的边缘计算节点的最优部署策略是基于电力物联网实施的，其整个及部署基础算法包括初始化训练DQN网络的关键参数、训练DQN网络、使用DQN网络求解最优部署策略三个步骤：

初始化训练DQN网络的关键参数步骤中，关键参数包括记忆池规模D、训练池规模d、DQN网络权重、贪心算法概率ε、状态空间DP

训练DQN网络步骤中，包括采用贪心算法选择最大Q值的动作、执行动作获得回报、获得新状态、存储状态转换结果到记忆池、当记忆池中的状态转换结果数量大于D时对DQN网络进行训练五个子过程；

在使用DQN网络求解最优部署策略步骤中，基于训练好的DQN网络，求解当前状态下可以得到最大Q值的动作，对状态进行调整，得到的新状态就是最优的边缘计算节点部署策略DP

采用DQN算法求解边缘计算节点的部署算法，首先需要定义状态State、动作Action和回报Reward，之后才能采用DQN算法求解边缘计算节点的最优部署策略：

在状态State方面，将求解最优的计算节点部署策略定义为状态，将所有可行的部署策略DP

在动作Action方面，将计算节点部署策略的调整系数定义为动作，即从可部署计算节点的节点集合中，任意选择a个节点，将其部署状态取反，动作取值为a∈[6,5,4,3,2,1]；

在回报Reward方面，将部署的每个边缘计算节点的能耗倒数和网络流量倒数之和定义为当前边缘计算节点的回报，使用公式(9)计算，此时，所有部署为边缘计算节点的网络节点的总收益使用公式(10)计算，其中，K表示部署为边缘计算节点的网络节点的数量，ψ、ζ表示能耗和网络流量的调节因子：

回报Reward是当前状态下采取某个动作后得到的奖励，由于边缘计算节点部署策略会影响多个时间片的计算任务执行效果，故需要定义值函数用于评价边缘计算节点部署策略的长期回报，值函数定义为当前回报和未来回报的最大值之和，使用公式(11)计算，其中γ表示未来回报的折扣因子，用于减小未来回报对当前动作执行结果的影响：

Q(s

边缘节点部署策略的状态环境与网络规模相关，当网络规模增加，状态环境将快速增加，采用基于神经网络理论的DQN算法对问题进行求解，基于公式(12)的损失函数L对神经网络进行优化，获得最优的Q值：

与现有技术相比，本发明的有益效果是：从网络规模、计算请求数量规模两个维度对算法性能进行分析可知，本发明提出的基于DQN算法求解边缘计算节点的最优部署策略具有较好的应用效果和性能，较好的解决了配电物联网环境下边缘计算节点的网络能耗和网络流量较大的问题。

附图说明

图1为本发明的一种基于DQN的边缘计算节点部署算法的流程示意图；

图2为不同网络规模下网络收益比较示意图；

图3为不同请求资源量下网络收益比较示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

请参阅图1-3本发明提供一种技术方案：一种基于DQN的边缘计算节点部署算法，包括以下步骤：

101)、构建边缘计算网络架构的网络模型；

102)、构建能耗模型、网络流量模型、目标函数；

103)、定义DQN理论中的状态、动作和回报；

104)、提出基于DQN算法求解边缘计算节点的最优部署策略。

在步骤(101)中网络模型的架构是在配电物联网环境下实现的，该网络模型包括计算请求节点、网络节点、网络链路、边缘计算节点：

计算请求节点：是指边缘网络覆盖范围下配电物联网环境的智能节点，每个计算请求节点可以对边缘计算节点提出多个计算服务请求，使用q∈Q

网络节点和网络链路：均是指计算请求节点将计算服务请求上传到边缘计算节点需要通过的网络资源，且每个网络节点和网络链路都具有定量的网络带宽，而基于现有的网络技术发展，带宽限制已经解除，继而只需考虑计算请求节点将计算任务上传到边缘节点消耗的能量，使用p

边缘计算节点：其任务为完成计算请求节点的任务，假设有N个边缘计算节点，每个边缘计算节点使用

在步骤(102)中，构建的能耗模型所采用的能耗为计算任务在虚拟机上执行时的能耗，其包括计算能耗、传输能耗两种：

计算能耗是边缘计算节点在执行计算任务时的能源消耗、边缘计算节点运行时的基本能耗：

边缘计算节点执行计算任务能源消耗使用公式(1)计算，表示边缘计算节点执行计算任务的动态能耗

边缘计算节点运行时的基本能耗使用公式(2)计算，表示边缘计算节点不执行计算任务的静态能耗，其中，m

传输能耗是计算任务从智能节点传输到边缘计算节点过程中消耗的网络节点和网络链路的能耗，计算任务数据的传输能耗使用E

E

计算任务请求从智能节点上传到边缘计算节点需要消耗的网络流量使用 T

T

采用将目标函数定义为公式(5)的最大化目标函数，其中，

在步骤(103)中，在DQN算法中，采用神经网络代替Q-Learning算法中的Q表，用于解决大规模连续状态空间中Q表占用空间大、计算复杂度高的问题，而后首先将边缘计算节点部署问题建模为DQN算法可解决的问题，再提出基于DQN的边缘计算节点部署算法。

在步骤(104)中，提出的基于DQN的边缘计算节点的最优部署策略是基于电力物联网实施的，其整个及部署基础算法包括初始化训练DQN网络的关键参数、训练DQN网络、使用DQN网络求解最优部署策略三个步骤：

初始化训练DQN网络的关键参数步骤中，关键参数包括记忆池规模D、训练池规模d、DQN网络权重、贪心算法概率ε、状态空间DP

训练DQN网络步骤中，包括采用贪心算法选择最大Q值的动作、执行动作获得回报、获得新状态、存储状态转换结果到记忆池、当记忆池中的状态转换结果数量大于D时对DQN网络进行训练五个子过程；

在使用DQN网络求解最优部署策略步骤中，基于训练好的DQN网络，求解当前状态下可以得到最大Q值的动作，对状态进行调整，得到的新状态就是最优的边缘计算节点部署策略DP

表1 基于DQN的边缘计算节点部署算法

采用DQN算法求解边缘计算节点的部署算法，首先需要定义状态State、动作Action和回报Reward，之后才能采用DQN算法求解边缘计算节点的最优部署策略：

在状态State方面，将求解最优的计算节点部署策略定义为状态，将所有可行的部署策略DP

在动作Action方面，将计算节点部署策略的调整系数定义为动作，即从可部署计算节点的节点集合中，任意选择a个节点，将其部署状态取反，动作取值为a∈[6,5,4,3,2,1]；

在回报Reward方面，将部署的每个边缘计算节点的能耗倒数和网络流量倒数之和定义为当前边缘计算节点的回报，使用公式(9)计算，此时，所有部署为边缘计算节点的网络节点的总收益使用公式(10)计算，其中，K表示部署为边缘计算节点的网络节点的数量，ψ、ζ表示能耗和网络流量的调节因子：

回报Reward是当前状态下采取某个动作后得到的奖励，由于边缘计算节点部署策略会影响多个时间片的计算任务执行效果，故需要定义值函数用于评价边缘计算节点部署策略的长期回报，值函数定义为当前回报和未来回报的最大值之和，使用公式(11)计算，其中γ表示未来回报的折扣因子，用于减小未来回报对当前动作执行结果的影响：

Q(s

边缘节点部署策略的状态环境与网络规模相关，当网络规模增加，状态环境将快速增加，采用基于神经网络理论的DQN算法对问题进行求解，基于公式(12)的损失函数L对神经网络进行优化，获得最优的Q值：

在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明使用到的标准零件均可以从市场上购买，异形件根据说明书和附图的记载均可以进行订制，各个零件的具体连接方式均采用现有技术中成熟的螺栓、铆钉、焊接等常规手段，机械、零件和设备均采用现有技术中，常规的型号，加上电路连接采用现有技术中常规的连接方式，在此不再详述。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。