面向资源受限的云-边协同实时调度方法

技术领域

本发明涉及边缘计算技术领域，具体地说是涉及一种面向资源受限的云-边协同实时调度方法。

背景技术

随着5G、高性能计算等技术在工业中的应用，工业生产逐渐向高实时、低能耗的方向发展，并由此涌现出了许多时延敏感且计算密集型的应用与服务。云计算虽然能够提供足够的计算资源，然而任务在向云端传递过程中产生的大量流量容易导致网络拥堵以及无法预测的高时延，而且还会产生巨大的传输能耗，因此亟需一种新的分布式计算方式来解决这些问题，边缘计算的产生为此提供了可行性。边缘计算通过将计算能力下沉到网络边缘，既解决了云服务的高延迟问题，又在一定程度上弥补了端设备计算资源的不足。

尽管边缘计算为此类场景提供了可行的解决方案，但是如何利用有限的资源设计满足高实时性和低能耗的边缘计算云-边协同系统是一个新的问题。目前，在该领域的研究中，大部分解决方案普遍关心的是系统的低延迟和低能耗的平衡，这在解决待处理任务集属性均已知的卸载问题时是高效的。然而，此类解决方法存在一个共同局限，即系统的实时性不高，这将会导致当有突发任务进入系统时容易引起连锁反应使系统性能急剧下降，而这种情况在待处理任务都是实时到达的应用场景中更加容易出现。

目前针对计算、能源等资源受限的边缘计算云-边协同调度迁移场景中往往还伴随着特别的高实时高可靠性需求。现有的许多边缘计算任务卸载方法在此类场景中应用时难以发挥出预期性能，它们的实时性以及能量效率均有待提高。

发明内容

针对现有技术存在的实时性不足以及能量消耗高等问题，本发明提出了一种面向资源受限的云-边协同实时调度方法，该方法结合启发式算法和深度强化学习算法的优势，能在保证边缘计算云-边协同系统实时性的同时极大地降低能量消耗。

本发明为实现上述目的所采用的技术方案是：

面向资源受限的云-边协同实时调度方法，包括以下步骤：

1)构建边缘计算云-边协同任务卸载模型，并对模型参数进行配置；

2)基于任务卸载模型，构建基于启发式的节点任务卸载算法；

3)构建基于AAC的节点任务卸载优化算法，对任务卸载模型进行优化；

4)根据待卸载任务，循环迭代步骤2)和步骤3)，得到任务卸载结果，并根据任务卸载结果进行实时调度。

所述边缘计算云-边协同任务卸载模型由一个云服务器集群、一个配有边缘服务器的无线通信基站和多台终端移动设备组成，其中，每个终端移动设备按照时间顺序产生一系列独立的待卸载任务，每个任务具有6个属性，对于任意任务i表示为T

所述对模型参数进行配置，包括以下步骤：

a)引入用于指示任务的执行位置的卸载决策变量

b)估计对任意任务i的本地执行时间

其中，

c)若任务被卸载，估计对任务i的卸载传输时间

其中，P为终端移动设备的传输功率，F

d)确定模型在最终优化目标，即系统总成本TSC：

0E

其中，E

所述步骤2)，包括以下步骤：

2.1)在任务卸载模型中无线通信基站的边缘服务器中；

2.2)基于柯西-施瓦兹不等式求解数据传输速率r

若不等式同时满足R＞0，且

2.3)基于卸载任务的初始优先级、剩余执行时间、截止期和空闲时间，构建任务动态优先级Ω

其中，δ

所述步骤3)，包括以下步骤：

3.1)构建深度强化学习算法AAC的3要素；

3.2)对AAC模型进行训练。

所述深度强化学习算法AAC的3要素包括：环境状态S，动作a以及奖励函数，其中：

所述环境状态S包括任务自身状态和外部环境状态：任务自身状态包括新任务的属性；外部环境状态包括当前时刻系统中各节点剩余电量E

所述动作a包括传输和不传输；

所述奖励函数为系统总成本TSC。

所述对AAC模型进行训练，包括以下步骤：

3.2.1)定义一个初始的actorπ与环境进行互动，每一次互动产生一条轨迹，根据轨迹收集采样资料；

3.2.2)通过收集到的资料去训练critic网络以估计价值函数V；

3.2.3)更新actor网络，迭代步骤3.2.2)和步骤3.3.3)直到actor网络和critic网络均收敛，其中，actor网络的参数更新公式为：

其中，

面向资源受限的云-边协同实时调度系统，包括：

任务卸载模型构建模块，用于构建边缘计算云-边协同任务卸载模型，并对模型参数进行配置；

节点任务卸载算法构建模块，用于基于任务卸载模型，构建基于启发式的节点任务卸载算法；

任务卸载模型优化模块，用于构建基于AAC的节点任务卸载优化算法，对任务卸载模型进行优化；

实时调度模块，用于根据待卸载任务，通过节点任务卸载算法构建模块和任务卸载模型优化模块，得到任务卸载结果，并根据任务卸载结果进行实时调度。

面向资源受限的云-边协同实时调度系统，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现所述的面向资源受限的云-边协同实时调度方法。

一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现所述的面向资源受限的云-边协同实时调度方法。

本发明具有以下有益效果及优点：

1.针对资源受限的边缘计算云-边协同调度迁移场景中的系统实时性不足，终端移动设备续航时间短等问题，对系统实时性需求与能耗限制进行统一建模。本模型中待卸载的所有任务均是实时到达，实时卸载，以在最大程度上贴近现实情况，这使得本发明提出的算法具有良好的实践意义。

2.本发明提出了一个面向资源受限的云-边协同实时调度算法，针对传统强化学习方法难以收敛以及传统启发式方法无法充分考虑各种影响因素的问题，本发明提出的算法让AAC算法与传统启发式算法进行互补，AAC算法可以充分考虑到各种环境因素对卸载结果的影响，同时还能顾及系统的长期回报，但AAC算法作为一种强化学习算法其收敛效果不够稳定，因此本文在AAC算法后又补充了一个启发式算法对其得到的结果进行修正，以保证本文提出的算法最低也能达到启发式算法的性能。通过分析，本发明提出的启发式算法令TSC取得最小值的条件为

3.将本发明提出的算法与DQN以及其它两个基线算法的性能进行了对比。通过实验表明，本发明提出的算法相比于其它三个对照算法，系统消耗的能量分别降低了23％、50％以及30％。

附图说明

图1为本发明方法原理图；

图2为本发明中AAC算法部分的模型结构图；

图3为本发明中actorπ网络与环境互动过程图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明主要分为两部分，启发式算法部分和优势演员评论家算法(AAC)部分。

图1所示为本发明方法原理图，具体实现过程如下所述。

步骤1：任务模型及系统配置；

步骤1.1：边缘计算云-边协同任务卸载模型；

本发明中设计的边缘计算云-边协同任务卸载系统模型为，由一个云服务器集群、一个配有小型边缘服务器的无线通信基站和K台小型终端移动设备组成云-边协同系统，终端移动设备可以表示为γ＝{U

步骤1.2：模型中相关系统配置的确定。

步骤1.2.1：引入卸载决策变量

步骤1.2.2：对任意任务i的本地执行时间以及能量消耗估计，本地执行时间记为

任务的本地执行能耗记为

其中，

步骤1.2.3：若任务被卸载，对任务i的卸载传输时间、云端处理时间以及卸载传输能量消耗估计。其卸载传输时间记为

云端处理时间记为

卸载传输能耗记为

其中，P为终端移动设备的传输功率，F

步骤1.2.4：确定模型的最终优化目标。

本发明所描述的数学模型需要优化的目标为系统的实时性和边缘设备的总能耗的协同优化，同时也要兼顾负载均衡，为了实现对上述目标的共同优化，将模型优化目标转化为系统总成本TSC：

0

其中E

表达式(7a)为对于任意任务i的本地执行能耗与卸载传输能耗的加权和，

约束7b、7c、7d和7e分别表示卸载决策变量，每个设备的CPU频率变化范围，每个边缘设备电量百分比变化范围和每个设备可被分配的数据传输率的变化范围。

步骤2：基于启发式的节点任务卸载算法；

步骤2.1：基于柯西-施瓦兹不等式求解r

本发明提出的启发式算法以TSC为优化目标，由于针对TSC的优化为NP-hard问题，因此这里首先使用深度强化学习算法确定新到达任务是否要被卸载，然后再采用柯西-施瓦兹不等式求出传输速率分配，进而求出每个任务的处理时间。若存在处理时间超过任务截止期的情况，再根据任务的优先级来重新确定任务的处理位置，然后再计算传输速率分配，不断迭代，直至找到问题的近似最优解。

柯西-施瓦兹不等式是数学上最重要的不等式之一，它常被应用于对n维不等式进行快速求解，使用柯西-施瓦兹不等式求解系统通信资源分配能够简化计算过程，有效缩短卸载算法的整体执行时间,在使用柯西-施瓦兹不等式时的前提条件是要保证不等式左边相乘的两项均不为负数。

若不等式同时满足R＞0，

时等号成立，也既当

证明：已知R为系统总传输速率，恒为正数，同时

根据柯西-施瓦兹不等式，如果存在某个r

时等号成立，也既当

步骤2.2：提出了一种综合考虑任务的初始优先级、剩余执行时间、截止期和空闲时间的动态优先级评价方法。

动态任务优先级Ω

抢占成本δ

不同的任务重要性不同，这是任务的固有属性，用初始优先级表示，该式综合考虑了任务的初始优先级和截止期，这可以在保证重要任务能够完成的基础上尽可能多的让截止期临近的任务也可以得到执行，这在一定程度上保护了正在执行的任务。任务执行紧迫性

其中t表示当前时刻，q∈(1，∞)，随着任务的执行任务的执行紧迫性会降低，这在一定程度上又让新到达任务有更大的执行机会。

步骤3：基于AAC的节点任务卸载优化算法。

步骤3.1：深度强化学习算法AAC的3要素设计；

步骤3.1.1：环境状态S设计。

状态的优劣会对模型的最终训练效果产生巨大的影响，在本模型中环境状态包括了任务自身状态和外部环境状态，因为模型仅在有新任务到达时才会进行更新，而任务是按时间顺序到达的，因此任务的自身状态包括新任务的属性，外部环境状态有此时系统中各节点剩余电量E

步骤3.1.2：动作a设计。

在强化学习模型中动作就是agent所做的决策，本调度模型中动作仅有传输和不传输2个。

步骤3.1.3：奖励函数设计。

强化学习模型的输出结果是在某一状态下选择不同动作的概率p

步骤3.2：对AAC模型进行训练。

图2所示为本发明中AAC模型部分的网络结构即训练过程，图3所示为本发明AAC模型与环境的互动过程。首先定义一个初始的actorπ与环境进行互动，每一次互动会产生一条轨迹，根据轨迹收集采样资料。然后用收集到的资料去训练critic网络以估计价值函数V(V表示的是执行某个动作以后直至互动结束系统所得到的奖励的和)。最后再更新actor网络，不断迭代直到两个网络均收敛。actor网络的参数更新公式如

其中，

反复迭代步骤2和步骤3得到最终的任务卸载结果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。