基于社会化学习的边缘云计算任务调度优化方法

技术领域

本发明属于边缘计算技术领域，具体涉及一种基于社会化学习的边缘云计算任务调度优化方法。

背景技术

随着边缘计算的不断发展，集中式云计算正逐渐向分布式边缘计算的范式转变。这种转变带来了大量计算密集型和时延敏感型的应用，如智能家居、自动驾驶等。同时，随着物联网技术的普及，客户端产生的数据也呈指数级增长，目前集中式云计算面临着很多问题，包括计算能力、效率、延迟和隐私。由于边缘服务器处理的数据量急剧增加，云和边缘数据中心的协作释放了边缘云系统的潜力。

边缘计算作为一种新型的计算模式，其任务调度对用户体验、系统性能和成本等方面都有着极大的影响。在边缘计算中，任务调度的质量直接决定了用户的使用体验，因此需要对任务调度算法进行优化，以提高用户的满意度。同时，任务调度也会影响边缘云系统的性能和成本，因为不合理的任务调度会导致资源浪费和能源消耗增加，从而降低系统的效率和可靠性。越来越多的算力经销商、分销商、运营商甚至个人将积极参与到边缘云系统中。请求调度和服务编排可以在有带宽限制的情况下及时高效的完成任务调度，但随着边缘云系统的发展，出现了种种问题。因此，如何设计高效的任务调度方法，成为了边缘计算领域的重要研究问题。

边缘云系统的复杂层次结构是其独特的特点之一，它由边缘访问节点(EdgeAccess Proxies，eAPs)、边缘服务器和云服务器等多个层级构成。这种层次结构的存在，使得服务编排和请求调度的不确定性和求解复杂性都大大增加，同时也增加了决策的复杂度。此外，服务编排和请求调度的决策在不同的层级之间也会相互影响，这进一步增加了决策的难度。然而，现有的方法往往忽略了层次决策之间的影响，导致计算任务调度效率低下，无法满足边缘云系统的需求。在边缘云系统中，单个节点的计算能力和存储容量都受到限制，这使得难以训练先进、复杂的大规模学习模型。为了解决这个问题，边缘云系统需要各个参与方之间的数据和设备的合作，以形成完整的模型。然而，现有的分布式机器学习训练面临着数据安全的挑战。由于涉及到多个参与方之间的数据共享和协作，数据的隐私和安全问题成为了制约分布式机器学习训练的重要因素。边缘云系统中，系统会随着可用资源和请求负载的变化而发生变化，这使得任务调度算法面临着巨大的挑战。传统的调度方法由于模型收敛速度慢、容易陷入局部最优解、非自适应性等问题，难以满足当前系统计算密集、时延敏感的任务要求。因此，新方法应该具有自适应性，能够根据系统的实时状态进行调整，同时还应该具有高效性和可扩展性，以应对不断增长的系统规模和任务数量。

发明内容

针对以上问题，本发明提出了一种基于社会化学习的边缘云计算任务调度优化方法。为解决以上技术问题，本发明所采用的技术方案如下：

一种基于社会化学习的边缘云计算任务调度优化方法，包括如下步骤：

S1，构建包括若干个eAP、边缘服务器和云服务器的分层智能体协同学习系统，每个eAP上均设有任务调度模型，每个云服务器上均设有服务编排模型；

S2，初始化任务调度次数t＝1，设置服务编排周期β及系统工作周期τ；

S3，对边缘服务器的环境状态进行观测，基于服务编排模型并以边缘服务器时间效率最大化为第一目标函数生成服务编排决策，并将服务编排决策发送到eAP；

S4，eAP根据观测到的边缘服务器的可用资源状态生成下层指导信息并发送到云服务器；

S5，云服务器根据下层指导信息对服务编排决策进行更新，并根据更新后的服务编排决策对边缘服务器上的服务进行编排；

S6，对eAP的环境状态进行观测，基于任务调度模型以eAP时间效率最大化为第二目标函数生成任务调度决策，并将生成的任务调度决策发送到云服务器；

S7，云服务器根据边缘服务器的可用资源状态生成上层指导信息并发送到eAP；

S8，eAP根据上层指导信息对任务调度决策进行更新，并根据更新后的任务调度决策对任务进行处理；

S9，执行t＝t+1，判断t％β＝＝0，若不是，执行步骤S6，否则判断τ％t＝＝0，如不是，执行步骤S3，否则结束。

在步骤S3中，所述第一目标函数的表达式为：

式中，T表示系统长期延迟，|Q

所述系统长期延迟T的计算公式为：

式中，T

在步骤S4中，所述边缘服务器的可用资源状态包括剩余算力、剩余内存和剩余存储空间。

在步骤S4中，所述下层指导信息用于对接收到的服务编排决策中的动作能否执行进行判断。

在步骤S6中，所述eAP的环境状态状态包括每个eAP的任务调度队列信息、每个边缘服务器的剩余算力、剩余内存、剩余存储空间及边缘服务器的总数，所述任务调度队列信息包括到达任务调度队列的任务ID、任务对应的时延要求、任务的调度状态及任务类型。

所述第二目标函数的表达式为：

式中，

所述在一个时隙中违反时延要求的任务的比率λ的计算公式为：

式中，I(·)为指示函数，Υ(Q

本发明的有益效果：

1.社会化指导：高效利用多层级边缘云系统架构和决策知识流动，显著减少了设备上传的数据量，提高服务编排与请求调度的决策能力。上层只关心来自下层的学习结果，而不是数据，从而帮助上层做出更好的决策，减少了传输数据的规模和网络带宽，提高了决策效率；

2.基于多智能体强化学习的任务调度算法以最大化系统时间效率为优化目标，并且考虑了边缘服务器的负载均衡情况，使其可以满足当前复杂动态系统的任务调度需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的系统架构示意图。

图2为本发明中的决策指导示意流程图。

图3为本发明隐私协作示意图。

图4为本发明与其它算法的训练效率对比示意图。

图5为本发明与其它算法的性能对比示意图。

图6为请求类型和网络带宽对本发明调度性能的影响示意图。

图7为在资源竞争和异构的资源数量下本发明对调度性能的影响示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于社会化学习的边缘云计算任务调度优化方法，包括如下步骤：

S1，构建包括若干个eAP、边缘服务器和云服务器的分层智能体协同学习系统，每个eAP上均设有任务调度模型，每个云服务器上均设有服务编排模型；

如图1所示，所述智能体协同学习系统分为三层，eAPs位于底层，边缘服务器位于中间层，云服务器位于最高层。eAP接受用户终端生成的服务请求也即任务，并根据网络延迟、占用带宽和服务器处理能力等生成任务调度决策，将任务调度到对应的边缘服务器进行处理，完成任务调度的工作。边缘服务器具备一定的计算能力和存储资源，它们组成一个资源池协同服务于用户。云服务器有充足的计算能力和存储资源，根据边缘服务器的可用资源如存储容量、内存限制等进行服务编排，也即选择在哪个边缘服务器上部署哪些服务以及边缘服务器应该维护多少副本。

每个eAP、边缘服务器和云服务器分别作为一个智能体，eAP的集合采用

如图3所示，所述任务调度模型基于多个eAP智能体协同训练得到，采用θ

式中，p

S2，初始化任务调度次数t＝1并设置服务编排周期β及系统工作周期τ；

智能体协同学习系统的工作周期可以划分为若干个时间槽，每个时间槽又分为若干个时隙。本申请将系统的整体流程划分为两个阶段：任务调度阶段和服务编排阶段，在每个时隙时均执行一次任务调度，每个时间槽执行一次服务编排。β为正整数，且

S3，对边缘服务器的环境状态进行观测，基于服务编排模型并以边缘服务器时间效率最大化为第一目标函数生成服务编排决策，并将服务编排决策发送到eAP；

所述边缘服务器的环境状态包括边缘服务器的可用资源状态、eAP和云服务器之间的网络时延、边缘服务器的任务处理队列信息、边缘服务器上已部署的服务及副本信息。所述任务处理队列信息包括任务ID、任务时延要求、任务处理状态及任务类型。所述可用资源状态包括剩余算力、剩余内存和剩余存储空间。

所述第一目标函数的表达式为：

式中，

所述系统长期延迟T的计算公式为：

式中，T

系统时间效率定义为长期吞吐量与相应的长期时间利用率之比，它还反映了实际请求处理速率与原始请求处理速率的比值，其表达式为：

式中，Φ

所述长期系统吞吐率Φ

式中，

所述系统时间的长期利用率T

所述处理任务x

式中，

所述边缘服务器处理任务x

式中，C

任务x

式中，

当处理任务x

S4，eAP根据观测到的边缘服务器的可用资源状态生成下层指导信息并发送到云服务器；

所述下层指导信息可以为一个二进制向量，采用

通过下层指导信息实现了下层对上层的指导，eAP根据边缘服务器的可用资源状态判断动作能否执行，如果可用资源状态满足服务编排所需的资源则允许动作执行，否则不允许。云服务器根据该指导信息可以生成最优的服务编排决策。

S5，云服务器根据下层指导信息对服务编排决策进行更新，并根据更新后的服务编排决策对边缘服务器上的服务进行编排；

S6，对eAP的环境状态进行观测，基于任务调度模型以eAP时间效率最大化为第二目标函数生成任务调度决策，并将生成的任务调度决策发送到云服务器；

所述eAP的环境状态状态包括每个eAP的任务调度队列信息、每个边缘服务器的剩余算力、剩余内存、剩余存储空间及边缘服务器的总数，所述任务调度队列信息包括到达任务调度队列的任务ID、任务对应的时延要求、任务的调度状态及任务类型。

所述第二目标函数的表达式为：

式中，

在第二目标函数中，

所述在一个时隙中违反时延要求的任务的比率λ的计算公式为：

式中，I(·)为指示函数，Υ(Q

所述一个时隙中违反时延要求的任务的时间利用率ψ的计算公式为：

S7，云服务器根据边缘服务器的可用资源状态生成上层指导信息并发送到eAP；

所述上层指导信息为一个二进制向量

S8，eAP根据上层指导信息对任务调度决策进行更新，并根据更新后的任务调度决策对任务进行处理；

S9，执行t＝t+1，判断t％β＝＝0，若不是，执行步骤S6，否则判断τ％t＝＝0，如不是，执行步骤S3，否则结束。

本申请受社会合作的启发在服务编排与任务调度两层任务之间引入决策指导，为了避免eAPs做出不恰当的决策，例如将请求发送给资源不足的边缘服务器，如图2所示，eAP进行自主决策后，将任务调度决策发送到上层，用于进行高级决策。上层智能体会结合具体情况根据自己的正确感知对下层决策进行分析，并做出引导。通过指导大大减少了代理上传数据的规模，而不影响做出正确调度的决策。同样地，在服务编排之前，上层将决策信息发送给下层，下层将为上层给出一个用于过滤无效动作的指导信息，便于根据获取到的最新的边缘服务器的可用资源状态对决策进行优化。

如图4所示，在图中SocialEdge即为本申请，本申请在训练效率方面，与其他算法相比，在请求分发和服务编排方面都获得了最高的回报，因为本申请使用隐私协作来获取额外的信息，如数据或模型知识、决策指导、提供高层次指导。特别是在服务编排阶段，收敛速度最快，因为它使模型能够快速学习全面和集中的知识，以帮助做出调度决策。

以下将本申请与(i)KaiS(GCN用于服务编排，MADRL用于请求调度)、(ii)DRL-s(编排用DRL)、(iii)DRL-r(指派用DRL)、(iv)贪婪(用于调度或编排，将每个请求或服务调度到资源最多的边缘服务器)、(v)随机(用于分派或编制，将每个请求或服务安排到随机的边缘服务器)进行对比。图5证明本申请的总体目标可以最大化系统性能。通过比较不同的算法可以看出，本申请的系统目标最显著，可以更有效地利用资源来满足准确的需求。

带宽资源会影响系统的稳定性。我们对带宽资源进行分级，其中较高的值表示较低的平均带宽和较高的传输延迟。从图6可以清楚地看出，随着带宽级别的增加，系统性能变低。此外，我们发现随着任务类型数量的增加，系统目标也会增加。时间效率随任务类型的数量先降后升，说明在任务类型数量固定的情况下，服务类型既不能过多也不能过少，应适应任务类型的数量。

图7中的第一个图也即上图展示了本申请在边缘服务器拥有异构网络(即CPU和内存异构性)资源的情况下的性能。在保持各资源总量不变的情况下，改变边缘节点间的资源方差，根据方差将资源异质性分为5级，值越大表示异质性越高。我们发现，当CPU和内存资源的异构程度较低时，本申请在现有请求分布下的性能较好。虽然本申请的性能随着资源异质性的增加而下降，但在大多数情况下它始终保持较高的价值。成本也随着资源的异质性而变化，在适中时达到最低。图7中的第二个图也即下图表明本申请能够适应资源总量的动态变化。资源总量并非很重要，成本会随着资源的减少而先增加然后减少，这意味着本申请也可以在有限的资源中实现最佳性能。本申请受益于社会化学习，它可以敏感地感知各种环境资源的负荷变化，并调整政策，从而保持高效的性能。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。