一种移动边缘计算网络的任务中继卸载方法

技术领域

本发明涉及无线通信系统中任务中继及卸载技术，尤其涉及一种移动边缘计算网络的任务中继卸载方法。

背景技术

随着5G时代的到来，移动设备成为处理飞速增长的计算数据密集型应用程序的平台，其中包括导航、面部识别、增强/虚拟现实以及在线游戏。由于移动设备计算能力、内存以及电池容量的局限性，无法为一些应用程序提供较高的服务质量，给无线通信带来了挑战。

为了解决这些严峻的挑战，提出了移动边缘计算(MEC)作为可行的解决方案。将MEC部署在网络边缘的计算基站，例如小型基站(SBS)，从而显着减少SBS到云链路上的流量负载，同时减少卸载延迟。MEC提供了具有超低延迟和高带宽的强大计算服务环境，移动设备可以卸载任务到其中以减轻对计算和延迟要求严格的任务。

毫米波(mmWave)技术成为提供更大带宽和更快数据速率的5G通信蜂窝系统的新前沿。但是，毫米波的独特无线电传播特性挑战了无线通信系统的设计，由于毫米波信号的传输距离短，毫米波基站需要密集部署才能实现全覆盖，这会导致运营商的支出高昂。

在博弈论领域中的平均场博弈(MFG)，已应用于许多工程问题。MFG将博弈建模为一个玩家与所有其他玩家的集体行为进行交互，并提供平衡解决方案，将复杂问题简化为每个玩家的个别问题。因此，MFG适合大量玩家的场景，适用于在多设备之间进行多项任务的调度任务。

发明内容

发明目的：本发明目的是针对毫米波频段的高路径损耗以及用户设备计算能力的不足，提供一种移动边缘计算网络的任务中继卸载方法，即提供一种基于分布式强化学习指导的MFG方法，解决了一些用户设备难以通过直接卸载来处理任务数据的困境，将D2D链路作为中继链路，提高任务卸载的成功率，同时尽可能减少系统能耗。

技术方案：本发明提供一种移动边缘计算网络的任务中继卸载方法，包括以下步骤：

步骤s1：构建一个毫米波和频率低于6GHz电磁波(Sub-6GHz)的移动边缘计算网络，其中，Sub-6GHz实现用户设备的全覆盖，毫米波实现用户部分覆盖；所述移动边缘计算网络中共有U个用户设备在Sub-6GHz的覆盖范围内，n个中心用户设备(Central User，CU)可以直接将计算任务卸载到移动边缘计算MEC服务器中，m个拓展用户设备(ExpandedUser，EU)不在毫米波的覆盖范围内，CUs为毫米波覆盖范围内的所有CU，每个用户设备有一个长度为J的队列用于储存任务，通过D2D中继链路来改善不在毫米波覆盖范围内用户的数据卸载体验；

步骤s2：CUn中继EUm中需要卸载的任务，在通信范围内，CUn和处于毫米波覆盖范围内的其他CUs交换任务数据，处理队列中的任务；

步骤s3：根据CUn处理队列中的任务导致的系统能量消耗建立代价函数，列出平均场博弈MFG中的FPK(Fokker-Planck-Kolmogoroy)方程和HJB(Hamilton-Jacobi-Bellman)方程；

步骤s4：将公式化的MFG转换为马尔可夫决策过程MDP，通过采用强化学习框架最大化CU n的价值函数，求得MFG的均衡解。

在步骤s1中，将MEC服务器部署在网络边缘的计算基站内。

在步骤s2中，CUn处理队列中任务的工作模式包括本地计算以及卸载任务到MEC服务器。

在步骤s3中具体包括：

a

s

r是奖励函数，定义为系统能耗的负值，表示为

时隙t中CUn的状态空间离散化为w个状态，表示为

CUn获得的奖励取决于CUs在每个状态的分布；

在时隙t中CUs在状态中的分布表示为

在时隙t中CUn的价值函数，称为后向HJB方程，定义为：

在步骤s4中具体包括：

将每个中心用户设备n看作智能体n，其最优策略表示为最小化系统能耗的策略，即最大化其负值，表示为

智能体n在完成一次经历后进行Q值更新，更新公式表示为Q(s

在步骤s4中还包括：通过不断迭代更新得到最优Q值，即得到平均场博弈的均衡解，若达到设定的迭代次数后，强化学习模型仍未收敛，则调整学习率，重新进行迭代训练。

有益效果：与现有技术相比，本发明具有如下显著的优点：CUn选择需要卸载任务的EUm进行中继，在通信范围内，CUn和处于毫米波覆盖范围内的其他CUs交换任务数据，采用平均场博弈MFG最小化能耗，考虑到难以求得均衡解，将其转换为MDP过程，并采用强化学习框架最大化其价值函数得到最佳方案，本发明可以提高任务卸载的成功率，实现更快的收敛速度以及更低的系统能耗。

附图说明

图1为本发明的系统模型图；

图2为本发明的求解平均场博弈流程图；

图3为本发明的任务中继卸载示意图；

图4为本发明的强化学习流程图。

具体实施方式

下面结合附图及实例具体讲述基于平均场博弈-强化学习的任务中继卸载流程的过程。具体实现步骤如下：

步骤1：建立系统模型。如图1所示，假设在一个由完全覆盖Sub-6GHz和部分覆盖毫米波的移动边缘计算网络中，移动边缘计算MEC服务器有足够的计算能力，毫米波的覆盖半径为70m，在Sub-6GHz的覆盖范围内一共有12个用户，其中有5个用户不在毫米波的覆盖范围，每个用户设备有一个500MB的队列用于储存任务。中心用户设备(Central User，CU)可以直接将计算任务卸载到MEC服务器中，拓展用户设备(Expanded User，EU)不在毫米波的覆盖范围内。

步骤2：EU

步骤3：采用平均场博弈MFG求解。首先定义MFG中的基本要素：

CUs为MFG中的玩家，表示为n＝{1，2...7}；a

s

r是奖励函数，表示为

在时隙t时，对CUn建立前向FPK方程，表示为

步骤4.将公式化的MFG转换为MDP问题，通过采用强化学习框架最大化CUn的价值函数，定义智能体n的动作空间为

智能体n的最优策略表示为最小化系统能耗的策略，即最大化其负值，表示为

智能体n在完成一次经历后进行Q值更新，更新公式表示为

通过不断迭代更新得到最优Q值，即得到平均场博弈的均衡解，若达到10000次迭代后，强化学习模型仍未收敛，则调整学习率，重新进行迭代训练。