一种基于资源退出场景的无人机服务器任务卸载调度方法

技术领域

本发明属于通信技术领域，具体涉及一种基于资源退出场景的无人机服务器任务卸载调度方法。

背景技术

随着用户的普及和移动网络的发展，如增强现实、虚拟现实等计算密集型应用越来越多。用户面对计算量较大的应用，因有限的计算能力、存储空间和电池容量，无法快速有效地进行处理。移动云计算(Mobile Cloud Computing,MCC)通过将计算密集型的任务卸载到资源充足的云服务器进行计算，能够快速得到计算结果。然而架设于核心网的云服务器与距离用户很远，会产生很高的传输时延。移动边缘计算(Mobile Edge Computing,MEC)是5G移动通信的关键性技术，位于网络边缘的边缘服务器为用户提供计算服务，可以极大地降低传输时延及能耗，为用户提供高效、可靠的服务。

空天地一体化通信网络融合了卫星网络、低空网络和传统地面网络，是未来6G移动通信的重要发展趋势，而由无人机服务器构成的低空网络，是空天地一体化架构中的关键部分。无人机可以进一步缩短与用户的传输距离，减少时延和能耗；相比传统的地面通信设施，无人机位于高空有更高的概率与用户进行视距连接，提供更可靠和稳定的通信信道；无人机的位置可以实时变动，应对网络状态的变化和不同的场景需求。以多台无人机组成的无人机集群构建自适应网络，能够应对各种复杂场景。大规模灾难事件，如：地震，会对地面基础通信设施造成严重破坏，无人机集群可组成临时的通信网络，提供基础的应用服务。对于大型体育赛事、音乐节等高突发流量场景，无人机集群可作为现有通信设施的补充。因此，无人机集群构建的自适应网络具有重要的研究价值。

深度强化学习引入了深度神经网络(Deep Neural Network,DNN)对强化学习中的值函数、策略函数进行函数逼近，弥补了传统强化学习的缺陷，可以运用于大规模的复杂问题。目前深度强化学习已经在机器人、计算机视觉、自然语言处理等领域有大规模的应用。深度强化学习是控制无人机的一种有效方法，可根据当前的环境状态对无人机发出控制指令。近端策略优化(Proximal Policy Optimization,PPO)是深度强化学习中的一种策略梯度方法，拥有稳定、高效、适应性强的特点。基于PPO算法，可实现在复杂环境下对无人机集群的控制。

由于无人机的载重量限制，搭载的电池容量有限，每工作一段时间，就需要降落进行充电。无人机的能耗速率受到飞行、信道变化和任务卸载等因素的影响而动态变化，难以确定其精确的工作时间。因无人机服务器降落而使低空网络服务器资源分布变化和缺失的情况下，如何对低空网络进行重新组网，同时保证重新组网中服务质量的持续性，具有重要的研究价值。

本发明采用深度强化学习技术，对无人机集群的移动轨迹和服务器资源分配进行动态决策，实现单个无人机退出过程中，用户连接丢失率的最小化，以及资源利用率和任务卸载时延的最优化。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种能够根据当前的系统状态自适应调整无人机服务器的位置和资源分配，从而降低网络系统因低空网络资源退出而造成的性能损失的基于资源退出场景的无人机服务器任务卸载调度方法。本发明的技术方案如下：

一种基于资源退出场景的无人机服务器任务卸载调度方法，假设无人机集群I＝{i}中的一台无人机开始返回地面并最终退出服务，其总时长为T，令T＝K·Δt，其中，Δt为时隙长度，K为总时隙数，地面用户集合为J＝{j}，用户j在T时长内持续产生任务单元卸载请求，具体包括以下步骤：

101、建立马尔科夫决策过程MDP数学模型，构造状态向量S

102、无人机i

103、令k＝k+1，如果k≤K，智能体将当前时隙k的状态向量S

104、根据动作向量A

105、无人机i

进一步的，所述步骤101中构建状态向量S

A

公式(1)中，

公式(2)中，μ

公式(3)中，Λ

公式(5)中，

进一步的，所述步骤101中无人机集群控制策略网络π

公式(7)中，

进一步的，所述步骤103中根据集合J中每一用户j的平均任务单元卸载时延

1)令集合Q＝J，将Q中元素按

2)如果

3)如果

4)对每一无人机i∈I，依次为Q

5)如果

进一步的，所述步骤2)中计算

公式(8)中，

进一步的，所述步骤5)中任务卸载时延及其约束条件，分别如公式(9)和(10)所示：

公式(10)中，第一部分

本发明的优点及有益效果如下：

本发明针对单个无人机降落过程中，低空网络服务器资源分布变化和缺失的问题，本发明提出一种动态任务卸载调度方法。本发明采用深度强化学习技术，设计MDP模型，动态决策无人机集群的移动轨迹和服务器资源分配，实现单个无人机退出过程中，用户连接丢失率的最小化，以及资源利用率和任务卸载时延的最优化。本发明充分利用无人机高机动性，能够根据当前的系统状态自适应调整无人机服务器的位置和资源分配，从而实现无人机集群移动轨迹和服务器资源利用率的动态最优，并最小化低空网络系统因单个无人机资源退出造成的性能损失。

附图说明

图1是本发明提供优选实施例基于资源退出场景的无人机服务器任务卸载调度方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明内容所涉及的概念和模型如下：

1.系统模型：

假设无人机集群I＝{i}中的一台无人机开始返回地面并最终退出服务，其总时长为T，令T＝K·Δt，其中，Δt为时隙长度，K为总时隙数，地面用户集合为J＝{j}，用户j在T时长内持续产生任务单元卸载请求。

2.本发明内容所涉及的其它符号说明如下：

·k：当前时隙数

·π

·θ：神经网络参数向量

·S

·A

·R

·B：数据向量集

·

·

·

·

·Q

·

·

·ω：信道带宽

·P

·D

本发明的技术方案说明如下：

1、MDP数学模型的状态向量、动作向量、奖励函数：

如公式(1)、(2)、(3)所示：

A

公式(1)中，

公式(2)中，μ

公式(3)中，Λ

公式(5)中，

2、无人机集群控制策略网络：

如公式(7)所示：

公式(7)中，

3、用户的服务器资源分配变量集合的决策方法：

步骤1：令集合Q＝J，将Q中的元素按

步骤2：如果

步骤3：如果

步骤4：对每一无人机i∈I，依次为Q

步骤5：如果

4、服务器资源分配变量的计算公式：

如公式(8)所示：

公式(8)中，

5、任务卸载时延及其约束条件：

如公式(9)、(10)所示：

公式(10)中，第一部分

一种基于资源退出场景的无人机服务器任务卸载调度方法，其具体实施方法包括以下步骤：

步骤1：建立马尔科夫决策过程MDP数学模型，构造状态向量S

步骤2：无人机i

步骤3：令k＝k+1，如果k≤K，智能体将当前时隙k的状态向量S

步骤4：根据A

步骤5：无人机i

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。