基于深度学习的车联网计算资源分配与优化方法

技术领域

本发明属于车联网计算资源分配领域，是一种利用车联网技术、深度学习算法、智能优化算法等实现车联网边缘计算资源自适应分配和优化的方法。该方法能实现对某路段车辆执行任务所需计算资源的自适应分配，并进一步优化分配方案以最大化路段边缘系统效用。

背景技术

随着社会经济的快速发展和工业化进程的推进，城市机动车数量迅速增长。然而，由于容量有限，道路变得拥挤，这导致了一系列问题，如交通事故、环境污染等。面对这些挑战，车联网应运而生。车联网充分利用信息和通信技术，实现人、车、环境的协调发展，有效缓解了交通拥堵，提高了交通效率。

计算资源是车联网中车辆执行车载计算任务和提供车载服务时需要的CPU资源、内存资源、硬盘资源和网络资源。因此计算资源的合理分配对于车联网中多车辆的任务执行有着很重要的意义。其中系统的平均任务响应时间、系统的能耗和车辆的资源利用率可以作为车联网边缘系统性能的评价指标。

然而，在车联网的发展中还存在一些技术问题需要解决。如在智能车载服务和应用方面，汽车用户请求服务后，为提供对应的服务需要对用户上传的数据进行处理，提取出有用信息后执行任务并返回用户所需的数据。在这个过程中面临着很多的挑战，主要可以归纳为三点：首先，车联网致力于提供与驾驶安全和交通效率相关的及时服务，这需要强大的计算资源和智能边缘能力；其次，车联网应用程序严格的延迟要求常常以车联网通信作为先决条件，而在通信的稳定性下降的情况出现时，来自网络基础设施或路边单元(RoadSide Unit，RSU)的往返通信可能会使对延迟敏感的服务失败；第三，考虑到利用网络基础设施或RSU对收集到的信息进行处理和存储的能耗较高，与车辆与基础设施(Vehicle toInfrastructure，V2I)相比，车辆与车辆(Vehicle to Vehicle，V2V)通信的成本相对较低。基于以上考虑，车辆结合V2V与RSU协同进行信息处理是非常有前景的。

此外，在某些场景下，比如城市中心的某个路段，很多车辆通常会一起参与交通，这样在短时间内会形成一个可用的资源池。构成资源池的这些车辆很可能有丰富的空闲资源作为备选，而这些备选资源可以用于车辆网中信息处理等任务的执行，从而具备一定的服务能力，本发明中将可提供资源的车辆称为服务车辆，将请求服务的车辆称为任务车辆。因此，我们可以将任务车辆请求的部分任务卸载到这些车辆上，通过周围的多辆服务车辆以及RSU配备的服务器协同完成车载任务，减少任务执行时间的同时最大化系统效用。

目前，已有一些计算资源分配方法用于车辆网。主要是集中于任务响应时间和设备能耗方面的性能提升。在提升任务响应时间性能方面，有方案从合同理论及匹配的综合角度研究车联网中计算资源分配和任务分配问题。基于合同理论模型提出了一个激励算法。该算法针对每种车辆类型的特征，在个体合理性、激励兼容性及单调性的约束下，最大化基站的期望收益。也有方案基于博弈论，提出了计算迁移的激励机制，从而分别最大化车辆的利益以及第一个用户和边缘服务器的效益；在减少能耗方面，有方案引进队列理论，考虑全局能耗及时延(包括本地计算时延与能耗，数据传输时延与能耗、等待时延及切换时延)，研究工作负载调度算法，从而最小化所有设备的总能耗，提出基于共识交替的乘法器方法的低复杂度分布式工作调度算法以节省能耗。也有方案提出面向基于长期演进的V2I网络研究动态资源分配问题，其在功耗和速率需求的约束下，最小化下载链路的总功耗。

上述已有车联网计算资源调度方法在以下几方面还存在不足：

1)任务车辆在请求服务时，会将任务卸载到RSU配备的MEC服务器以及云端服务器，而忽略了周围服务车辆的计算资源，相对于MEC提供请求的服务，服务车辆所需的代价更小，能耗更低；

2)路段的车辆在参与交通时是具有高度动态移动性的，以往的方法对于移动性的考虑性不足，而为了更加合理的分配计算资源，车辆用户的移动性考虑必不可少。

发明内容

为了更加合理地自适应分配车联网中的计算资源，结合路段车辆中的空闲资源以及路段车辆的动态移动性分析，本发明提出了一种由任务车辆和多个服务提供方(包括服务车辆和RSU)协同执行车载任务的计算资源分配方案。结合车辆的移动性考虑，综合考虑任务车辆附近可选服务车辆和RSU的计算资源和最大服务时间，然后根据任务种类对于路段的任务车辆分配计算资源，最小化整体任务执行时间并最大化系统效用。本发明的整体结构如图1所示，整体流程图见图2所示。其中，各服务车辆和RSU的最大服务时间取决于任务车辆和服务提供者的相对运动。因为我们必须考虑车辆移动性，确保任务车辆和每个服务提供者始终在彼此的通信范围内。主要内容如下：

1)在云端服务器搭建图时空网络(Spatial Temporal Graph ConvolutionNetworks，STGCN)，用于提取车辆的轨迹特征，可用于路段所有车辆的轨迹数据特征提取。然后在云端搭建长短期记忆网络(Long Short-Term Memory，LSTM)用于车辆轨迹的预测，将图时空网络提取的轨迹特征作为长短期记忆网络的输入，输出即为预测的车辆轨迹数据，如图3所示。车辆移动性预测模型的训练和微调也将在云端服务器进行。

车辆轨迹预测模型的训练过程如下：首先由路边单元配备的MEC服务器将覆盖范围内所有车辆历史轨迹数据上传到云端服务器作为训练数据集，其中，轨迹数据包括速度、方向和GPS数据；将上传的数据输入到搭建好的图时空网络，按照时间顺序将不同时刻的路段车辆的轨迹数据作为图的节点，车辆与车辆之间的距离作为图的边，然后将图数据输入图时空网络STGCN，在输入图时空网络STGCN之前对图数据进行常规预处理操作，包括数据清理和归一化等。图数据输入图时空网络STGCN后，先经过时空图卷积块处理，然后经过tanh函数处理后得到车辆的轨迹特征；将得到的车辆轨迹特征输入到构建的长短期记忆网络中，结合从轨迹数据针对参考坐标系得到的坐标变换数据，进行LSTM编码，然后将编码后的张量输入到social pooling结构中得到进一步处理后的张量，最后将处理后的张量输入到多层感知机后输出预测车辆轨迹，根据预测数据和真实数据的差距进行神经参数调整，经过多次后完成训练，得到车辆轨迹预测模型，所述的多层感知机用于替换LSTM的最后几层，也可以不替换。将训练好的模型传输到主MEC服务器用于路段车辆的轨迹预测。其中的参考坐标系是用于将车辆坐标转换为每辆车相对于初始位置的坐标。

车辆轨迹的预测过程如下：首先由路边单元配备的MEC服务器将路段车辆过去一段时间的轨迹数据上传到主MEC服务器，在主MEC服务器中，首先输入到图时空网络进行轨迹特征的提取，然后结合提取后的特征以及坐标变换数据输入到长短期记忆网络进行处理，最后输入到多层感知机得到预测的未来一段时间的车辆轨迹数据。

通信方案和计算方案采用目前常用的方法，确定车联网的传输协议和通信方式，以保证数据的完整传输。

a)计算资源感知

在我们提出的方法中，RSU配备的MEC服务器每隔一定时间自主收集覆盖范围内车辆和RSU的计算资源使用情况。

b)通信方案

我们利用频分多址(Frequency-Division Multiple Access，FDMA)来处理多车辆终端的传输任务。根据香农定理可以计算得到各个时刻每个车载终端的传输速率。

同一路段的多辆车请求服务时会需要计算资源，于是会产生资源竞争，为了更好的分配可用的计算资源，以最大化资源利用率和系统效用。因此，必须采用合理的动态资源分配方法。

c)计算方案

不同车辆的任务请求和不同服务提供方的返回数据希望能够及时高效地传输到接收方。为了达到这个目的，整个传输方案需要以低延迟和低能耗运行。高延迟严重影响车辆用户体验，甚至会造成一定的危险。因此，任务执行的平均响应时间、能源消耗和服务车辆的利用率这三个因素都可以看作是资源分配的评价指标。

2)设计基于深度强化学习算法DQN的计算资源预分配方法，即结合服务车辆和RSU配备的MEC服务器中可用的计算资源对于路段下任务车辆进行资源预分配。其中使用DNN来逼近Q值网络，预分配方法将在主MEC服务器执行。

首先将路段根据设定的坐标系分成等分的块，然后根据预测的路段车辆轨迹数据判断车辆未来一段时间所处的位置在路段的不同块，从而结合路边单元中的计算资源和路段拥有空闲资源的服务车辆构建计算资源子网，一个路段块中的MEC服务器和服务车辆构成一个资源子网。每个路段块中的任务车辆所需的计算资源由对应的资源子网提供。

为了尽可能地最大化边缘系统效用，动态自适应分配计算资源是必不可少的。在系统总的计算资源有限的情况下，合理分配每台任务车辆的计算资源是关键。如果任务车辆请求的任务复杂，则会分配更多计算资源。相反，它将分配更少的计算资源。同时如果尽可能多的使用服务车辆而不是MEC服务器提供资源，那么系统能耗将会大大降低，延迟也会更低。因此需要结合服务车辆和RSU的计算资源来执行请求的任务。基于DQN的计算资源预分配方法如图4所示，我们采用典型的DQN结构。

为了实现深度强化学习模型，我们首先将问题转换为一个MDP马尔科夫决策过程。MDP主要应用于决策、优化、控制和管理等领域，能够合理准确地建模基于时间序列的决策问题，并高效地寻找出最优策略。我们将参照MDP原理，分别定义在车联网中系统状态、动作、奖励表达方式。

a)状态集合

在边缘系统环境中，利用深度强化学习进行建模需要定义环境的状态集合，我们定义的时候需要考虑MEC服务器和资源子网中可用的服务车辆以及它们各自的资源使用状态，以及任务车辆的数量、它们各自所需的计算资源数目以及任务执行所需计算资源的提供者。

b)动作集合

动作集合包括所有可能发生的决策行为，即系统在不同的情况下分配计算资源的数目。由于动作和状态两者相互关联，所以动作集合包括任务车辆执行的任务所需的计算资源由子网中车辆单独提供、MEC服务器单独提供和两者协同提供三种情况组成。

c)系统奖励

系统奖励指的是系统在不同状态下采取不同动作时得到的回报或者好处。本发明中采用系统中任务车辆任务执行的平均响应时间来衡量系统中资源分配的奖励。当采取某一动作时，系统会获得一个收益。本发明中深度强化学习的目标是最小化任务执行的平均响应时间。

通过DQN对系统中的计算资源进行预分配，我们能够得到计算资源的预分配方案。

3)根据场景中车联网的延迟和能耗建立优化模型，确定优化目标并利用多目标优化算法对于得到的预分配方法进行优化，优化过程将在主MEC服务器进行。本发明中计算资源分配优化方法用的是NSGA-II(Non-dominated Sorting Genetic Algorithm II)，如图5所示。

首先确定优化目标，在任务车辆的任务执行过程中，需要将任务内容传输到资源提供者，在传输过程中需要时间，任务执行过程需要时间，返回执行结果需要时间，这三种时间的和称为任务执行的响应时间。同时任务在传输和执行过程中需要消耗能源，因此能耗也是优化目标之一。另外，由于在利用服务车辆的计算资源相比利用MEC服务器所需的能耗和延迟更低，因此将服务车辆的计算资源利用率也作为优化目标之一。优化的目标有三个：任务执行的平均响应时间、系统能耗和服务车辆的计算资源利用率。

优化的过程如下：首先将计算资源预分配方案输入到算法中作为初始决策变量。然后将MEC数量和容量、服务车辆数量和资源量等作为约束条件，将上述三个优化目标作为目标函数进行迭代优化，优化后得到的计算资源分配方案将大大提升车联网边缘系统的效用和性能。

与现有技术相比，

1)本发明基于深度学习技术设计了一种车联网环境下计算资源分配和优化方法，这种方法由任务车辆和多个服务提供方(包括服务车辆和RSU)协同执行车载任务，适用于车联网环境下多用户的实时计算资源分配问题。可用的计算资源由任务车辆周围的有空闲资源的服务车辆以及RSU服务器中的计算资源组成。首先多车辆用户的车辆状态和轨迹数据由路边单元RSU收集后传到云端，训练完成车辆移动模型后传到RSU进行车辆轨迹预测，然后结合车辆轨迹进行计算资源的预分配，最后利用优化算法对预分配方案进行优化。

2)本发明设计了基于深度学习的车辆移动轨迹预测方法，具体为用图时空网络对路段车辆的状态信息(速度、方向等)提取关键信息并建模为图，同时结合长短期记忆网络和多层感知机构建轨迹预测模型。

3)本发明设计了多车辆用户计算资源预分配方法，具体为结合预测得到的车辆轨迹，提出了一种基于深度强化学习的计算资源分配方法，该方法可以对场景下多任务车辆进行计算资源预分配。

4)本发明设计了计算资源分配优化方法，具体为将计算资源分配和优化建模为多目标优化问题，以MEC数量和容量、MEC覆盖范围等作为约束条件，以最小化系统延迟、最大化系统性能、最大化服务质量为目标，利用多目标优化算法进行求解，得到的分配方法将使得系统整体更加高效。

有益效果

本方法旨在考虑路段车辆的动态移动性，并结合路边单元服务器和服务车辆的计算资源为路段的任务车辆分配计算资源，使得路段边缘系统整体效用最大化。

附图说明

图1是本发明的结构示意图。

图2是本发明的整体流程图。

图3车辆轨迹预测模型构建流程图。

图4是结合深度强化学习的计算资源预分配方法结构图，采用典型的DQN结构。

图5是计算资源分配方案优化流程图。

图6是轨迹预测模型构建时序图。

其中：

RSU：可以提供服务和计算资源的路边单元，部署有MEC服务器，覆盖范围内车辆的计算资源使用情况会上传到RSU。

V2V：(Vehicle to Vehicle，V2V)车到车通信。

V2I：(Vehicle to Infrastructure)车到基础设施通信。

具体实施方式

1)系统架构

本发明针对城市的直行路段，路段中需要执行任务的车辆称为任务车辆，拥有空闲计算资源的车辆称为服务车辆；在路边单元主RSU中配备MEC边缘服务器，该服务器与其覆盖范围内的车辆以及云端服务器通讯。云端服务器搭建车辆轨迹预测模型，如图1所示。路段结合RSU和服务车辆的计算资源为任务车辆提供服务，目的是路段边缘系统整体效用最大化。

2)总体流程

本实施例是在云端构建结合图时空网络和长短期记忆网络的车辆轨迹预测模型，然后某城市路段的MEC服务器将覆盖范围内的车辆轨迹数据传到云端服务器，将上传的过去一段时间的轨迹数据作为训练集，训练完成后将轨迹预测模型传输到路段主MEC服务器中。主MEC服务器中有轨迹预测模型后，每隔一段固定时间路段MEC服务器将覆盖范围内的车辆轨迹数据上传到主MEC服务器，主MEC服务器进行轨迹预测并根据轨迹和路段分块划分资源子网，主MEC服务器同时收集服务车辆和路段其余MEC服务器的资源使用状态，根据资源使用状态和子网划分情况利用深度强化学习进行资源预分配，然后结合车联网边缘系统环境确定优化目标，设计约束条件，建立模型进行资源分配方法的优化。

本发明的总体流程参考图2所示，大体来说可以分为3个主要的部分，分别为：

①车辆轨迹预测：在云端服务器通过汽车之前的轨迹数据搭建图时空网络进行轨迹特征的提取，搭建长短期记忆网络进行训练和调参，训练完成后得到车辆轨迹预测模型并传输到主MEC服务器；

②计算资源预分配：从主MEC服务器获得当前路段各车辆和RSU的计算资源使用和剩余状态，结合预测得到的车辆轨迹和路段分块构建资源子网，根据各任务车辆的任务种类和所需计算资源的大小，利用深度强化学习进行资源分配；

③资源分配方法优化：选择资源分配方法的评价指标，并设计约束条件建立优化模型，利用多目标优化算法对②中的分配方法进行优化，优化后得到分配方案，随后在下个时间段转到②。

3)车辆轨迹预测模型构建

在复杂的行人道路或行车道路中，个体的轨迹运动决策受到其他个体的相互作用影响，让深度学习模型通过数据自动化地学习到相互作用的影响，有助于生成更准确、更可行的轨迹方案。轨迹数据预测在交通管理和城市规划的大量应用中具有重要意义。基于图时空神经网络和长短期记忆网络的方法对于车辆轨迹预测有着很好的支持。

车辆轨迹预测模型构建的具体过程参考图6：

①RSU配备的MEC服务器发送路段车辆的速度、方向和GPS数据到云端服务器；

②在云端服务器搭建图时空网络和长短期记忆网络；

③在云端服务器进行神经网络的训练和参数的调整；

④训练好的模型发送到主MEC服务器；

⑤主MEC服务器进行路段车辆轨迹预测。

其中，

4)计算资源预分配

为了尽可能地最大化边缘系统效用，动态自适应分配计算资源是必不可少的。在系统总的计算资源有限的情况下，合理分配每台任务车辆的计算资源是关键。如果任务车辆请求的任务复杂，则会分配计算资源。相反，它将分配更少的计算资源。结合服务车辆和RSU的计算资源来执行请求的任务。本发明采用深度强化学习算法DQN进行资源预分配，计算资源预分配方法如图4所示。在每轮迭代中，通过一系列的观察、动作和奖励，存在一些时间步与环境交互，最后得到计算资源预分配方案。

5)预分配方案优化

将计算资源分配和优化建模为多目标优化问题，以MEC数量和资源数目、服务车辆数量和资源数目作为约束条件，以最小化任务平均响应时间、最小化系统能耗、最大化服务车辆利用率为目标函数，利用多目标优化算法进行求解。优化算法的流程参考图5所示。本发明中计算资源分配优化方法用的是NSGA-II(Non-dominated Sorting GeneticAlgorithm II)，具体流程如下：

①将计算资源预分配方案作为初始化的决策变量，将任务平均响应时间、系统能耗和服务车辆利用率这些评价指标作为优化目标；

②进行遗传算法中的交叉变异操作；

③计算目标函数值(设计的评价指标)；

④非支配排序；

⑤计算拥挤度距离；

⑥判断迭代次数是否小于设定值，如果是则返回②进行交叉和变异操作；

⑦生成新的决策变量，也就是计算资源分配方案；

⑧流程结束。