一种基于无人机辅助车联网资源优化方法、设备和介质

技术领域

本发明涉及无线通信技术领域，具体涉及一种基于无人机辅助车联网资源优化方法、设备和介质。

背景技术

5G及未来的车联网(V2X)通信通过使车辆以智能方式连接一切，为未来的智能交通系统提供技术支持，在车辆中，无人机也被越来越多地应用于流量监测、通信链接增强和数据传输中。通过无人机辅助车辆中的通信，车辆与无人机间能够建立可靠的数据传输，以获取安全驾驶相关的道路信息、多媒体信息等。无人机辅助车辆系统的性能是由无线通信延迟、吞吐量和服务可靠性来评估的。然而，这些性能指标可能没有捕捉到信息的新鲜度，而这正是实时更新的应用所需要的。收集到的信息的新鲜度由一个新的性能指标来量化，即信息年龄(AoI，age of information)，AoI指的是数据包中的应用数据的年龄或新鲜程度，即信息从产生开始到目的地接收时经过的时间，年龄大，指信息“旧”或“不新鲜”。在实时性敏感的应用中，被需要的多是年龄小或更新鲜的数据。这一概念是面向对采集数据时效性要求较高的场景，这些场景包括：无人驾驶的车辆控制系统、无人机辅助车辆系统、野外火灾报警系统等。因为无人机辅助车辆是实时性敏感的应用场景，所以本发明引入信息年龄来度量信息的新鲜程度。

本发明考虑无人机(UAV，unmanned aerial vehicle)能耗受限的车联网系统的上行链路，由于传统的车联网无法提供不间断和无处不在的连接，即无法满足车辆(VE，vehicle)用户的服务质量(QoS，Quality of Service,)需求，并且通信中的中断概率对QoS影响很大，所以本发明引入UAV来解决这个问题，通过UAV的移动性和灵活性来满足用户的QoS需求。但因为UAV是能量受限的设备，所以考虑通过轨迹优化来减少能耗。此外，车联网中的信息新鲜度很重要，所以本发明引入信息年龄(AoI，age of information)来度量信息的新鲜程度，因为车联网是实时性敏感的应用场景，所以需要AoI尽可能小，但要想减小AoI就需要增加UAV分配给车辆的功率，即增加UAV的通信能耗，同理，要想减小UAV能耗会引起AoI的增加，所以需要考虑二者的均衡。

发明内容

本发明所要解决的技术问题是现有技术中UAV获得的信息年龄大且没有考虑中断概率对信息年龄的影响，无法满足实时性敏感的应用场景且不符合实际情况，目的在于提供一种基于无人机辅助车联网资源优化方法、设备和介质，通过获取UAV的最大能耗、特定区域的坐标、中断概率阈值、车辆最大发送功率、UAV单位时隙最大飞行距离和二进制变量，分别建立UAV能耗约束、UAV移动范围约束、中断概率约束、车辆传输功率约束、UAV单位时隙飞行距离约束和每个子信道最多被一辆车使用的约束，通过优化无人机飞行轨迹和子信道分配矩阵，获得最优的平均信息年龄。保证UAV能耗和平均信息年龄存在均衡关系，增加UAV分配给车辆的传输功率会使得信息更容易上传成功，避免重传，从而减小信息年龄。

本发明通过下述技术方案实现：

获取车辆与无人机UAV之间的信道信息，基于OFDMA技术确定UAV通过目标信道接收到车辆上传数据信息的平均信息年龄；

获取满足通信链路QoS需求的信噪比阈值，确定车辆通过目标信道向UAV发送数据的最大发送功率和车辆向UAV传输状态更新信息时的传输中断概率；

获取UAV的速度和UAV机身数据，确定UAV在当前时隙的最大能耗；

获取UAV的最大能耗、目标区域的坐标、中断概率阈值、车辆最大发送功率、UAV单位时隙最大飞行距离和二进制变量，分别建立UAV能耗约束、UAV移动范围约束、中断概率约束、车辆传输功率约束、UAV单位时隙飞行距离约束和每个子信道最多被一辆车使用的约束，对无人机飞行轨迹和子信道分配矩阵进行优化，获得最优的平均信息年龄。

本发明通过在满足通信链路QoS需求获取车辆向UAV传输状态更新信息时的传输中断概率，考虑车辆向UAV传输状态更新信息时可能出现传输中断的情况，获取UAV在当前时隙的最大能耗，防止减小信息年龄会增加无人机能耗的情况发生，通过获取UAV的最大能耗、目标区域的坐标、中断概率阈值、车辆最大发送功率、UAV单位时隙最大飞行距离和二进制变量，分别建立UAV能耗约束、UAV移动范围约束、中断概率约束、车辆传输功率约束、UAV单位时隙飞行距离约束和每个子信道最多被一辆车使用的约束，对无人机飞行轨迹和子信道分配矩阵进行优化，获得最优的平均信息年龄，通过优化无人机飞行轨迹和子信道分配矩阵，获得最优的平均信息年龄。保证UAV能耗和平均信息年龄存在均衡关系，增加UAV分配给车辆的传输功率会使得信息更容易上传成功，避免重传，从而减小信息年龄。

考虑了中断概率对系统平均信息年龄的影响，联合优化无人机轨迹和信道分配，减小无人机能耗和系统平均信息年龄。

进一步的，所述基于OFDMA技术确定UAV通过目标信道接收到车辆上传数据信息的平均信息年龄，具体包括：

基于OFDMA技术，UAV同时接收V辆车的状态更新信息；

根据UAV接收到的V辆车的状态更新信息，确定t时刻车辆状态更新信息的产生时间和UAV处接收到状态更新信息的接收时间，确定t时刻的UAV接收车辆上传的状态更新信息的信息年龄；

根据t时刻的UAV接收车辆上传的状态更新信息的信息年龄，确定UAV接收车辆上传的状态更新信息的平均信息年龄。

进一步的，所述确定t时刻的UAV接收车辆上传的状态更新信息的信息年龄过程中包括对当前时刻的信息年龄进行更新，具体包括：

从初始信息年龄A

t

t

进一步的，所述获取满足通信链路QoS需求的信噪比阈值，具体包括：

获取目标信道由于LoS连接产生的额外衰减系数以及由于NLoS连接产生的额外衰减系数，确定目标信道上UAV到车辆的LoS和NLoS路径损耗；

获取LoS连接的概率和NLoS连接的概率，结合UAV到车辆的LoS和NLoS路径损耗，确定UAV到车辆平均路径损耗；

根据平均路径损耗，确定UAV到车辆的平均信道增益；

根据平均信道增益确定信噪比，根据通信链路QoS需求确定信噪比阈值。

进一步的，所述传输中断概率计算公式为：

其中，Pr表示求概率，

进一步的，UAV在当前时隙的最大能耗计算公式为：

其中，

进一步的，所述约束的建立具体包括：根据UAV的最大能耗建立UAV能耗约束，根据目标区域的坐标建立UAV移动范围约束，根据中断概率阈值建立中断概率约束，根据车辆最大发送功率建立车辆传输功率约束，根据UAV单位时隙最大飞行距离建立UAV单位时隙飞行距离约束，根据和二进制变量建立每个子信道最多被一辆车使用的约束。

本发明第二方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现一种基于无人机辅助车联网资源优化方法。

本发明第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种基于无人机辅助车联网资源优化方法。

本发明与现有技术相比，具有如下的优点和有益效果：

1.通过在一定中断概率约束和UAV能耗约束条件下获得最优平均信息年龄，在减小平均信息年龄的同时保证AoI和UAV分配给车辆的功率的均衡性；

2.考虑了中断概率对系统平均信息年龄的影响，更切合实际；

3.提出了无人机能耗和系统平均AoI的均衡关系模型；

4.联合优化无人机轨迹和信道分配，减小无人机能耗和系统平均AoI；

5.提出的基于Dueling DDQN Multi-Step Learning算法的无人机轨迹优化和信道分配方案在一定中断概率约束和UAV能耗约束条件下显著降低了系统的平均信息年龄。

附图说明

为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：

图1为本发明实施例中的轨迹优化和资源分配流程图；

图2为本发明实施例中的系统模型图；

图3为本发明实施例中的信息年龄的更新过程；

图4为本发明实施例中的不同算法方案下的累积奖励比较图；

图5为本发明实施例中的本方案下的无人机飞行轨迹图；

图6为本发明实施例中的对比方案一的无人机飞行轨迹图；

图7为本发明实施例中的对比方案二的无人机飞行轨迹图；

图8为本发明实施例中的不同算法方案下的信息年龄与车辆数关系图；

图9为本发明实施例中的不同算法方案下的信息年龄与中断概率关系图；

图10为本发明实施例中的不同算法方案下的信息年龄与无人机能耗关系图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

如图1和图2所示，本实施例提供一种基于无人机辅助车联网资源优化方法，包括以下具体步骤：

获取车辆与无人机UAV之间的信道信息，基于OFDMA技术确定UAV通过目标信道接收到车辆上传数据信息的平均信息年龄；

获取满足通信链路QoS需求的信噪比阈值，确定车辆通过目标信道向UAV发送数据的最大发送功率和车辆向UAV传输状态更新信息时的传输中断概率；

获取UAV的速度和UAV机身数据，确定UAV在当前时隙的最大能耗；

获取UAV的最大能耗、目标区域的坐标、中断概率阈值、车辆最大发送功率、UAV单位时隙最大飞行距离和二进制变量，分别建立UAV能耗约束、UAV移动范围约束、中断概率约束、车辆传输功率约束、UAV单位时隙飞行距离约束和每个子信道最多被一辆车使用的约束，对无人机飞行轨迹和子信道分配矩阵进行优化，即对平均信息年龄进行优化，获得最优的平均信息年龄。

本发明考虑无人机UAV能耗受限的车联网系统的上行链路，由于传统的车联网无法提供不间断和无处不在的连接，即无法满足车辆VE用户的服务质量QoS需求，并且通信中的中断概率对QoS影响很大，所以本发明引入UAV来解决这个问题，通过UAV的移动性和灵活性来满足用户的QoS需求。但因为UAV是能量受限的设备，所以考虑通过轨迹优化来减少能耗。此外，车联网中的信息新鲜度很重要，所以本发明引入信息年龄AoI来度量信息的新鲜程度，因为车联网是实时性敏感的应用场景，所以需要AoI尽可能小，但要想减小AoI就需要增加UAV分配给VE的功率，即增加UAV能耗，同理，要想减小UAV能耗也会引起AoI的增加，所以需要考虑二者的均衡。因此，本发明的研究目标是在UAV能耗约束、UAV移动范围约束、中断概率约束、车辆传输功率约束、UAV单位时隙飞行距离约束和每个子信道最多被一辆车使用的约束条件下，通过优化无人机飞行轨迹和子信道分配矩阵，最小化平均信息年龄。

在一些可能的实施例中，基于OFDMA技术确定UAV通过目标信道接收到车辆上传数据信息的平均信息年龄，具体包括：

基于OFDMA技术，UAV同时接收V辆车的状态更新信息；

根据UAV接收到的V辆车的状态更新信息，确定t时刻车辆状态更新信息的产生时间和UAV处接收到状态更新信息的接收时间，确定t时刻的UAV接收车辆上传的状态更新信息的信息年龄；

根据t时刻的UAV接收车辆上传的状态更新信息的信息年龄，确定UAV接收车辆上传的状态更新信息的平均信息年龄。

信息年龄AoI指的是数据包中的应用数据的年龄或新鲜程度，即信息从产生开始到目的地接收时经过的时间。在这里，数据会从车辆VE处产生并在UAV处接收，假设UAV可以通过使用OFDMA技术同时接收V辆车的状态更新信息，VE处状态更新信息的产生时间可以定义为ο(t)，在t时刻，UAV处接收到状态更新信息，所以，将t时刻的AoI定义为A(t)＝t-ο(t)。

如图3所示，AoI从初始年轮A

在给定时隙内数据成功传递需要满足两个条件：

1.UAV和VE之间有可用的子信道；

2.UAV和VE之间的信道的SNR高于给定阈值。

因此，车辆的AoI更新可以表示为下式：

其中，

基于上式，VE的平均AoI可以表示为下式：

在T时间段内所有时隙的VE的平均AoI求和再除以T可以的到整个系统的平均信息年龄，如下式所示：

在一些可能的实施例中，获取满足通信链路QoS需求的信噪比阈值，具体包括：

获取目标信道由于LoS连接产生的额外衰减系数以及由于NLoS连接产生的额外衰减系数，确定目标信道上UAV到车辆的LoS和NLoS路径损耗；

获取LoS连接的概率和NLoS连接的概率，结合UAV到车辆的LoS和NLoS路径损耗，确定UAV到车辆平均路径损耗；

根据平均路径损耗，确定UAV到车辆的平均信道增益；

根据平均信道增益确定信噪比，根据通信链路QoS需求确定信噪比阈值。

本发明假设UAV到VE(U2V,UAV to vehicle)信道是莱斯衰落的，即信道包含路径损耗和小尺度莱斯衰落，下面会进行详细说明。根据空地传播路径损耗模型，子信道k上UAV到VE v的LoS和NLoS路径损耗可以由下式给出：

其中，L

进而，可以得到平均路损：

基于上式，U2V的平均信道增益可以由下式给出：

基于上面的信道模型，VE v通过子信道k得到的接收信号由公下式给出：

基于上面的信道模型，VE v的信噪比(received signal to noise,SNR)可以按下式计算：

因此，在使用OFDMA技术情况下，使用子信道k的VE v的数据速率可以表示为下式：

为了满足通信链路的QoS需求，SIR需要满足条件：

在一些可能的实施例中，对所考虑的UAV辅助的车联网系统的上行链路而言，VE向UAV传输状态更新信息时可能出现传输中断的情况，传输中断概率计算公式为：

其中，Pr表示求概率，

在一些可能的实施例中，UAV在当前时隙的最大能耗计算公式为：

其中，

在一些可能的实施例中，车辆的最大功率约束如下式所示：

在一些可能的实施例中，本发明考虑在中断概率需要小于等于某个阈值以保证系统正常的通信需求条件和UAV能耗约束条件下最小化平均AoI。优化问题可以公式化如下：

P:

在一些可能的实施例中，对车辆的平均信息年龄进行约束包括根据使用场景确定UAV的移动范围、确定UAV在当前时间段的飞行距离最大值、确定中断概率阈值、确定车辆的最大功率约束和确定UAV的能耗约束。具体约束公式如下所示：

其中，(c1)表示每个时隙所有VE在保证正常通信的中断概率约束，而P

本发明第二方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现一种基于无人机辅助车联网资源优化方法。

本发明第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现一种基于无人机辅助车联网资源优化方法。

实施例2

本实施例基于实施例1的基础进行了仿真验证：

如图4所示，可以看出本方案算法的收敛性能比两个对比方案算法的要好。首先，在学习的开始阶段，累积奖励增加得比较快，而当事件的数量达到一定数量(1000)时，增加就变得相对缓慢。这是因为在训练阶段开始时，DRL代理才开始进行UAV的轨迹优化，没有在动态环境中学习到合适的轨迹，可能因为飞出指定区域而受到惩罚。然而，在训练一段时间后，DRL代理可以显著提高累积奖励。最后，当DRL代理对指定区域的边界进行了良好的训练，并开始有效地调整UAVs的轨迹时，累积奖励的提高速度就开始变慢了。值得一提的是，由于环境的非平稳性(即稳定的动态)，累积奖励是围绕其平均变化的，随着训练的增加，总体上会增加。从图中还可以看出，与对比方案一和对比方案二相比，本方案算法的累积奖励更高，能有效减小系统的平均信息年龄，性能更好。

如图5、图6和图7所示，其中叉号表示无人机起始位置，三角是无人机能量补给站，颜色深浅表示无人机覆盖概率，从图中可以看出，本方案的无人机覆盖效果是最好的，基本整个区域都能覆盖到，对比方案一的无人机覆盖效果比本方案要差一些，有小部分边缘地区覆盖不到，对比方案二的无人机覆盖效果最差，有较大部分地区覆盖不到。综上，本方案的覆盖效果是最佳的，覆盖范围是最大的，无人机轨迹优化策略是最优的。

如图8所示，在较低的车辆密度下，本方案提出的算法能够最大限度地减少系统的平均信息年龄，因为低的车辆密度意味着车辆流量非常小，因此每辆车都能分配到较好的信道，中断概率很小，信息重新上传的次数也很少，平均信息年龄就小了。然而，随着车辆密度的增加，平均信息年龄也逐渐增加，因为好的信道数量一定，分配给一部分车辆用户后，其他车辆用户就只能使用较差的信道，对于，较差信道这部分用户来说，中断概率会有所增加，信息重传次数也会增加，信息年龄也就变大了。从图中还可以看出，随着车辆密度的增加，算法之间的性能差距也在增加，而对于低密度来说，差距则在缩小，这说明在车辆数量较多的情况下，优化UAV的轨迹更加重要。综上，与对比方案一和对比方案二相比，本方案算法明显减少了系统的平均信息年龄。

如图9所示，所有方案都是系统的平均信息年龄随着中断概率的增加而增加，因为中断概率增加了，那么通信中断的次数也会变多，相应的信息重传的次数会增加，信息年龄也就变大了。但是，与对比方案一的算法和对比方案二的算法相比，本方案算法的性能更优，能使得系统的平均信息年龄更小。

如图10所示，所有方案都是平均信息年龄先随着无人机能耗的增加而减小，减小的幅度先增加再减小，最后趋于稳定，其中，本方案最先趋于稳定，对比方案一其次，对比方案二最后，因为刚开始无人机能耗低的时候，无人机才刚开始进行轨迹优化，还没找到最优策略，所以减小幅度较小，在逐渐逼近最优策略过程中，减小幅度增加，最后找到最优策略后，趋于一个定值。从图中还可以看出，与对比方案一的算法和对比方案二的算法相比，本方案算法的平均信息年龄更小，无人机能耗更低。

图4、图8、图9和图10中，Dueling_DDQN_MultistepLearning代表本方案，Dueling_DDQN代表对比方案一，DDQN代表对比方案二.

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。