一种面向用户隐私保护的高能效V2X资源分配方法

技术领域

本发明涉及一种车联网技术，尤其涉及一种V2X资源分配方法，更具体地说，涉及一种面向用户隐私保护的高能效V2X资源分配方法。

背景技术

在智能交通系统中，车辆在高速公路上主要考虑车辆组队行驶的问题，但在城市中，C-V2X在交叉口等车辆汇聚路段通信时，数据更容易被窃听，且频谱资源有限，通信质量需要保障和加强。在满足C-V2X保密率的前提下，如何提高车联网网络的频谱效率(Spectrum Efficiency，SE)和能量效率(Energy Efficiency，EE)是一个很大的挑战。

深度强化学习(Deep reinforcement learning，DRL)是一种机器学习算法，它不需要像传统的最优化方法一样对优化目标作出假设或为了降低复杂度做次优化处理，而是利用了深度学习的感知能力与强化学习的决策能力，采用神经网络作为函数逼近器，可以很好地将车联网高维状态空间中的决策问题解决。与传统Q学习相比，深度Q网络是一种改进的算法，解决了状态和动作空间爆炸的问题。因此，它被用来启发式地解决各类优化问题。

本发明提出的一种面向用户隐私保护的高能效V2X资源分配方法，建立了一个同时考虑SE和EE的目标优化函数，并将蜂窝车联网蜂窝车联网(Cellular-Vehicle-to-Everything，C-V2X)的保密率作为该函数的关键约束，利用深度Q网络(Deep-Q-Network，DQN)将优化问题转化为V2V和V2I链路的频谱和传输功率选择问题，可以很好地在满足C-V2X保密率的前提下提高系统联合效率。

发明内容

本发明的目的是基于深度强化学习的DQN架构，提出一种面向用户隐私保护的高能效V2X资源分配方法，以提高频谱效率和能源效率。为了实现该目的，本发明所采用的步骤是：

步骤1：在满足C-V2X保密率的前提下，以提高车联网网络的频谱效率和能量效率为目的，定义状态空间为信道状态信息；动作空间为智能体选择的子信道和V2V传输功率；

步骤2：在考虑保密率及其门限值大小的情况下，定义V2X链路的频谱效率为奖励函数；

步骤3：智能体v从环境中观察状态s

步骤4：从记忆回放池选取一小批样本，通过最小化Q网络和学习目标间的平方和误差训练Q网络，使用随机梯度下降法计算更新后的网络参数，若训练回合数达到最大训练回合数E，则进入步骤5，否则跳转至步骤3开始新一回合训练；

步骤5：根据训练完成的DQN网络，得到最优的V2V和V2I链路的频谱和传输功率分配方案。

进一步的，所述步骤1包括如下具体步骤：

步骤1-1：在C-V2X网络下的车联网系统模型中，存在一个密集且资源有限的车辆组队场景，其中存在窃听者。在这个场景中，多队车辆(位于同一车道上的一组车)和独队车辆(位于某一车道上的单独车辆)聚集在一个十字路口。在一个车队中，位于队头的车辆向所有的排成员发送合作感知信息(Cooperative Awareness Message，CAM)，每个队成员将自己的CAM发送给相邻的排成员，队头车辆和独队车辆通过V2I通信获取交通和娱乐信息；

步骤1-2：状态空间s包括第m条V2V链路的子信道增益H

s＝{H

步骤1-3：动作空间a包括智能体选择的子信道NK以及V2X传输功率

进一步的，所述步骤2包括如下具体步骤：

步骤2-1：第m条V2X链路的传输速率可表示为

其中，P

步骤2-2：类似地，对于窃听者来说，在V2X链路上的窃听速率可表示为

其中，h

步骤2-3：定义V2X链路的频谱效率为占用的频谱带宽与总功耗之比，即

其中，B

步骤2-4：奖励定义为V2X链路的频谱效率，表示为

其中，ζ

R

其中，R

进一步的，所述步骤3包括如下具体步骤：

步骤3-1：将智能体v从环境中观察状态s

步骤3-2：将智能体v的训练数据(s

进一步的，所述步骤4包括如下具体步骤：

步骤4-1：在记忆回放池中选取一小批训练样本数据(s

步骤4-2：计算Q估计为

y

其中γ为折扣率，该值越接近1，表示对未来长期奖励越重视，越接近0，对未来奖励越不敏感，θ′

步骤4-3：定义损失函数为

L

其中D为采样集合，即步骤4-1中选取的数据集，y

步骤4-4：利用随机梯度下降法计算θ

其中α为迭代步长，L

步骤4-5：若满足t＜T，T为每一回合的总时间步，t为当前时间步，则t＝t+1，跳转至步骤3，否则令t＝0，跳转至步骤4-6；

步骤4-6：若满足e＜E，E为训练总回合数，e为当前回合数，则e＝e+1，跳转至步骤2，否则跳转至步骤5。

附图说明

图1是本发明提出的一种面向用户隐私保护的高能效V2X资源分配方法的算法框架图；

图2是本发明采用的系统模型示意图；

图3是本发明的车辆数量-系统联合效率仿真结果图；

图4是本发明的车辆数量-V2V保密率仿真结果图；

具体实施方式

下面结合附图和实例对本发明作进一步详细描述。

本发明提出的一种面向用户隐私保护的高能效V2X资源分配方法的算法框架图如附图1所示。具体包括以下步骤：

步骤1：在满足C-V2X保密率的前提下，以提高车联网网络的频谱效率和能量效率为目的，定义状态空间为信道状态信息；动作空间为智能体选择的子信道和V2V传输功率；

步骤2：在考虑保密率及其门限值大小的情况下，定义V2X链路的频谱效率为奖励函数；

步骤3：智能体v从环境中观察状态s

步骤4：从记忆回放池选取一小批样本，通过最小化Q网络和学习目标间的平方和误差训练Q网络，使用随机梯度下降法计算更新后的网络参数，若训练回合数达到最大训练回合数E，则进入步骤5，否则跳转至步骤3开始新一回合训练；

步骤5：根据训练完成的DQN网络，得到最优的V2V和V2I链路的频谱和传输功率分配方案。

进一步的，所述步骤1包括如下具体步骤：

步骤1-1：在C-V2X网络下的车联网系统模型中，存在一个密集且资源有限的车辆组队场景，其中存在窃听者。在这个场景中，多队车辆(位于同一车道上的一组车)和独队车辆(位于某一车道上的单独车辆)聚集在一个十字路口。在一个车队中，位于队头的车辆向所有的排成员发送合作感知信息(Cooperative Awareness Message，CAM)，每个队成员将自己的CAM发送给相邻的排成员，队头车辆和独队车辆通过V2I通信获取交通和娱乐信息；

步骤1-2：状态空间s包括第m条V2V链路的子信道增益H

s＝{H

步骤1-3：动作空间a包括智能体选择的子信道N

进一步的，所述步骤2包括如下具体步骤：

步骤2-1：第m条V2X链路的传输速率可表示为

其中，P

步骤2-2：类似地，对于窃听者来说，在V2X链路上的窃听速率可表示为

其中，h

步骤2-3：定义V2X链路的频谱效率为占用的频谱带宽与总功耗之比，即

其中，B

步骤2-4：奖励定义为V2X链路的频谱效率，表示为

其中，ζ

R

其中，R

进一步的，所述步骤3包括如下具体步骤：

步骤3-1：将智能体v从环境中观察状态s

步骤3-2：将智能体v的训练数据(s

进一步的，所述步骤4包括如下具体步骤：

步骤4-1：在记忆回放池中选取一小批训练样本数据(s

步骤4-2：计算Q估计为

y

其中γ为折扣率，该值越接近1，表示对未来长期奖励越重视，越接近0，对未来奖励越不敏感，θ′

步骤4-3：定义损失函数为

L

其中D为采样集合，即步骤4-1中选取的数据集，y

步骤4-4：利用随机梯度下降法计算θ

其中α为迭代步长，L

步骤4-5：若满足t＜T，T为每一回合的总时间步，t为当前时间步，则t＝t+1，跳转至步骤3，否则令t＝0，跳转至步骤4-6；

步骤4-6：若满足e＜E，E为训练总回合数，e为当前回合数，则e＝e+1，跳转至步骤2，否则跳转至步骤5。

进一步的，所述步骤5包括如下具体步骤：

步骤5-1：利用训练完成的DQN深度强化学习模型，输入系统某个时刻t的状态s

步骤5-2：目标网络根据输入状态s

为了验证算法的有效性，本文通过仿真展示了提出的算法在保障V2V保密率的前提下在频谱和能量效率方面的性能。仿真结果如附图3与图4所示，下面对仿真结果进行详细说明。

图3对比分析了随机分配算法和本文提出的算法在不同车辆数量情况下的系统联合效率，随着车辆数量的增加，V2V和V2I联合整体效率均呈下降趋势。这是因为随着车辆数量的增加，网络的功耗和干扰也会上升。从图中可以看出，本章提出的算法在很大程度上缓解了这一现象。在车辆数目在20-40之间时，本章提出的算法整体效率高于随机算法。

图4展示了V2V链路的平均保密率与车辆数量的关系。本文提出的算法和比随机算法有更好的性能，因为在本算法中V2V的保密率被视为优化问题的约束，可以自适应地为车辆选择不同的功率，它将尽可能多地干扰窃听者。而随机算法的性能很差，因为它忽略了C-V2X的安全性。本算法在车辆数量20-40之间的的平均V2V保密率分别为1.1054，1.0525，0.9234，0.8121和0.7534。相比随机算法分别提高了93.93％，95.63％，81.05％，72.43％，71.23％，平均提高了82.86％。

因此，综合仿真结果图3与图4，可以看出本发明提出的方法在车辆数目在20-40之间时，整体效率高于随机算法。

最后，对说明书中的附图1-附图2进行详细说明。

在图1中，描述了本发明提出的方法的框架图，利用目标Q网络生成贪心策略并将训练数据放入经验复用池，再从中抽取小批量样本计算价值，从而更新网络参数θ

在图2中，描述了本发明采用的系统模型图，多队车辆和独队车辆聚集在一个十字路口，并存在窃听者。