一种能量采集中继辅助物联网的传输时延优化方法及装置

技术领域

本发明涉及物联网技术领域，具体涉及一种能量采集中继辅助物联网的传输时延优化方法。

背景技术

能量采集中继辅助物联网(Energy Harvesting Relay-Assisted Internet ofThings，EH-RIoT)是一种基于无线通信和能量采集技术的物联网通信方式。在EH-RIoT中，通过使用能量采集技术，终端设备可以从环境中获取能量，将环境中的能量(如太阳能、风能、机械能等)转化为电能，用于终端设备的供电，而无需使用传统的电池供电方式，实现长时间的无线通信并延长设备的使用寿命。在EH-RIoT中，通过使用中继节点将终端设备发送的信号转发到其他节点或云端，从而实现数据的传输和共享。同时，EH-RIoT还使用中继节点来扩展无线网络的覆盖范围，提高网络的可靠性和容量。EH-RIoT的应用非常广泛，例如智能家居、智能城市、智能交通等领域。在这些应用中，EH-RIoT可以帮助实现设备的长时间运行和数据的可靠传输，从而提高智能系统的效率和可靠性。

但是，目前在能量采集中继辅助物联网中，由于能量供应和数据收集的不稳定性，以及物联网设备之间的干扰等，导致能量采集中继辅助物联网存在数据传输时延较长、无法满足工业物联网设备上传一定数据所用时延最少的需求这一技术问题。因此，如何在保证数据平衡以及能量平衡的前提下，优化数据传输过程，最小化传输时延，成为能量采集中继辅助物联网技术中需要解决的重要问题。

发明内容

针对上述技术问题，本发明提出了一种能量采集中继辅助物联网的传输时延优化方法及装置，旨在优化能量采集中继辅助物联网的数据传输过程。

为解决上述技术问题，本发明采用如下技术方案：一种能量采集中继辅助物联网的传输时延优化方法，包括以下步骤：

步骤S1，将一个中继节点放置于基站中，在基站的通信范围内放置I台物联网设备i，用集合i＝{1,2，…，I}表示，所述中继节点用于接收物联网设备i向其传输的数据，将设备i向中继节点传输数据所需的传输时延K分为k个时隙，获取设备i和中继节点在每个时隙内的无线信道参数；

步骤S2，根据设备i和中继节点在每个时隙内的无线信道参数，计算设备i和中继节点的传输速率；

步骤S3，以中继节点处的数据平衡以及能量平衡为约束条件，以设备i的传输比例、设备i和中继节点的传输功率以及子时隙分数为优化变量，以最小化每台设备i传输一定数据时的传输时延为优化目标建立优化问题P；

步骤S4，把优化问题P分解为两个子问题P-1和子问题P-2，采用神经网络结合深度确定性策略梯度算法对子问题P-1进行求解，根据子问题P-1的求解结果，采用二分搜索算法对子问题P-2进行求解，从而得到优化问题P的最优解。

其中，时延是指信号从发送端到接收端所需的时间，时隙是指在一段时间内，通信系统按照固定的时间间隔进行通信的基本单位。

本发明的技术构思为：首先，在能量采集中继辅助物联网中，基于中继节点处的能量平衡和数据平衡的限制前提的考虑，构建能量采集中继辅助物联网的传输时延的优化问题P。随后，通过对问题特性的分析，将优化问题P分为子问题P-1和子问题P-2。结合对子问题P-1的分析，提出求解子问题P-1的深度确定性策略梯度算法和求解子问题P-2的二分搜索算法。进而求出原优化问题P的解，从而保证能量采集中继辅助物联网中的设备完成所有上传数据量的情况下，实现传输时延的最小化。

通过构建能量采集中继辅助物联网的传输时延的优化问题P，并将优化问题P分解为子问题P-1和子问题P-2，提出深度确定性策略梯度算法和二分搜索算法求解子问题，从而求出原优化问题P的最优解，实现了在保证中继节点处的数据平衡以及能量平衡的前提下，最小化每台设备传输数据时的传输时延，提高能量采集中继辅助物联网的传输速率，从而节省网络资源，增加整个网络的系统效益。

作为优选，步骤S3中，优化问题P的表达式为：

P：minK

上式为优化问题P的目标函数，表示最小化每台设备i传输一定数据时的传输时延，其中，K表示设备i向中继节点传输数据所需的传输时延；

优化变量包括：{α

其中，α

上式为优化问题P的约束条件1，表示中继节点处的数据平衡，其中，T表示单个时隙长度，

上式为优化问题P的约束条件2和约束条件3，表示中继节点处的能量平衡，其中，E

D

上式为优化问题P的约束条件4，其中，D

0≤τ

上式为优化问题P的约束条件5—9，表示优化变量的取值范围，其中，

作为优选，步骤S4中，子问题P-1的表达式为：

优化变量包括：{α

上式为子问题P-1的目标函数，表示通过联合优化{α

上式为子问题P-1的约束条件1，表示中继节点处的数据平衡；

上式为子问题P-1的约束条件2和约束条件3，表示中继节点处的能量平衡；

0≤τ

上式为子问题P-1的约束条件4—8，表示优化变量的取值范围。

作为优选，步骤S4中，采用神经网络结合深度确定性策略梯度算法求解子问题P-1的方法为：

步骤S401，确定动作空间信息以及状态空间信息，所述动作空间信息包括设备i的传输比例α

步骤S402，使用演员—评论家算法框架构建神经网络模型，所述神经网络模型包括演员网络、评论家网络以及奖励函数，所述演员网络的输入为状态空间信息，输出为动作空间值，所述评论家网络的输入为状态空间信息和动作空间值，输出为状态值函数，所述奖励函数用于描述神经网络模型在每个状态下采取每个动作后从环境中反馈的奖励；

步骤S403，初始化神经网络模型的参数，定义演员网络以及评论家网络的损失函数；

步骤S404，使用优化器优化演员网络以及评论家网络的损失函数；

步骤S405，采用经验回放方法随机从经验池中抽取数据对神经网络模型进行训练，重复更新演员网络以及评论家网络，直至获得最优的神经网络模型；

步骤S406，将当前状态空间信息输入训练后的演员网络，输出最优动作空间值以及每个时隙设备i的传输数据量的最大值，将所述最优动作空间值作为子问题P-1的最优解。

作为优选，在“步骤S404，使用优化器优化演员网络以及评论家网络的损失函数”之后，还包括以下步骤：

输入状态空间信息s

将动作空间值a

将s

作为优选，演员网络包括演员在线网络以及演员目标网络，评论家网络包括评论家在线网络以及评论家目标网络，则步骤S405的子步骤包括：

从经验池中抽取四元组数据(s

将样本中的s

更新演员在线网络，根据演员在线网络输出的动作空间值更新评论家在线网络，使得评论家在线网络输出的Q值增大；

重复执行上述步骤，直至评论家在线网络输出的Q值等于目标传输数据量Q′或者Q值在目标传输数据量Q′的预设误差范围内，将此时的神经网络模型作为最优的神经网络模型。

作为优选，步骤S4中，子问题P-2的表达式为：

P-2：mink，k∈K

优化变量为：k，

上式为子问题P-2的目标函数，表示在子问题P-1求解出的传输数据量下最小化时隙个数，从而获得最小化的传输时延；

D

上式为子问题P-2的约束条件1，表示在k个时隙内设备i传输的数据量要超过物联网最低要求的传输数据量；

上式为子问题P-2的约束条件2，表示传输时延K的取值范围。

作为优选，步骤S4中，采用二分搜索算法求解子问题P-2的方法为：

步骤S411，确定最大时隙个数k

步骤S412，计算当前时隙个数k

步骤S413，如果D

步骤S414，令k

步骤S415，令k

步骤S416，重复执行步骤S412—S415，直至k

作为优选，设备i和中继节点在每个时隙内的无线信道参数包括设备到中继节点r的信道带宽、信道增益以及背景噪声功率，设备的传输功率，中继节点到基站的信道带宽、信道增益以及背景噪声功率和中继节点的传输功率，则步骤S2中，根据设备i和中继节点在每个时隙内的无线信道参数，计算设备i和中继节点的传输速率的方法包括：

其中，i和j均表示设备，r表示中继节点，k表示时隙个数，R

一种能量采集中继辅助物联网的传输时延优化装置，包括：

参数获取模块，用于将设备i向中继节点传输数据所需的传输时延K分为k个时隙，获取设备i和中继节点在每个时隙内的无线信道参数；

传输速率计算模块，用于根据设备i和中继节点在每个时隙内的无线信道参数，计算设备i和中继节点的传输速率；

优化问题建立模块，用于以中继节点处的数据平衡以及能量平衡为约束条件，以设备i的传输比例、设备i和中继节点的传输功率以及子时隙分数为优化变量，以最小化每台设备i传输一定数据时的传输时延为优化目标建立优化问题P；

优化问题求解模块，用于把优化问题P分解为两个子问题P-1和P-2，采用神经网络结合深度确定性策略梯度算法对子问题P-1进行求解，根据子问题P-1的求解结果，采用二分搜索算法对子问题P-2进行求解，从而得到优化问题P的最优解。

本发明的有益技术效果包括：采用一种能量采集中继辅助物联网的传输时延优化方法及装置，通过构建能量采集中继辅助物联网的传输时延的优化问题P，并将优化问题P分解为子问题P-1和子问题P-2，提出深度确定性策略梯度算法求得子问题P-1的最佳设备i的传输比例α

本发明的其他特点和优点将会在下面的具体实施方式、附图中详细的揭露。

附图说明

下面结合附图对本发明做进一步的说明：

图1为本发明实施例一种能量采集中继辅助物联网的传输时延优化方法流程图。

图2为本发明实施例当设备数量I分别为3、5、7时，采用NOMA技术和FDMA技术时传输数据量和时延的关系的仿真实验结果示意图。

图3为本发明实施例求解子问题P-1的方法流程图。

图4为本发明实施例步骤S405的子步骤的流程图。

图5为本发明实施例深度确定性策略梯度算法的原理示意图。

图6为本发明实施例采用二分搜索算法求解子问题P-2的方法流程图。

图7为本发明实施例当设备数量I分别为3、5、7时，在固定传输功率下和最优功率下传输数据量和时延的关系的仿真实验结果示意图。

图8为本发明实施例一种能量采集中继辅助物联网的传输时延优化装置结构示意图。

其中：1、参数获取模块，2、传输速率计算模块，3、优化问题建立模块，4、优化问题求解模块。

具体实施方式

下面结合本发明实施例的附图对本发明实施例的技术方案进行解释和说明，但下述实施例仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其他实施例，都属于本发明的保护范围。

在下文描述中，出现诸如术语“内”、“外”、“上”、“下”、“左”、“右”等指示方位或者位置关系仅是为了方便描述实施例和简化描述，而不是指示或暗示所指的装置或者元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例一：

本申请实施例提供了一种能量采集中继辅助物联网的传输时延优化方法，请参阅附图1，包括以下步骤：

步骤S1，将一个中继节点放置于基站中，在基站的通信范围内放置I台物联网设备i，用集合i＝{1,2，…，I}表示，中继节点用于接收物联网设备i向其传输的数据，将设备i向中继节点传输数据所需的传输时延K分为k个时隙，获取设备i和中继节点在每个时隙内的无线信道参数。

其中，时延是指信号从发送端到接收端所需的时间，时隙是指在一段时间内，通信系统按照固定的时间间隔进行通信的基本单位。

由于能量采集中继辅助物联网使用中继节点来扩展网络覆盖范围，数据传输经过多个中继节点的转发时，在一定程度上会增加传输时延，即中继节点的数量和部署位置会影响传输时延，需要对此进行合理的规划和设计。为此，本申请实施例优选使用一个中继节点。

步骤S2，根据设备i和中继节点在每个时隙内的无线信道参数，计算设备i和中继节点的传输速率。

步骤S3，以中继节点处的数据平衡以及能量平衡为约束条件，以设备i的传输比例、设备i和中继节点的传输功率以及子时隙分数为优化变量，以最小化每台设备i传输一定数据时的传输时延为优化目标建立优化问题P。

其中，设备i的传输比例是指设备i在第k个时隙内所占用的子时隙数与第k个时隙内总的子时隙数之间的比值。通常情况下，传输比例是一个小数或百分数形式的数值，用于描述设备i在第k个时隙内的传输时间比例，即设备i在第k个时隙内的传输时间占用了多少比例的总时间。

示例地，如果在第k个时隙内共有100个子时隙，设备i占用了20个子时隙进行数据传输，则设备i的传输比例为20/100＝0.2或20％。这意味着在第k个时隙内，设备i的数据传输占用了总时间的20％。

其中，子时隙是时隙的组成部分，时隙可以被分为多个子时隙，子时隙分数用于划分时隙内部的时间段，可以根据具体的通信需求进行设置。

步骤S4，把优化问题P分解为两个子问题P-1和子问题P-2，采用神经网络结合深度确定性策略梯度算法对子问题P-1进行求解，根据子问题P-1的求解结果，采用二分搜索算法对子问题P-2进行求解，从而得到优化问题P的最优解。

现有技术大多使用频分多址接入(FDMA)技术向中继节点发送数据，FDMA技术虽然可以简单地将频段划分为多个子信道，具有较好的干扰抑制能力和稳定性，但对于频带利用率较低，不够灵活。为此，本申请实施例优选地通过非正交多址接入(NOMA)技术向中继节点发送数据。NOMA技术可以在相同的频带宽度、频率和功率条件下，支持更多的用户接入，从而提高频谱利用率以及通信系统的容量和效率，减少传输延迟。在其他参数相同的情况下，物联网设备的数量I分别为3、5、7时，采用NOMA技术和FDMA技术时传输数据量和时延的关系的仿真实验结果如附图2所示，仿真结果验证了本实施例在减少传输延迟方面的有益技术效果。

本发明的技术构思为：首先，在能量采集中继辅助物联网中，基于中继节点处的能量平衡和数据平衡的限制前提的考虑，构建能量采集中继辅助物联网的传输时延的优化问题P。随后，通过对问题特性的分析，将优化问题P分为子问题P-1和子问题P-2。结合对子问题P-1的分析，提出求解子问题P-1的深度确定性策略梯度算法和求解子问题P-2的二分搜索算法。进而求出原优化问题P的解，从而保证能量采集中继辅助物联网中的设备完成所有上传数据量的情况下，实现传输时延的最小化。

通过构建能量采集中继辅助物联网的传输时延的优化问题P，并将优化问题P分解为子问题P-1和子问题P-2，提出深度确定性策略梯度算法和二分搜索算法求解子问题，从而求出原优化问题P的最优解，实现了在保证中继节点处的数据平衡以及能量平衡的前提下，最小化每台设备传输数据时的传输时延，提高能量采集中继辅助物联网的传输速率，从而节省网络资源，增加整个网络的系统效益。

另一方面，本实施例中，步骤S3中，优化问题P是一个非凸优化问题，优化问题P的表达式为：

P：min K

上式为优化问题P的目标函数，表示最小化每台设备i传输一定数据时的传输时延，其中，K表示设备i向中继节点传输数据所需的传输时延；

优化变量包括：{α

其中，α

上式为优化问题P的约束条件1，表示中继节点处的数据平衡，因为在第k+1个时隙，设备i在中继节点处的传输数据量是上一时刻(k)剩余的传输数据量加上k+1时刻由设备i传到中继节点r的数据量减去中继节点r到基站的数据量，即公式

上式为优化问题P的约束条件2和约束条件3，表示中继节点处的能量平衡，因为，第k个时隙中继节点所消耗的能量不能超过中继节点存储的最大能量，而且，在第k+1个时隙，中继节点处的能量是上一时刻(k)剩余的能量加上k+1时刻中继从外界获取的能量减去中继到基站所消耗的能量，即公式

D

上式为优化问题P的约束条件4，其中，D

0≤τ

上式为优化问题P的约束条件5—9，表示优化变量的取值范围，其中，

从而实现了以中继节点处的数据平衡以及能量平衡为约束条件，以设备i的传输比例、设备i和中继节点的传输功率以及子时隙分数为优化变量，以最小化每台设备i传输一定数据时的传输时延为优化目标建立优化问题P。

另一方面，本实施例中，由于优化问题P是一个离散和连续混合的问题，所以优化问题P可以分解为子问题P-1和子问题P-2，步骤S4中，子问题P-1的表达式为：

优化变量包括：{α

上式为子问题P-1的目标函数，表示通过联合优化{α

上式为子问题P-1的约束条件1，表示中继节点处的数据平衡；

上式为子问题P-1的约束条件2和约束条件3，表示中继节点处的能量平衡；

0≤τ

上式为子问题P-1的约束条件4—8，表示优化变量的取值范围。

另一方面，本实施例中，请参阅附图3，步骤S4中，采用神经网络结合深度确定性策略梯度算法求解子问题P-1的方法为：

步骤S401，确定动作空间信息以及状态空间信息，动作空间信息包括设备i的传输比例α

步骤S402，使用演员—评论家算法框架构建神经网络模型，神经网络模型包括演员网络、评论家网络以及奖励函数，演员网络的输入为状态空间信息，输出为动作空间值，评论家网络的输入为状态空间信息和动作空间值，输出为状态值函数，奖励函数用于描述神经网络模型在每个状态下采取每个动作后从环境中反馈的奖励。

根据演员—评论家算法框架，子问题P-1的目标转化为寻找一个策略π(s,a)来最大化未来奖励值之和，则最优策略π

步骤S403，初始化神经网络模型的参数，定义演员网络以及评论家网络的损失函数。

其中，神经网络模型的参数的初始化可以使用一些常见的初始化方法，如Xavier初始化、He初始化等。

步骤S404，使用优化器优化演员网络以及评论家网络的损失函数。

本实施例中使用优化器优化演员网络以及评论家网络的损失函数的操作与现有技术中通过优化器优化深度强化学习网络的损失函数的操作相类似，现有技术常用的优化器或优化方法包括随机梯度下降(SGD)、自适应矩估计(Adam)、均方根传播(RMSprop)以及时序差分(TD)学习法等，本申请实施例在此不再赘述。

步骤S405，采用经验回放方法随机从经验池中抽取数据对神经网络模型进行训练，重复更新演员网络以及评论家网络，直至获得最优的神经网络模型。

步骤S406，将当前状态空间信息输入训练后的演员网络，输出最优动作空间值以及每个时隙设备i的传输数据量的最大值，将最优动作空间值作为子问题P-1的最优解。

其中，最优动作空间值即最佳的设备i的传输比例α

另一方面，本实施例中，在“步骤S404，使用优化器优化演员网络以及评论家网络的损失函数”之后，还包括以下步骤：

输入状态空间信息s

将动作空间值a

将s

另一方面，本实施例中，演员网络包括演员在线网络θ

步骤A01)从经验池中抽取四元组数据(s

步骤A02)将样本中的s

步骤A03)更新演员在线网络，根据演员在线网络输出的动作空间值更新评论家在线网络，使得评论家在线网络输出的Q值增大；

步骤A04)重复执行上述步骤A01—A03，直至评论家在线网络输出的Q值等于目标传输数据量Q′或者Q值在目标传输数据量Q′的预设误差范围内，将此时的神经网络模型作为最优的神经网络模型。

优选地，本实施例中的预设误差范围为0.1。

进一步的，本实施例中，步骤S403中定义演员在线网络的损失函数J

其中，N为从经验池中抽取的四元组数据的总条数，Q(s

定义评论家在线网络的损失函数L

其中，γ表示折扣因子，r

使用如下公式更新演员在线网络的权重θ

其中，β是预设参数，本实施例中优选参数β为0.001。

深度确定性策略梯度算法的原理示意图请参阅附图5，其中，Actor为演员网络，Critic为评论家网络。

另一方面，本实施例中，步骤S4中，子问题P-2的表达式为：

P-2：min k，k∈K

优化变量为：k，

上式为子问题P-2的目标函数，表示在子问题P-1求解出的传输数据量下最小化时隙个数，从而获得最小化的传输时延；

D

上式为子问题P-2的约束条件1，表示在k个时隙内设备i传输的数据量要超过物联网最低要求的传输数据量；

上式为子问题P-2的约束条件2，表示传输时延K的取值范围。

另一方面，本实施例中，请参阅附图6，步骤S4中，采用二分搜索算法求解子问题P-2的方法为：

步骤S411，确定最大时隙个数k

步骤S412，计算当前时隙个数k

步骤S413，如果D

步骤S414，令k

步骤S415，令k

步骤S416，重复执行步骤S412—S415，直至k

另一方面，本实施例中，设备i和中继节点在每个时隙内的无线信道参数包括设备到中继节点r的信道带宽、信道增益以及背景噪声功率，设备的传输功率，中继节点到基站的信道带宽、信道增益以及背景噪声功率和中继节点的传输功率，由于采用非正交多址接入的传输方式，在上行传输数据时，设备i和中继节点的传输速率的表达式为：

其中，i和j均表示设备，r表示中继节点，k表示时隙个数，R

利用本实施例提出的一种能量采集中继辅助物联网的传输时延优化方法，求得每台设备i传输一定数据时的最优传输时延K，在物联网设备的数量I分别为3、5、7时，分别对固定传输功率下传输数据量和时延的关系以及与本实施例求得的最优传输时延K相对应的最优功率下传输数据量和时延的关系进行仿真实验，其仿真实验结果如附图7所示，其中，“-*-”表示固定传输功率下传输数据量和时延的关系，

综上所述，本申请实施例在数据平衡和能量平衡的约束条件下，通过对能量采集中继辅助物联网的传输时延的优化问题进行分解，考虑了中继有限的数据缓冲、中继有限的能量存储、信道增益、信道带宽、噪声功率等无线信道参数，采用深度确定性策略梯度算法求得最佳的设备i的传输比例α

实施例二：

本申请实施例还提供了一种能量采集中继辅助物联网的传输时延优化装置，请参阅附图8，包括：

参数获取模块1，用于将设备i向中继节点传输数据所需的传输时延K分为k个时隙，获取设备i和中继节点在每个时隙内的无线信道参数；

传输速率计算模块2，用于根据设备i和中继节点在每个时隙内的无线信道参数，计算设备i和中继节点的传输速率；

优化问题建立模块3，用于以中继节点处的数据平衡以及能量平衡为约束条件，以设备i的传输比例、设备i和中继节点的传输功率以及子时隙分数为优化变量，以最小化每台设备i传输一定数据时的传输时延为优化目标建立优化问题P；

优化问题求解模块4，用于把优化问题P分解为两个子问题P-1和P-2，采用神经网络结合深度确定性策略梯度算法对子问题P-1进行求解，根据子问题P-1的求解结果，采用二分搜索算法对子问题P-2进行求解，从而得到优化问题P的最优解。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉该本领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。