一种信息年龄最小化传感器功率分配的方法及系统

技术领域

本发明涉及网络优化设计技术领域，具体为一种信息年龄最小化传感器功率分配的方法及系统。

背景技术

工业物联网(industrial internet of things,IIoT)凭借其强大的感知和传输能力，被视为实现工业4.0的关键技术。在工业物联网中，众多传感器、控制器、执行单元和监视器相互连接，建立起智能的工业控制系统，可用于监测、收集、交换和分析工业生产数据，实现智能的工业控制。传统意义上，工业物联网系统将网络延迟和吞吐量被作为主要的网络性能指标。近年来，信息时效性已成为新兴状态更新应用(包括危险监测、自动驾驶、AR服务等)中非常重要的指标，因为过时的信息可能会造成严重的影响，如生产事故和经济损失甚至人员伤亡。信息年龄(age of information，AoI)作为新的网络指标，被用来刻画信息时效性，定义为系统最新接收到的信息产生时刻到当前时间的时间间隔，在各种系统网络场景中被提出并被广泛研究。因此，为了提高工业物联网系统的信息时效性，基于AoI的工业物联网是一个重要的研究方向。

同时，在许多工业物联网系统中，为了有效监测环境指标，如温度、湿度和有害物质含量，通常需要大量传感器节点(Sensor Nodes,SN)。由于通过电线或电池为SN供电通常需要相对较高的部署和维护成本，无线能量收集(energy harvesting,EH)使SN能够从射频(radio frequency,RF)信号中获取能量，由于其在可控性方面的优势，被广泛认为是一种有前途的低功耗SN无线供电解决方案。

因此，为了同时解决传感器能源供应问题和满足信息时效性的需求，需要搭建射频能量收集技术驱动的无线工业物联网，设计AoI最小化的传感器传输方案。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种信息年龄最小化传感器功率分配的方法及系统，解决了为了同时解决传感器能源供应问题和满足信息时效性的需求，需要搭建射频能量收集技术驱动的无线工业物联网，设计信息年龄最小化的传感器传输方案的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，提供了一种信息年龄最小化传感器功率分配的方法，所述方法包括：

构建由无线能量基站、无线传感器及监控终端组成的无线供电传感器网络；其中所述无线能量基站用于向无线传感器发射射频信号，无线传感器从接收到的射频信号中收集能量，并利用收集到的能量将工业环境中采集到的环境数据上传到监控终端；

根据无线能量基站的发射功率计算无线传感器收集到的能量，根据无线传感器收集到的能量计算监控终端接收到的能量，并通过监控终端接收到的能量计算接收信号的信干燥比；

所述无线传感器节点有电池供电，每个无线传感器从无线能量基站处收集的能量存储在电池中，用于无线信息传输，并计算电池的剩余能量；

分别计算在无线传感器处的信息年龄和在监控终端处的信息年龄；

建立优化问题，所述优化问题的目标为在满足电池的剩余能量最大的条件下最小化平均信息年龄；

将优化问题转化为马尔科夫决策问题进行求解，并完成传感器功率分配。

优选的，根据无线能量基站的发射功率计算无线传感器收集到的能量，具体包括：

第i个传感器SN

其中，1≤i≤M，P

优选的，根据无线传感器收集到的能量计算监控终端接收到的能量，公式如下：

其中，x

优选的，通过监控终端接收到的能量计算接收信号的信干燥比，具体公式如下：

要使得监控终端能够解码SN

优选的，电池的剩余能量的计算包括：

令在t时隙中SN

令

优选的，分别计算在无线传感器处的信息年龄和在监控终端处的信息年龄，具体包括：

在无线传感器处的信息年龄：在时隙t中，如果新的数据包到达SN

其中r

在监控终端处的信息年龄：在时隙t中，如果成功解码来自SN

其中ack

采用系统长期期望总和信息年龄ESA，

优选的，所述优化问题表示为：

s.t.π＝(P(1),P(2),…,P(T))

P

其中，π表示传感器的功率调整策略，P(t)＝(P

优选的，将优化问题转化为马尔科夫决策问题进行求解，具体包括：

马尔科夫决策问题包括状态空间，动作空间，系统转移概率，成本函数；

其中，状态空间具体的：为了有效表征系统的状态，将所有SN的状态联合作为系统状态；令在时隙t中SN

动作空间具体的：为了解决OP，系统的动作空间设为OP的优化变量，即所有SN的联合平均传输功率，系统的联合动作为a(t)＝(a

系统转移概率具体的：系统转移概率定义为采取联合动作a(t)后，从状态s(t)转移到状态s(t+1)的概率，即P(s(t+1)|s(t),a(t))；

成本函数具体的：成本函数为在状态s(t)下采取动作a(t)后到状态s(t+1)的成本C(t)；为了最小化ESA，将终端的信息年龄总和作为系统成本，则

优选的，完成传感器功率分配，具体包括：

构建5个人工神经网络，包含一个本地策略网络π

对于中心Soft Q网络，采用如下的损失函数更新网络：

其中I为从经验池中采样的一批学习经验，

对于本地策略网络，它的损失函数为：

其中α熵正则化系数；

最后更新熵正则化系数，它的损失函数为：

其中K为策略期望达到的目标熵。

第二方面，提供了一种信息年龄最小化传感器功率分配的系统，包括：

构建模块，用于构建由无线能量基站、无线传感器及监控终端组成的无线供电传感器网络；其中所述无线能量基站用于向无线传感器发射射频信号，无线传感器从接收到的射频信号中收集能量，并利用收集到的能量将工业环境中采集到的环境数据上传到监控终端；

第一计算模块，用于根据无线能量基站的发射功率计算无线传感器收集到的能量，根据无线传感器收集到的能量计算监控终端接收到的能量，并通过监控终端接收到的能量计算接收信号的信干燥比；

第二计算模块，用于所述无线传感器节点有电池供电，每个无线传感器从无线能量基站处收集的能量存储在电池中，用于无线信息传输，并计算电池的剩余能量；

第三计算模块，用于分别计算在无线传感器处的信息年龄和在监控终端处的信息年龄；

建立模块，用于建立优化问题，所述优化问题的目标为在满足电池的剩余能量最大的条件下最小化平均信息年龄；

求解模块，用于将优化问题转化为马尔科夫决策问题进行求解，并完成传感器功率分配。

(三)有益效果

本发明一种信息年龄最小化传感器功率分配的方法及系统，在这个网络中多个传感器节点SN首先由无线能量基站(wireless power station,WPS)供电，然后从工业环境中收集环境数据，最后利用从射频信号中收集的能量将环境数据传输到监视器。为了减少工业生产成本，允许所有SN共享同一频谱资源，并同时传输其收集到的状态更新，虽然这样避免了SN之间严格的同步要求，但SN之间的干扰会影响数据的传输，不能忽视，影响了对工业生产环境监控的实时性。因此，本专利通过调整传感器节点之间的功率分配，提升SN到监控端的数据传输，来最小化长期平均信息年龄，最终提升工业物联网的监控实时性。

附图说明

图1为本发明信息年龄最小化传感器功率分配的方法流程图；

图2为本发明实施例中无线供电传感器网络图；

图3为本发明实施例中信息年龄演变图；

图4为本发明实施例中多智能体柔性演员-评论家传感器功率算法框架图。

具体实施方式

下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如图1所示，本发明的一个实施例提供了一种信息年龄最小化传感器功率分配的方法，方法包括：

构建由无线能量基站、无线传感器及监控终端组成的无线供电传感器网络；其中无线能量基站用于向无线传感器发射射频信号，无线传感器从接收到的射频信号中收集能量，并利用收集到的能量将工业环境中采集到的环境数据上传到监控终端；如图2所示的射频RF能量采集技术驱动的工业物联网监控场景，其中包含一个无线能量基站(wirelesspowerstation,WPS)，M个无线传感器和1个监控终端。为了降低工业物联网场景下手动更换电池的成本，部署WPS发送射频信号对无线传感器充电。每个无线传感器配备了能量收集电路模块、一个最大容量为Bmax焦耳的电池，并且装备有一个能量接收天线和一个信息发射天线，能够从接收到的RF信号中收集能量，然后利用收集到的能量将工业环境中采集到的环境数据上传到监控终端。

根据无线能量基站的发射功率计算无线传感器收集到的能量，根据无线传感器收集到的能量计算监控终端接收到的能量，并通过监控终端接收到的能量计算接收信号的信干燥比；为了给无线传感器提供持续的能量供给，WPS向它们持续地广播射频信号；

无线传感器节点有电池供电，每个无线传感器从无线能量基站处收集的能量存储在电池中，用于无线信息传输，并计算电池的剩余能量；

分别计算在无线传感器处的信息年龄和在监控终端处的信息年龄；在工业应用中，一旦系统AoI达到应用的最大容限值，就意味着很长一段时间没有接收到新的数据，所监控的环境数据已经过期，因此继续对AoI进行计数意义不大。因此，用A

建立优化问题，优化问题的目标为在满足电池的剩余能量最大的条件下最小化平均信息年龄；

将优化问题转化为马尔科夫决策问题进行求解，并完成传感器功率分配。

进一步的，根据无线能量基站的发射功率计算无线传感器收集到的能量，具体包括：

第i个传感器SN

其中，1≤i≤M，P

进一步的，根据无线传感器收集到的能量计算监控终端接收到的能量，公式如下：

其中，x

进一步的，通过监控终端接收到的能量计算接收信号的信干燥比，具体公式如下：

要使得监控终端能够解码SN

进一步的，电池的剩余能量的计算包括：

令在t时隙中SN

令

AoI演变的示例图如图2所示，进一步的，分别计算在无线传感器处的信息年龄和在监控终端处的信息年龄，具体包括：

在无线传感器处的信息年龄：在时隙t中，如果新的数据包到达SN

其中r

在监控终端处的信息年龄：在时隙t中，如果成功解码来自SN

其中ack

采用系统长期期望总和信息年龄ESA，

如图3所示，当新数据成功传输时，AoI减小。也就是说，高效的数据传输能够有效降低ESA。然而，由于SN之间的干扰和电池电量的不确定性，来自所有SN的数据难以同时在一个时隙内被监控终端解码。因此，为了提高数据传输的效率，进一步提高数据的时效性，需要一种高效的功率分配策略。因此，本专利以最小化系统的ESA为目标，以功率策略为优化变量构建优化问题OP；进一步的，优化问题表示为：

s.t.π＝(P(1),P(2),…,P(T))

P

其中，π表示传感器的功率调整策略，P(t)＝(P

然而，直接求解OP是非常困难的，因为OP是非凸问题，并且目标函数

由于深度强化学习技术在求解复杂非凸问题上的强大能力，本专利开发了一种基于多智能体深度强化学习的方法来高效求解OP。在利用深度强化学习技术之前，需要将原问题转化成马尔科夫决策问题(Markov decisionproblem,MDP)。

MDP建模包含状态空间，动作空间，系统转移概率，成本函数4个部分，具体如下；将优化问题转化为马尔科夫决策问题进行求解，具体包括：

马尔科夫决策问题包括状态空间，动作空间，系统转移概率，成本函数；

其中，状态空间具体的：为了有效表征系统的状态，将所有SN的状态联合作为系统状态；令在时隙t中SN

动作空间具体的：为了解决OP，系统的动作空间设为OP的优化变量，即所有SN的联合平均传输功率，系统的联合动作为a(t)＝(a

系统转移概率具体的：系统转移概率定义为采取联合动作a(t)后，从状态s(t)转移到状态s(t+1)的概率，即P(s(t+1)|s(t),a(t))；

成本函数具体的：成本函数为在状态s(t)下采取动作a(t)后到状态s(t+1)的成本C(t)；为了最小化ESA，将终端的信息年龄总和作为系统成本，则

多智能体柔性演员-评论家传感器功率分配方案的学习框架如图4所示，进一步的，完成传感器功率分配，具体包括：

为了能使得SN合理地调整传输功率，提高工业物联网系统中的监控实时性，并减少网络通信开销，本专利提出了一个智能体柔性演员-评论家传感器功率分配方案，通过集中式训练和分布式执行的框架，将每个SN作为智能体，并使其学习到最优策略，从而根据自己的局部观察状态调整功率，无需大规模网络交互。

在多智能体柔性演员-评论家传感器功率方案构建学习框架中，构建5个人工神经网络，包含一个本地策略网络π

对于中心Soft Q网络，采用如下的损失函数更新网络：

其中I为从经验池中采样的一批学习经验，

对于本地策略网络，它的损失函数为：

其中α熵正则化系数；

最后更新熵正则化系数，它的损失函数为：

其中K为策略期望达到的目标熵。

本发明又一个实施例提供了一种信息年龄最小化传感器功率分配的系统，包括：

构建模块，用于构建由无线能量基站、无线传感器及监控终端组成的无线供电传感器网络；其中无线能量基站用于向无线传感器发射射频信号，无线传感器从接收到的射频信号中收集能量，并利用收集到的能量将工业环境中采集到的环境数据上传到监控终端；

第一计算模块，用于根据无线能量基站的发射功率计算无线传感器收集到的能量，根据无线传感器收集到的能量计算监控终端接收到的能量，并通过监控终端接收到的能量计算接收信号的信干燥比；

第二计算模块，用于无线传感器节点有电池供电，每个无线传感器从无线能量基站处收集的能量存储在电池中，用于无线信息传输，并计算电池的剩余能量；

第三计算模块，用于分别计算在无线传感器处的信息年龄和在监控终端处的信息年龄；

建立模块，用于建立优化问题，优化问题的目标为在满足电池的剩余能量最大的条件下最小化平均信息年龄；

求解模块，用于将优化问题转化为马尔科夫决策问题进行求解，并完成传感器功率分配。

本申请的实施例可提供为方法或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。