基于云边计算的非线性网络化多智能体控制方法及系统

技术领域

本发明涉及工业互联网和自动控制技术领域，尤其涉及一种基于云边计算的非线性网络化多智能体控制方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

网络化多智能体是由多个智能体组成的系统，它们通过网络相互连接和协作。每个智能体都是一个独立的实体，具有自主性、感知能力、决策能力和行动能力。通过网络化连接，智能体之间可以交换信息、共享知识，并通过合作或竞争来达成共同目标或解决问题。近年来，网络化多智能体技术在自动驾驶、智能物流、卫星编队等领域得到广泛应用，展现出了强大的协同和智能化能力。

然而，随着网络化多智能体系统控制规模的增长，智能体通常分布在混合网络中。在这种情况下，有限的公共网络资源使代理之间的通信面临挑战，从而使大多数现有的协调控制策略变得不可行。此外，智能体自身的微处理器的数据处理能力非常有限。因此，网络化多智能体系统的扩展导致实时数据大幅增加，使得智能体很难在规定的采样周期内执行控制策略。

发明内容

针对现有技术存在的不足，本发明的目的是提供一种基于云边计算的非线性网络化多智能体控制方法及系统，将云计算和边缘计算引入网络化多智能体系统，建立了混合网络下的分布式网络化多智能体系统的通信架构，并设计了控制律，对通信约束进行主动补偿，达到了所有智能体的协调。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明第一方面提供了一种基于云边计算的非线性网络化多智能体控制方法，包括以下步骤：

根据网络条件，将分布在混合网络下的多智能体进行分组，并给每组智能体分配一个边缘节点；

采集智能体的输入输出数据发送至对应的边缘节点，利用边缘节点计算中间参数，并发送至云节点；

利用中间参数，构建智能体控制律，其中，对中间参数进行迭代计算得到输出预测，根据输出预测和中间参数，结合预设的跟踪协议共同构建智能体控制律；

基于智能体控制律生成预测控制序列，下发至智能体的执行器，对智能体进行控制。

进一步的，每个智能体反馈和前向信道中存在随机的通信约束。

进一步的，利用传感器采集智能体的输入输出数据发送至对应的边缘节点，并发送至云节点，云节点上的云控制器利用中间参数，构建智能体控制律。

更进一步的，所述云控制器为事件驱动，执行器和传感器为时间驱动且同步。

进一步的，利用边缘节点计算中间参数得具体公式为：

其中，

进一步的，对中间参数进行迭代计算得到输出预测的具体公式为：

其中，

更进一步的，智能体控制律表示为：

其中

其中，

本发明第二方面提供了一种基于云边计算的非线性网络化多智能体控制系统，包括：

智能体分组模块，被配置为根据网络条件，将分布在混合网络下的多智能体进行分组，并给每组智能体分配一个边缘节点；

参数计算模块，被配置为采集智能体的输入输出数据发送至对应的边缘节点，利用边缘节点计算中间参数，并发送至云节点；

控制律构建模块，被配置为利用中间参数，构建智能体控制律，其中，对中间参数进行迭代计算得到输出预测，根据输出预测和中间参数，结合预设的跟踪协议共同构建智能体控制律；

控制律执行模块，被配置为基于智能体控制律生成预测控制序列，下发至智能体的执行器，对智能体进行控制。

本发明第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于云边计算的非线性网络化多智能体控制方法中的步骤。

本发明第四方面提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于云边计算的非线性网络化多智能体控制方法中的步骤。

以上一个或多个技术方案存在以下有益效果：

本发明公开了一种基于云边计算的非线性网络化多智能体控制方法及系统，应用于混合网络下的分布式非线性多智能体系统，使用云边计算建立智能体之间的通信，并设计控制律，以主动补偿系统中存在的随机通信约束即网络诱导延迟、数据包乱序和数据包丢失等，最终达到所有智能体的协调，从而实现多智能体的最优控制。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例一中基于云边计算的非线性网络化多智能体控制方法流程图；

图2为本发明实施例一中多智能体系统的结构图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

应当说明的是，本发明实施例中，涉及到智能体系统的相关的数据，当本发明以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合；

实施例一：

本发明实施例一提供了一种基于云边计算的非线性网络化多智能体控制方法，如图1所示，包括以下步骤：

S1：根据网络条件，将分布在混合网络下的多智能体进行分组，并给每组智能体分配一个边缘节点。

每个智能体反馈和前向信道中存在随机的通信约束，即网络诱导延迟、数据包乱序和数据包丢失等。

本实施例将其进一步处理重新定义为智能体的往返时间(RTT)延迟，RTT延迟表示一个数据包从发送到接收的时间长度，它是随机但有界的，即：

其中，

在现实中，一个大规模多智能体系统往往分布在混合网络下，首先根据网络条件将智能体分成不同的组。然后，将每组智能体分配给一个边缘节点。最后，所有边缘节点都与云节点相连。因此，组内的智能体可通过网络直接与各自的边缘节点通信，而所有边缘节点则集体与云节点通信。假设边缘节点的数量是m，每个边缘节点连接n个智能体，那么在第i个边缘节点下的第j个智能体(称为智能体i-j)的动态方程表示为：

其中，

具体结构如图2所示，其中Cloud ControllerNode代表云控制器节点，Edge Node代表边缘节点，Agent代表智能体，Actuator和Sensor分别代表智能体的执行器和传感器。其中，云控制器为事件驱动，执行器和传感器为时间驱动且同步。参考信号定义为y

S2：利用传感器采集智能体的输入输出数据发送至对应的边缘节点，利用边缘节点计算中间参数，并发送至云节点。

S201：对于智能体i-j，传感器收集历史I/O数据，组织以下数据包及其时间戳，在每一个采样时间通过网络发送至边缘节点：

其中，

S202：边缘节点收到来自传感器的包，使用以下算法进行计算中间参数：

其中，

S203：此外，边缘节点在每个采样时刻组织以下数据包及其时间戳发往云节点：

其中，

S3：云节点上的云控制器利用中间参数，构建智能体控制律。具体的，对中间参数进行迭代计算得到输出预测，根据输出预测和中间参数，结合预设的跟踪协议共同构建智能体控制律。

S301：由于云控制器是事件驱动的，当收到一个数据包，云控制器根据下列迭代计算得到输出预测：

其中，Δ表示变化量，

S302：为了完成跟踪控制的目标，设计如下协议：

上述协议的设置是基于跟踪控制的原理，第一个式子是为了让智能体1-1跟踪参考输出y_r，第二个式子是为了智能体i-1跟踪智能体1-1，第三个式子是为了让智能体i-j跟踪i-1。

S303：根据上述得到的输出预测和跟踪协议以及中间参数，为了主动补偿随机通信约束并达到所有智能体的协调，设计如下增量式控制律：

其中，

其中，

S4：基于智能体控制律生成预测控制序列，下发至智能体的执行器，对智能体进行控制。

根据前一步骤中设计的智能体控制律，迭代产生如下预测控制序列，并下发至执行器：

由于传输通道中存在RTT延迟，在采样期间可能会有一个、多个或没有预测控制序列到达执行器。假设在时间k，执行器中的最新数据包：

其中

对于智能体i-j，为了主动补偿RTT延迟，在k时刻，执行器选择如下控制信号作用于智能体：

实施例二：

本发明实施例二提供了一种基于云边计算的非线性网络化多智能体控制系统，包括：

智能体分组模块，被配置为根据网络条件，将分布在混合网络下的多智能体进行分组，并给每组智能体分配一个边缘节点；

参数计算模块，被配置为采集智能体的输入输出数据发送至对应的边缘节点，利用边缘节点计算中间参数，并发送至云节点；

控制律构建模块，被配置为利用中间参数，构建智能体控制律，其中，对中间参数进行迭代计算得到输出预测，根据输出预测和中间参数，结合预设的跟踪协议共同构建智能体控制律；

控制律执行模块，被配置为基于智能体控制律生成预测控制序列，下发至智能体的执行器，对智能体进行控制。

实施例三：

本发明实施例三提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本发明实施例一所述的基于云边计算的非线性网络化多智能体控制方法中的步骤。

实施例四：

本发明实施例四提供了一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明实施例一所述的基于云边计算的非线性网络化多智能体控制方法中的步骤。

以上实施例二、三和四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。

本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。