一种基于联邦注意力强化学习的NFV服务功能链动态编排方法

技术领域

本发明涉及一种基于联邦注意力强化学习的NFV服务功能链动态编排方法，属于服务功能链领域。

背景技术

伴随着云计算，软件定义网络和网络功能虚拟化等网络新技术的出现，未来网络运维向着虚拟化、智能化的方向不断迈进。网络功能虚拟化提供了一种服务节点虚拟化的方法，它采用通用服务器替代传统网络中的专用中间件，可以大大降低网络运营商的建设和运营成本，提升网络管理的灵活性和可扩展性。于网络端到端服务通常需要不同的服务功能，采用虚拟化技术构建网络服务功能链，进行资源的合理分配和调度成为一个重要的研究课题，引起了学术界和工业界的广泛关注。

为了实现所需的网络服务，VNF应该以基于软件的服务功能链(SFC)的形式编排到合适的虚拟化基础设施中，在过去的几年中，许多SFC编排方法被提出，其目标各不相同，包括降低通信开销、网络效用最大化、性能加速。一般来说，这些与SFC编排相关的解决方案可以分为静态编排和动态编排。

静态编排在给定的物理设备中实例化SFC，并分配存储、计算和带宽等资源，所有这些实例化的VNFs和SFC将在整个操作中定量分配资源，因此，具有静态编排的SFC的性能受到当前和未来网络状态和动作的极大影响。

动态编排在可用的网络基础设施中实例化SFC，并为其操作动态分配网络资源。通过主动了解流量趋势，这些解决方案完成了VNFs的自动扩展，更好地利用重新聚合的SFC来满足长期需求。然而，这些动态方案仍然是启发式的，反应缓慢，很难训练大的状态空间。

发明内容

本发明的目的是提供一种基于联邦注意力强化学习(FARL)的NFV服务功能链动态编排(SFCDO)方法，步骤如下：

1)读取当前物理网络拓扑和服务功能链请求；

2)基于联邦注意力强化学习(FARL)生成虚拟网络功能集在物理网络上的放置方案；

3)判断虚拟网络功能集中每个虚拟网络功能是否都具有可供所述虚拟网络功能放置的服务器，若是，进入步骤4)，否则，进入步骤6)；

4)判断物理网络中是否存在满足所述放置方案需求的链路，若是，则形成服务功能链请求的链路映射方案，进入步骤5)，否则进入步骤6)；

5)接受服务功能链请求，根据放置方案和链路映射方案部署服务功能链请求，更新物理网络拓扑，返回步骤1)；

6)拒绝服务功能链请求，返回步骤1)。

根据上述技术方案，步骤2)中所述的基于联邦注意力强化学习(FARL)生成虚拟网络功能集在物理网络上的放置方案，步骤如下：

步骤一：云端服务器将全局模型传播至各个客户端节点；

步骤二：各客户端节点把通过本地迭代训练更新全局模型；

步骤三：云端服务器把接收到的模型聚合成一个新的全局模型；

步骤四：根据训练好的全局模型输出服务功能链请求的放置方案Solution；

步骤五：重复步骤一至步骤四，动态的优化全局模型。

根据上述技术方案，步骤一云端服务器将全局模型传播至各个客户端节点，云服务器传递全局模型Θ(t)至客户端c

阶段1：云服务器初始化一个预训练模型，模型包含基于注意力网络架构的参数

阶段2：云服务器模型发送给各个本地客户端；

阶段3：随着本地状态的改变，模型用来学习部署虚拟网络功能的策略。

根据上述技术方案，步骤二各客户端节点把通过本地迭代训练更新全局模型，客户端c

根据上述技术方案，步骤三所述的云端服务器把接收到的模型聚合成一个新的全局模型，云服务器收集到来自m个客户端的模型参数

根据上述技术方案，步骤四中进行虚拟网络功能分配，本地客户端依据现有的全局模型，进行虚拟网络功能的部署，并计算当前网络的开销和部署错误率。重复步骤一至步骤四，直至全局模型收敛。

根据上述技术方案，所述的注意力神经网络，每个节点日志都输入到它自己的子图中，该子图将其日志数据嵌入到单个潜在状态向量中。给定节点类型的所有子图共享相同的参数集，因此节点数量的增加不会导致网络参数总数的增长。然后将每个节点的潜在状态堆叠并输入到全局注意子图。该子图能让网络学习到相邻节点的哪些特征与给定节点上的动作价值函数相关。然后将这些节点上下文化的状态向量传递给前馈输出子图。与输入子图一样，输出子图的网络参数在相同类型的节点之间共享。

全局自注意子图将多头点积注意机制与仿射层交替使用。这种结构使得对应于节点i的输出包括来自网络中任何其他节点的相关信息。在每个节点的潜在表示中包含这个学习到的全局上下文，使得输出空间可以被分解为每个节点的单个子图。

根据上述技术方案，所述的DQN算法，对于客户端c

算法包含两个网络，预测网络和目标网络。预测网络是用来评估当前状态动作对的价值函数。目标函数用于生成目标价值。算法根据损失函数的更新公式来更新网络中的参数，每经过k轮迭代后，将预测网络中的参数复制给目标网络中的参数。通过引入目标函数，使得一段时间内目标Q值保持不变，并在一定程度上降低了预测Q值和目标Q值的相关性，使得训练时损失值震荡发散的可能性降低，从而提高了算法的稳定性。

预测网络和目标网络都用于训练Q(S

根据上述技术方案，所述的本地客户端c

步骤1：基于部署错误率的策略，分别考虑了各个客户端服务功能链的部署正确率和错误率，δ

步骤2：基于奖励的策略，考虑客户端c

根据上述技术方案，所述的服务功能链的部署状态的奖励χ

1)

2)

3)

与现有技术相比，本发明的有益效果是：

本发明一种基于联邦注意力强化学习(FARL)的NFV服务功能链动态编排(SFCDO)方法。具有三个显著的特征，包括：使用联邦学习框架训练全局模型，保护各个节点数据隐私的同时，实现了服务功能链的动态编排；SFCDO允许本地客户端和云服务器在每一回合的第一个和最后一个epoch进行参数更新，降低了分布式客户端进行模型优化的通信成本；SFCDO引入了一种高效的深度强化学习(DRL)方法，将VNF灵活地映射到网络中。此外，提出了一种新的基于注意力机制的神经网络架构，使网络节点的增加不会增大模型参数数量。本发明使用联邦强化学习,融合注意力机制，实现了NFV服务功能链的动态编排。

附图说明

图1是本发明的一种基于联邦注意力强化学习的NFV服务功能链动态编排方法的整体架构图；

图2是本发明的一种基于联邦注意力强化学习的NFV服务功能链动态编排方法的联邦注意力强化学习(FARL)流程图；

具体实施方式

下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。

请参阅图1，本发明提供一种技术方案：一种基于联邦注意力强化学习的NFV服务功能链动态编排方法，包括以下步骤：

1读取当前物理网络信息和服务功能链请求(SFC)。所述服务功能链请求的虚拟网络功能集记为V＝{VNF1，VNF2，VNF3，…，VNFn}。n为所述服务功能链请求的虚拟网络功能数量。

2请参阅图2，基于联邦注意力强化学习(FARL)生成虚拟网络功能集在物理网络上的放置方案，生成虚拟网络功能集在物理网络上的放置方案步骤如下：

2.1初始化，初始化云服务器的全局预训练模型Θ(t)，初始化本地模型

2.2云服务器传递全局模型Θ(t)至客户端c

2.3客户端c

2.4对于客户端c

2.5云服务器收集到来自m个客户端的模型参数

2.6本地客户端依据现有的全局模型，进行虚拟网络功能的部署，并计算当前网络的开销和部署错误率。

2.7基于部署错误率的策略，分别考虑了各个客户端服务功能链的部署正确率和错误率，δ

2.8基于奖励的策略，考虑客户端c

2.9所述的服务功能链的部署状态的奖励χ

2.9.1

2.9.2

2.9.3

2.10根据网络开销和部署效率更新客户端权重

2.11重复步骤2.1至2.10，直至模型收敛。

3判断虚拟网络功能集中每个虚拟网络功能是否都具有可供所述虚拟网络功能放置的服务器，若是，进入步骤4，否则，进入步骤6；

4判断物理网络中是否存在满足所述放置方案需求的链路，若是，则形成服务功能链请求的链路映射方案，进入步骤5，否则进入步骤6；

5接受服务功能链请求，根据放置方案和链路映射方案部署服务功能链请求，更新物理网络拓扑，返回步骤1；

6拒绝服务功能链请求，返回步骤1。

以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。