一种基于智能感知的业务在线协同迁移方法

技术领域

本发明涉及电力通信网络技术领域，具体地，涉及一种基于智能感知的业务在线协同迁移方法。

背景技术

为解决资源枯竭与环境问题、落实可持续发展，以风电、光电为代表的分布式新能源发电发展迅速，新能源发电量占比稳步提高，进而有越来越多的分布式电源、电动汽车及储能设备接入配网，也带来了大量相关智能终端设备的部署。不同设备的特性使得算力资源呈现出多样化及动态化的特征。现有的计算通信架构与分布式业务动态算力资源需求之间的不适配，为双碳背景下配用电网进一步智能化带来了影响。

新能源消纳带来了大量的业务应用，而这些业务应用需要消耗的计算、存储资源超出了智能终端设备的上限，无法满足业务应用的需求，需要引入云计算平台。智能终端设备的泛在部署及网络负荷的不均匀分布，使得算力资源无法等到充分利用，一些节点无法独立完成计算密集型的算力资源需求，而一些节点可能处于闲置状态。因此，设计算力资源智能实时感知机制，协同迁移网络中的算力显得尤为迫切。需要对新型信息通信架构中的CPU、内存、存储和安全策略、迁移机制和资源分配优先级等数据进行监控感知和汇总上报，进而基于协同迁移方法进行算力资源的分配，提高算网资源利用率。

发明内容

针对现有技术中存在的问题，本发明提出一种基于智能感知的业务在线协同迁移方法，实现了对算力资源状态的实时掌握，缓解了算力智能终端设备的泛在部署导致的无法监控问题，协调云-边节点的算力资源，提高了算力资源。

为实现上述技术目的，本发明采用如下技术方案：一种基于智能感知的业务在线协同迁移方法，具体包括如下步骤：

步骤S1、电力系统的业务应用管理中心根据迁移业务需求，由新型信息通信架构智能感知机制查询迁移业务的感知信息；

步骤S2、将迁移业务的感知信息输入基于深度强化学习的算力在线协同迁移模型中寻找最优迁移路径，并通知边缘节点迁移的相关信息和迁移目的地；

步骤S3、边缘节点接收到迁移目的地及相关信息后，先对基础资源进行迁移，再对配置进行迁移；

步骤S4、待边缘节点确认所有的迁移工作完成后重新启动业务应用管理中心，完成业务迁移。

进一步地，所述新型信息通信架构以中心云中为迁移中心，统筹迁移位于边缘节点的感知模块，所述感知模块包括：网络控制器、一体化平台和统一边缘智能框架。

进一步地，所述中心云用于对边缘节点的运行状态监控，并进行业务应用运行状态的展示、分析和智能决策；所述网络控制器对边缘节点的虚拟网络运行过程中的网络拓扑、路由、业务通道运行状态进行统一监控感知，汇总上报给中心云；所述一体化平台对边缘节点中的资源总数、资源使用状况进行监控感知，并汇总上报给中心云；所述统一边缘智能框架对边缘节点的业务应用运行状态、告警信息、日志信息进行监控感知，并汇总上报给中心云。

进一步地，所述基于深度强化学习的算力在线协同迁移模型由依次连接动作Q网络、经验池和评估Q网络组成；所述动作Q网络用于输出云-边节点的协同迁移路径；所述经验池用于存放协同迁移路径；所述评估Q网络通过累计奖励和评估Q值确定协同迁移路径中的最优迁移路径。

进一步地，步骤S2包括如下子步骤：

步骤S21、将每个边缘节点的迁移业务的感知信息作为边缘节点状态S

步骤S22、从经验池中选取(s

步骤S23、将累计奖励G

步骤S24、根据最优迁移路径通知边缘节点迁移的相关信息和迁移目的地。

进一步地，步骤S21中即时奖励r

其中，n为参与奖惩值计算参数的序号，k

进一步地，步骤S22中评估Q值的计算过程为：

其中，γ为奖惩的折扣因子，s′为某协同迁移路径对应的节点，θ

进一步地，步骤S22中累计奖励G

其中，γ为奖惩的折扣因子，k为路径的跳数。

进一步地，所述基础资源包括：计算资源、存储资源、网络资源，所述计算资源包括：裸机、虚拟机和容器；所述存储资源包括：虚拟磁盘、虚拟存储池、数据库、文件系统和共享存储；所述网络资源包括：网络吞吐量、网络路由、网络安全策略、虚拟网络、网络流量。

进一步地，所述配置包括应用相关的配置和边缘节点相关配置；所述边缘节点相关配置包括：硬件配置、操作系统、软件环境、网络配置、安全配置、监控配置。

与现有技术相比，本发明具有如下有益效果：本发明基于智能感知的业务在线协同迁移方法根据新型信息通信架构感知机制，获取可供协同迁移的算力资源，缓解了算力智能终端设备的泛在部署导致的无法监控问题；在需要对算力资源进行迁移时，基于深度强化学习的算力在线协同迁移模型，获取基础资源、网络迁移和数据同步的最优路径，通过基于深度强化学习的算力在线协同迁移模型对最优传输路径进行选择，能够学习更加复杂的策略，从大量的状态和动作数据中挖掘出特征，生成更加精准和高效的决策策略，从而推动算力资源分配由“粗放型”向“精细型、智能化”转变，支撑海量/实时数据的处理、大规模分布式新能源和多元化负荷的接入等场景应用，保障新型电力系统的稳定高效运营，有着重要的现实意义。

附图说明

为了更清楚地说明本发明的技术方案，下面将对具体实施方式中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于智能感知的业务在线协同迁移方法的工作流程；

图2为本发明中新型信息通信架构感知机制示意图；

图3为本发明中基于深度强化学习的算力在线协同迁移模型的流程图。

具体实施方式

为使本技术领域的人员更好理解本发明的技术方案，并使本发明上述的目的、特征及优点能够更加明显易懂，下面结合附图对本发明的技术方案作进一步地解释说明。

如图1为本发明基于智能感知的业务在线协同迁移方法的工作流程，该业务在线协同迁移方法具体包括如下步骤：

步骤S1、针对运行于边缘节点上的电网业务应用在资源耗尽、网络连接中断、设备故障等情形下，电力系统的业务应用管理中心根据迁移业务需求，由新型信息通信架构智能感知机制查询迁移业务的感知信息。

如图2，本发明中新型信息通信架构以中心云中为迁移中心，统筹迁移位于边缘节点的感知模块，本发明中感知模块包括：网络控制器、一体化平台和统一边缘智能框架。中心云用于对边缘节点的运行状态监控，并进行业务应用运行状态的展示、分析和智能决策；网络控制器对边缘节点的虚拟网络运行过程中的网络拓扑、路由、业务通道运行状态进行统一监控感知，汇总上报给中心云；一体化平台对边缘节点中的资源总数、资源使用状况进行监控感知，并汇总上报给中心云；统一边缘智能框架对边缘节点的业务应用运行状态、告警信息、日志信息进行监控感知，并汇总上报给中心云，通过整合虚拟网络、一体化平台和业务应用的算力资源，实现了对算力资源状态的实时掌握，缓解了算力智能终端设备的泛在部署导致的无法监控问题。

步骤S2、将迁移业务的感知信息输入基于深度强化学习的算力在线协同迁移模型中寻找最优迁移路径，并通知边缘节点迁移的相关信息和迁移目的地，通过基于深度强化学习的算力在线协同迁移模型对最优传输路径进行选择，能够学习更加复杂的策略，从大量的状态和动作数据中挖掘出特征，生成更加精准和高效的决策策略。

本发明中基于深度强化学习的算力在线协同迁移模型由依次连接动作Q网络、经验池和评估Q网络组成；动作Q网络用于输出云-边节点的协同迁移路径；经验池用于存放协同迁移路径；评估Q网络通过累计奖励和评估Q值确定协同迁移路径中的最优迁移路径。如图3，采用“感知-决策-反馈”迭代思想，应用深度强化学习的改进算法，即深度双Q网络(Deep Double Q-Network，DDQN)算法开展算力在线协同迁移算法研究。算力在线协同迁移算法通过深度学习拟合强化学习(Q-Learning)中的Q值，使得Q-Learning具有一定的泛化能力和预测能力。具体包括如下子步骤：

步骤S21、将每个边缘节点的迁移业务的感知信息作为边缘节点状态S

本发明通过时延、计算耗时及丢包率来确定即时奖励，将最优路径的选择进行数值化，以多种目标作为收益指标，提高了对最优路径选择的准确性。其中即时奖励r

其中，n为参与奖惩值计算参数的序号，k

步骤S22、从经验池中选取(s

本发明中评估Q值的计算过程为：

其中，γ为奖惩的折扣因子，s′为某协同迁移路径对应的节点，θ

本发明中累计奖励G

其中，γ为奖惩的折扣因子，k为路径的跳数。

步骤S23、将累计奖励G

步骤S24、根据最优迁移路径通知边缘节点迁移的相关信息和迁移目的地。

具体来说，算力在线协同迁移算法需要解决的问题为迁移路径优化问题，即为需偏移的资源选择迁移路径使得时延、计算耗时、丢包率等指标最优。为使迁移朝着目标进行学习优化，引入奖励函数进行训练。对于节点路径的每步选择要给出奖励，奖励函数的设置主要考虑两个方面，一是当前选择的路径是否满足指标需求，二是选择的路径的跳数。其中，对于同样的一条流的路径，降低跳数可以减少网络资源占用，提高网络资源利用效率。

本发明中将时延、计算耗时、丢包率等作为算法的评估指标，其中时延、计算耗时可观测得出，丢包率可按下式计算：

步骤S3、边缘节点接收到迁移目的地及相关信息后，先对基础资源进行迁移，再对配置进行迁移。

本发明中基础资源包括：计算资源、存储资源、网络资源，计算资源包括：裸机、虚拟机和容器。

存储资源包括：虚拟磁盘、虚拟存储池、数据库、文件系统和共享存储；网络资源包括：网络吞吐量、网络路由、网络安全策略、虚拟网络、网络流量。本发明中配置包括应用相关的配置和边缘节点相关配置；边缘节点相关配置包括：硬件配置、操作系统、软件环境、网络配置、安全配置、监控配置，硬件配置为边缘节点的硬件配置包括处理器、内存、存储、网络接口等，这些硬件配置需要根据节点的计算和存储需求来确定，以保证节点能够满足迁移业务的要求；操作系统为边缘节点需要安装和配置操作系统，以提供计算和存储服务，常用的操作系统包括Windows、Linux等；软件环境为边缘节点需要安装和配置相应的软件环境，以支持业务的运行，如：如果业务需要使用Java开发，那么边缘节点需要安装和配置Java环境；网络配置为边缘节点需要配置网路接口，以保证节点能够正常连接到网络，并与其他节点进行通信；安全配置为边缘节点需要进行相应的安全配置，以保证节点的安全性和可靠性，如：需要配置防火墙、访问控制、加密等安全措施；监控配置为边缘节点需要进行相应的监控配置，以监控节点的运行状态和性能，如：需要配置日志监控、性能监控、故障报警等监控措施。

步骤S4、待边缘节点确认所有的迁移工作完成后重新启动业务应用管理中心，完成业务迁移。

本发明基于智能感知的业务在线协同迁移方法根据新型信息通信架构感知机制，获取可供协同迁移的算力资源，缓解了算力智能终端设备的泛在部署导致的无法监控问题；在需要对算力资源进行迁移时，基于深度强化学习的算力在线协同迁移模型，获取基础资源、网络迁移和数据同步的最优路径，通过基于深度强化学习的算力在线协同迁移模型对最优传输路径进行选择，能够学习更加复杂的策略，从大量的状态和动作数据中挖掘出特征，生成更加精准和高效的决策策略，从而推动算力资源分配由“粗放型”向“精细型、智能化”转变，支撑海量/实时数据的处理、大规模分布式新能源和多元化负荷的接入等场景应用，保障新型电力系统的稳定高效运营，有着重要的现实意义。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施方式，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。