掌桥专利:专业的专利平台
掌桥专利
首页

交换任务调度方法、装置、电子设备及非易失性存储介质

文献发布时间:2023-06-19 19:30:30


交换任务调度方法、装置、电子设备及非易失性存储介质

技术领域

本申请涉及任务调度技术领域,具体而言,涉及一种交换任务调度方法、装置、电子设备及非易失性存储介质。

背景技术

为了加快数据传输速度,数据共享交换平台利用发布-订阅模式,进行数据交换。图3是根据本申请实施例提供的一种数据共享交换平台架构的示意图,如图3所示,在发布-订阅模式下,数据提供部门采集数据,完成数据发布,发布后的数据在中心节点进行备份结转。数据申请部门只需向中心节点提出订阅申请,中心将结转的数据下发入库,即可完成整个数据交换流程。

然而,在该模式下,中心节点是整个数据共享交换平台的唯一中间节点,节点处理压力急剧增大。中心节点作为数据共享交换的核心,负责数据共享交换平台所有的任务配置、监控及数据备份。因此,中间节点的处理能力和健壮性决定了整个数据共享交换平台的处理能力和健壮性,成为整个数据传输过程中最重要的环节。为了保证整个数据共享交换平台所有交换任务的处理和数据存储,对中心节点硬件配置要求很高。目前数据共享交换平台中所有交换任务都由中心节点处理,造成中心节点的交换任务处理压力大、效率低的技术问题。

针对上述的问题,目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种交换任务调度方法、装置、电子设备及非易失性存储介质,以至少解决由于目前数据共享交换平台中所有交换任务都由中心节点处理,造成中心节点的交换任务处理压力大、效率低的技术问题。

根据本申请实施例的一个方面,提供了一种交换任务调度方法,包括:确定第一系统对应的第二系统,其中,第一系统为计划投入使用的数据共享交换平台,第二系统为已经正常运行的数据共享交换平台,第一系统和第二系统均用于处理交换任务,第二系统与第一系统的相似度大于预设相似度阈值;获取第二系统的历史交换任务数据作为训练数据对目标神经网络进行训练,得到第一模型,其中,历史交换任务数据中包括:输入数据以及与输入数据对应的交换任务;响应参数调整指令,调整第一模型中的目标参数,得到第二模型,并将第一系统中的目标输入数据输入第二模型进行预测,得到预测交换任务频次和预测交换任务数量,其中,经过调整后得到的第二模型对第一系统的数据的预测准确度大于第一模型对第一系统的数据的预测准确度;依据预测交换任务频次和预测交换任务数量,对第一系统中的交换任务进行调度。

可选地,目标神经网络中包括第一网络层和第二网络层,第一网络层中包括多个第一网络单元,第一网络单元用于表示训练数据,第二网络层中包括多个第二网络单元,第二网络单元用于提取训练数据的特征。

可选地,获取第二系统的历史交换任务数据作为训练数据对目标神经网络进行训练包括:依据训练数据进行训练,确定目标参数,其中,目标参数包括以下至少之一:第一网络单元和第二网络单元之间的连接权重、目标神经网络的学习率;依据目标参数,确定目标关联关系,其中,目标关联关系用于指示输入数据与输入数据对应的交换任务的任务数量和任务频次之间的关联关系。

可选地,将第一系统中的目标输入数据输入第二模型进行预测,得到预测交换任务频次预测交换任务数量之后还包括:确定目标适应值计算方式,其中,目标适应值计算方式包括:第一计算方式和第二计算方式;按照目标适应值计算方式计算预测交换任务频次对应的适应值,其中,适应值用于表征预测交换任务频次和预测交换任务数量的预测准确度;在适应值不满足预设适应值阈值的情况下,依据适应值对第二模型中的目标参数进行调整,其中,经过调整的第二模型的预测准确度大于未经过调整的第二模型的预测准确度。

可选地,确定目标适应值计算方式包括:确定第一系统中已产生的交换任务数据的数据量;在数据量不大于预设数据量阈值的情况下,确定第一计算方式为目标适应值计算方式;在数据量大于预设数据量阈值的情况下,确定第二计算方式为目标适应值计算方式。

可选地,按照目标适应值计算方式计算预测交换任务频次对应的适应值包括:在目标适应值计算方式为第一计算方式的情况下,确定目标适应度函数;将预测交换任务频次、预测交换任务数量和标输入数据代入目标适应度函数进行计算,得到适应值;在目标适应值计算方式为第二计算方式的情况下,依据预测交换任务数量和实际交换任务数量进行计算,得到交换任务覆盖率,并将交换任务覆盖率确定为适应值。

可选地,依据预测交换任务频次预测交换任务数量,对第一系统中的交换任务进行调度包括:依据预设交换任务数量,调整第一系统的中心节点的存储空间,其中,调整后的中心节点的存储空间大于预设交换任务数量的交换任务所需的存储空间;确定交换任务频次大于预设频次阈值的交换任务为活跃任务,并将活跃任务的数据存储与中心节点,以减少第一系统中的数据交换量。

根据本申请实施例的另一个方面,还提供了一种交换任务调度装置,包括:系统确定模块,用于确定第一系统对应的第二系统,其中,第一系统为计划投入使用的数据共享交换平台,第二系统为已经正常运行的数据共享交换平台,第一系统和第二系统均用于处理交换任务,第二系统与第一系统的相似度大于预设相似度阈值;模型训练模块,用于获取第二系统的历史交换任务数据作为训练数据对目标神经网络进行训练,得到第一模型,其中,历史交换任务数据中包括:输入数据以及与输入数据对应的交换任务;迁移预测模块,用于响应参数调整指令,调整第一模型中的目标参数,得到第二模型,并将第一系统中的目标输入数据输入第二模型进行预测,得到预测交换任务频次和预测交换任务数量,其中,经过调整后得到的第二模型对第一系统的数据的预测准确度大于第一模型对第一系统的数据的预测准确度;任务调度模块,用于依据预测交换任务频次和预测交换任务数量,对第一系统中的交换任务进行调度。

根据本申请实施例的又一方面,还提供了一种电子设备,电子设备包括处理器,处理器用于运行程序,其中,程序运行时执行交换任务调度方法。

根据本申请实施例的再一方面,还提供了一种非易失性存储介质,非易失性存储介质包括存储的计算机程序,其中,非易失性存储介质所在设备通过运行计算机程序执行交换任务调度方法。

在本申请实施例中,采用确定第一系统对应的第二系统,其中,第一系统为计划投入使用的数据共享交换平台,第二系统为已经正常运行的数据共享交换平台,第一系统和第二系统均用于处理交换任务,第二系统与第一系统的相似度大于预设相似度阈值;获取第二系统的历史交换任务数据作为训练数据对目标神经网络进行训练,得到第一模型,其中,历史交换任务数据中包括:输入数据以及与输入数据对应的交换任务;响应参数调整指令,调整第一模型中的目标参数,得到第二模型,并将第一系统中的目标输入数据输入第二模型进行预测,得到预测交换任务频次和预测交换任务数量,其中,经过调整后得到的第二模型对第一系统的数据的预测准确度大于第一模型对第一系统的数据的预测准确度;依据预测交换任务频次和预测交换任务数量,对第一系统中的交换任务进行调度的方式,通过基于迁移学习的分布估计算法用于数据共享交换平台中交换任务数量及频次的预测,通过预测数据进行交换任务配置调度和存储空间大小预测,避免数据交换过程中出现高并发情况,达到了降低中心节点处理压力,降低平台故障率的目的,同时,通过预测数据,对中心节点的备份数据进行筛选和删除,合理的配置中心节点内存及磁盘空间,降低中心节点性能要求,避免硬件资源浪费,节约成本,进而解决了由于目前数据共享交换平台中所有交换任务都由中心节点处理,造成中心节点的交换任务处理压力大、效率低技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:

图1是根据本申请实施例提供的一种用于实现交换任务调度的方法的计算机终端(或电子设备)的硬件结构框图;

图2是根据本申请实施例提供的一种交换任务调度的方法流程的示意图;

图3是根据本申请实施例提供的一种数据共享交换平台架构的示意图;

图4是根据本申请实施例提供的一种受限玻尔兹曼机的结构的示意图;

图5是根据本申请实施例提供的一种传统机器学习的学习过程的示意图;

图6是根据本申请实施例提供的一种迁移学习的学习过程的示意图;

图7是根据本申请实施例提供的一种基于迁移学习分布估计算法的交换任务预测方法流程的示意图;

图8是根据本申请实施例提供的一种交换任务调度装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。

需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在相关技术中,数据共享交换平台中所有交换任务都由中心节点处理,因此,存在中心节点的交换任务处理压力大、效率低的问题。为了解决该问题,本申请实施例中提供了相关的解决方案,以下详细说明。

根据本申请实施例,提供了一种交换任务调度的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现交换任务调度方法的计算机终端(或电子设备)的硬件结构框图。如图1所示,计算机终端10(或电子设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或电子设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块,如本申请实施例中的交换任务调度方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述交换任务调度方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或电子设备)的用户界面进行交互。

在上述运行环境下,本申请实施例提供了一种交换任务调度方法,图2是根据本申请实施例提供的一种交换任务调度的方法流程的示意图,如图2所示,该方法包括如下步骤:

步骤S202,确定第一系统对应的第二系统,其中,第一系统为计划投入使用的数据共享交换平台,第二系统为已经正常运行的数据共享交换平台,第一系统和第二系统均用于处理交换任务,第二系统与第一系统的相似度大于预设相似度阈值;

在本申请的一些实施例中,上述第一系统和第二系统为数据共享交换平台。

步骤S204,获取第二系统的历史交换任务数据作为训练数据对目标神经网络进行训练,得到第一模型,其中,历史交换任务数据中包括:输入数据以及与输入数据对应的交换任务;

上述目标神经网络可以采用受限玻尔兹曼机,玻尔兹曼机是起源于统计物理学的一种随机递归神经网络,能够对复杂层次结构数据进行建模,所建模型和学习算法有比较完备的物理解释和严格的数理统计理论作为基础。标准玻尔兹曼机是一个全连接图,网络训练复杂度高,学习算法较复杂,难以用于解决现实任务。实际应用中常采用受限玻尔兹曼机,仅保留可见层与隐层之间的连接,可见层节点之间和隐层节点之间没有连接,从而将玻尔兹曼机结构由完全图简化为二部图,受限玻尔兹曼机的结构如图4所示。

在本申请的一些实施例中,目标神经网络中包括第一网络层和第二网络层,第一网络层中包括多个第一网络单元,第一网络单元用于表示训练数据,第二网络层中包括多个第二网络单元,第二网络单元用于提取训练数据的特征。

在本申请的一些实施例中,获取第二系统的历史交换任务数据作为训练数据对目标神经网络进行训练包括以下步骤:依据训练数据进行训练,确定目标参数,其中,目标参数包括以下至少之一:第一网络单元和第二网络单元之间的连接权重、目标神经网络的学习率;依据目标参数,确定目标关联关系,其中,目标关联关系用于指示输入数据与输入数据对应的交换任务的任务数量和任务频次之间的关联关系。

具体地,受限玻尔兹曼机是一种基于能量的无监督学习的随机递归神经网络,具有两层网络结构:可见层(即上述第一网络层)v有n个可见单元(即上述第一网络单元),表示观测数据;隐层(即上述第二网络层)h有m个隐单元(即上述第二网络单元),可视为特征提取器。受限玻尔兹曼机是一种基于能量函数的建模方法。假定受限玻尔兹曼机中所有神经元均为二值变量,即

其中,v

当受限玻尔兹曼机网络参数θ确定时,受限玻尔兹曼机两层之间的联合概率分布满足玻尔兹曼分布,基于能量函数得到状态(v,h)的联合概率分布P

其中,

当可见单元状态给定时,且各隐单元的激活状态条件独立时,第j个隐单元的激活概率为:

P

其中,

由于受限玻尔兹曼机网络结构对称,因此,同样可得,可见单元的激活概率为:

P

为了使受限玻尔兹曼机模型的概率分布尽量与训练样本数据分布符合,使用似然函数表示模型符合度,训练受限玻尔兹曼机模型的目标就是最大化似然函数。

由于P

Δb

其中,D[]表示可见单元已知的情况下隐层的概率分布,R[]表示用对比散度算法重构后模型定义的分布,ε表示学习率。

步骤S206,响应参数调整指令,调整第一模型中的目标参数,得到第二模型,并将第一系统中的目标输入数据输入第二模型进行预测,得到预测交换任务频次和预测交换任务数量,其中,经过调整后得到的第二模型对第一系统的数据的预测准确度大于第一模型对第一系统的数据的预测准确度;

具体地,受限玻尔兹曼机具有强大的特征提取能力,将其用于已稳定运行的数据共享平台(即上述第二系统)的交换任务的训练样本特征提取,得到受限玻尔兹曼机网络模型。同时,由于数据共享交换平台使用场景特殊,不同部门职能不尽相同却存在较大相似,故可使用迁移学习方法,在数据共享交换平台(即上述第一系统)投入使用之前和刚投入使用缺少足够历史信息的情况下,根据已运行平台((即上述第二系统))数据预测新系统的交换任务数据。因此,可以将得到的受限玻尔兹曼机网络模型(即上述第一模型)通过迁移学习方法进行微调,用作新系统的预测模型(即上述第二模型)。

下面对迁移学习方法做进一步介绍。

迁移学习是一种机器学习的方法,指的是一个预训练的模型被重新用在另一个任务中。与传统的机器学习技术从头开始学习每个任务不同,迁移学习方法在目标任务训练数据较少时,将之前一些任务中学习到的知识转移到目标任务中,通过将已经获取的能力应用在相关领域模型中,使得模型具有充足的知识,以此减少模型训练的时间、调高识别精度、更加准确地完成目标任务。迁移学习与多任务学习以及概念飘移这些问题相关,它不是一个专门的机器学习领域。然而,迁移学习在具有大量训练深度模型所需的资源或者具有大量的用来预训练模型的数据集的情况下应用广泛。图5是根据本申请实施例提供的一种传统机器学习的学习过程的示意图,图6是根据本申请实施例提供的一种迁移学习的学习过程的示意图,如图5、图6所示。

具体地,迁移学习通过将已经获取的能力应用在相关领域模型中,使得初始模型具有充足的知识,以此减少模型训练的时间、提高模型准确性。本申请在已得到的受限玻尔兹曼机模型基础上,对各决策变量所占权重(目标参数)进行微调,为了保护训练效果,在设置学习率时设置一个较小的学习率(目标参数)。当系统进入正常运行阶段后,将学习率调整为正常学习率。

在本申请的一些实施例中,将第一系统中的目标输入数据输入第二模型进行预测,得到预测交换任务频次预测交换任务数量之后还包括以下步骤:确定目标适应值计算方式,其中,目标适应值计算方式包括:第一计算方式和第二计算方式;按照目标适应值计算方式计算预测交换任务频次对应的适应值,其中,适应值用于表征预测交换任务频次和预测交换任务数量的预测准确度;在适应值不满足预设适应值阈值的情况下,依据适应值对第二模型中的目标参数进行调整,其中,经过调整的第二模型的预测准确度大于未经过调整的第二模型的预测准确度。

在本申请的一些实施例中,确定目标适应值计算方式包括:确定第一系统中已产生的交换任务数据的数据量;在数据量不大于预设数据量阈值的情况下,确定第一计算方式为目标适应值计算方式;在数据量大于预设数据量阈值的情况下,确定第二计算方式为目标适应值计算方式。

在本申请的一些实施例中,按照目标适应值计算方式计算预测交换任务频次对应的适应值包括:在目标适应值计算方式为第一计算方式的情况下,确定目标适应度函数;将预测交换任务频次、预测交换任务数量和标输入数据代入目标适应度函数进行计算,得到适应值;在目标适应值计算方式为第二计算方式的情况下,依据预测交换任务数量和实际交换任务数量进行计算,得到交换任务覆盖率,并将交换任务覆盖率确定为适应值。

具体地,进化个体x的基因编码V作为模型输入数据(即上述目标输入数据),分别计算可见层单元

其中,

由公式(10)可得采样已训练模型隐单元h={h

上述第二模型对应的适应度函数(代理模型)(即上述目标适应度函数)如下式所示:

其中,min E

上述第二模型对应的交换任务覆盖率如下式所示:

γ=Num

其中,Num

以分布估计算法作为框架。首先,对已生成交换任务数据(即上述历史交换任务数据)进行二进制编码,生成初始种群,作为受限玻尔兹曼机偏好认知模型的输入;基于训练样本抽取用户偏好特征;使用迁移学习方法,对得到的模型(第一模型)进行微调,将微调后的代理模型用作新系统(第一系统)模型;根据受限玻尔兹曼机偏好模型(第一模型),构建面向偏好特征分布的分布估计算法概率模型(第二模型)和基于受限玻尔兹曼机能量函数的估计代理模型(即上述目标适应度函数);算法初始阶段没有充分的历史数据,因此使用受限玻尔兹曼机代理模型来评价个体适应度;当系统累计充分的历史数据后,通过交换任务覆盖率对种群个体进行适应度评价,保存覆盖率高的交换任务。

步骤S208,依据预测交换任务频次和预测交换任务数量,对第一系统中的交换任务进行调度。

在本申请的一些实施例中,依据预测交换任务频次预测交换任务数量,对第一系统中的交换任务进行调度包括以下步骤:依据预设交换任务数量,调整第一系统的中心节点的存储空间,其中,调整后的中心节点的存储空间大于预设交换任务数量的交换任务所需的存储空间;确定交换任务频次大于预设频次阈值的交换任务为活跃任务,并将活跃任务的数据存储与中心节点,以减少第一系统中的数据交换量。

下面对本申请实施例的步骤S202至步骤S208中交换任务调度方法进一步进行介绍。

图7是根据本申请实施例提供的一种基于迁移学习分布估计算法的交换任务预测方法流程的示意图,如图7所示,该方法包括如下步骤:

步骤S701,初始化种群;

具体地,模型输入数据(历史交换任务数据)由n个决策变量表示,每个决策变量有K个值。对应可见单元

例如,某个体的十进制编码为:

3 4 0 1 2

其对应二进制个体编码为:

/>

步骤S702,训练受限玻尔兹曼机网络模型;

具体地,设定最大训练次数,可见层:根据公式(10)计算隐单元的条件分布概率P

步骤S703,迁移学习;

具体地,通过微调学习率,人口结构及数量、部门种类、政策偏重等信息对得到的训练受限玻尔兹曼机代理模型进行调整,使之更符合用户实际。

步骤S704,建立分布估计算法概率模型(即上述第二模型);

具体地,根据公式(11)计算基于受限玻尔兹曼机网络模型的概率模型P(V),该模型即为分布估计算法的概率模型。

步骤S705,评估第二模型预测的新个体(即上述交换任务频次和预测交换任务数量)的准确度;

具体地,采用轮盘赌采样方法对概率模型P(V)进行采样,生成含优良解特征信息的新个体,引导算法进化方向。

前期使用受限玻尔兹曼机代理模型进行优秀个体的评价与选择(即上述第一计算方式)。将进化个体x

在历史数据充足的情况时,将交换任务覆盖率作为适应度函数((即上述第二计算方式)),即式(14),对个体进行评价,覆盖率越高表示预测结果更准确,算法模型更拟合实际应用。选择覆盖率高的个体作为优良个体,动态更新算法相关模型。

步骤S706,当算法进化代数达到最大进化代数后,算法结束,输出预测结果,否则,根据更新后的优势种群,重新训练玻尔兹曼机网络模型,重复进化过程,直至满足算法终止条件。

例如,若初始种群数目为210,最大进化代数为100代。受限玻尔兹曼机模型隐单元数量为2倍可见单元数量,学习率为0.1,迁移学习学习率为0.05,动量0.5-0.9,受限玻尔兹曼机模型训练轮数为10。

对即将投入使用的数据共享交换平台,先寻找相似度较高的已投入使用的数据共享交换平台,训练受限玻尔兹曼机模型。之后,根据迁移学习,对学习率,人口结构及数量、部门种类、政策偏重等信息进行微调,得到分布估计算法的概率模型。根据算法预测结果,增加20%的裕量作为该中心节点存储空间大小。例如,得到中心节点预测存储量为10T,则可按照12T设置该系统中心节点存储空间。将预测结果中交换次数和频率高的交换任务设置高活跃度(即上述活跃任务),将交换次数少或者交换频次低、间隔长的任务设置为低活跃度。在数据交换过程中,将高活跃度的交换任务在中心节点中落数据,而低活跃度的交换任务不在中心节点落数据,节省存储空间。同时,根据预测数据,对交换任务进行调度配置,避免出现高并发数据交换传输情况,降低中心节点压力。

在数据共享交换平台投入使用之后,将产生的历史数据加入训练样本集,生成新的受限玻尔兹曼机偏好代理模型。即通过修正和校验,进一步提高算法预测准确度,进而调整活跃度。同时,若中心节点存储空间较小,存储达到阈值时,也可根据活跃度对任务进行删除,优先删除交换任务失败的数据和活跃度低的交换任务数据,保存高活跃度的任务数据。

对已投入使用的数据共享交换平台,可通过本平台交换信息历史数据,对之后的交换任务量进行预测,评估交换任务活跃度,避免高并发情况。若中心节点存储空间达到阈值,则根据活跃度删除中心节点活跃度低的数据,保持裕量,维持数据共享交换平台的稳定运行。

通过上述步骤,通过基于迁移学习的分布估计算法用于数据共享交换平台中交换任务数量及频次的预测,通过预测数据进行交换任务配置调度和存储空间大小预测,避免数据交换过程中出现高并发情况,达到了降低中心节点处理压力,降低平台故障率的目的,同时,通过预测数据,对中心节点的备份数据进行筛选和删除,合理的配置中心节点内存及磁盘空间,降低中心节点性能要求,避免硬件资源浪费,节约成本,进而解决了由于目前数据共享交换平台中所有交换任务都由中心节点处理,造成中心节点的交换任务处理压力大、效率低技术问题。

根据本申请实施例,还提供了一种交换任务调度装置的实施例。图8是根据本申请实施例提供的一种交换任务调度装置的结构示意图。如图8所示,该装置包括:

系统确定模块80,用于确定第一系统对应的第二系统,其中,第一系统为计划投入使用的数据共享交换平台,第二系统为已经正常运行的数据共享交换平台,第一系统和第二系统均用于处理交换任务,第二系统与第一系统的相似度大于预设相似度阈值;

模型训练模块82,用于获取第二系统的历史交换任务数据作为训练数据对目标神经网络进行训练,得到第一模型,其中,历史交换任务数据中包括:输入数据以及与输入数据对应的交换任务;

在本申请的一些实施例中,目标神经网络中包括第一网络层和第二网络层,第一网络层中包括多个第一网络单元,第一网络单元用于表示训练数据,第二网络层中包括多个第二网络单元,第二网络单元用于提取训练数据的特征。

在本申请的一些实施例中,模型训练模块82获取第二系统的历史交换任务数据作为训练数据对目标神经网络进行训练包括:依据训练数据进行训练,确定目标参数,其中,目标参数包括以下至少之一:第一网络单元和第二网络单元之间的连接权重、目标神经网络的学习率;依据目标参数,确定目标关联关系,其中,目标关联关系用于指示输入数据与输入数据对应的交换任务的任务数量和任务频次之间的关联关系。

迁移预测模块84,用于响应参数调整指令,调整第一模型中的目标参数,得到第二模型,并将第一系统中的目标输入数据输入第二模型进行预测,得到预测交换任务频次和预测交换任务数量,其中,经过调整后得到的第二模型对第一系统的数据的预测准确度大于第一模型对第一系统的数据的预测准确度;

在本申请的一些实施例中,迁移预测模块84将第一系统中的目标输入数据输入第二模型进行预测,得到预测交换任务频次预测交换任务数量之后还包括:确定目标适应值计算方式,其中,目标适应值计算方式包括:第一计算方式和第二计算方式;按照目标适应值计算方式计算预测交换任务频次对应的适应值,其中,适应值用于表征预测交换任务频次和预测交换任务数量的预测准确度;在适应值不满足预设适应值阈值的情况下,依据适应值对第二模型中的目标参数进行调整,其中,经过调整的第二模型的预测准确度大于未经过调整的第二模型的预测准确度。

在本申请的一些实施例中,迁移预测模块84确定目标适应值计算方式包括:确定第一系统中已产生的交换任务数据的数据量;在数据量不大于预设数据量阈值的情况下,确定第一计算方式为目标适应值计算方式;在数据量大于预设数据量阈值的情况下,确定第二计算方式为目标适应值计算方式。

在本申请的一些实施例中,迁移预测模块84按照目标适应值计算方式计算预测交换任务频次对应的适应值包括:在目标适应值计算方式为第一计算方式的情况下,确定目标适应度函数;将预测交换任务频次、预测交换任务数量和标输入数据代入目标适应度函数进行计算,得到适应值;在目标适应值计算方式为第二计算方式的情况下,依据预测交换任务数量和实际交换任务数量进行计算,得到交换任务覆盖率,并将交换任务覆盖率确定为适应值。

任务调度模块86,用于依据预测交换任务频次和预测交换任务数量,对第一系统中的交换任务进行调度。

在本申请的一些实施例中,任务调度模块86依据预测交换任务频次预测交换任务数量,对第一系统中的交换任务进行调度包括:依据预设交换任务数量,调整第一系统的中心节点的存储空间,其中,调整后的中心节点的存储空间大于预设交换任务数量的交换任务所需的存储空间;确定交换任务频次大于预设频次阈值的交换任务为活跃任务,并将活跃任务的数据存储与中心节点,以减少第一系统中的数据交换量。

本申请利用分布估计算法的寻优性能和高包容度的算法框架,设计将受限玻尔兹曼机融入分布估计算法中。通过迁移学习,综合考虑了数据共享交换平台的应用场景,联合受限玻尔兹曼机强大的特征提取能力,给出基于迁移学习的分布估计算法。算法通过不断训练优化受限玻尔兹曼机网络模型和概率模型,使之更拟合实际应用,从而达到精确预测的目的。同时,随着历史数据的累积,算法通过预测结果与实际结果的对比(交换任务覆盖率)对算法进行修正与校验,进一步提高算法概率模型拟合度,从而提升算法预测结果准确度。

需要说明的是,上述交换任务调度装置中的各个模块可以是程序模块(例如是实现某种特定功能的程序指令集合),也可以是硬件模块,对于后者,其可以表现为以下形式,但不限于此:上述各个模块的表现形式均为一个处理器,或者,上述各个模块的功能通过一个处理器实现。

需要说明的是,本实施例中所提供的交换任务调度装置可用于执行图2所示的交换任务调度方法,因此,对上述交换任务调度方法的相关解释说明也适用于本申请实施例中,在此不再赘述。

本申请实施例还提供了一种非易失性存储介质,非易失性存储介质包括存储的计算机程序,其中,非易失性存储介质所在设备通过运行计算机程序执行以下交换任务调度方法:采用确定第一系统对应的第二系统,其中,第一系统为计划投入使用的数据共享交换平台,第二系统为已经正常运行的数据共享交换平台,第一系统和第二系统均用于处理交换任务,第二系统与第一系统的相似度大于预设相似度阈值;获取第二系统的历史交换任务数据作为训练数据对目标神经网络进行训练,得到第一模型,其中,历史交换任务数据中包括:输入数据以及与输入数据对应的交换任务;响应参数调整指令,调整第一模型中的目标参数,得到第二模型,并将第一系统中的目标输入数据输入第二模型进行预测,得到预测交换任务频次和预测交换任务数量,其中,经过调整后得到的第二模型对第一系统的数据的预测准确度大于第一模型对第一系统的数据的预测准确度;依据预测交换任务频次和预测交换任务数量,对第一系统中的交换任务进行调度。

上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

技术分类

06120115934361