数据中心末端空调系统运行策略确定方法及装置

技术领域

本发明涉及互联网数据中心节能优化技术领域，尤其涉及一种数据中心末端空调系统运行策略确定方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

除服务器IT负载耗电外，数据中心中最大的能源消耗是冷却基础设施，大约1/3到1/2的数据中心总功耗用于制冷系统，数据中心日益增长的能源消耗要求通过更好的热管理来提高能源利用效率。数据中心制冷系统能耗包括冷机侧能耗和末端空调能耗，冷机侧能耗优化已有较为成熟的技术手段(例如基于负荷预测的冷机能耗优化等方法)，但末端空调能耗优化涉及到数据中心机房内部温度场分布，而机房内部温度场分布模拟涉及到复杂的流体力学、热力学分析，且温度场分布一般随时间不断变化，因此在保证服务器IT设备热安全的前提下，最大程度降低数据中心末端空调系统运行功耗是一个关键挑战和技术难题。

而目前缺乏一种数据中心末端空调运行策略的挑选方案。

发明内容

本发明实施例提供一种数据中心末端空调系统运行策略确定方法，用以准确地确定数据中心末端空调系统的最优运行策略，该方法包括：

搭建数据中心机房的温度场分布模型；

构建数据中心末端空调系统运行策略的马尔可夫决策过程模型；

在温度场分布模型中，使用强化学习算法，分别基于不同的策略函数、不同参数的马尔可夫决策过程模型进行训练，生成多种数据中心末端空调系统的运行策略，构建策略库；

依据序优化方法，在温度场分布模型中对策略库中每个运行策略的性能进行评估，从策略库中确定挑选集合；

将挑选集合中的各个运行策略分别应用于数据中心机房的真实运行环境中，确定挑选集合中的最优运行策略。

本发明实施例还提供一种数据中心末端空调系统运行策略确定装置，用以准确地确定数据中心末端空调系统的最优运行策略，该装置包括：

温度场分布模型搭建模块，用于搭建数据中心机房的温度场分布模型；

马尔可夫决策过程模型构建模块，用于构建数据中心末端空调系统运行策略的马尔可夫决策过程模型；

策略库构建模块，用于在温度场分布模型中，使用强化学习算法，分别基于不同的策略函数、不同参数的马尔可夫决策过程模型进行训练，生成多种数据中心末端空调系统的运行策略，构建策略库；

挑选集合确定模块，用于依据序优化方法，在温度场分布模型中对策略库中每个运行策略的性能进行评估，从策略库中确定挑选集合；

最优运行策略确定模块，用于将挑选集合中的各个运行策略分别应用于数据中心机房的真实运行环境中，确定挑选集合中的最优运行策略。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据中心末端空调系统运行策略确定方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据中心末端空调系统运行策略确定方法。

本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述数据中心末端空调系统运行策略确定方法。

本发明实施例中，搭建数据中心机房的温度场分布模型；构建数据中心末端空调系统运行策略的马尔可夫决策过程模型；在温度场分布模型中，使用强化学习算法，分别基于不同的策略函数、不同参数的马尔可夫决策过程模型进行训练，生成多种数据中心末端空调系统的运行策略，构建策略库；依据序优化方法，在温度场分布模型中对策略库中每个运行策略的性能进行评估，从策略库中确定挑选集合；将挑选集合中的各个运行策略分别应用于数据中心机房的真实运行环境中，确定挑选集合中的最优运行策略。在上述过程中，基于不同参数的马尔可夫决策过程模型和策略函数形式一个包含多个运行策略的策略库，相比于传统的两阶段方法和强化学习方法仅生成单一运行策略，本方案综合考虑了多个不同形式的策略函数，并对多个运行策略进行合理挑选，因而最终得到的运行策略比传统方法得到的单一运行策略更有性能保障，即更能保障运行策略在实际数据中心环境中既确保服务器IT设备的热安全，又能最大程度降低末端空调能耗。在运行策略挑选的环节，与计算出所有运行策略的真实性能并进行排序后选择最好的策略这种传统方法不同，本方案采用了序优化方法，获得挑选集合，大大降低了策略库中的运行策略在真实运行环境中的评估次数，进一步保障了数据中心服务器IT设备的热安全，节省了人力物力财力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中数据中心末端空调系统运行策略确定方法的流程图；

图2为本发明实施例中搭建数据中心机房的温度场分布模型的流程图；

图3为本发明实施例中确定挑选集合的流程图；

图4为本发明实施例中数据中心末端空调系统运行策略确定装置的示意图；

图5为本发明实施例中计算机设备的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

发明人发现，传统解决数据中心制冷系统特别是末端空调系统的策略优化节能问题的方法大多是基于两阶段(two-stage)框架的。在第一阶段，通过机理分析的方法或数据驱动的方法建立一个近似的系统模型，该模型通常包含流体动力学、传热和机械原理，需要考虑到数据中心机房内温度场的分布情况。在第二阶段，利用该近似系统模型，通过策略优化算法求解得到空调可控变量的最优决策序列，常见的策略优化算法主要有动态规划、模型预测控制算法等等。然而，这些基于两阶段框架的传统优化方法需要先建立数据中心机房温度场的近似模型，而温度场的分布涉及到流体动力学、传热学等专业知识，若使用机理分析的方法建模则需要建立复杂的偏微分方程组，对于近年规模日益扩大的大型数据中心来说，建立其机房温度场机理模型过程复杂、难度较大且容易出错，因此这些传统的基于模型的优化算法难以解决现在数据中心末端空调系统的策略优化问题。

强化学习方法在与环境交互的过程中不断学习得到最优运行策略，不要求系统的动态特性已知(特别是免模型(Model-Free)的强化学习方法)。正由于数据中心机房温度场分布的机理模型非常复杂，因而采用强化学习方法解决数据中心末端空调系统的策略优化问题可能是一个有效的办法，目前已有部分文献采用该类方法去解决数据中心制冷系统的策略优化问题。一般为防止服务器IT设备过温造成损失，强化学习算法通常不能直接在现实数据中心环境中进行训练，所以仍需要先使用计算流体动力学(Computational FluidDynamics，CFD)仿真软件建立数据中心末端空调和机房温度场的仿真模型。虽然强化学习方法可以有效避免对机房温度场的机理建模和分析，但现有的主流强化学习方法均有着样本利用率低下、策略训练过程不稳定、训练策略性能受参数影响较大等缺点，导致最终训练得到的数据中心末端空调系统运行策略性能得不到保证，并且由于是在仿真环境中进行训练的，而仿真环境与真实环境会不可避免地有差别，因此训练得到的策略在真实环境中的性能也得到不到保证。

基于此，本发明实施例提出了一种基于策略库和序优化的数据中心空调系统运行策略挑选方法。

图1为本发明实施例中数据中心末端空调系统运行策略确定方法的流程图，包括：

步骤101，搭建数据中心机房的温度场分布模型；

步骤102，构建数据中心末端空调系统运行策略的马尔可夫决策过程模型；

步骤103，在温度场分布模型中，使用强化学习算法，分别基于不同的策略函数、不同参数的马尔可夫决策过程模型进行训练，生成多种数据中心末端空调系统的运行策略，构建策略库；

步骤104，依据序优化方法，在温度场分布模型中对策略库中每个运行策略的性能进行评估，从策略库中确定挑选集合；

步骤105，将挑选集合中的各个运行策略分别应用于数据中心机房的真实运行环境中，确定挑选集合中的最优运行策略。

其中，在步骤101，搭建数据中心机房的温度场分布模型；图2为本发明实施例中搭建数据中心机房的温度场分布模型的流程图，包括：

步骤201，通过CFD软件，依据机房布置CAD图纸，利用CFD仿真软件，对数据中心机房空间构造和空调与IT设备型号进行建模和仿真，建立数据中心机房的温度场分布模型；

数据中心机房温度场受服务器IT负载、末端空调风机转速等边界条件影响，随时间、空间分布变化。使用传统的流体动力学、传热学机理分析方法建立的简单温度分布模型难以准确刻画机房内各测点温度随时间、空间分布的变化，难以及时捕捉某服务器IT设备旁的局部热点，使得机房IT设备具有过热隐患。因此，本发明实施例采用针对数据中心的CFD仿真软件对数据中心机房温度场分布进行模拟，依据机房布置CAD图纸，利用CFD仿真软件丰富的原件库(空调原件、IT设备原件等)，对机房空间构造(包括服务器IT设备空间布置、冷热通道空间布置、空调空间布置等、温度传感器空间布置、空调系统结构等)和空调与IT设备型号进行细致建模和仿真，从而建立起机房温度场分布模型，较准确地刻画机房内各测点温度随时间、空间分布的变化。

上述机房温度场分布模型虽然是依据机房布置CAD图纸进行建模的，但一般依然会与实际机房内的真实温度场存在一定的差异，因此需要对温度场分布模型进行更加细致的整定。

步骤202，采集机房内的真实运行环境数据；

真实运行环境数据包括实际机房内各温度测点、回风温度设定点、空调风机转速、环境工况等历史数据。

步骤203，将采集的真实运行环境数据与采用所述温度场分布模型模拟仿真的运行环境数据进行比对，不断整定温度场分布模型，使得整定后的温度场分布模型的运行环境数据与真实运行环境数据匹配度达到预设阈值。

不断整定温度场分布模型即微调空调和服务器IT设备空间位置、运行设定参数等，预设阈值是用户根据实际需要确定的，达到一个高匹配度。

在步骤102，构建数据中心末端空调系统运行策略的马尔可夫决策过程模型；在一实施例中，所述马尔可夫决策过程模型由状态空间S、动作空间A、状态转移函数P、奖励函数R和折扣因子γ组成；可表示为一个五元组

状态空间S的状态从观测变量中选取；

动作空间A中的动作从控制变量中选取；

奖励函数R根据空调的能耗惩罚和服务器IT设备的超温惩罚获得；

状态转移函数P根据温度场分布模型获得；

在每个时刻t，依据时刻t的环境观测到的状态S

在上述实施例中，状态S

在典型的数据中心末端空调系统的真实运行环境中，观测变量一般有：位于冷/热通道和空调送/回风口的温度测点测量值、各机柜中服务器IT负载率、室外温度和光照强度；控制变量一般有：空调送/回风温度设定点、空调风机转速等；在每一时刻t，控制变量一般影响下一时刻(t+1时刻)的冷/热通道和空调送/回风口的温度测点测量值等观测变量，而各机柜中服务器IT负载率、室外温度和光照强度等这些可观测变量不受控制变量的影响，一般只能基于历史数据采取时间序列等方法进行负荷预测。一般可以参考上述观测变量选取系统状态

对数据中心末端空调系统的运行策略进行优化，使得在保证机房内IT设备热安全的前提下，最大程度降低末端空调能耗。由于机房内的温度场(被控变量)随时间变化，受到各个时刻的末端空调回风温度设定点、风机转速等参数(控制变量)和服务器IT负载率的影响，因此需要结合每一时刻温度场中各温度测点的测量值和IT负载率，合理调整该时刻控制变量的值，这本质上形成了一个序贯决策问题。针对这类序贯决策问题，一般应明确状态-动作空间，建立马尔可夫决策过程模型，再使用强化学习等方法训练策略函数。

由于数据中心末端空调系统环境中的各冷热通道温度测点取值连续，回风温度设定点、风机转速等取值也同样连续，并且温度场随时间和空间变化复杂，因此该序贯决策问题是一个相当困难的问题。通过现有的函数逼近型强化学习方法可以训练并得到某个运行策略，但难以保证该策略的最优性。因此，可以使用强化学习算法在仿真环境中生成多种数据中心末端空调系统运行策略，构建策略库Π，并在策略库中合理挑选最优策略。

数据中心末端空调系统运行策略优化问题中，往往可以构建多种不同参数的马尔可夫决策过程模型，例如选取状态S的不同、动作A的不同、设计的奖励函数R的不同、折扣因子γ的选取不同都会对应不同参数的马尔可夫决策过程模型。对于不同参数的马尔可夫决策过程模型，应用强化学习训练得到最优策略不同，而在本发明实施例的问题中，往往只有将在温度场分布模型中训练得到的运行策略实际应用落地，才能客观评价此运行策略的性能，进而才能判断采用什么样的马尔可夫决策过程模型才能训练得到性能最好的最优运行策略。因此，可以先通过选取状态S的不同、动作A的不同、设计的奖励函数R的不同、折扣因子γ的选取不同构建末端空调系统马尔可夫决策过程模型集合

在步骤103，在温度场分布模型中，使用强化学习算法，分别基于不同的策略函数、不同参数的马尔可夫决策过程模型进行训练，生成多种数据中心末端空调系统的运行策略，构建策略库；

在一实施例中，步骤103包括：

确定采用的多种策略函数；

确定运行策略的动作价值函数，所述动作价值函数表示使用运行策略的情况下，状态s下采取动作a的对奖励R进行加权的累计折扣奖励，可表示如下：

对每种策略函数，在温度场分布模型中，使用强化学习算法的框架下，在不断交替更新动作价值函数和该策略函数的过程中收敛到优化运行策略，将所述优化运行策略作为一种运行策略加入策略库。

在一实施例中，策略函数包括神经网络型策略函数、基函数线性加权型策略函数。

由于神经网络具有良好的表征能力和泛化性质，因此常使用神经网络对运行策略进行拟合：

π(s)＝f

其中π(s)为运行策略，f

除了神经网络型的策略函数之外，还可以使用基函数线性加权型策略函数：

π(s)＝f

其中π(s)为运行策略，f

基函数线性加权的表征能力可能弱于神经网络，但其只需对线性加权的权重向量进行更新，可解释性更强，训练过程更稳定，收敛性更好。

在步骤104，依据序优化方法，在温度场分布模型中对策略库中每个运行策略的性能进行评估，从策略库中确定挑选集合；设获得的数据中心末端空调运行策略库Π包含N个运行策略，这N个运行策略都是在温度场分布模型中生成的，但由于温度场分布模型和真实运行环境会存在难以避免的偏差，因此需要在真实运行环境中对策略库Π中的运行策略的性能进行评估，以挑选出策略库Π中的最优策略π

在一实施例中，在温度场分布模型中对策略库中每个运行策略的性能进行评估的公式如下：

其中，π

除了上述公式(1)外，J(π)还可以表示为：

受制于真实运行环境的安全限制，将策略库Π中所有的运行策略都在真实运行环境中评估J(π)是不符合实际的，只能合理挑选策略库Π中一小部分更有可能是最优策略的策略在真实运行环境中评估，但是在温度场分布模型的仿真环境中，可以不受限制地对运行策略的性能进行评估；在实际工程实现中，往往不需要追求上述评估公式(1)的精确解，而是求得上述公式(1)“足够好”的解就能满足工程需要，即不需要追求策略库Π中性能J(π)最小的运行策略，而是最终求得运行策略的真实性能J(π)位于最小的g个策略集合之内就可以满足需求。

考虑以上问题特点，可以使用序优化方法对策略库Π中的运行策略进行挑选。具体而言，将真实运行环境的策略性能评价函数J(π)作为细致模型(Detailed Model)，温度场分布模型中，也使用上式作为策略性能评价函数，但由于温度场分布模型中的策略性能评价与真实运行环境的策略性能评价存在差异，因此将仿真环境中得到的性能评价记为J′(π)，将其视为粗糙模型(Crude Model)；估计序性能曲线OPC类别和粗糙模型的噪声等级，依据用户偏好给定“足够好”集合(策略选择集合)G的大小g和对齐水平k，对齐水平k和对齐概率有关。依据序优化的挑选集合公式以确定挑选集合S的大小s，依据粗糙模型对策略库Π中的所有运行策略的性能进行评估，选取J′(π)最小的s个策略组成挑选集合S，序优化理论可以确保策略集合S中以95％的概率至少包含k个真实策略性能为前g小的策略。也可以理解为在选出的挑选集合S中，存在k个S中的元素(design)是真正的”足够好“这件事有大于等于95％的概率。

综上，形成以下步骤。

图3为本发明实施例中确定挑选集合的流程图，在一实施例中，依据序优化方法，在温度场分布模型中对策略库中每个运行策略的性能进行评估，从策略库中确定挑选集合，包括：

步骤301，将温度场分布模型中得到的策略性能评价函数J′(π)作为粗糙模型；

步骤302，估计序性能曲线类别和粗糙模型的噪声等级；

步骤303，获得用户确定的策略选择集合G的大小g和对齐水平k；对齐水平k和对齐概率有关。

步骤304，依据序优化的挑选集合公式，确定挑选集合S的大小s，所述序优化的挑选集合公式的参数包括序性能曲线类别、粗糙模型的噪声等级、策略选择集合G的大小g和对齐水平k；序优化的挑选集合公式如下：

其中，Z

步骤305，计算策略库中的所有运行策略的粗糙模型的值，并选取粗糙模型的值最小的挑选集合S的大小s个运行策略组成挑选集合S。

在步骤105，将挑选集合中的各个运行策略分别应用于数据中心机房的真实运行环境中，确定挑选集合中的最优运行策略。

在一实施例中，将挑选集合中的各个运行策略分别应用于数据中心机房的真实运行环境中，确定挑选集合中的最优运行策略，包括：

将数据中心机房的真实运行环境的策略性能评价函数J(π)作为细致模型；

将挑选集合中的各个运行策略分别应用于数据中心机房的真实运行环境中，得到各个运行策略的细致模型的值；

将细致模型的值最小的运行策略作为最终的数据中心末端空调系统的运行策略。

综上所述，在本发明实施例提出的方法具有如下有益效果：

第一，基于不同参数的马尔可夫决策过程模型和策略函数形式一个包含多个运行策略的策略库，相比于传统的两阶段方法和强化学习方法仅生成单一运行策略，本方案综合考虑了多个不同形式的策略函数，并对多个运行策略进行合理挑选，因而最终得到的运行策略比传统方法得到的单一运行策略更有性能保障，即更能保障运行策略在实际数据中心环境中既确保服务器IT设备的热安全，又能最大程度降低末端空调能耗。

第二，在运行策略挑选的环节，与计算出所有运行策略的真实性能并进行排序后选择最好的策略这种传统方法不同，本方案采用了序优化方法，获得挑选集合，大大降低了策略库中的运行策略在真实运行环境中的评估次数，进一步保障了数据中心服务器IT设备的热安全，节省了人力物力财力。

本发明实施例还提出一种数据中心末端空调系统运行策略确定装置，其原理与数据中心末端空调系统运行策略确定方法类似，这里不再赘述。

图4为本发明实施例中数据中心末端空调系统运行策略确定装置的示意图，包括：

温度场分布模型搭建模块401，用于搭建数据中心机房的温度场分布模型；

马尔可夫决策过程模型构建模块402，用于构建数据中心末端空调系统运行策略的马尔可夫决策过程模型；

策略库构建模块403，用于在温度场分布模型中，使用强化学习算法，分别基于不同的策略函数、不同参数的马尔可夫决策过程模型进行训练，生成多种数据中心末端空调系统的运行策略，构建策略库；

挑选集合确定模块404，用于依据序优化方法，在温度场分布模型中对策略库中每个运行策略的性能进行评估，从策略库中确定挑选集合；

最优运行策略确定模块405，用于将挑选集合中的各个运行策略分别应用于数据中心机房的真实运行环境中，确定挑选集合中的最优运行策略。

在一实施例中，温度场分布模型搭建模块具体用于：

通过CFD软件，依据机房布置CAD图纸，利用CFD仿真软件，对数据中心机房空间构造和空调与IT设备型号进行建模和仿真，建立数据中心机房的温度场分布模型；

采集机房内的真实运行环境数据；

将采集的真实运行环境数据与采用所述温度场分布模型模拟仿真的运行环境数据进行比对，不断整定温度场分布模型，使得整定后的温度场分布模型的运行环境数据与真实运行环境数据匹配度达到预设阈值。

在一实施例中，所述马尔可夫决策过程模型由状态空间S、动作空间A、状态转移函数P、奖励函数R和折扣因子γ组成；

状态空间S的状态从观测变量中选取；

动作空间A中的动作从控制变量中选取；

奖励函数R根据空调的能耗惩罚和服务器IT设备的超温惩罚获得；

状态转移函数P根据温度场分布模型获得；

在每个时刻t，依据时刻t的环境观测到的状态S

在一实施例中，在温度场分布模型中，使用强化学习算法，分别基于不同的策略函数、不同参数的马尔可夫决策过程模型进行训练，生成多种数据中心末端空调系统的运行策略，构建策略库，包括：

确定采用的多种策略函数；

确定运行策略的动作价值函数，所述动作价值函数表示使用运行策略的情况下，状态s下采取动作a的对奖励R进行加权的累计折扣奖励；

对每种策略函数，在温度场分布模型中，使用强化学习算法的框架下，在不断交替更新动作价值函数和该策略函数的过程中收敛到优化运行策略，将所述优化运行策略作为一种运行策略加入策略库。

在一实施例中，策略函数包括神经网络型策略函数、基函数线性加权型策略函数。

在一实施例中，在温度场分布模型中对策略库中每个运行策略的性能进行评估的公式如下：

其中，π

在一实施例中，挑选集合确定模块具体用于：

将温度场分布模型中得到的策略性能评价函数J′(π)作为粗糙模型；

估计序性能曲线类别和粗糙模型的噪声等级；

获得用户确定的策略选择集合G的大小g和对齐水平k；

依据序优化的挑选集合公式，确定挑选集合S的大小s，所述序优化的挑选集合公式的参数包括序性能曲线类别、粗糙模型的噪声等级、策略选择集合G的大小g和对齐水平k；

计算策略库中的所有运行策略的粗糙模型的值，并选取粗糙模型的值最小的s个运行策略组成挑选集合S。

在一实施例中，最优运行策略确定模块具体用于：

将数据中心机房的真实运行环境的策略性能评价函数J(π)作为细致模型；

将挑选集合中的各个运行策略分别应用于数据中心机房的真实运行环境中，得到各个运行策略的细致模型的值；

将细致模型的值最小的运行策略作为最终的数据中心末端空调系统的运行策略。

综上所述，本发明实施例提出的装置的有益效果如下：

第一，基于不同参数的马尔可夫决策过程模型和策略函数形式一个包含多个运行策略的策略库，相比于传统的两阶段方法和强化学习方法仅生成单一运行策略，本方案综合考虑了多个不同形式的策略函数，并对多个运行策略进行合理挑选，因而最终得到的运行策略比传统方法得到的单一运行策略更有性能保障，即更能保障运行策略在实际数据中心环境中既确保服务器IT设备的热安全，又能最大程度降低末端空调能耗。

第二，在运行策略挑选的环节，与计算出所有运行策略的真实性能并进行排序后选择最好的策略这种传统方法不同，本方案采用了序优化方法，获得挑选集合，大大降低了策略库中的运行策略在真实运行环境中的评估次数，进一步保障了数据中心服务器IT设备的热安全，节省了人力物力财力。

本发明实施例还提供一种计算机设备，图5为本发明实施例中计算机设备的示意图，所述计算机设备500包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序530，所述处理器520执行所述计算机程序530时实现上述数据中心末端空调系统运行策略确定方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据中心末端空调系统运行策略确定方法。

本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述数据中心末端空调系统运行策略确定方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。