多智能体顺序更新方法、系统、计算机设备和存储介质

技术领域

本申请涉及机器人智能技术领域，特别是涉及一种多智能体顺序更新方法、系统、计算机设备和存储介质。

背景技术

本发明主要关注的技术领域是应用于多智能体合作博弈的多智能体强化学习方法(Multi-agent Reinforcement Learning，MARL)。现实世界中存在着大量的多智能体合作博弈任务，例如无人驾驶场景中不同车辆的协同、交通信号灯的配合与游戏场景中的NPC与人类玩家的交互等等。在这些任务中，不同的智能体在同一个环境下进行交互，并就实现共有的目标进行合作。多智能体强化学习方法可以实现对不同智能体的协同控制，但同时面临着维度爆炸和信度分配问题等挑战，其中维度爆炸指的是联合状态和联合动作空间随着智能体数目增多而指数级增长，信度分配问题指的是难以衡量单个智能体在完成多智能体任务中的贡献。

为了应对这些挑战，现有的很多方法采用了中心化训练分布式执行(CentralizedTraining with Decentralized Execution，CTDE)的训练框架。在该训练框架中，各个智能体在训练过程中共同优化策略但在执行过程中单独选择动作与环境交互。基于该训练框架的现有方法可以分为智能体同步更新和智能体顺序更新两类，其中智能体同步更新的方法面临更严峻的非平稳性问题，即从单个智能体的视角出发，环境由于其他智能体的变化而变得不稳定。智能体顺序更新的方法能在训练阶段利用智能体间的信息。智能体在更新时可以考虑已更新的智能体的策略，从而促进与已更新的智能体的合作。现有代表技术为多智能体近端策略优化算法(Multi-agent Proximal Policy Optimization，MAPPO)，协同近端策略优化算法(Coordinated Proximal Optimization，CoPPO)以及异构智能体近端策略优化算法(Heterogeneous-agent Proximal Policy Optimization，HAPPO)。这三个技术可以被分类为智能体同步更新和智能体顺序更新两类。但存在以下问题：

非平稳性问题：在多智能体近端策略优化算法和协同近端策略优化算法中，智能体同步更新，导致从单一智能体的视角出发，环境的转移函数和奖励函数等由于其他智能体的变化而发生改变。环境的非平稳性破坏了强化学习关于环境可被建模为马尔可夫决策过程(Markov Decision Process，MDP)的假设，降低了策略优化的有效性。而在异构智能体近端策略优化算法中，智能体顺序更新，在单一智能体更新时其他智能体的策略固定，非平稳性问题不会因此产生，然而智能体在策略训练阶段中引入的关于其他智能体的信息相较于当前的其他智能体而言是过时的，这部分信息的偏差同样使得该智能体在训练阶段感知到的环境转移函数和奖励函数与真实情况有所差异，从而引入了非平稳性问题。

智能体间缺少合作：在多智能体近端策略优化算法中，单一智能体将其他智能体当作环境的一部分，缺少鼓励智能体间合作的机制。协同近端策略优化算法与异构智能体近端策略优化算法都通过在更新单一智能体时引入其他智能体的已更新策略的信息来促进智能体间的合作，然而这两个算法都存在引入的信息与实际局面存在偏差的问题，智能体在训练阶段习得的合作策略在执行阶段可能无法与其他智能体的策略配合，影响了智能体合作行为的产生。

缺少单个智能体策略的单调性提升保证：现有的三个异构近端策略优化算法在不考虑参数共享的情况下都能保证联合策略的单调性提升。但对于异构智能体近端策略优化算法来说，联合策略的单调性提升保证无法保证每个智能体的更新都能够提升期望性能。在缺少单个智能体策略的单调性提升保证的情况下，某个智能体的更新反而可能降低联合策略的表现，降低了策略更新的有效性。

发明内容

本发明实施例提供了一种多智能体顺序更新方法、系统、计算机设备和存储介质，以至少解决相关技术中非平稳性、智能体间缺少合作、缺少单个智能体策略的单调性提升保证的问题。

根据本发明的一个实施例，提供了一种多智能体顺序更新方法，包括：

步骤1：确定当前的更新次序，将当前的所述更新次序记为K；

步骤2：计算前序智能体的联合策略的优势函数；所述前序智能体的更新次序为K-1；

步骤3：基于未更新的多个智能体的环境状态和执行动作以及所述优势函数，从所述未更新的多个智能体中确定出更新次序为K的一个目标智能体；

步骤4：计算所述目标智能体的自适应裁剪系数；

步骤5：根据所述自适应裁剪系数计算所述目标智能体的替代目标函数；

步骤6：根据所述替代目标函数，更新所述目标智能体的策略；

步骤7：令更新次序K＝K+1，返回执行所述步骤1至所述步骤6，顺序更新所述多个智能体中剩余未更新的智能体的策略，直至多个智能体的策略全部更新完成。

根据本发明的另一个实施例，提供了多智能体顺序更新系统，包括：

确定模块，用于确定智能体当前的更新次序；将当前的所述更新次序记为K；

优势函数计算模块，用于计算前序智能体的联合策略的优势函数；所述前序智能体的更新次序为K-1；

选择模块，用于基于未更新的多个智能体的环境状态和执行动作以及所述优势函数，从所述未更新的多个智能体中确定出更新次序为K的一个目标智能体；

裁剪系数确定模块，用于计算所述目标智能体的自适应裁剪系数；

替代目标确定模块，用于根据所述自适应裁剪系数计算所述目标智能体的替代目标函数；

策略更新模块，用于根据所述替代目标函数，更新所述目标智能体的策略；

顺序更新模块，用于令更新次序K＝K+1，返回执行所述步骤1至所述步骤5，顺序更新所述多个智能体中剩余未更新的智能体的策略，直至多个智能体的策略全部更新完成。

根据本发明的又一个实施例，还提供了一种计算机设备，包括存储器和处理器，所述处理器与存储器耦合，所述存储器中存储有至少一条程序指令或代码，所述至少一条程序指令或代码由所述处理器加载并执行，以使所述计算机设备实现以上所述的多智能体顺序更新方法。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现以上所述的方法的步骤。

本发明引入了顺序更新智能体和前序智能体策略修正方法(即步骤2：计算前序智能体的联合策略的优势函数；所述前序智能体的更新次序为K-1；步骤3：基于未更新的多个智能体的环境状态和执行动作以及所述优势函数，从所述未更新的多个智能体中确定出更新次序为K的一个目标智能体)；即：根据前序智能体的联合策略的优势函数对未更新的每个智能体的策略求期望结果来选择下一个更新的智能体实现顺序更新(即确定出更新次序为K的一个目标智能体)并使用自适应的裁剪系数方法(即步骤4：计算所述目标智能体的自适应裁剪系数；步骤5：根据所述自适应裁剪系数计算所述目标智能体的替代目标函数)来均衡不同智能体带来的环境变化。从单一智能体的视角出发，顺序更新避免了多个智能体一起更新导致的环境状态转移函数以及奖励函数的变化。虽然前序智能体的联合策略的优势函数

在前序智能体策略修正方法的作用下，本发明保证了单个智能体策略的单调性提升，并获得了更紧的联合策略单调性提升下界，提高了策略优化的有效性；

本发明提出了半贪心智能体选择方法，每次选择能对联合策略的性能提升最有利的智能体进行更新，在单个智能体策略和联合策略的单调性提升保证下，提高了策略优化的样本效率。此外，半贪心智能体选择方法对表现欠佳的智能体也有帮助。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本申请实施例提供的现有基于信赖域的多智能体强化学习方法分类图；

图2为本申请实施例提供的应用场景示意图；

图3为本申请的其中一实施例提供的多智能体顺序更新算法流程图；

图4为本申请的另一实施例提供的多智能体顺序更新算法流程图；

图5为一个实施例中计算机设备的示意性结构框图。

具体实施方式

本申请实施例提供了一种多智能体顺序更新方法、系统、计算机设备和存储介质，可缓解非平稳性问题，鼓励智能体间的合作行为，同时具有单个智能体策略和联合策略的单调性提升保证，提高策略优化的样本效率。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了方便理解本申请实施例提供的技术方案，先对部分技术进行如下说明：

本发明基于近端策略优化算法(Proximal Policy Optimization，PPO)[SchulmanJ，Wolski F，Dhariwal P，et al.Proximal policy optimization algorithms[J].arXivpreprint arXiv：1707.06347，2017.]，并采用了上述CTDE的训练框架。近端策略优化算法的有效性在于其保证了单调性提升，即保证了智能体更新替代目标(SurrogateObjective)时能够使智能体的期望表现(Expected Performance)得到提升。与本发明相关的技术包括了其他基于近端策略优化算法并采用CTDE训练框架的技术，代表技术为多智能体近端策略优化算法(Multi-agent Proximal Policy Optimization，MAPPO)[Yu C，VeluA，Vinitsky E，et al.The surprising effectiveness of ppo in cooperative，multi-agent games[J].arXiv preprint arXiv：2103.01955，2021.]，协同近端策略优化算法(Coordinated Proximal Optimization，CoPPO)以及异构智能体近端策略优化算法(Heterogeneous-agent Proximal Policy Optimization，HAPPO)[Wu Z，Yu C，Ye D，etal.Coordinated proximal policy optimization[J].Advances in Neural InformationProcessing Systems，2021，34：26437-26448.]。这三个技术可以被分类为智能体同步更新和智能体顺序更新两类，如图1所示，其中在多智能体近端策略优化算法和协同近端策略优化算法中智能体同步更新，在异构智能体近端策略优化算法中智能体顺序更新。特别地，在图1b中，π代表由旧策略组成的联合策略，

在多智能体近端策略优化算法中，智能体i单独最大化下述替代目标：

其中π

协同近端策略优化算法在CTDE的训练框架中近似联合策略的近端策略优化，其中智能体i在更新阶段最大化的替代目标为：

其中

异构智能体近端策略优化算法中利用了智能体顺序更新的方式。用e

在异构智能体近端策略优化算法中，较后更新的智能体能在训练其策略时能考虑较前更新的智能体策略的变化，鼓励智能体间的合作行为。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请提供的多智能体顺序更新方法，可以全部在服务器一侧执行，也可以全部在客户端一侧执行，还可以由服务器和客户端共同执行。在多智能体顺序更新由服务器和客户端共同执行时，可以应用于如图2所示的应用环境中。其中，客户端201与服务器202通过网络进行通信。

其中，客户端可以但不限于是各种计算机、笔记本电脑、智能手机、平板电脑和便携式智能设备，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

本申请实施例中所提供的方法实施例可以单独在移动终端、计算机终端或者类似的运算装置等客户端中执行。

本发明实现了一个顺序更新的多智能体算法，该算法的流程图如图3所示，主要包括四部分：1)前序智能体策略修正2)替代目标设计3)半贪心智能体选择4)自适应裁剪系数。在更新阶段，令π表示更新开始时的联合策略，

对于前序智能体策略修正部分，使用旧联合策略采样得到的数据来近似更新过程中产生的联合策略所对应的优势函数。对于在次序k(更新顺序，即第k个更新)更新的智能体i而言，

其中δ

可以证明，得益于

对于半贪心智能体选择部分，本发明选择次序k要更新的智能体时采用半贪心智能体选择方法，即：

其中N＝{1，...，n}，n为智能体数量，

半贪心智能体选择方法在贪心选择和随机选择中交替，同时考虑了加速策略优化与避免过早到达平稳点。

半贪心智能体选择方法在贪心选择和随机选择中交替，同时考虑了加速策略优化与避免过早到达平稳点。

对于自适应裁剪系数部分，智能体i基于

对于替代目标设计部分，本发明通过裁剪机制实现近端策略优化，上述更新次序为k的智能体i对应的替代目标为：

其中，

注意到该目标中使用了两次裁剪，第一次是对前序智能体的新旧策略比值进行裁剪，以减小梯度的方差，第二次是对智能体i的新旧策略比值进行裁剪，以限制更新的幅度。

使用

为了进一步理解本申请的方法，下面将结合方法流程图对方案进行进一步说明：

如图4所示，提供了多智能体顺序更新方法一个流程示意图，包括：

步骤301：确定智能体当前的更新次序；将当前的所述更新次序记为K；

步骤302：计算前序智能体的联合策略的优势函数；所述前序智能体的更新次序为K-1；

步骤303：基于未更新的多个智能体的环境状态和执行动作以及所述优势函数，从所述未更新的多个智能体中确定出更新次序为K的一个目标智能体；

步骤304：计算所述目标智能体的自适应裁剪系数；

步骤305：根据所述自适应裁剪系数计算所述目标智能体的替代目标函数；

步骤306：根据所述替代目标函数，更新所述目标智能体的策略；

步骤307：令更新次序K＝K+1，返回执行所述步骤1至所述步骤6，顺序更新所述多个智能体中剩余未更新的智能体的策略，直至多个智能体的策略全部更新完成。

可选地，所述计算前序智能体的联合策略的优势函数包括：采用以下公式计算所述优势函数：

其中，

表示更新次序为k-1的前序智能体的联合策略的优势函数；

s

a

δ

π表示初始化的联合策略。

可选地，所述基于未更新的多个智能体的环境状态和执行动作以及所述优势函数，从所述未更新的多个智能体中确定出更新次序为K的一个目标智能体，包括：

采用半贪心智能体选择方法分别对未更新的多个智能体求期望结果，并将所述未更新的多个智能体中期望结果最大的智能体作为目标智能体；并将所述目标智能体的更新次序设为K。

可选地，所述半贪心智能体选择方法采用以下计算公式选择目标智能体：

其中，

表示未更新的多个智能体的集合；其中，N＝{1，...，n}，n为智能体的数量；/>

表示更新次序为k-1的前序智能体的联合策略；

表示更新次序为k-1的前序智能体的联合策略的优势函数；

s为未更新的多个智能体中的智能体i的环境状态；a

为均匀分布。

可选地，在确定当前的更新次序，将当前的所述更新次序记为K之前，所述方法还包括：

初始化联合策略和全局价值函数；

使用所述联合策略对所述未更新的多个智能体中的每个智能体分别进行数据采样得到采样样本；其中，所述采样样本为智能体的环境状态和执行动作。

可选地，所述计算所述目标智能体的自适应裁剪系数，包括：使用以下公式计算：

∈

其中，∈为基础裁剪系数；

p

i表示目标智能体；

k表示目标智能体的更新次序；

n表示多个智能体的数量。

可选地，所述根据所述自适应裁剪系数计算所述目标智能体的替代目标函数，包括：

通过裁剪机制实现近端策略优化，所述目标智能体对应的替代目标为：

其中，

s为目标智能体的环境状态；

a为联合动作，a

d

表示目标智能体的已更新策略；

π

∈

e

表示目标智能体的前序智能体的已更新策略；

表示目标智能体的前序智能体的旧策略。

可选地，所述根据所述替代目标函数，更新所述目标智能体的联合策略，包括：

最大化所述替代目标函数更新所述目标智能体的策略

应用场景示例：

本发明可应用于足球机器人。在智能体顺序更新以及前序智能体策略修正方法的作用下，各足球机器人更趋向于完成传球-接球配合。持球机器人在传球时能够估计哪个可能的机器人在接球后能完成预期的进攻行为，并将球传给最有可能完成这一次配合进攻的机器人。而可能的接球机器人能够估计当前的持球机器人将会如何传球并提前做出配合，以实现更好的合作。

有益效果：

1.缓解非平稳性问题，鼓励智能体间的合作行为：本发明在顺序更新智能体的基础上引入了前序智能体策略修正方法并使用自适应的裁剪系数方法来均衡不同智能体带来的环境变化。从单一智能体的视角出发，顺序更新避免了多个智能体一起更新导致的环境状态转移函数以及奖励函数的变化。虽然

2.同时具有单个智能体策略和联合策略的单调性提升保证：在前序智能体策略修正方法的作用下，本发明保证了单个智能体策略的单调性提升，并获得了更紧的联合策略单调性提升下界，提高了策略优化的有效性。

3.样本效率：本发明提出了半贪心智能体选择方法，每次选择能对联合策略的性能提升最有利的智能体进行更新，在单个智能体策略和联合策略的单调性提升保证下，提高了策略优化的样本效率。此外，半贪心智能体选择方法对表现欠佳的智能体也有帮助。

替代方案：

1、半贪心智能体选择方法可以替换为其他基于贪心的智能体选择方法。

2、自适应裁剪系数可以替换为其他用于平衡不同智能体对非平稳性的贡献的裁剪系数选择方法。

下表提供了基于星际争霸2多兵种团队战役任务的实验结果。对每个任务场景取6个随机数种子进行实验，表格中的内容为胜率，对每个随机数种子取最后5次算法评估对应的中值胜率(每次评估测试32场对局)的中值作为结果，括号内数字为对应的方差。

本发明的实施例还提供了一种多智能体顺序更新系统，所述系统包括：

确定模块，用于确定智能体当前的更新次序；将当前的所述更新次序记为K；

优势函数计算模块，用于计算前序智能体的联合策略的优势函数；所述前序智能体的更新次序为K-1；

选择模块，用于基于未更新的多个智能体的环境状态和执行动作以及所述优势函数，从所述未更新的多个智能体中确定出更新次序为K的一个目标智能体；

裁剪系数确定模块，用于计算所述目标智能体的自适应裁剪系数；

替代目标确定模块，用于根据所述自适应裁剪系数计算所述目标智能体的替代目标函数；

策略更新模块，用于根据所述替代目标函数，更新所述目标智能体的策略；

顺序更新模块，用于令更新次序K＝K+1，返回执行所述步骤1至所述步骤5，顺序更新所述多个智能体中剩余未更新的智能体的策略，直至多个智能体的策略全部更新完成。

关于多智能体顺序更新系统的具体限定可参见上文中对于多智能体顺序更新方法的限定，在此不再赘述。上述多智能体顺序更新系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

本发明的实施例还提供了一种计算机设备，包括存储器和处理器，所述处理器与存储器耦合，所述存储器中存储有至少一条程序指令或代码，所述至少一条程序指令或代码由所述处理器加载并执行，以使所述计算机设备实现以上所述的多智能体顺序更新方法。

本申请实施例提供的计算机设备，可以是服务器，也可以是客户端：如图5所示，为本申请实施例提供的计算机设备的结构示意图。

处理器1701、存储器1702、总线1705、接口1704，处理器1701与存储器1702、接口1704相连，总线1705分别连接处理器1701、存储器1702以及接口1704，接口1704用于接收或者发送数据，处理器1701是单核或多核中央处理单元，或者为特定集成电路，或者为被配置成实施本发明实施例的一个或多个集成电路。存储器1702可以为随机存取存储器(randomaccess memory，RAM)，也可以为非易失性存储器(non-volatile memory)，例如至少一个硬盘存储器。存储器1702用于存储计算机执行指令。具体的，计算机执行指令中可以包括程序1703。

本实施例中，该处理器1701调用程序1703时，可以使图5中的管理服务器执行多智能体顺序更新操作，具体此处不再赘述。

应理解，本申请上述实施例提供的处理器，可以是中央处理单元(centralprocessing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application-specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请中以上实施例中的计算机设备中的处理器的数量可以是一个，也可以是多个，可以根据实际应用场景调整，此处仅仅是示例性说明，并不作限定。本申请实施例中的存储器的数量可以是一个，也可以是多个，可以根据实际应用场景调整，此处仅仅是示例性说明，并不作限定。

还需要说明的是，当计算机设备包括处理器(或处理单元)与存储器时，本申请中的处理器可以是与存储器集成在一起的，也可以是处理器与存储器通过接口连接，可以根据实际应用场景调整，并不作限定。

本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持计算机设备(客户端或服务器)实现上述方法中所涉及的控制器的功能，例如处理上述方法中所涉及的数据和/或信息。在一种可能的设计中，芯片系统还包括存储器，存储器，用于保存必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包括芯片和其他分立器件。

在另一种可能的设计中，当该芯片系统为用户设备或接入网等内的芯片时，芯片包括：处理单元和通信单元，处理单元例如可以是处理器，通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使该客户端或管理服务器等内的芯片执行多智能体顺序更新方法的步骤。可选地，存储单元为芯片内的存储单元，如寄存器、缓存等，存储单元还可以是客户端或管理服务器等内的位于芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现上述任一方法实施例中与客户端或管理服务器的控制器执行的方法流程。对应的，该计算机可以为上述计算机设备(客户端或服务器)。

应理解，本申请以上实施例中的提及的控制器或处理器，可以是中央处理单元(central processing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等中的一种或多种的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请中以上实施例中的计算机设备(客户端或服务器)或芯片系统等中的处理器或控制器的数量可以是一个，也可以是多个，可以根据实际应用场景调整，此处仅仅是示例性说明，并不作限定。本申请实施例中的存储器的数量可以是一个，也可以是多个，可以根据实际应用场景调整，此处仅仅是示例性说明，并不作限定。

还应理解，本申请实施例中以上实施例中的计算机设备(客户端或服务器)等中提及的存储器或可读存储介质等，可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronousDRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambusRAM，DR RAM)。

本领域普通技术人员可以理解实现上述实施例的全部或部分由计算机设备(客户端或服务器)或者处理器执行的步骤可以通过硬件或程序来指令相关的硬件完成。程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，随机接入存储器等。具体地，例如：上述处理单元或处理器可以是中央处理器，通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。上述的这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

当使用软件实现时，上述实施例描述的方法步骤可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质等。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别

类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本申请实施例中所使用的单数形式的“一种”、“”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，在本申请的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；本申请中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。

取决于语境，如在此所使用的词语“如果”或“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。