一种在/离线服务混合部署的方法、集群系统及电子设备

技术领域

本发明涉及互联网技术领域，具体的涉及一种在/离线服务混合部署的方法、集群系统及电子设备。

背景技术

在线服务，是指利用信息技术，实时对用户或是第三方提供的服务。为了保障良好的用户体验，通常具备高并发、低延时的特点，对延时很敏感，存在周期性的高峰和低谷，典型的有电商系统、直播系统和广告业务。

离线服务，是指需要一段时间的后台计算，非实时响应的服务，比如批处理任务、大数据离线运算等。离线服务通常是计算密集型任务，对时延不敏感，对计算机运算能力的消耗比较大，典型的有Hadoop的MapReduce和Spark任务。

在互联网领域，在线服务和离线服务是普遍存在的两种服务，在线服务集群为了应对周期性的业务高峰，储备了较多的计算资源，CPU平均利用率通常在20％以下，而离线服务集群，因为密集计算的任务较多，CPU平均利率通常在50％以上。

由于离线服务的CPU消耗较大，通常为了保证在线服务的性能不受影响，会将在线服务和离线服务分开部署，以避免离线服务对在线服务产生干扰。但是在这两类服务分开部署的情况下，计算资源不能得到充分利用，如在线服务集群的CPU平均利用率为20％，则有80％的算力无法得到利用，存在较多的资源浪费。

现有的在线服务和离线服务分开部署的示意参见图1所示，整体CPU利用率较低，存在较多的计算资源浪费。

另外，传统的离线服务单独部署的模式，弹性扩展能力存在不足，扩容时需要先购买单独的服务器，再部署离线服务，然后注册到离线集群中，整个流程耗时较长。

在互联网技术领域，本申请的方案解决以下问题：

1.解决在/离线混部情况下离线服务对在线服务的性能产生干扰的问题，从而使混部成为可能，进而解决集群整体CPU利用率不足的问题。

2.解决离线服务弹性扩展能力不足的问题。

有鉴于此，特提出本发明。

发明内容

为了解决以上问题，本发明提出了一种在/离线服务混部的解决方案，解决了同一台计算机上离线服务对在线服务的性能产生干扰的问题，又解决了离线服务弹性扩展能力不足的问题，从而大幅提集群的整体CPU利用率和离线服务的弹性扩展能力。

为了实现上述发明目的，本发明提供了以下技术方案：

一种在/离线服务混合部署的方法，包括：

将在线服务、离线服务混合部署在各集群服务器上；

分别对在线服务、离线服务的执行单元进行不同注解或者标签；

各集群服务器根据被调度的执行单元上的注解或者标签设置在线任务标记和离线任务标记，执行在线任务优于离线任务执行的策略。

作为本发明的可选实施方式，所述各集群服务器根据被调度的执行单元上的注解或者标签设置在线任务标记和离线任务标记，执行在线任务优于离线任务执行的策略包括：

集群服务器识别执行单元上的注解或者标签设置在线任务标记和离线任务标记，设置调度优先级，执行在线任务得到CPU的优先使用权，离线任务得到 CPU的空闲使用权的策略。

作为本发明的可选实施方式，所述集群服务器根据CPU使用的历史数据获得CPU的算力被在线服务占用低于预设值的空闲时段，所述的离线任务在空闲时段被自动创建补充离线算力。

作为本发明的可选实施方式，一种在/离线服务混合部署的方法，包括：

将在线服务、离线服务混合部署在同一K8s集群的各服务器上；

K8s Master分别在在线服务的Pod和离线服务的Pod上分别进行不同的注解或者标签，得到在线任务Pod和离线任务Pod；

当Pod被调度到K8s集群的服务器上时，服务器根据在线任务Pod和离线任务Pod设置在线任务标记和离线任务标记；

K8s集群的服务器根据被调度的执行单元上的在线任务标记、离线任务标记，执行在线任务优于离线任务执行的策略。

作为本发明的可选实施方式，本发明的一种在/离线服务的混合部署的方法，

所述的集群服务器设置执行单元调度模块和内核调度模块：

所述执行单元上的注解或者标签被执行单元调度模块识别并设置在线任务标记和离线任务标记；

所述内核调度模块识别在线任务标记、离线任务标记，设置调度优先级，执行在线任务得到CPU的优先使用权，离线任务得到CPU的空闲使用权的策略。

本实施例同时提供一种在/离线服务混合部署的集群系统，包括：

多个集群服务器，将在线服务、离线服务混合部署在各集群服务器上；

集群控制模块，分别对在线服务、离线服务的执行单元进行不同注解或者标签；

所述集群服务器根据被调度的执行单元上的注解或者标签设置在线任务标记和离线任务标记，执行在线任务优于离线任务执行的策略。

作为本实施例的可选实施方式，所述的集群服务器设置执行单元调度模块和内核调度模块：

所述执行单元调度模块识别执行单元上的标记设置在线任务标记和离线任务标记；

所述内核调度模块识别在线任务标记、离线任务标记，设置调度优先级，执行在线任务得到CPU的优先使用权，离线任务得到CPU的空闲使用权的策略。

作为本实施例的可选实施方式，所述的集群服务器设置执行单元调度模块和任务进程模块：

所述执行单元调度模块识别执行单元上的注解或者标签设置在线任务标记和离线任务标记；

所述的任务进程模块识别在线任务标记、离线任务标记，对应设置在线任务进程nice值和离线任务进程nice值，按照设置的在线任务进程nice值和离线任务进程nice值执行在线任务得到CPU的优先使用权，离线任务得到CPU的空闲使用权的策略。

本实施例还提供一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行所述的一种在/离线服务混合部署的方法。

本实施例还提供一种计算机可读介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现所述的一种在/离线服务混合部署的方法。

与现有技术相比，本发明的有益效果：

本发明的在/离线服务混合部署的方法将在线服务、离线服务混合部署在各集群服务器上，通过分别对在线服务、离线服务的执行单元进行不同注解或者标签，实现了执行单元在被调度时，集群服务器可对在线任务和离线任务进行识别，执行在线任务优于离线任务执行的策略可以使得离线服务完全避让在线服务，解决在/离线混合部署情况下离线服务对在线服务的性能产生干扰的问题。

本发明的在/离线服务混合部署的方法根据在线服务和离线服务所需要的的算力特点，当在线服务运行时，离线服务完全避让在线服务，确保在线服务能够获得足够的算力，满足其高并发、低延时的需求。而在线服务又具有明显的周期性的高峰和低谷，本发明在在线服务处于低谷时期，在集群空闲时，自动创建离线任务补充离线算力，解决离线服务弹性扩展能力不足的问题。

本发明基于K8s进行在/离线服务的混合部署的方法，将在线服务和离线服务混合部署在同一个K8s集群中，通过离线注解或者标签，实现了离线服务完全避让在线服务，解决在/离线混部情况下离线服务对在线服务的性能产生干扰的问题。

本发明基于K8s进行在/离线服务的混合部署的方法，使用K8s统一管理在 /离线混部集群，在集群空闲时，自动创建离线任务补充离线算力，解决离线服务弹性扩展能力不足的问题。

附图说明：

图1背景技术中在线服务和离线服务分开部署的示意图；

图2本实施例在/离线服务混合部署的整体框架图；

图3本实施例在/离线服务混合部署的工作时序图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。

因此，以下对本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的部分实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征和技术方案可以相互组合。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，这类术语仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

参见图2所示，本实施例提供的一种在/离线服务混合部署的方法，包括：

将在线服务、离线服务混合部署在各集群服务器上；

分别对在线服务、离线服务的执行单元进行不同注解或者标签；

各集群服务器根据被调度的执行单元上的注解或者标签设置在线任务标记和离线任务标记，执行在线任务优于离线任务执行的策略。

本实施例的在/离线服务混合部署的方法将在线服务、离线服务混合部署在各集群服务器上，通过分别对在线服务、离线服务的执行单元进行不同注解或者标签，实现了执行单元在被调度时，集群服务器可对在线任务和离线任务进行识别，执行在线任务优于离线任务执行的策略可以使得离线服务完全避让在线服务，解决在/离线混合部署情况下离线服务对在线服务的性能产生干扰的问题。

具体地，本实施例将在线服务、离线服务混合部署在各集群服务器上是指在集群服务器上部署在线服务1、在线服务2、......、在线服务N，同时部署离线服务1、离线服务2、......、离线服务M，在线任务、离线任务同时部署在同一集群服务器上。

进一步地，本实施例所述各集群服务器根据被调度的执行单元上的注解或者标签设置在线任务标记和离线任务标记，执行在线任务优于离线任务执行的策略包括：

集群服务器识别执行单元上的注解或者标签设置在线任务标记和离线任务标记，设置调度优先级，执行在线任务得到CPU的优先使用权，离线任务得到 CPU的空闲使用权的策略。

作为本实施例的可选实施方式，所述集群服务器根据CPU使用的历史数据获得CPU的算力被在线服务占用低于预设值的空闲时段，所述的离线任务在空闲时段被自动创建补充离线算力。

本实施例根据在线服务和离线服务所需要的算力特点，当在线服务运行时，离线服务完全避让在线服务，确保在线服务能够获得足够的算力，满足其高并发、低延时的需求。而在线服务又具有明显的周期性的高峰和低谷，本实施例在在线服务处于低谷时期，在集群空闲时，自动创建离线任务补充离线算力，解决离线服务弹性扩展能力不足的问题；同时，可实现集群服务器的CPU资源利用，避免资源浪费。

为了实现对执行单元的在/离线任务的识别，以便执行在线任务优于离线任务执行的策略，所述的集群服务器设置执行单元调度模块和内核调度模块，本实施例的在/离线服务混合部署的方法包括：

所述执行单元调度模块识别执行单元上的注解或者标签设置在线任务标记和离线任务标记；

所述内核调度模块识别在线任务标记、离线任务标记，设置调度优先级，执行在线任务得到CPU的优先使用权，离线任务得到CPU的空闲使用权的策略。

本实施例的在/离线服务混合部署的方法通过在集群服务器设置执行单元调度模块可以对在线任务和离线任务的执行单元进行识别，并设置在线任务标记和离线任务标记；通过在集群服务器设置内核调度模块识别在线任务标记、离线任务标记，设置调度优先级，执行在线任务得到CPU的优先使用权，离线任务得到CPU的空闲使用权的策略。

可选地，本实施例的执行单元调度模块为调度agent，内核调度模块为内核调度器。

本实施例的集群服务器的CPU新增内核调度器，自行控制在/离线任务的调度方式，解决了Linux自带的cgroup控制方式下CPU控制效果不好，造成离线任务和在线任务争抢CPU，导致在线任务响应变慢的问题。

为了实现对执行单元的在/离线任务的识别，以便执行在线任务优于离线任务执行的策略，作为本实施例的可选实施方式，所述的集群服务器设置执行单元调度模块和任务进程模块，本实施例的在/离线服务混合部署的方法包括：

所述执行单元调度模块识别执行单元上的注解或者标签设置在线任务标记和离线任务标记；

所述的任务进程模块识别在线任务标记、离线任务标记，对应设置在线任务进程nice值和离线任务进程nice值，按照设置的在线任务进程nice值和离线任务进程nice值执行在线任务得到CPU的优先使用权，离线任务得到CPU的空闲使用权的策略。

本实施例通过任务进程模块执行在线任务得到CPU的优先使用权，离线任务得到CPU的空闲使用权的策略，利用CPU原有的任务进程模块即可实现任务的优先级调度。

具体地，本实施例以基于K8s的集群上进行在/离线服务的混合部署，所述的在/离线服务混合部署的方法，包括：

将在线服务、离线服务混合部署在同一K8s集群的各服务器上；

K8s Master分别在在线服务的Pod和离线服务的Pod上分别进行不同的注解或者标签，得到在线任务Pod和离线任务Pod；

当Pod被调度到K8s集群的服务器上时，服务器根据在线任务Pod和离线任务Pod设置在线任务标记和离线任务标记；

K8s集群的服务器根据被调度的执行单元上的在线任务标记、离线任务标记，执行在线任务优于离线任务执行的策略。

K8s，就是基于容器的集群管理平台，它的全称，是kubernetes。一个K8S 集群主要包括两个部分：一个Master节点(主节点)，主要负责管理和控制；一群Node节点(计算节点)，是工作负载节点，里面是具体的容器。

Node节点包括Docker、kubelet、kube-proxy、Fluentd、kube-dns(可选)，还有就是Pod。Pod是Kubernetes最基本的操作单元。一个Pod代表着集群中运行的一个进程，它内部封装了一个或多个紧密相关的容器。除了Pod之外，K8s 还有一个Service的概念，一个Service可以看作一组提供相同服务的Pod的对外访问接口。

因此，Pod，是K8s调度的最小单元，一个服务由1个或多个Pod组成，一个Pod对应计算机上一个具体的计算任务。

进一步地，本实施例的一种在/离线服务混合部署的方法，

所述K8s Master以注解或者标签的形式，分别在在线服务的Pod和离线服务的Pod上打上不同的注解或者标签，得到在线任务Pod和离线任务Pod；

当Pod被调度到K8s集群的服务器上时，服务器根据在线任务Pod和离线任务Pod的注解或者标签设置在线任务标记和离线任务标记。

因此，本实施例以基于K8s的集群上进行在/离线服务混合部署的实现方式如下：

1.将在线服务和离线服务混合部署在同一个K8s集群中，以注解的形式，对在线服务和离线服务的Pod打上不同的注解或者标签，当Pod被调度到某台计算节点上时，节点上部署的调度agent会根据该Pod的注解，对该Pod设置在线或离线任务标记。

2.操作系统内核增加了一个调度器识别在/离线标记，使得在线服务先得到 CPU的使用权，而在CPU空闲的时候才让离线服务得到CPU的使用权，从而保证优先满足在线服务的算力需求，而将空余的算力分配给离线服务。解决在/ 离线混部情况下离线服务对在线服务的性能产生干扰的问题。

3.使用K8s统一管理在/离线混部集群，在集群空闲时，自动创建离线任务补充离线。

参见图3所示，本实施例在/离线服务混合部署的方法的工作时序为：

集群系统管理员新建或扩容服务；

K8s Master创建Pod，以注解的形式，分别在在线服务的Pod和离线服务的 Pod上打上不同的注解或者标签；

集群服务器的调度agent识别Pod的offline＝true的注解，设置在线或离线的标记；

集群服务器的内核调度器识别在线和离线标记，设置调度优先级，让在线任务优先使用CPU。

同样的原理下，其他可能完成本发明目的的方有：

1.对在/离线Pod的进行不同的注解，或是标签等，凡是能将在/离线Pod 做出区分的方式均可。

2.使用其他调度优先级的控制方法，如设置进程nice值、新增其他的调度类等。

本实施例基于K8s进行在/离线服务的混合部署的方法，具有以下优点：

1.将在线服务和离线服务混合部署在同一个K8s集群中，通过离线注解或者标签，实现了离线服务完全避让在线服务，解决在/离线混部情况下离线服务对在线服务的性能产生干扰的问题。

2.使用K8s统一管理在/离线混部集群，在集群空闲时，自动创建离线任务补充离线算力，解决离线服务弹性扩展能力不足的问题。

本实施例同时提供一种在/离线服务混合部署的集群系统，包括：

多个集群服务器，将在线服务、离线服务混合部署在各集群服务器上；

集群控制模块，分别对在线服务、离线服务的执行单元进行不同注解或者标签；

所述集群服务器根据被调度的执行单元上的注解或者标签设置在线任务标记和离线任务标记，执行在线任务优于离线任务执行的策略。

本实施例的在/离线服务混合部署的集群系统将在线服务、离线服务混合部署在各集群服务器上，通过分别对在线服务、离线服务的执行单元进行不同注解或者标签，实现了执行单元在被调度时，集群服务器可对在线任务和离线任务进行识别，执行在线任务优于离线任务执行的策略可以使得离线服务完全避让在线服务，解决在/离线混合部署情况下离线服务对在线服务的性能产生干扰的问题。

进一步地，本实施例所述集群服务器识别执行单元上的注解或者标签设置在线任务标记和离线任务标记，设置调度优先级，执行在线任务得到CPU的优先使用权，离线任务得到CPU的空闲使用权的策略。

作为本实施例的可选实施方式，所述集群服务器根据CPU使用的历史数据获得CPU的算力被在线服务占用低于预设值的空闲时段，所述的离线任务在空闲时段被自动创建补充离线算力。本实施例根据在线服务和离线服务所需要的的算力特点，当在线服务运行时，离线服务完全避让在线服务，确保在线服务能够获得足够的算力，满足其高并发、低延时的需求。而在线服务又具有明显的周期性的高峰和低谷，本实施例在在线服务处于低谷时期，在集群空闲时，自动创建离线任务补充离线算力，解决离线服务弹性扩展能力不足的问题。

本实施例同时提供一种在/离线服务的混合部署集群系统，包括：

多个集群服务器，将在线服务、离线服务混合部署在各集群服务器上；

集群控制模块，分别对在线服务、离线服务的执行单元进行不同注解或者标签；

所述集群服务器根据被调度的执行单元上的注解或者标签设置在线任务标记和离线任务标记，执行在线任务优于离线任务执行的策略。

为了实现对执行单元的在/离线任务的识别，以便执行在线任务优于离线任务执行的策略，所述的集群服务器设置执行单元调度模块和内核调度模块：

所述执行单元调度模块识别执行单元上的注解或者标签设置在线任务标记和离线任务标记；

所述内核调度模块识别在线任务标记、离线任务标记，设置调度优先级，执行在线任务得到CPU的优先使用权，离线任务得到CPU的空闲使用权的策略。

本实施例通过在集群服务器设置执行单元调度模块可以对在线任务和离线任务的执行单元进行识别，并设置在线任务标记和离线任务标记；通过在集群服务器设置内核调度模块识别在线任务标记、离线任务标记，设置调度优先级，执行在线任务得到CPU的优先使用权，离线任务得到CPU的空闲使用权的策略。

可选地，本实施例的执行单元调度模块为调度agent，内核调度模块为内核调度器。

本实施例的集群服务器的CPU新增内核调度器，自行控制在/离线任务的调度方式，解决了Linux自带的cgroup控制方式下CPU控制效果不好，造成离线任务和在线任务争抢CPU，导致在线任务响应变慢的问题。

为了实现对执行单元的在/离线任务的识别，以便执行在线任务优于离线任务执行的策略，作为本实施例的可选实施方式，所述的集群服务器设置执行单元调度模块和任务进程模块：

所述执行单元调度模块识别执行单元上的注解或者标签设置在线任务标记和离线任务标记；

所述的任务进程模块识别在线任务标记、离线任务标记，对应设置在线任务进程nice值和离线任务进程nice值，按照设置的在线任务进程nice值和离线任务进程nice值执行在线任务得到CPU的优先使用权，离线任务得到CPU的空闲使用权的策略。

具体地，本实施例以基于K8s的集群上进行在/离线服务的混合部署，所述的在/离线服务混合部署的集群系统，包括：

将在线服务、离线服务混合部署在同一K8s集群的各服务器上；

K8s Master分别在在线服务的Pod和离线服务的Pod上分别进行不同的注解或者标签，得到在线任务Pod和离线任务Pod；

当Pod被调度到K8s集群的服务器上时，服务器根据在线任务Pod和离线任务Pod设置在线任务标记和离线任务标记；

K8s集群的服务器根据被调度的执行单元上的在线任务标记、离线任务标记，执行在线任务优于离线任务执行的策略。

K8s，就是基于容器的集群管理平台，它的全称，是kubernetes。一个K8S 集群主要包括两个部分：一个Master节点(主节点)，主要负责管理和控制；一群Node节点(计算节点)，是工作负载节点，里面是具体的容器。

Node节点包括Docker、kubelet、kube-proxy、Fluentd、kube-dns(可选)，还有就是Pod。Pod是Kubernetes最基本的操作单元。一个Pod代表着集群中运行的一个进程，它内部封装了一个或多个紧密相关的容器。除了Pod之外，K8s 还有一个Service的概念，一个Service可以看作一组提供相同服务的Pod的对外访问接口。

因此，Pod，是K8s调度的最小单元，一个服务由1个或多个Pod组成，一个Pod对应计算机上一个具体的计算任务。

进一步地，本实施例的一种在/离线服务混合部署的集群系统，所述K8s Master以注解或者标签的形式，分别在在线服务的Pod和离线服务的Pod上打上不同的注解或者标签，得到在线任务Pod和离线任务Pod；当Pod被调度到 K8s集群的服务器上时，服务器根据在线任务Pod和离线任务Pod的注解或者标签设置在线任务标记和离线任务标记。

因此，本实施例基于K8s的集群上进行在/离线服务的混合部署的实现式如下：

1.将在线服务和离线服务混合部署在同一个K8s集群中，以注解的形式，对在线服务和离线服务的Pod打上不同的注解或者标签，当Pod被调度到某台计算节点上时，节点上部署的调度agent会根据该Pod的注解，对该Pod设置在线或离线标记。

2.操作系统内核增加了一个调度器识别在/离线标记，使得在线服务先得到 CPU的使用权，而在CPU空闲的时候才让离线服务得到CPU的使用权，从而保证优先满足在线服务的算力需求，而将空余的算力分配给离线服务。解决在/ 离线混部情况下离线服务对在线服务的性能产生干扰的问题。

3.使用K8s统一管理在/离线混部集群，在集群空闲时，自动创建离线任务补充离线。

参见图3所示，本实施例在/离线服务混合部署的集群系统的工作时序为：

集群系统管理员新建或扩容服务；

K8s Master创建Pod，以注解的形式，分别在在线服务的Pod和离线服务的 Pod上打上不同的注解或者标签；

集群服务器的调度agent识别Pod的offline＝true的注解，设置在线或离线任务的标记；

集群服务器的内核调度器识别在线和离线任务标记，设置调度优先级，让在线任务优先使用CPU。

同样的原理下，其他可能完成本发明目的的方式有：

1.对在/离线Pod的进行不同的注解，或是标签等。

2.使用其他调度优先级的控制方法，如设置进程nice值、新增其他的调度类等。

本实施例基于K8s进行在/离线服务的混合部署的集群系统，具有以下优点：

1.将在线服务和离线服务混合部署在同一个K8s集群中，通过离线注解或标签，实现了离线服务完全避让在线服务，解决在/离线混部情况下离线服务对在线服务的性能产生干扰的问题。

2.使用K8s统一管理在/离线混部集群，在集群空闲时，自动创建离线任务补充离线算力，解决离线服务弹性扩展能力不足的问题。

本实施例还提供了一种电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行所述的一种在/离线服务的混合部署方法。

本实施例还提供了一种计算机可读介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现所述的一种在/离线服务的混合部署方法。

通过以上对实施方式的描述，本领域的技术人员易于理解，本发明可以由能够执行特定计算机程序的硬件来实现，例如本发明的系统，以及系统中包含的电子处理单元、服务器、客户端、手机、控制单元、处理器等。本发明也可以由执行本发明的方法的计算机软件来实现，例如由微处理器、电子控制单元，客户端、服务器端等执行的控制软件来实现。但需要说明的是，执行本发明的方法的计算机软件并不限于由一个或特定个的硬件实体中执行，其也可以是由不特定具体硬件的以分布式的方式来实现。对于计算机软件，软件产品可以存储在一个计算机可读的存储介质(可以是CD-ROM，U盘，移动硬盘等)中，也可以分布式存储于网络上，只要其能使得电子设备执行根据本发明的方法。

以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但本发明不局限于上述具体实施方式，因此任何对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均涵盖在本发明的权利要求范围当中。