图像处理装置、方法和电子设备

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理装置、方法和电子设备。

背景技术

块匹配算法的基本思想是先将图像划分为许多子块，然后对当前帧中的每一块根据一定的匹配准则在参考帧中找出当前块的匹配块，由此得到两者的相对位移，即当前块的运动矢量。

块匹配算法的实现需要硬件支持，由于块匹配算法需要大量的数据比对，数据访问量大，对带宽的要求很高，传统的实现方式图像数据获取时延大。

发明内容

本申请实施例的目的是提供一种图像处理装置、方法和电子设备，能够解决图像数据获取时延大的问题。

第一方面，本申请实施例提供了一种图像处理装置，包括依次连接的第一存储器、缓存、块数据请求模块以及运动估计匹配模块；

所述第一存储器，用于存储视频帧，所述视频帧包括第一帧和参考帧；

所述缓存，用于暂存从所述第一存储器中获取的部分数据；

所述运动估计匹配模块，用于获取所述第一帧中第一图像块的第一坐标信息，以及所述参考帧中第二图像块的第二坐标信息；

所述块数据请求模块，用于根据所述第一坐标信息向所述缓存请求获取第一图像块的数据，以及根据所述第二坐标信息向所述缓存请求获取第二图像块的数据，并将所述第一图像块的数据和所述第二图像块的数据发送给所述运动估计匹配模块，以使所述运动估计匹配模块根据所述第一图像块的数据和所述第二图像块的数据进行图像块匹配。

第二方面，本申请实施例提供了一种图像处理方法，所述方法包括：

通过运动估计匹配模块获取视频帧的第一帧中第一图像块的第一坐标信息，以及所述参考帧中第二图像块的第二坐标信息，所述视频帧包括第一帧和参考帧

利用块数据请求模块根据所述第一坐标信息向所述缓存请求获取第一图像块的数据，以及根据所述第二坐标信息向所述缓存请求获取第二图像块的数据，其中所述缓存用于暂存从所述第一存储器中获取的数据，所述第一存储器用于存储视频帧；

通过块数据请求模块将所述第一图像块的数据和所述第二图像块的数据发送给所述运动估计匹配模块；

通过所述运动估计匹配模块根据所述第一图像块的数据和所述第二图像块的数据进行图像块匹配。

第三方面，本申请实施例提供了一种电子设备，包括如第一方面所述的图像处理装置。

第四方面，本申请实施例提供了一种芯片，包括如第一方面所述的图像处理装置。

在本申请实施例中的图像处理装置，包括依次连接的第一存储器、缓存、块数据请求模块以及运动估计匹配模块；所述第一存储器，用于存储视频帧，所述视频帧包括第一帧和参考帧；所述缓存，用于暂存从所述第一存储器中获取的部分数据；所述运动估计匹配模块，用于获取所述第一帧中第一图像块的第一坐标信息，以及所述参考帧中第二图像块的第二坐标信息；所述块数据请求模块，用于根据所述第一坐标信息向所述缓存请求获取第一图像块的数据，以及根据所述第二坐标信息向所述缓存请求获取第二图像块的数据，并将所述第一图像块的数据和所述第二图像块的数据发送给所述运动估计匹配模块。采用缓存实现数据缓冲，通过各个部件之间的相互配合，可以从缓存中快速获取第一图像块和第二图像块的数据，由于缓存的数据存取速度较快，可降低图像数据获取的时延，进一步提高图像处理的效率。

附图说明

图1是本申请实施例提供的图像处理装置的结构图；

图2是本申请实施例提供的块数据请求模块的结构图；

图3是本申请实施例提供的块块匹配算法的流程图；

图4是本申请实施例提供的缓存的结构图；

图5是本申请实施例提供的缓存获取图像块数据的流程图；

图6是本申请实施例提供的参考帧示意图；

图7是本申请实施例提供的第一帧示意图；

图8是本申请实施例提供了一种图像处理方法流程图；

图9是本申请实施例提供的一种电子设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

对相邻图像序列之间的运动位移进行估计的技术称之为运动估计。高质量的运动估计算法是高效视频去噪的前提和基础。其中块匹配法(Block Match Algorithm，BMA)由于算法简单和易于硬件实现，被广泛应用于各运动估计算法(也可称为块匹配算法)中。块匹配算法的基本思想是先将图像划分为许多子块，然后对第一帧中的每一当前块，根据一定的匹配准则在参考帧中找出当前块的匹配块，由此得到两者的相对位移，即当前块的运动矢量。例如图像序列的第一帧被划分成互不重叠16×16大小的子块，当前子块按一定的块匹配准则在参考帧中对应位置的一定搜索范围内寻找最佳匹配块，由此得到运动矢量和匹配误差。运动估计的估计精度和运算复杂度取决于搜索策略和块匹配准则。图像的运动越复杂，运动的一致性就越弱，对块划分的精度要求就越高；图像块的运动越简单，运动一致性就越强，对块划分的精度要求就越低。由于运动估计算法需要频繁访问图像数据，因此对图像处理装置的要求较高，为了提高运动估计算法的运行效率，本申请提供一种应用于运动估计算法的图像处理装置。下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理装置进行详细地说明。

图1是本申请实施例提供的图像处理装置的结构图，如图1所示，图像处理装置包括依次连接的第一存储器1、缓存2、块数据请求模块3以及运动估计匹配模块4；

其中，所述第一存储器1，用于存储视频帧，所述视频帧包括第一帧和参考帧。第一存储器1可以为双倍速率同步动态随机存储器(Double Data Rate Synchronous DynamicRandom-Access Memory，DDR SDRAM)。

所述缓存2，用于暂存从所述第一存储器1中获取的部分数据，例如第一帧的当前块，参考帧的候选块等。

所述运动估计匹配模块4，用于获取所述第一帧中第一图像块的第一坐标信息，以及所述参考帧中第二图像块的第二坐标信息。第一帧被划分成互不重叠的相同大小的块，对于每一个块按一定的块匹配准则在参考帧中对应位置的一定搜索范围内寻找最佳匹配块。第一图像块可以理解为当前块，第二图像块可以理解为搜索范围内的候选块，该候选块可能是与当前块匹配的最佳匹配块，参考帧包括多个第二图像块，每次匹配时，将第一图像块与一个第二图像块进行匹配。第一帧可以理解为当前正在进行图像匹配的图像帧。

第一坐标信息为第一图像块在第一帧中的位置信息，例如，第一坐标信息为第一图像块的左上角坐标相对于第一帧的左上角坐标的位置，第一坐标信息还可以包括第一图像块的尺寸，例如，长和宽分别占据的像素点个数。第二坐标信息为第二图像块在参考帧中的位置信息，例如，第二坐标信息为第二图像块的左上角坐标相对于参考帧的左上角坐标的位置，第二坐标信息还可以包括第二图像块的尺寸，例如，长和宽分别占据的像素点个数。

运动估计匹配模块4将第一坐标信息和第二坐标信息发送给块数据请求模块3之后，接收块数据请求模块3反馈的第一图像块和第二图像块的数据，运动估计匹配模块4将第一图像块和第二图像块进行匹配，在第一图像块与每个第二图像块进行匹配之后，从多个第二图像块中确定与第一图像块最匹配的第二图像块，该第二图像块为匹配块，根据第一图像块与匹配块确定运动矢量，并输出运动矢量。

所述块数据请求模块3，用于根据所述第一坐标信息向所述缓存2请求获取第一图像块的数据，以及根据所述第二坐标信息向所述缓存2请求获取第二图像块的数据，若缓存2中存在第一图像块的数据，则缓存2向块数据请求模块3返回第一图像块的数据；若缓存2中不存在第一图像块的数据，则缓存2可通过高级可扩展接口(Advanced eXtensibleInterface，AXI)，从第一存储器1中读取第一图像块的数据，并填充到缓存2中，然后向块数据请求模块3返回第一图像块的数据；块数据请求模块3在获取到第一图像块的数据之后，将第一图像块的数据发送给所述运动估计匹配模块4。第二图像块的数据获取方式同理，在此不做赘述。

上述实施例中，图像处理装置包括依次连接的第一存储器1、缓存2、运动估计匹配模块4以及块数据请求模块3，采用缓存2实现数据缓冲，通过各个部件之间的相互配合，可以从缓存2中快速获取第一图像块和第二图像块的数据，由于缓存的数据存取速度较快，可降低图像数据获取的时延，进一步提高图像处理的效率。

在本申请一种实施例中，如图2所示，所述块数据请求模块3包括相互连接的读数据请求单元31、地址译码单元32和块地址存储单元33，所述块地址存储单元33与所述运动估计匹配模块4连接。

其中，所述块地址存储单元33，用于从所述运动估计匹配模块4获取所述第一坐标信息和所述第二坐标信息，并存储所述第一坐标信息和所述第二坐标信息；

所述地址译码单元32，用于从所述块地址存储单元33中获取所述第一坐标信息和所述第二坐标信息，并根据所述第一坐标信息获得第一数据请求地址，以及根据所述第二坐标信息获得第二数据请求地址；

所述读数据请求单元31，用于根据所述第一数据请求地址向所述缓存2请求获取所述第一图像块的数据，并根据所述第二数据请求地址向所述缓存2请求获取所述第二图像块的数据。

上述中，块地址存储单元33缓存运动估计匹配模块4发送过来的第一帧和参考帧的块坐标信息，分为为第一坐标信息和第二坐标信息，该坐标信息经过地址译码单元32转换为块数据请求地址，即第一数据请求地址和第二数据请求地址，并将第一数据请求地址和第二数据请求地址发送给读数据请求单元31。读数据请求单元31发送数据给cache，由cache返回块数据(即第一图像块的数据和第二图像块的数据)给块数据请求模块3。

cache返回的块数据可能存在分时发送的情况，基于此，块数据请求模块3还包括：块数据拼接单元34，用于接收缓存2发送的反馈数据，根据所述反馈数据拼接获得所述第一图像块的数据，以及所述第二图像块的数据，并将所述第一图像块的数据和所述第二图像块的数据发送给所述运动估计匹配模块4。通过块数据拼接单元34可以将缓存2分时发送的反馈数据进行拼接，在获得第一图像块的完整数据之后，再发送给运动估计匹配模块4。

本实施例中，通过读数据请求单元31、地址译码单元32和块地址存储单元33的相互配合，可以根据坐标信息确定数据请求地址，并根据数据请求地址向缓存2请求获取图像数据(即第一图像块的数据和第二图像块的数据)，可以从缓存2中快速获取第一图像块和第二图像块的数据，降低图像数据获取的时延。

在本申请一种实施例中，缓存2的设计是基于瓦片(tile)的，即缓存2包括多个缓存行(cache line)，所述缓存行用于存储n个瓦片，所述瓦片包括所述视频帧的预设尺寸区域的数据，预设尺寸区域的长或宽大于1行以上像素所占据的区域，n为正整数。将cacheline的尺寸设置成一个固定的大小，该固定大小为瓦片能够达到的最大尺寸，也就是说，cache line存储n个瓦片，n的值最小为1，预设尺寸可根据实际情况灵活设置，在此不做限定，例如预设尺寸可为第一图像块或第二图像块的尺寸，若一个缓存行存储一个瓦片，则一个缓存行可以存储第一图像块的全部数据；或者，第一图像块的尺寸也为预设尺寸的倍数，一个缓存行可以存储多个瓦片，这多个瓦片包括第一图像块的全部数据，便于数据存取，同时还能减少获取第一图像块的数据时的寻址次数，提高数据获取效率。

cache line能够容纳的瓦片数量可根据块匹配算法的搜索范围确定。例如，块匹配算法的搜索范围包括i个预设尺寸，则i为cache line能够容纳的瓦片数量，i为正整数。

Cache对cache line进行填充，支持2种方向的填充方式。如果块匹配算法搜索方式是从左上角开始，那么系统会按照从左到右，先上后下，由点到面的规则，将图像数据存储到cache line之中，也就是说，以瓦片为单位进行图像数据存储，相同瓦片的数据存储位置连续，例如，相同瓦片的数据存储在cache line中的连续位置，便于数据存取。如果块匹配算法搜索方式是从右上角开始，那么系统会按照从右到左，先上后下，由点到面的规则，将图像数据存储到cache line之中。

本实施例中，缓存行用于存储n个瓦片，瓦片为所述视频帧的第一区域的数据，由于在缓存2中存储数据时，是对缓存行进行存储，通过上述存储方式，在对缓存行进行数据获取时，可以快速获取到n个瓦片的数据，即快速获取到视频帧中n个第一区域的数据，相比于按行获取视频帧数据，本实施例中的以瓦片(一个瓦片就可以视为一个图像数据块)的方式存储数据，数据有效性更高，即图像数据块里的数据都是块匹配算法所需要的数据。

块匹配算法中cache工作基本流程如图3所示，包括如下步骤：

步骤301，图像处理装置按照块匹配算法，选定从第一帧的当前块开始进行匹配块搜索；

步骤302，获取候选块顶点位置以及尺寸大小；

步骤303，利用插值算法计算得到候选块在参考帧中的坐标信息；

步骤304，然后根据该坐标信息去cache中读取对应的数据。

步骤305，判断cache是否命中，若命中，则执行步骤307，若未命中，则执行步骤306；

步骤306，cache需要通过AXI总线，从第一存储器1中读取相关的块数据填充cacheline，然后转步骤304执行。

步骤307，返回相关图像块数据；

步骤308，将当前块与候选块进行匹配计算；

步骤309，所有候选块是否都计算完毕，若是，则执行步骤310，若否，则执行步骤311；

步骤310，判断第一帧中所有块计算完成，若是，结束，若否，选定新的当前块，并转步骤301执行；

步骤311，选择另一个候选块，并执行步骤302。

图4所示为cache的结构示意图，如图4所示，所述缓存2包括图像信息预分析单元21、预读请求单元22和缓存单元25，其中，所述图像信息预分析单元21，用于根据块匹配算法的搜索方向，确定所述第一帧的预取块的地址信息；

所述预读请求单元22，用于根据所述预取块的地址信息，向所述缓存单元25请求所述预取块的数据；

所述缓存单元25，用于根据所述预取块的地址信息，从所述第一存储器1中获取所述预取块的数据并存储。

也就是说，图像信息预分析单元21和预读请求单元22可以将预取块的数据从第一存储器1中取出来并存储在缓存单元25中，缓存单元25包括缓存行，缓存行用于存储n个瓦片，瓦片包括所述视频帧的第一区域的数据。例如，将位于第一帧中左上角的第一个块的数据预先读取并存储至缓存单元25中，将位于参考帧中左上角的第一个块的数据预先读取并存储至缓存单元25中，提前填充cache line。通过对预取块的提前填充，可使得在接收到获取预取块的请求时，直接从缓存单元25中获取数据，提高数据获取效率。

在本申请一种实施例中，所述缓存2还包括图像信息分析单元23和读请求单元24；其中，所述图像信息分析单元23，用于接收所述块数据请求模块3发送的所述第一坐标信息和所述第二坐标信息，并根据所述第一坐标信息确定所述第一图像块的地址信息，以及根据所述第二坐标信息确定所述第二图像块的地址信息；

所述读请求单元24，用于根据所述第一图像块的地址信息向所述缓存单元25请求所述第一图像块的数据，以及根据所述第二图像块的地址信息向所述缓存单元25请求所述第二图像块的数据；

所述缓存单元25，还用于向所述读请求单元24发送所述第一图像块的数据和所述第二图像块的数据。

也就是说，图像信息分析单元23是根据每一个块的地址信息，发送请求数据给读请求单元24，读请求单元24再对地址信息进行译码，查看是否有cache line命中。如果有命中就返回相关块数据，没有命中则需要通过AXI总线，从第一存储器1中读取相关的瓦片后，再返回对应的块数据。

缓存单元25可采用多路组相连，即一块图像数据(一块图像数据大小为n个瓦片)可以对应到多个cache line上。

图5为获取某个候选块的数据的流程示意图，如图5所示，包括如下步骤：

步骤501，块数据请求模块3发送候选块的地址信息给缓存2；

步骤502，缓存2中的读请求单元24利用地址信息得到对应cache line的地址。cache line的组成是按照矩形的形式排列的，即连续数据存在连续行，这也与匹配块的形状相符合。由求得的cache line的地址查找对应的组标识(Set ID，即查找求得的cacheline所在的分组)信息和Tag信息(每个分组包括多个cache line，一个cache line对应一个Tag信息)；

步骤503，检测是否有命中，若未命中，转步骤504，若命中，转步骤505；

步骤504，是否有空的cache line，若有，转步骤506，若否，转步骤505；

步骤505，如果没有命中就需要从第一存储器1中读取包含所需像素点的数据来替换cache line。内部的cache line的替代算法可以使用基于树的伪最近最少使用(PseudoLeast Recently Used，PLRU)替代算法。PLRU算法使用了更少的存储空间，查找需要替换页面的时间也较短。

步骤506，从第一存储器1中读取包含所需像素点的数据来替换空的cache line；

步骤507，更新Tree bit，Tree bit用于记录cache line的访问情况。

步骤508，是否获取到所有候选块的像素值，若是，转步骤509；若否，转步骤501。

步骤509，当匹配块中的所有像素点都能够从cache中读取后，就可以继续下一个块的数据的获取。

缓存单元25采用多路组相连，能够很好的支持数据块的获取，提高了数据传输的速度，降低了模块整体的带宽需求，达到了低功耗和高性能的目的。

本申请提供的图像处理装置支持不同尺寸格式的块划分，可以把一个块分成更小的块进行运动估计，这样一个块就有个多个运动矢量，可以更精确的进行块匹配，从而得到更好的视频去噪效果。在进行块划分时，每个块的大小可以为瓦片的整数倍，一个图像数据块存储在一个或多个缓存行中。

如图6、图7所示，圆形以矩形为背景，向左下角对角线运动，矩形则是水平向右移动，图6所示是参考帧，标号11所示为候选匹配块，图7所示为第一帧，展示的是矩形和圆形运动后所处的位置，标号12所示为选定块，也可理解为当前块。对于第一帧中的选定块，无法在参考帧中找到合适的块与之匹配，因为无法找到一个运动矢量来精确的表示三个部分的运动位移。如果把选定块分为左右两个子块，每个子块分别进行运动估计得到自己的运动矢量，一个大块就有个两个运动矢量，可以更精确的进行块匹配。

对于复杂的运动场景，可以采用更小的块匹配方案，以获取精确的运动矢量，达到视频去噪效果最优。对于较为简单的运动场景，则可以采用较大的块匹配方案，以较低的计算量来计算出正确的运动矢量，以较低的功耗来进行视频去噪。对于低分辨率的视频图像，可以采用更小的块匹配方案，以获取精确的运动矢量，提高去噪效果。对于高分辨率的视频图像，则可以采用较大的块匹配方案，降低匹配算法的计算量，节省功耗。

如图8所示，本申请实施例提供了一种图像处理方法，所述方法包括：

步骤801，通过运动估计匹配模块获取视频帧的第一帧中第一图像块的第一坐标信息，以及所述参考帧中第二图像块的第二坐标信息，所述视频帧包括第一帧和参考帧。

步骤802，利用块数据请求模块根据所述第一坐标信息向所述缓存请求获取第一图像块的数据，以及根据所述第二坐标信息向所述缓存请求获取第二图像块的数据，其中所述缓存用于暂存从所述第一存储器中获取的数据，所述第一存储器用于存储视频帧。

步骤803，通过块数据请求模块将所述第一图像块的数据和所述第二图像块的数据发送给所述运动估计匹配模块。

步骤804，通过所述运动估计匹配模块根据所述第一图像块的数据和所述第二图像块的数据进行图像块匹配。

上述步骤中，通过各个部件之间的相互配合，可以从缓存中快速获取第一图像块和第二图像块的数据，由于缓存的数据存取速度较快，可降低图像数据获取的时延，进一步提高图像处理的效率。

可选地，所述块数据请求模块包括相互连接的读数据请求单元，地址译码单元和块地址存储单元，所述块地址存储单元与所述运动估计匹配模块连接；

利用块数据请求模块根据所述第一坐标信息向所述缓存请求获取第一图像块的数据，以及根据所述第二坐标信息向所述缓存请求获取第二图像块的数据，包括：

通过所述块地址存储单元从所述运动估计匹配模块获取所述第一坐标信息和所述第二坐标信息，并存储所述第一坐标信息和所述第二坐标信息；

通过地址译码单元从所述块地址存储单元中获取所述第一坐标信息和所述第二坐标信息，并根据所述第一坐标信息获得第一数据请求地址，以及根据所述第二坐标信息获得第二数据请求地址；

通过读数据请求单元根据所述第一数据请求地址向所述缓存请求获取所述第一图像块的数据，并根据所述第二数据请求地址向所述缓存请求获取所述第二图像块的数据。

可选地，所述块数据请求模块还包括：块数据拼接单元；

所述方法还包括：通过块数据拼接单元接收所述缓存发送的反馈数据，根据所述反馈数据拼接获得所述第一图像块的数据，以及所述第二图像块的数据，并将所述第一图像块的数据和所述第二图像块的数据发送给所述运动估计匹配模块。

可选地，所述缓存包括多个缓存行，所述缓存行用于存储n个瓦片，所述瓦片包括所述视频帧的预设尺寸区域的数据，n为正整数。

可选地，所述n的值根据块匹配算法的搜索范围确定。

可选地，所述缓存包括图像信息预分析单元、预读请求单元和缓存单元；

所述方法还包括；

通过图像信息预分析单元根据块匹配算法的搜索方向，确定所述第一帧的预取块的地址信息；

通过预读请求单元根据所述预取块的地址信息，向所述缓存单元请求所述预取块的数据；

通过缓存单元根据所述预取块的地址信息，从所述第一存储器中获取所述预取块的数据并存储。

可选地，所述缓存还包括图像信息分析单元和读请求单元；所述方法还包括：

通过所述图像信息分析单元接收所述块数据请求模块发送的所述第一坐标信息和所述第二坐标信息，并根据所述第一坐标信息确定所述第一图像块的地址信息，以及根据所述第二坐标信息确定所述第二图像块的地址信息；

通过读请求单元根据所述第一图像块的地址信息向所述缓存单元请求所述第一图像块的数据，以及根据所述第二图像块的地址信息向所述缓存单元请求所述第二图像块的数据；

通过缓存单元向所述读请求单元发送所述第一图像块的数据和所述第二图像块的数据。

本申请实施例提供的图像处理方法能够实现前述图1所示装置实施例实现的功能，可以达到相同的技术效果，为避免重复，这里不再赘述。

可选地，如图9所示，本申请实施例还提供一种电子设备900，包括处理器901和存储器902，存储器902上存储有可在所述处理器901上运行的程序或指令，该程序或指令被处理器901执行时实现上述图8的图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图8所示的图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。