帧内预测模式的选择方法、装置、存储介质及电子设备

技术领域

本发明图像处理技术领域，具体而言，涉及一种帧内预测模式的选择方法、装置、存储介质及电子设备。

背景技术

音视频编码标准(Audio Video coding Standard，AVS)是《信息技术先进音视频编码》系列标准的简称，是数字音视频产业的共性基础标准，AVS3视频编码标准属于第三代AVS标准，其主要在编解码复杂度控制上做出显著优化和大幅度性能提升。

目前，AVS3的帧内预测中编码单元(coding unit，CU)的复杂划分、帧内预测模式的增加、帧内编码工具的使用都将增加其编码时间。其中，帧内预测模式确定过程中，粗模式决策(Rough Mode Decision，RMD)的选择，需要从33种帧内预测模式中选出若干种模式进入率失真优化阶段，然后在帧内模式决定(mode decision，MD)过程中选择出最优的预测模式。对于RMD候选列表中的帧内预测模式，在候选列表的前面被选中为最优帧内预测模式的概率越大，但是RMD过程计算的是模式粗糙代价，使用SATD为绝对转换误差和，表示模式失真代价的预估值，仅使用编码帧内预测模式需要的码率来计算码率代价，这样使得RMD选出来的模式排序不准确，使得最优模式不在最终帧内候选列表中，RMD失真代价计算的准确性较低。

发明内容

本发明实施例提供了一种帧内预测模式的选择方法、装置、存储介质及电子设备，以至少解决相关技术中RMD率失真代价计算的准确性较低的技术问题。

根据本发明实施例的一个方面，提供了一种帧内预测模式的选择方法，包括：基于和方差模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。

根据本发明实施例的另一方面，还提供了一种帧内预测模式的选择装置，包括：获取单元，用于基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；第一确定单元，用于根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；第二确定单元，用于根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；第三确定单元，用于将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。

根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的帧内预测模式的选择方法。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述帧内预测模式的选择方法。

在本发明实施例中，采用了基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式的方法，在上述方法中，由于不仅考虑帧内模式使用的码率，还增加了系数部分的码率预估，可提升RMD中的码率代价的准确性，进而解决了相关技术中RMD率失真代价计算的准确性较低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的帧内预测模式的选择方法的应用环境的示意图；

图2是根据本发明实施例的另一种可选的帧内预测模式的选择方法的应用环境的示意图；

图3是根据本发明实施例的一种可选的帧内预测模式的选择方法的流程示意图；

图4是根据本发明实施例的另一种可选的RMD预测过程示意图；

图5是根据本发明实施例的一种可选的标准参考代码中率失真代价的获取过程示意图；

图6是根据本发明实施例的一种RMD率失真代价的获取过程示意图；

图7是根据本发明实施例的一种可选的帧内预测模式的选择装置的结构示意图；

图8是根据本发明实施例的一种可选的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种帧内预测模式的选择方法，可选地，作为一种可选地实施方式，上述帧内预测模式的选择方法可以但不限于应用于如图1所示的应用环境中。该应用环境中包括：与用户进行人机交互的终端设备102、网络104、服务器106。用户108与终端设备102之间可以进行人机交互，终端设备102中运行有帧内预测模式的选择应用程序。上述终端设备102中包括人机交互屏幕1022，处理器1024及存储器1026。人机交互屏幕1022用于呈现视频帧对应的帧内预测模式；处理器1024用于获取视频帧中的编码单元。存储器1026用于存储上述当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价，以及目标帧内预测模式。

此外，服务器106中包括数据库1062及处理引擎1064，数据库1062中用于存储上述当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价，以及目标帧内预测模式。处理引擎1064用于基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式；将上述目标帧内预测模式发送至上述终端设备102的客户端。

在一个或多个实施例中，本申请上述帧内预测模式的选择方法可以应用于图2所示的应用环境中。如图2所示，用户202与用户设备204之间可以进行人机交互。用户设备204中包含有存储器206和处理器208。本实施例中用户设备204可以但不限于参考执行上述终端设备102所执行的操作，以输出上述目标帧内预测模式。

可选地，上述终端设备102和用户设备204包括但不限于以下至少之一：手机(如Android手机、iOS手机等)、笔记本电脑、平板电脑、掌上电脑、MID(Mobile InternetDevices，移动互联网设备)、PAD、台式电脑、智能电视等。目标客户端可以是视频客户端、即时通信客户端、浏览器客户端、教育客户端等。上述网络104可以包括但不限于：有线网络，无线网络，其中，该有线网络包括：局域网、城域网和广域网，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述服务器106可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。

作为一种可选地实施方式，如图3所示，本发明实施例提供了一种帧内预测模式的选择方法，包括如下步骤：

S302，基于和方差模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D。

在本发明实施例中，对于RMD模式选择过程来说，其作用是通过一种有效的预选算法，对多个帧内预测模式进行一轮粗选。具体来说，在AVS3标准参考代码实现过程中，主要针对亮度预测过程，如图4所示，在当前编码单元的每种预测划分模式下，可以通过RMD最终选择N种预测模式，即从33种预测模式中选择N种候选预测模式进入后续率失真优化(RateDistortion Optimized，RDO)过程。

如图5所示，为了得到每种预测划分模式对应的N种候选预测模式，RMD采用的判决决策依据如以下公式：

J

其中，D

表1

衡量图像的失真常用的有三种模型：和方差Sum of Square Error，SSE)、绝对变换差值之和SATD以及绝对差值之和(Sum of Absolute Differences，SAD)；SSE是原始像素值与重建像素值对应点的误差的平方和，SAD是原始像素与预测值之间作差后得到残差矩阵求绝对值后的累加和，公式如下：

其中，Orig

在本发明实施例中，采用SSE模型来获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D。

S304，根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到。

在本发明实施例中，粗模式选择下每种帧内预测模式对应的目标预估码率R包括但不限于将每种预测模式对应的原始码率和编码系数预估码率进行加权得到的结果，或者将二者进行求和得到的结果。这里，原始码率可以为上述表1中的Rmode。

S306，根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价。

在本发明实施例中，通过以下公式获取不同帧内预测模式各自对应的率失真代价：

J

其中，J

S308，将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。

具体地，例如，率失真代价小于预设阈值的帧内预测模式有5个，那么将这5个帧内预测模式作为目标帧内预测模式，从而能够为决策出最优帧内预测模式提供依据。

在本发明实施例中，采用了基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式的方法，在上述方法中，由于不仅考虑帧内模式使用的码率，还增加了系数部分的码率预估，可提升RMD中的码率代价的准确性，进而解决了相关技术中RMD率失真代价计算的准确性较低的技术问题。如图6所示，本发明实施例无需经过范量化，反变换和重建过程，即可得到预测失真值D。

在一个或多个实施例中，上述基于平方差之和SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D，包括：

基于和方差SSE模型，将当前编码单元中变换单元的每个量化系数的量化失真值di进行求和得到上述预测失真值D。

在本发明实施例中，计算SSE时不需要经过反变换和反量化，通过将当前编码单元中变换单元的每个量化系数的量化失真值di进行求和得到上述预测失真值D，能够精准的得到预测失真值D。

在一个或多个实施例中，通过公式(1)获取上述量化失真值d

D＝sΣd

其中，f为偏移值，

在一个或多个实施例中，确定粗模式选择下每种帧内预测模式对应的目标预估码率R之前，包括：

通过公式(3)获取上述编码系数预估码率；

R

其中，R

每个系数组的残差系数预估码率R

R

其中，W

在本发明实施例中，每种系数组的W

在一个或多个实施例中，上述i的取值范围为1至N*N/16，上述j的取值为范围为0至15；其中，上述N为变换单元的宽。

具体地，例如，变换单元的大小为8*8，那么N等于8，因此i的取值范围为1至4，上述j的取值为范围为0至15；也就是说当前变换单元中包含4个系数组CG，每个系数组包含16个系数。

在一个或多个实施例中，上述根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价，包括：

根据公式(5)和公式(6)确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；

J＝D+λ·R (5)

R＝R

其中，J为帧内预测模式对应的率失真代价，λ为拉格朗日乘子，R

在视频编码中，编码失真D的来源主要包括三个部分：量化过程造成的失真(DQ)、变换Clip操作带来的失真(DC)、和由于变换矩阵的非正交带来的失真(DT)。相比于DC和DT，量化造成的失真DQ是编码失真D的要来源。大部分的失真预估算法均将量化造成的失真DQ直接作为编码失真D。

相关技术中，对于RMD模式选择过程来说，其作用是通过一种有效的预选算法，对多个帧内预测模式进行一轮粗选。具体来说，在AVS3标准参考代码实现过程中，主要针对亮度预测过程，如图4所示，在当前编码单元的每种预测划分模式下，可以通过RMD最终选择N种预测模式，即从33种预测模式中选择N种候选预测模式进入后续率失真优化(RateDistortion Optimized，RDO)过程。

如图5所示，为了得到每种预测划分模式对应的N种候选预测模式，RMD采用的判决决策依据如以下公式：

J

其中，D

表11

RMD预测粗选过程中使用公式SATD来表示失真代价D

DiffT(i，j)＝H*Diff(i，j)*H

其中，H是Hadamard变换矩阵，Diff

衡量图像的失真常用的有三种模型：和方差(Sum of Square Error，SSE)、绝对变换差值之和SATD以及绝对差值之和(Sum of Absolute Differences，SAD)；SSE是原始像素与重建值误差的平方和，SAD是原始像素与预测值之间作差后得到残差矩阵求绝对值后的累加和，公式如下：

其中，Orig

在一应用实施例中，上述帧内预测模式的选择方法包括：

在视频编码中，失真D主要来源于量化过程。量化公式如公式(11)所示：

Q

其中，T为变换系数，Q

而量化造成的失真如式(22)所示。

其中，

公式(33)只求得变换块中一个系数的失真值d；对变换单元中的所有系数的量化失真d

D＝sΣd

其中，N为变换单元的宽，s为变换单元的个数。

通过上述技术手段来获取失真代价D等于SSE，提高了RMD的失真代价的计算准确性，且基本不会增加系统计算复杂度。

本发明实施例除了考虑帧内模式编码所需要的码率，还会增加残差系数所需的码率估计，具体估计如下：

R＝R

R

码率模型采用线性模型如下，具体估计如下：

R

其中，R

每个系数组的残差系数预估码率R

R

其中，W

本发明实施例还具有以下有益效果：由于RMD计算的是粗糙代价，使得RMD过程的计算代价不够准确，本发明实施例在提高RMD的预测准确性同时不会增加计算复杂度。通过使用预估量化过程造成的失真损失得到最终的失真来代替RMD的SATD值，基于该失真D的预估算法，不需要经过反量化和反变换过程，且本算法获取的最终失真D和原始(RateDistortion optimization，RDO)过程的失真D一致，准确性较高。码率代价中只考虑了帧内模式的码率，没有考虑残差系数所占的码率与真实的码率相差较大，本发明实施例中在RMD的码率代价中增加了残差系数的码率估计，进一步提升RMD代价计算的准确性。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述帧内预测模式的选择方法的帧内预测模式的选择装置。如图7所示，该装置包括：

第一获取单元702，用于基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；

第一确定单元704，用于根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；

第二确定单元706，用于根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；

第三确定单元708，用于将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。

在本发明实施例中，采用了基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式的方法，在上述方法中，由于不仅考虑帧内模式使用的码率，还增加了系数部分的码率预估，可提升RMD中的码率代价的准确性，进而解决了相关技术中RMD率失真代价计算的准确性较低的技术问题。

在一个或多个实施例中，上述获取单元702具体包括：

获取模块，用于基于和方差SSE模型，将当前编码单元中变换单元的每个量化系数的量化失真值di进行求和得到上述预测失真值D。

在一个或多个实施例中，通过公式(1)获取上述量化失真值d

D＝sΣd

其中，f为偏移值，

在一个或多个实施例中，上述帧内预测模式的选择装置还包括：

第二获取单元，用于通过公式(3)获取上述编码系数预估码率；

R

其中，R

每个系数组的残差系数预估码率R

R

其中，W

在一个或多个实施例中，上述i的取值范围为1至N*N/16，上述j的取值为范围为0至15；其中，上述N为变换单元的宽。

在一个或多个实施例中，上述第二确定单元706，具体包括：

确定模块，用于根据公式(5)和公式(6)确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；

J＝D+λ·R (5)

R＝R

其中，J为帧内预测模式对应的率失真代价，λ为拉格朗日乘子，R

根据本发明实施例的又一个方面，还提供了一种用于实施上述帧内预测模式的选择方法的电子设备，该电子设备可以是图8所示的终端设备或服务器。本实施例以该电子设备为终端为例来说明。如图8所示，该电子设备包括存储器802和处理器804，该存储器802中存储有计算机程序，该处理器804被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；

S2，根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；

S3，根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；

S4，将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。

可选地，本领域普通技术人员可以理解，图8所示的结构仅为示意，电子装置电子设备也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图8其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图8中所示更多或者更少的组件(如网络接口等)，或者具有与图8所示不同的配置。

其中，存储器802可用于存储软件程序以及模块，如本发明实施例中的帧内预测模式的选择方法和装置对应的程序指令/模块，处理器804通过运行存储在存储器802内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的帧内预测模式的选择方法。存储器802可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器802可进一步包括相对于处理器804远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器802具体可以但不限于用于存储帧内预测模式等信息。作为一种示例，如图8所示，上述存储器802中可以但不限于包括上述帧内预测模式的选择装置中的第一获取单元702、第一确定单元704、第二确定单元706与第三确定单元708。此外，还可以包括但不限于上述帧内预测模式的选择装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置806包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置806为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子设备还包括：显示器808，用于显示上述目标帧内预测模式；和连接总线810，用于连接上述电子设备中的各个模块部件。

在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点(P2P，Peer To Peer)网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述帧内预测模式的选择方法，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，基于和方差SSE模型，获取当前编码单元的粗模式选择下不同帧内预测模式的预测失真值D；

S2，根据原始预估码率和编码系数预估码率，确定粗模式选择下每种帧内预测模式对应的目标预估码率R；其中，上述编码系数预估码率为采用预设的线性模型对上述编码单元中的多个变换单元的系数组的预估码率求和得到；

S3，根据上述预测失真值D和目标预估码率R，确定当前视频帧的粗模式选择下不同帧内预测模式各自对应的率失真代价；

S4，将率失真代价小于预设阈值的帧内预测模式作为目标帧内预测模式。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。