一种基于图像处理的平角视频融合方法

技术领域

本发明的实施例一般涉及图像处理领域，并且更具体地，涉及一种基于图像处理的平角视频融合方法。

背景技术

在视频显示方案的各种应用中，由于摄像机的角度和镜头的广角，不能让超尺寸的物体或者建筑物一次性的全部展示出来，这样应用的使用者无法全面具体的掌握整体情况，一套整体的平角视频融合系统，能够真实客观形象的显示出超出规格体积大小的物体。

目前国内的视频拼接融和的方案很多，但在实现方法的现实应用中，没有很好的把平角视频展示出来，或者展示出来以后，拼接缝很明显，视频融合的效果有肉眼可见的瑕疵和延时，处理效果上没有达到真正的无缝衔接，更没有达到真正视觉体验上的完全融合。

发明内容

根据本发明的实施例，提供了一种基于图像处理的平角视频融合方案。

在本发明的第一方面，提供了一种基于图像处理的平角视频融合方法。该方法包括：

获取第一视频帧数据和第二视频帧数据，所述第一视频帧数据和第二视频帧数据存在交集；

对获取到的第一视频帧数据和第二视频帧数据进行灰度处理，得到灰度处理后的第一灰度图和第二灰度图；

计算所述第一灰度图和第二灰度图的拼接位置，对图像进行拼接；

构建图像金字塔，对拼接后的图像进行羽化融合，得到融合后的图像。

进一步地，所述灰度处理，包括：

将所述第一视频帧数据和第二视频帧数据中的像素值根据下述公式进行调整：

Gray＝R*0.3+G*0.59+B*0.11

其中，RGB分别为图像(x,y)坐标上的红、绿、蓝三原色的像素值；Gray为灰度像素值。

进一步地，所述计算所述第一灰度图和第二灰度图的拼接位置，包括：

使用高斯函数作为滤波器，通过高斯核的卷积计算，得出每个像素点的Hession矩阵；

将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的若干点进行比较，定位关键点集合，并识别出所述关键点集合中的干扰点，对所述干扰点进行剔除，得到特征点集合；

根据所述特征点集合，构建带有先后顺序的K-dimension tree数据结构，遍历K-dimension tree数据结构的特征点集合，对特征点集合进行划分，从划分后的特征点集合中提取出匹配点集合；

将所述匹配点集合做线性拟合，得到拼接缝集合；

通过能量熵从所述拼接缝集合中查找出拼接位置。

进一步地，所述使用高斯函数作为滤波器，通过高斯核的卷积计算，得出每个像素点的Hession矩阵，包括：对原始图采用积分图算法进行像素点表示；

利用高斯核得到图像在某一像素点处的卷积；

计算图像的二阶偏导函数；

选用二阶标准高斯函数作为滤波器，进行高斯滤波，计算Hession矩阵的元素；

根据所述Hession矩阵的元素得出Hession矩阵。

进一步地，所述将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的若干点进行比较，定位关键点集合，并识别出所述关键点集合中的干扰点，对所述干扰点进行剔除，得到特征点集合，包括：

如果当前像素点的Hessian矩阵特征值大于与其相邻像素点的像素值，则将当前像素点定为成初步关键点，迭代得到关键点集合；

设定能量值阈值，计算所述关键点集合中关键点的能量值，将能量值小于所述能量值阈值的关键点作为干扰点进行删除；

将所述关键点集合中定位错误的关键点作为干扰点进行删除，得到特征点集合。

进一步地，所述对特征点集合进行划分，从划分后的特征点集合中提取出匹配点集合包括：

根据K-dimension tree的最近邻搜索算法得出特征区域；

将所述特征区域进行旋转，将每个特征点的最大的Haar小波特征值作为该特征点的方向；

对于每个特征点，将特征点的相邻区域划分为若干子区域，计算每个子区域的Haar小波特征，得到的特征向量集作为匹配点集合。

进一步地，所述将所述匹配点集合做线性拟合，得到拼接缝集合，包括：

将所述匹配点集合中的匹配点等分成若干份，作为拟合样本，拟合最小二乘的模型；

对每份拟合样本，用所述最小二乘的模型测试不在样本区域的匹配点，并设定阈值，如果所述不在样本区域的匹配点与所述最小二乘的模型的误差小于所述阈值，则所述不在样本区域的匹配点加入样本点集；

如果样本点集中的匹配点个数大于预设值，则得到一条拼接缝；

迭代上述过程，直至遍历全部匹配点集合，得到拼接缝集合。

进一步地，所述通过能量熵从所述拼接缝集合中查找出拼接位置，包括：

计算每一个像素点的能量熵，所述能量熵为：

E(A)＝trace(A'A)

其中，E(A)为像素点A的能量熵；

遍历图像的每一个像素点，得到图像的每个像素点的能量熵；

从图像的边缘相交的像素点开始，对图像的每个像素点逐一进行探索，比较每条缝合线中每个像素点的能量熵，得出每条缝合线能量熵的最小值，将能量熵最小的缝合线作为拼接位置。

进一步地，还包括：

对第一视频帧数据和第二视频帧数据进行投影变换，得到投影变换后的第一视频帧数据和第二视频帧数据，包括：

其中，u，v参数是传入的图片的左边参数，a表示是对某一个像素点的描述，w为固定参数；

所述投影变换后的第一视频帧数据和第二视频帧数据为P1′

进一步地，所述对拼接后的图像进行羽化融合，包括：

对图像金字塔进行带通分解，得到若干层图像；所述图像金字塔，包括若干层图像，每层图像的分辨率不同，上层图像的分辨率低于下层图像，且上层图像大小为下层图像的1/4；

从底层图像开始，与其上一层图像做内插放大，直至顶层图像，得到每一层丢失的高频信息；

将每一层丢失的高频信息进行相加，对所述图像金字塔进行重构，得到融合后的图像。

在本发明的第二方面，提供了一种基于图像处理的平角视频融合装置。该装置包括：

获取模块，用于获取第一视频帧数据和第二视频帧数据，所述第一视频帧数据和第二视频帧数据存在交集；

灰度处理模块，用于对获取到的第一视频帧数据和第二视频帧数据进行灰度处理，得到灰度处理后的第一灰度图和第二灰度图；

计算模块，用于计算所述第一灰度图和第二灰度图的拼接位置，对图像进行拼接；

融合模块，用于构建图像金字塔，对拼接后的图像进行羽化融合，得到融合后的图像。

在本发明的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

在本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本发明的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。

本发明通过图像处理，计算出图像拼接缝的位置，提高图像拼接处理和融合的效率，使输出帧率达到更清晰、更稳定的效果，通过拉普拉斯变换和羽化融合算法，使融合后图像能够无缝衔接，提高图像融合效果。

附图说明

结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了根据本发明的实施例的基于图像处理的平角视频融合方法的流程图；

图2示出了根据本发明的实施例的基于图像处理的平角视频融合装置的方框图；

图3示出了根据本发明的实施例的对图像区域划分示意图；

图4示出了能够实施本发明的实施例的示例性电子设备的方框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本发明中，通过图像处理，计算出图像拼接缝的位置，提高图像拼接处理和融合的效率，使输出帧率达到更清晰、更稳定的效果，通过拉普拉斯变换和羽化融合算法，使融合后图像能够无缝衔接，提高图像融合效果。

图1示出了本发明实施例的基于图像处理的平角视频融合方法的流程图。

该方法包括：

S100、获取第一视频帧数据和第二视频帧数据，所述第一视频帧数据和第二视频帧数据存在交集。

获取到的第一视频帧数据P1

Tanα＝x/d；α>90-φ d

其中，α为摄像头的盲区夹角；x为相交点到摄像头水平线的距离；φ为摄像头可见区域夹角的一半；d为两个网络摄像头之间距离的一半。

作为本发明的一种实施例，在采集到第一视频帧数据P1

根据网络摄像头的场景和IPC位置，会得到一个固定的w参数，在变换过程中，均根据此w参数进行变换，变换公式为：

其中，u，v参数是图片的左边参数，分别对应进行图像变换前的x、y坐标；a表示是对某一个像素点的描述。

例如a

经过上述公式(1)进行转换，得到：

将第一视频帧数据P1

进行投影变换以后，可以得到修正后图像，这样的图像在立体效果上更好。

S200、对获取到的第一视频帧数据和第二视频帧数据进行灰度处理，得到灰度处理后的第一灰度图和第二灰度图。

所述灰度处理，包括：

将所述第一视频帧数据和第二视频帧数据中的像素值根据下述公式进行调整：

Gray＝R*0.3+G*0.59+B*0.11 (4)

其中，RGB分别为图像(x,y)坐标上的红、绿、蓝三原色的像素值；Gray为灰度像素值。

将P1′

S300、计算所述第一灰度图和第二灰度图的拼接位置，对图像进行拼接。

所述S300包括以下步骤：

S310、使用高斯函数作为滤波器，通过高斯核的卷积计算，得出每个像素点的Hession矩阵。

在S310中，包括：

S311、为了降低计算量，提高计算速度，对原始图采用积分图算法，对输入图像上相关位置的像素点表示为：

然后，利用高斯核G(t)得到图像某一点的卷积，计算公式为：

其中，g(x)为高斯函数，t为高斯方差，G(t)为高斯核。

高斯卷积可以提取图像目标像素的周围采样，为后面图像处理做基础的采样处理。

S312、计算图像的二阶偏导函数。

图像p(x,y)在关于每一个像素点的(x,y)处，转化为函数Cal(x,y)，将函数Cal(x,y)在cal(x0,y0)处展开，得到如下：

计算图像的二阶偏导函数可以在灰度图像里估算图像台阶区域的是由黑变亮还是由亮变黑，可以更好的估算图像的特征区域。

S313、选用二阶标准高斯函数作为滤波器，在构造Hession矩阵前，进行高斯滤波，计算Hession矩阵的元素。

通过S311得出的图像某一点的卷积和S312的二阶偏导函数，计算Hession矩阵的元素，如下：

L

G(t)为图像在某一点的卷积，t为高斯方差，Cal(x,t)为二阶偏导数。

S314、通过S313得到Hession矩阵的每一个元素，可以得出Hession矩阵：

其中，Lxx(x,t)、Lxy(x,t)、Lyy(x,t)为高斯滤波后图像在各个方向的二阶导数。

在得到所述Hession矩阵后，图像p(x,y)即可以理解为函数值f(x,y)，对于输入(2k+1)乘以(2k+1)的模板，元素计算值的公式为：

其中，δ是方差，k是采样的输入模板。

S320、将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的若干点进行比较，定位关键点集合，并识别出所述关键点集合中的干扰点，对所述干扰点进行剔除，得到特征点集合。

作为本发明的一种实施例，可以在二维图像空间和尺度空间邻域内选择26个点，将经过Hessian矩阵处理的每个像素点与选择出的26个点进行比较；这26个点，即为假定是x、y、z均为3的空间，假定选取点a

在得到关键点集合后，关键点集合中会存在一些干扰点，例如能量比较弱的点和定位错误的点。需要将这些干扰点进行剔除，剔除能量较弱的点的过程为：

计算每一个像素点的能量值，计算方式采用计算图像trace的方法，即设A为灰度图像，则其能量为：

E(A)＝trace(A'A) (11)

对当前关键点的能量值E进行比较，去掉最后k个能量值E最小的关键点，例如k选值为3，则删除掉能量值E最小的3个关键点。

剔除能量值小的关键点可以减少下面图像处理的过程中一些不必要的时间，能量值小的点对后续处理没有任何意义，提高处理的速度和效果。

剔除定位错误的点的过程如下：

每个点都有自己所在位置x,y,z的描述，错误定位是指位置不在当前点所在的维度，将这样的点删除。

最终，将经过能量比较和位置定位筛选出最终稳定的特征点集合，记为S。

S330、根据所述特征点集合，构建带有先后顺序的K-dimension tree数据结构，遍历K-dimension tree数据结构的特征点集合，对特征点集合进行划分，从划分后的特征点集合中提取出匹配点集合。

将得到的特征点集合用带有先后顺序的K-dimension tree数据结构进行表示。K-dimension tree数据结构是对数据点在k维空间中的划分，例如二维(x,y)、三维(x,y,z)、k维(x，y，z……)等。每个节点即为一个k维的点，每个非叶节点作为一个分割超平面，用垂直于坐标轴的超平面将空间分为两个部分，这样递归的从根节点不停的划分。其中，当前KD树的层数通过depth表示，如果depth是偶数，则通过纵向线对特征点集合进行划分；如果depth是奇数，则通过横向线对特征点集合进行划分。

从划分后的特征点集合中提取出匹配点集合，包括：

首先遍历所述特征点集合，然后根据K-dimension tree的最近邻搜索算法，选取当前特征点a(x,y)，取以特征点a坐标为圆心，半径为ms的圆形区域，s为该点的尺度。作为本发明的一种实施例，m取值为8，α取值为30。从而得出一个扇形范围为α，半径为ms的特征区域。将该特征区域按照顺时针的顺序进行旋转一周，分别记录每次的Haar小波特征值，取最大的Haar小波特征值为该特征点所指的方向。从而使所有的特征点都有了该特征所指引的方向。

所述k-dimension的最近邻搜索算法公式为：

其中，d是搜索公式得出的当前特征点的距离阈值，上述x的1...N系数，是指当前输入数据周围的点，根据上述公式计算得到的距离阈值后，跟输入数据具有相差d的数据，进行下一步的处理，也就是提取出来的特征点a。

作为本发明的一种实施例，Haar特征模板内有白色和黑色两种矩形，Haar特征值反映了图像的灰度变化情况，其值为白色矩形像素之和减去黑色矩形像素之和。Haar小波特征为水平和垂直方向的方向值之和，是绝对值之和。

计算出了每个特征点的方向，但这些特征点并不都是所需要的，使用Haar小波来提取特征点。

在本实施例中，特征点a(x,y)，在a的周围假设取w*w相邻区域，并将该区域划分为L*L的子区域，每个子区域统计p个像素点，例如设w的值为25，L的值为5，p为16；分别记录每个子区域关于Haar小波的∑dx、∑dy、∑|dx|和∑|dy|，根据Haar特征值计算方法，计算所有的Haar小波特征。

如图3所示是对图像区域划分的描述：

Haar特征值计算方法为：

HaarA-B＝Sum(A)-Sum(B)＝[SAT4+SAT1-SAT2-SAT3]-[SAT6+SAT3-SAT4-SAT5]

其中，SAT是当前的积分图像计算公式。

可以把所有的特征点通过Haar小波描述成特征向量集，所述特征向量集即为得到的匹配点集合，可以记为S

S340、将所述匹配点集合做线性拟合，得到拼接缝集合，包括：

将所述匹配点集合中的匹配点等分成若干份，作为拟合样本，拟合最小二乘的模型；

对每份拟合样本，用所述最小二乘的模型测试不在样本区域的匹配点，并设定阈值，如果所述不在样本区域的匹配点与所述最小二乘的模型的误差小于所述阈值，则所述不在样本区域的匹配点加入样本点集；

如果样本点集中的匹配点个数大于预设值，则得到一条拼接缝；

迭代上述过程，直至遍历全部匹配点集合，得到拼接缝集合。

作为本发明的一种实施例，从上述得到的匹配点集合S

执行以上过程指定的轮数，记录每次找到的拼接缝，最后会得出有line条拼接缝的集合，记为：

每次产生的模型要么由于Inliers太少而被舍弃，要么比现有的模型更好而被选中。

所述最小二乘模型的计算公式为：

S350、根据所述变换矩阵，通过能量熵查找出拼接位置。

计算每一个像素点的能量熵，所述能量熵为：

E(A)＝trace(A'A)

其中，E(A)为像素点A的能量熵；

遍历图像的每一个像素点，得到图像的每个像素点的能量熵；

从图像的边缘相交的像素点开始，对图像的每个像素点逐一进行探索，比较每条缝合线中每个像素点的能量熵，得出每条缝合线能量熵的最小值，将能量熵最小的缝合线作为拼接位置。

作为本发明的一种实施例，在计算整张图像中每个像素点的能量熵E后，从图像的左上点开始，逐一向下探索，记录第n条缝合线的位置坐标为(a,b)的点的能量熵为E

S400、构建图像金字塔，对拼接后的图像进行羽化融合，得到融合后的图像。

根据缝合线把两张图进行拉普拉斯图像金字塔拼接羽化融合。在进行融合之前，先根据两幅图像的信息构建拉普拉斯图像金字塔，构建方法为将低分辨率的图像在上层，高分辨率的图像在下层，上层图像的大小为前一层图像大小的1/4。层数为0,1,2……N。N为拉普拉斯金字塔顶层的层号，LP0是拉普拉斯金字塔分解的顶层图像。LP0，LP1、LP2…LPN构成拉普拉斯金字塔。

将所有图像的金字塔在一一对应的相应层上以得到拼接缝为融合规则，进行合成，这样就可以得到合成金字塔。将合成后的金字塔进行带通分解，采用高斯降采样，图像从大到小，分辨率也是从大到小，同时也就是对原图像删除偶数行和列，得到图像金字塔R，然后对图像金字塔R进行重构，通过上采样，采用高斯卷积滤波对图像金字塔R的最底层图像进行处理，与其上一层图像做内插放大，直至顶层图像，得到每一层图像在拉普拉斯金字塔中存放的残差，也就是丢失的高频信息。然后根据这些高频信息，进行对应的相加，最后得到重构后的图像，就是最后得出的羽化融化后的图像IMG。

作为本发明的一种实施例，将输出的图像IMG在用户界面进行界面图像绘制，所述界面图像绘制有几种比例：自适应、4:3、1:1等，可以根据用户操作进行绘制。

根据本发明的实施例，通过图像处理，计算出图像拼接缝的位置，提高图像拼接处理和融合的效率，使输出帧率达到更清晰、更稳定的效果，通过拉普拉斯变换和羽化融合算法，使融合后图像能够无缝衔接，提高图像融合效果。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。

如图2所示，装置200包括：

获取模块210，用于获取第一视频帧数据和第二视频帧数据，所述第一视频帧数据和第二视频帧数据存在交集。

灰度处理模块220，用于对获取到的第一视频帧数据和第二视频帧数据进行灰度处理，得到灰度处理后的第一灰度图和第二灰度图；将所述第一视频帧数据和第二视频帧数据中的像素值根据下述公式进行调整：

Gray＝R*0.3+G*0.59+B*0.11

其中，RGB分别为图像(x,y)坐标上的红、绿、蓝三原色的像素值；Gray为灰度像素值。

计算模块230，用于计算所述第一灰度图和第二灰度图的拼接位置，对图像进行拼接。

所述计算模块230，包括：

第一计算模块231，用于使用高斯函数作为滤波器，通过高斯核的卷积计算，得出每个像素点的hession矩阵。

所述第一计算模块231，包括：

表示模块231-1，用于对原始图采用积分图算法进行像素点表示；

卷积计算模块231-2，用于利用高斯核得到图像在某一像素点处的卷积；

二阶偏导数计算模块231-3，用于计算图像的二阶偏导函数；

元素计算模块231-4，用于选用二阶标准高斯函数作为滤波器，进行高斯滤波，计算Hession矩阵的元素；

Hession矩阵计算模块231-5，用于根据所述Hession矩阵的元素得出Hession矩阵。

比较模块232，用于将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的若干点进行比较，定位关键点集合。

所述比较模块232，包括：

特征区域计算模块232-1，用于根据K-dimension tree的最近邻搜索算法得出特征区域；

方向计算模块232-2，用于将所述特征区域进行旋转，将每个特征点的最大的Haar小波特征值作为该特征点的方向；

特征向量集计算模块232-3，用于对于每个特征点，将特征点的相邻区域划分为若干子区域，计算每个子区域的Haar小波特征，得到的特征向量集作为匹配点集合。

干扰点剔除模块233，用于识别出所述关键点集合中的干扰点，对所述干扰点进行剔除，得到特征点集合；

划分模块234，用于根据所述特征点集合，构建带有先后顺序的K-dimension tree数据结构，遍历K-dimension tree数据结构的特征点集合，对特征点集合进行划分，从划分后的特征点集合中提取出匹配点集合；

拟合模块235，用于将所述匹配点集合做线性拟合，得到拼接缝集合。

所述拟合模块235，包括：

模型拟合模块235-1，用于将所述匹配点集合中的匹配点等分成若干份，作为拟合样本，拟合最小二乘的模型；

第一判断模块235-2，用于对每份拟合样本，用所述最小二乘的模型测试不在样本区域的匹配点，并设定阈值，如果所述不在样本区域的匹配点与所述最小二乘的模型的误差小于所述阈值，则所述不在样本区域的匹配点加入样本点集；

第二判断模块235-3，用于判断如果样本点集中的匹配点个数大于预设值，则得到一条拼接缝；

迭代模块235-4，用于依次迭代调用模型拟合模块235-1、第一判断模块235-2和第二判断模块235-3，直至遍历全部匹配点集合，得到拼接缝集合。

能量熵计算模块236，用于通过能量熵从所述拼接缝集合中查找出拼接位置。

所述能量熵计算模块236，包括：

能量熵计算模块236-1，用于计算每一个像素点的能量熵，所述能量熵为：

E(A)＝trace(A'A)

其中，E(A)为像素点A的能量熵。

遍历模块236-2，用于遍历图像的每一个像素点，得到图像的每个像素点的能量熵；

能量熵比较模块236-3，用于从图像的边缘相交的像素点开始，对图像的每个像素点逐一进行探索，比较每条缝合线中每个像素点的能量熵，得出每条缝合线能量熵的最小值，将能量熵最小的缝合线作为拼接位置。

融合模块240，用于构建图像金字塔，对拼接后的图像进行羽化融合，得到融合后的图像。

所述融合模块240，包括：

带通分解模块241，用于对图像金字塔进行带通分解，得到若干层图像；所述图像金字塔，包括若干层图像，每层图像的分辨率不同，上层图像的分辨率低于下层图像，且上层图像大小为下层图像的1/4；

内插放大模块242，用于从底层图像开始，与其上一层图像做内插放大，直至顶层图像，得到每一层丢失的高频信息；

重构模块243，用于将每一层丢失的高频信息进行相加，对所述图像金字塔进行重构，得到融合后的图像。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

如图4所示，设备包括中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的计算机程序指令或者从存储单元加载到随机访问存储器(RAM)中的计算机程序指令，来执行各种适当的动作和处理。在RAM中，还可以存储设备操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

设备中的多个部件连接至I/O接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元执行上文所描述的各个方法和处理，例如方法S100～S400。例如，在一些实施例中，方法S100～S400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到RAM并由CPU执行时，可以执行上文描述的方法S100～S400的一个或多个步骤。备选地，在其他实施例中，CPU可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法S100～S400。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本发明的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。