基于视觉神经网络的监督方法及相关装置、图像处理方法

技术领域

本发明属于一种神经网络监督方法，具体涉及一种基于视觉神经网络的监督方法及相关装置、图像处理方法。

背景技术

深度神经网络(Deep Neural Networks，DNN)在诸多领域都取得了超越传统算法的成果，如图像分类和癌症检测等领域。图像信号处理(Image Signal Processing，ISP)方法，接收并处理相机成像传感器的原始信号，对图像的质量具有决定性作用，其中，ISP系列图像预处理任务和DNN结合是当前的研究热点。尤其是由ISP流水线从现有基于深度学习(Deep Learning，DL)的方法衍生出的智能ISP，可以学习原始图像的统计信息，并接受多任务的联合解决方案，因此，智能ISP可以创造性地将照片成像过程与后续的识别应用联系起来。

采用ISP处理图像前，作为预处理步骤，还需要对ISP进行训练，使ISP处于最佳状态，因此，在ISP训练阶段，完善ISP的处理效果尤为重要。当前，ISP在训练阶段，也有相应的监督方法，但是，随着各领域对图像识别效果的要求日益增高，采用现有的识别方法在ISP训练阶段进行监督，得到训练后的ISP识别效果不足，因此，现有的监督方法已无法适应日趋严苛的识别要求。

发明内容

针对智能ISP在训练阶段，现有的监督方法在识别效果方面，已无法适应日趋严苛的识别要求的技术问题，提出一种基于视觉神经网络的监督方法及相关装置、图像处理方法。

为了实现上述目的，本发明采用以下技术方案予以实现：

第一方面，本发明提出基于视觉神经网络的监督方法，在所述视觉神经网络训练过程中，针对视觉神经网络输出的RGB图像；包括以下步骤：

在视觉神经网络训练的前1/a阶段，最小化所述输出的RGB图像和基准真值在低频域和高频域下的正则化距离；其中，a大于2；

从视觉神经网络训练的1/a阶段至训练完成，最小化所述输出的RGB图像和基准真值在高频域下的正则化距离。

第二方面，本发明提出一种基于视觉神经网络的监督系统，在所述视觉神经网络训练过程中，针对视觉神经网络输出的RGB图像；包括第一最小化模块和第二最小化模块；

所述第一最小化模块，用于在视觉神经网络训练的前1/a阶段，最小化所述输出的RGB图像和基准真值在低频域和高频域下的正则化距离；其中，a大于2；

所述第二最小化模块，用于从视觉神经网络训练的1/a阶段至训练完成，最小化所述输出的RGB图像和基准真值在高频域下的正则化距离。

第三方面，本发明提出一种计算机程序产品，所述计算机程序产品包含指令，所述指令被处理器执行时实现上述的方法。

第四方面，本发明提出一种图像处理方法，通过训练后的视觉神经网络对图像进行处理；在所述视觉神经网络训练过程中，针对视觉神经网络输出的RGB图像，采用上述基于视觉神经网络的监督方法进行监督。

与现有技术相比，本发明具有以下有益效果：

本发明提出一种基于视觉神经网络的监督方法，在视觉神经网络训练过程中，针对视觉神经网络输出的RGB图像，在训练的早期阶段，最小化所有频域的正则化距离，有助于性能的快速上升，在训练的中晚期，只监督高频域的正则化距离，避免干扰视觉神经网络的学习过程。且经实际验证，采用本发明的监督方法完成训练后，视觉神经网络对应模型的去噪和识别性能均得到了大幅提升。

进一步地，本发明中还引入了重建损失监督和结构损失监督，从多个维度提高了视觉神经网络对应模型的图像处理性能。

本发明还提出了基于视觉神经网络的监督系统，用于实现上述监督方法，同时，还提出了一种计算机程序产品，能够借助不同的硬件介质实现应用上述方法，本发明还提出了一种图像处理方法，均具备上述监督方法的所有优势，也便于本发明的推广应用。

进一步地，本发明提出的图像处理方法，采用改进的LW-ISP方法对图像进行频率增强先对待处理图像进行打包处理，再对打包处理后的图像，通过改进的LW-ISP方法进行频率增强，改进了现有的LW-ISP方法，基于深度学习，能够在ISP级别上保留和增强频域信息。在ISP处理期间丢失的频率信息可由FCB补充，结合离散小波变换，既可以捕获空间信息，又可以捕获频率信息。经过实际验证，本发明的图像处理方法，在图像处理方面，处理后的图像更符合自然特征，且可以更好的保留细节信息，去噪和增强效果明显，通过频域增强，也进一步提高了识别性能。

附图说明

为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为原始图像、传统ISP和智能ISP的视觉效果对比图；

图2为分类数据集CIFAR-100的重建结果示意图；其中，(a)为不同损失组合的收敛趋势示意图，(b)为删除了(a)中L_c曲线后的收敛趋势示意图；

图3为实施例一的流程示意图；

图4为实施例二的流程示意图；

图5为现有LW-ISP的原理图；

图6为改进的LW-ISP原理图；

图7为FCB的原理图；

图8为改进的LW-ISP方法对应模型的训练结果和频域距离示意图；其中，(a)为训练结果示意图，(b)为频域距离示意图；

图9为现有LW-ISP方法、华为P20和本发明方法处理相同RAW图像的对比图；

图10为不同方法的识别效果定性对比图；其中，(a)为输入的RAW经处理后得到的RGB图像，(b)为通过识别获得的Top 5类别及其置信度值，(c)为相应RGB图像的频域映射，(d)为在频域上重构的样本和GT方法的亮度统计。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

近年来，使网络模型学习频域特征已愈发普及，尤其是在低级视觉方面。具体的，例如：对图像的高频信息和低频信息进行分阶段处理，用于弱光图像的增强。在模糊图像中加入高频残差图像，丰富细节和纹理信息。在图像合成时设计一种焦频率损失。通过小波损失改善图像之间的转换表现等。虽然相关的研究很多，但是，关于如何依据频域提高RAW图像的重建质量，相关研究仍然很少。

在有限的数据集中，高频信息和由图片表示的语义之间存在相关性。然而，对于经过训练的深度模型，不同的频率分量对性能影响有多大，并不明晰。如图1所示，

如图1的最后一列所示，图像的高频信息对于分类结果的影响至关重要。另外，对图像分类数据集(CIFAR-100[35])进行了图像重建训练，以便探索仅使用分类损失和频率损失是否可以恢复，甚至超过预训练分类模型的性能。

如图2所示，(a)为不同损失组合的收敛趋势，(b)删除了L_c曲线后的收敛趋势示意图，图2中，L_c表示分类损失，L_hf表示高频损失，L_lf表示低频损失，Original表示ResNet-18的预训练，图中横坐标表示训练时期，纵坐标表示置信度(％)。采用高频损失和分类损失训练的重建网络性能最佳，超过了预训练的ResNet-18。从图2可以看出，图像的高频信息对于模型的有效预测是非常重要的，而图像的低频信息并非总是正反馈到识别结果中，尤其是在不添加任何像素方式监督的设置中。

基于对高频信息的认知，本发明提出一种基于视觉神经网络的监督方法及相关装置、图像处理方法，下面结合附图和实施例对本发明做进一步详细描述：

实施例一

参见图3，本发明实施例一为一种基于视觉神经网络的监督方法的基础实施例，在所述视觉神经网络训练过程中，针对视觉神经网络输出的RGB图像，通过以下步骤进行监督：

S101，在视觉神经网络训练的前1/a阶段，最小化所述输出的RGB图像和基准真值在低频域和高频域下的正则化距离；其中，a大于2；

S102，从视觉神经网络训练的1/a阶段至训练完成，最小化所述输出的RGB图像和基准真值在高频域下的正则化距离。

实施例一的核心发明点在于，在训练的早期阶段，最小化所有频域的正则化距离，有助于性能的快速上升，在训练的中晚期，只监督高频域的正则化距离，避免干扰视觉神经网络的学习过程。

需要说明的是，关于“低频域”和“高频域”，是图像处理领域公知的相对概念，本领域中不用具体的范围进行限定，按照本领域常规理解即可。

实施例二

如图4所示，作为本发明一种基于视觉神经网络的监督方法的一个优选实施例，具体通过以下步骤进行监督：

S201，在视觉神经网络训练的前1/a阶段，最小化所述输出的RGB图像和基准真值在低频域和高频域下的正则化距离；其中，a大于2；

S202，从视觉神经网络训练的1/a阶段至训练完成，最小化所述输出的RGB图像和基准真值在高频域下的正则化距离；

S203，重建损失监督

给定训练样本I，视觉神经网络输出的RGB图像和基准真值分别表示为f(I)和J，采用平均绝对误差(Mean Absolute Error，MAE)来测量f(I)和J之间的差异L

L

使视觉神经网络训练结果满足预设的重建损失；

若计算得到的重建损失L

S204，结构损失监督

使用多尺度结构相似性(Multi-scale Structural Similarity，MS-SSIM)损失来增加重建图像的动态范围：

通过下式计算所述输出的RGB图像和基准真值之间的结构损失L

其中，l

若计算得到的结构损失L

需要说明的是，上述步骤S201和步骤S202共同组成最小化监督，最小化监督、重建损失监督和结构损失监督的顺序，也可以不按照实施例二中的顺序执行，也可以同时进行，或按照其他任意顺序执行。

在本发明的其他一些实施例中，基于图像信号预处理的局部和全局校正以及感知质量，采用多个损失函数进行训练，结合重建损失L

L

其中，L

批量在2至12范围内将不会对最终结果产生明显影响，仅会影响到训练速度，其中，批量大小(batch size)指的是模型训练过程中一次性给模型输入的数据数量。此外，需要适当的初始学习速率。当学习速率大于3×10

实施例三

本发明还提出了一种图像处理方法，通过训练后的视觉神经网络对图像进行处理，在视觉神经网络训练过程中，针对视觉神经网络输出的RGB图像，采用前述基于视觉神经网络的监督方法进行监督。

实施例四

作为本发明提出的一种图像处理方法的优选实施例，视觉神经网络对图像进行处理的具体过程如下：

S101，对待处理图像进行打包处理。

S102，对打包处理后的图像，通过改进的LW-ISP方法进行频率增强。

如图5所示，为现有LW-ISP的原理示意图，主要包括第一阶段J1和第二阶段J2，第一阶段在不同层次上对特征图进行逐步下采样，以加快计算速度，每次下采样均通过一个下采样块和一个FGAM(Fine-grained Attention Module，细粒度注意力模块)实现。第二阶段通过对称跳转连接，将处理后的全局向量与前半部分相同大小的特征图进一步连接，包括依次设置的卷积层、FC层、卷积层、CCB(Contextual Complement Upsampling Block，上下文补全上采样块)、卷积层、CCB、卷积层、CCB、卷积层、CCB和卷积层。第二阶段中设置有四个CCB，用于在特征空间中进行自适应高频分解，并融合上一阶段的相应大小特征。在现有LW-ISP的基础上，本发明进行了如下改进：

将LW-ISP方法中从第一级接收特征的CCB均替换为FCB，同时，调整最后一个FCB的输入，将最后一个FCB从LW-ISP方法中第一级FGAM接收的特征，替换为打包处理后的图像。

先将FCB从改进的LW-ISP方法中第一级和第二级接收的特征做如下定义：

从第一级FGAM接收的输出特征记作L1，从第一级DB接收的输出特征记作L2，从第二级卷积层接收的输出特征记作L3。

改进的LW-ISP方法中，FCB中的具体处理方法为：

分别对L2和L3进行卷积处理，得到对应的全局和局部特征；

对所述全局和局部特征进行像素重组，再通过卷积处理对通道尺寸进行微调；

分别对L2和L3对应微调后的特征进行上采样，再进行残差学习和特征通道合并，得到和L1维度相匹配的特征A；

分别对L1和特征A进行离散小波变换，变换后的结果作差，再经过离散小波变换逆变换后，与特征A求和。

通过改进的LW-ISP方法进行频率增强后，得到频率增强的RGB图像。

改进的LW-ISP方法的原理具体如图6所示，为了便于说明，先对图6中的序号进行说明，1表示下采样块，2表示FGAM，3表示卷积层，4表示FCB，5表示FC层，6表示后处理上采样块。整体采用编码器-解码器结构，在现有LW-ISP基础上进行了改进，第一级J3按照不同级别渐进地进行四次向下采样特征映射，第二级J4包括四个上采样组，主框架与现有的LW-ISP方法结构相同，用FCB(Frequency Complement Block，频率补偿块)替换了CCB，作为第一级J3和第二级J4之间的级联，将FCB连接作为基线。整个改进的LW-ISP方法的输入是RAW图像，输出是相应的处理后的RGB图像，通过FCB，在整个网络结构中进行频率增强。

FCB从第一级J3的FGAM接收的输出特征记作L1(H×W)，用于特征互补，从第一级J3的DB接收的输出特征记作L2(2H×2W)，用于频率分解，从第二级J4的卷积层接收的输出特征记作L3(H×W)，在上采样过程中用FCB进行频率增强，抑制缩放期间图像信息的丢失，使用第一级J3的中的RAW输入大规模特征来提供语义信息。

如图7所示，FCB首先对第一级的H×W和第二级的H×W执行子像素卷积，以获得全局和局部特征。再进行像素重组和卷积，像素重组之前和之后的卷积操作分别用于通道尺寸调整和微调。随后，第一UB通过残差学习融合所获得的特征，以导出粗糙的高分辨率特征。图7中，UB1为第一UB，UB2为第二UB，UB1中分别对L2和L3对应微调后的特征进行上采样(在第二UB中进行)，再进行残差学习和特征通道合并，第二UB中的上采样和残差学些可以用以下公式表示：

其中，R

关于如何提取图像的频域，本发明采用离散小波变换(DWT)。DWT与傅立叶分析(DFT)等其他频率分析方法相比，DWT既可以捕获符号中的空间信息，又可以捕获符号中的频率信息，是一种更有效的低级视觉分析方法。给定函数ψ，令X(ψ)为ψ的扩张和移位的集合：

χ(ψ)＝{ψ

其中，ψ表示正交小波，χ(ψ)表示ψ的扩张和移位的集合，k表示平移参数，j表示缩放参数，x表示离散采样信号，也就是图像的具体像素值，Z表示整数集合。k和j决定小波函数的频率和位置。

利用DWT，每个图像将被分解为四个频域：LL、LH、HL和HH。其中，LL表示低频域，LH、HL和HH分别表示不同的高频域。将DWT和IDWT分别表示为Ψ(·)和

其中，R

另外，在通过改进的LW-ISP方法进行频率增强之后，还对频率增强后的图形依次进行了卷积处理、上采样处理和卷积处理。此处进行上采样处理，是为了和目标图像的尺寸相匹配，将低分辨率的特征图放大到与原始输入相同的分辨率。另外，虽然上采样操作可以增加图像的分辨率，但不能捕捉到高级别的语义信息。为了在上采样后保留有用的特征信息，上采样之后在此处添加卷积处理，帮助提取和整合特征信息，并增加非线性变换的能力，以提高模型的性能。

基于实施例四，本发明为视觉神经网络训练过程设计了新的频域监督方法。如图8所示，为改进的LW-ISP方法对应模型的训练结果和频域距离示意图，从(a)中可以看出，模型性能在早期阶段的快速提升得益于所有频域的共同收敛，尤其是此时主要学习低频分量(LL)。从(b)中可以看出，在训练的中期和后期，当模型性能追逐SOTA时，不再聚焦低频分量(LL)，而高频域(HH)起主导作用。因此，本发明设计的随训练阶段而变化的频域监督。将DWT(离散小波变换)表示为Ψ(·)，则可以将图像x的高频域和低频域分别推导为Ψ

其中，Ψ表示小波离散变换，L表示低频域，H表示高频域，st表示视觉神经网络训练阶段，st＝0表示前1/a阶段，st＝1表示从1/a阶段至训练完成，L

对应于早期训练阶段(st＝0)的全频域收敛趋势，最小化所有频域的正则化距离，有助于性能的快速上升。对应于训练中晚期的高频收敛趋势(st＝1)，只监督高频域的正则化距离，实验表明，此时若加入低频监督会显著干扰模型的学习过程。

在本发明的其他一些实施例中，经实验验证，a＝5时，鲁棒性最佳，能够使本发明的监督效果达到最佳。

对于本发明实施例四中FCB和本发明监督方法的影响，如表1所示。网络结构采用改进的LW-ISP，下述的基线包含改进的LW-ISP的主要结构，除了跳跃连接之外，其在PSNR和MS-SSIM上可以达到21.3076dB和0.8567dB。

表1网络结构的消融研究结果表

表1中，FCB-UB表示FCB中的第二UB，FCB-FC表示FCB中的第一UB，FAS表示本发明的监督方法。本发明的监督方法可以推广到不同的低级视觉任务中。

另外，在图像去噪中对本发明的监督方法进行了消融实验，具体在SIDD数据集上进行图像去噪实验。如表2所示，早期训练阶段缩写为阶段I，中期和后期训练阶段缩写为阶段II。其中，LH、HL和HH频域统称为高频域(HF)，而LL频域称为低频域(LF)。将所有频域缩写为A11。从表2中可以看出，采用本发明的监督方法可以获得更高的性能，另外，将该模型集中于学习低频域分量几乎没有影响，在训练的中晚期加入甚至会干扰正常的收敛。

表2本发明监督方法在图像去噪中的消融实验结果表

针对本发明优选方案中改进的LW-ISP，为了证明改进的LW-ISP的技术效果，进行了如下验证实验：

首先，对验证实验的验证设置进行说明。实验中评价了本发明的方法在ZurichRAW到RGB(简称Zurich)数据集上的有效性，该数据集是目前最大的ISP数据集。另外，还在SIDD，DND和LoL数据集上评估了图像去噪和增强的效果。具体验证结果如下：

1.图像处理效果

表3示出了不同方法在真实RAW到RGB映射问题上的定量性能比较结果：

表3 Zurich数据集在不同方法下从真实RAW到RGB映射问题上的定量性能对比表

为了确保表3中定量性能比较的公平性，在默认的实验设置中不增加数据扩充和附加的监督。例如，现有的LW-ISP方法不计入异质知识提炼。就PSNR而言，本发明的方法对基线(21.31dB)带来了0.32dB的改善，并实现了当前的最佳效果(21.63dB)。图9比较了在处理不同RAW图像时，本发明与先前的最佳模型(现有LW-ISP)和华为P20的视觉效果。图9中A1为待处理的RAW图像，A2为华为P20得到的图像，A3为现有LW-ISP得到的图像，A4为采用本发明发明得到的图像，可以看出，华为P20所拍摄的图像通常较暗，且在天空和其他背景上过度渲染，采用本发明方法得到的处理后图像，更符合自然特征并且可以产生更好的细节。

2.子任务结果

对于子任务，进一步探索降低计算成本、去噪和增强图像各种子任务的潜力。

(1)图像去噪方面。在SIDD的训练集上训练本发明方法的框架，并在SIDD和DND数据集的测试图像上直接评估。SIDD数据集的定量比较如表4所示：

表4不同方法的图像去噪效果对比表

从表4可以看出，本发明具有相较其他方法性能优异。现有的LW-ISP的结果是39.20dB，本发明的方法在PSNR和SSIM上分别达到39.40dB和0.950。另外，当RIDNet和VIDNet使用额外的训练数据时，本发明方法提供了更好的结果，但是本发明方法的FLOP(4.22G)分别相对于MPRNet(573.50G)和HINet(170.71G)降低了136倍和40.3倍。

(2)图像增强方面。在LoL数据集上本发明方法的表现也非常有益，PSNR可达20.23dB，优于CRM和现有的LW-ISP等以往的方法。

3.识别结果

为了实现视觉效果和识别性能的同时测量，需要RAW-RGB Recognition标签的数据集，该数据集尚未可用，替代方案是使用RGB图像来标记标签并将标签转移到RAW。向RAW的转移可以通过ISP的逆模型来完成，另外，生成了图像的注释数据，通过预先训练的识别模型生成现有RGB图像的标记。利用现有的RAW-RGB数据集(Zurich)和预训练识别模型(Swin-B)生成标记，一方面，减少了标记量，另一方面，可以有效地验证RGB图像的识别准确度。如下从定量结果和定性结果两方面进行评述：

定量结果：首先使用分别在ImageNet-1K和ImageNet-22K上预训练的Swin-B模型，为Zurich数据集的测试图像生成两种不同版本的标签。在该实验中，我们直接测试了由改进的ISP模型处理的图像，而无需对识别任务进行预训练。表5示出了不同方法的识别结果：

表5不同方法的识别结果对比表

从表5中可以看出，与其他方法相比，本发明方法的性能大大改善了Top 1置信度和Top 5置信度，Top 1为8.2％和4.7％，Top 5为3.1％和2.1％。虽然现有的LW-ISP在视觉效果方面胜过PyNET，但是，实际上它的识别性能有所下降，在不同标签质量的测试中可以观察到类似的趋势。

定性结果：在图10中提供了几个例子，比较了不同方法在识别效果方面的定性结果。其中，(a)为输入的RAW经处理后得到的RGB图像。(b)为通过识别获得的Top 5类别及其置信度值。(c)为相应RGB图像的频域映射。(d)为在频域上重构的样本和GT方法的亮度统计。从图10中可知，本发明方法通过频域增强，提高了识别性能。

通过上述实验，验证了频域信息的改进潜力，本发明的处理方法在没有高级帮助的情况下，从频率角度连接低级别视觉和高级别识别。设计了FCB，构建了一种新的智能ISP算法，且通过实验证明了本发明方法的优越性。

本发明还提出了一种计算机程序产品，所述计算机程序产品包含指令，所述指令被处理器执行时实现上述出清方法实施例中的步骤。或者，所述处理器执行所述计算机程序时实现上述系统实施例中各模块/单元的功能。

所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在存储器中，并由所述处理器执行，以完成本发明。

实现上述计算机程序产品的载体，可以是计算机设备。也可以将计算机程序产品存储在计算机存储介质中。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可包括，但不仅限于，处理器、存储器。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。

所述计算机设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。