图像处理方法与电子设备

技术领域

本申请涉及图像处理领域，具体地，涉及一种图像处理方法与电子设备。

背景技术

在暗光环境下拍摄视频，比如，在夜景环境下录制视频时，由于进光量较少导致视频的噪声较大；为了减小视频中的图像噪声，提升视频的图像质量，通常对视频中的图像进行Raw域降噪处理；由于受限于电子设备的运算性能与功耗，在进行Raw域降噪时需要减小图像的尺寸，即对Raw域图像进行下采样处理；但是，目前对Raw域图像流进行下采样处理的方式会使得图像的清晰度明显降低。

因此，在对Raw域图像流进行下采样处理时，如何提高图像的清晰度成为一个亟需解决的问题。

发明内容

本申请提供了一种图像处理方法与电子设备，能够解决Raw域图像流下采样处理带来的清晰度损失的问题，提高图像的清晰度。

第一方面，提供了一种图像处理方法，应用于电子设备，包括：

显示第一界面，所述第一界面为预览界面或者录制界面；

确定所述电子设备的状态符合第一预设条件；

获取第一图像流，所述第一图像流为第一颜色空间的图像流；

对所述第一图像流进行第一图像处理，得到第二颜色空间的第二图像流；

对所述第一图像流进行第二图像处理，得到所述第一颜色空间的第三图像流，所述第二图像处理包括下采样处理与图像增强处理；

对所述第三图像流进行第三图像处理，得到所述第二颜色空间的第四图像流；

对所述第二图像流与所述第四图像流进行融合处理，得到第五图像流；

显示和/或保存所述第五图像流。

应理解，第三图像流可以是指通过对第一图像流进行第二图像处理，得到的画质增强的小尺寸图像流；例如，可以第一图像流进行下采样处理，得到第一图像流对应的小尺寸图像流；对小尺寸图像流进行图像增强处理，得到画质增强的小尺寸图像。

在本申请的实施例中，在确定电子设备的状态符合第一预设条件的情况下，可以获取第一图像流，第一图像流可以为第一颜色空间的图像流；对第一图像流进行第一图像处理，可以得到第二颜色空间的第二图像流；对第一图像流进行第二图像处理，可以得到第一颜色空间的第三图像流，第二图像处理可以包括下采样处理与图像增强处理；即第三图像流可以是指第一图像流对应的小尺寸且画质增强的图像流；对第三图像流进行第三图像处理，得到第二颜色空间的第四图像流；即第四图像流为与第二图像流相比为画质增强的图像流；通过对第二图像流与第四图像流进行融合处理，得到第五图像流；由于第四图像流是基于第三图像流得到的，第三图像流是对第一图像流进行下采样处理与图像增强处理得到的，因此第四图像流与第二图像流相比画质增强且清晰度降低；在本申请的实施例中，基于第二图像流可以对第四图像流的清晰度进行补偿；基于第四图像流可以对第二图像流的图像质量进行补偿；因此，通过对第二图像流与第四图像流进行融合处理，得到的第五图像流；第五图像流可以实现画质增强且清晰度的损失较小，从而能够避免Raw域图像流下采样处理带来的清晰度损失的问题，提高图像的清晰度。

在一种可能的实现方式中，第一界面可以是指预览界面；例如，在电子设备处于预览状态时，电子设备显示的界面可以是指预览界面；其中，预览状态可以包括普通预览状态与录制预览状态；例如，普通预览状态是指在相机应用程序中，在点击拍照的控件或者录制视频的控件之前，取景框内实时显示的预览图像；或者，普通预览状态也可以是指在视频通话应用程序中，取景框内实时显示的视频通话的预览图像；录制预览状态可以是指在点击相机应用程序中的录制视频的控件之后，在录制界面中取景框中实时显示的录制预览图像。

在一种可能的实现方式中，第一界面可以是指录制界面；例如，在电子设备处理处于录制状态时，电子设备显示的界面可以为录制界面。

在一种可能的实现方式中，第一图像流可以是指电子设备中图像传感器采集的Raw域图像流；Raw域图像流可以是指在Raw颜色空间的图像流。

在一种可能的实现方式中，第二图像流可以为RGB颜色空间的图像流；第一图像处理可以包括去马赛克处理；例如，通过对第一图像流进行去马赛克处理可以将第一图像流转换为RGB颜色空间的图像流。

在一种可能的实现方式中，第二图像流可以为YUV颜色空间的图像流；第一图像处理可以包括去马赛克处理与颜色空间转换处理；例如，通过对第一图像流进行去马赛克处理可以将第一图像流转换为RGB颜色空间的图像流；将RGB颜色空间的图像流可以转换为YUV颜色空间的图像流。

在一种可能的实现方式中，可以对第二图像流与第四图像流进行加权融合，得到融合后的第五图像流。

在一种可能的实现方式中，可以以第二图像流为基准，或者以第四图像流为基准进行融合，得到融合后的第五图像流。

在一种可能的实现方式中，在电子设备处于预览状态时，可以显示第五图像流；或者，在电子设备处于预览状态时，可以显示第五图像流，并且保存部分或者全部第五图像流。

在一种可能的实现方式中，在电子设备处于录制状态时，可以保存第五图像流。

结合第一方面，在第一方面的某些实现方式中，所述第一图像流包括第一图像，所述第一图像为所述第一颜色空间的图像，所述方法还包括：

对所述第一图像进行所述第一图像处理得到第二图像，所述第二图像为所述第二颜色空间的图像，所述第二图像流包括所述第二图像；

对所述第一图像进行所述第二图像处理得到第三图像，所述第三图像为所述第一颜色空间的图像，所述第三图像流包括所述第三图像；

对所述第三图像进行所述第三图像处理得到第四图像，所述第四图像为所述第二颜色空间的图像，所述第四图像流包括所述第四图像；

对所述第二图像和所述第四图像进行融合处理，得到第五图像，所述第五图像流包括所述第五图像。

结合第一方面，在第一方面的某些实现方式中，在对所述第一图像进行所述第二图像处理得到第三图像之前，所述方法还包括：

将所述第一图像保存在所述电子设备的内存中；

所述对所述第一图像进行所述第二图像处理得到第三图像，包括：

从所述电子设备的内存中获取所述第一图像，并对所述第一图像进行所述第二图像处理得到所述第三图像。

在本申请的实施例中，可以对第一图像进行第一图像处理与第二图像处理；由于第一图像处理可以不受限于软件算法控制，即第一图像处理可以自动执行；第二图像处理可以受限于软件算法控制，即在接收到调用指令时，可以开始执行第二图像处理；因此，可以将第一图像保存在电子设备的内存中，在接收到调用指令后，可以从电子设备的内存中获取第一图像并对第一图像进行第二图像处理。

结合第一方面，在第一方面的某些实现方式中，在对所述第三图像进行所述第三图像处理得到第四图像之前，所述方法还包括：

将所述第三图像保存在所述电子设备的内存中；

所述对所述第三图像进行所述第三图像处理得到第四图像，包括：

从所述电子设备的内存中获取所述第三图像，并对所述第三图像进行所述第三图像处理得到所述第四图像。

在本申请的实施例中，由于第三图像处理可以受限于软件算法控制，即在接收到调用指令时，可以开始执行第三图像处理；因此，可以将第三图像保存在电子设备的内存中，在接收到调用指令后，可以从电子设备的内存中获取第三图像并对第三图像进行第三图像处理。

结合第一方面，在第一方面的某些实现方式中，所述第三图像的图像尺寸小于所述第一图像的图像尺寸；和/或，所述第五图像的清晰度优于所述第二图像的清晰度。

在本申请的实施例中，由于对第一图像进行第二图像处理可以得到第三图像；第二图像处理包括下采样处理与图像增强处理；因此，第三图像的图像尺寸小于第一图像的图像尺寸。

应理解，在确定电子设备的状态符合第一预设条件的情况下，获取第一图像流，第一图像流包括第一图像；由于第一图像是在电子设备所在的拍摄环境的环境亮度小于第一预设阈值或者处于相机应用程序的夜景模式下采集的图像，因此第一图像中可能包括部分噪声；通过对第一图像进行第一图像处理得到第二图像，第二图像中也可能包括部分噪声；第五图像是基于对第二图像与第四图像进行融合处理后得到的图像，由于第四图像是基于第三图像进行第三图像处理得到的，第三图像是对第二图像进行下采样处理与图像增强处理后得到的；因此，第四图像可以用于对第二图像的清晰度进行补偿，即融合处理后得到的第五图像的清晰度是优于第二图像的清晰度。

结合第一方面，在第一方面的某些实现方式中，所述电子设备包括第一图像信号处理器与第二图像信号处理器，所述第一图像信号处理器用于对所述第一图像进行所述第一图像处理得到所述第二图像；所述第二图像信号处理器用于对所述第三图像进行所述第三图像处理得到所述第四图像，所述方法还包括：

获取调用指令，所述调用指令用于指示运行所述第二图像信号处理器。

在本申请的实施例中，电子设备中可以包括第一图像信号处理器与第二图像信号处理器，第一图像信号处理器可以一直处于运行状态，即不受限于软件算法的控制；第二图像信号处理器可以在获取调用指令后才会运行，即可以受限于软件算法的控制。

结合第一方面，在第一方面的某些实现方式中，所述图像增强处理的算法包括以下至少一项：

降噪算法、超分辨率算法、去模糊算法、调整对比度算法、调整亮度算法或者高动态范围图像算法。

结合第一方面，在第一方面的某些实现方式中，所述确定所述电子设备的状态符合第一预设条件，包括：

确定所述电子设备的状态为录制状态，且所述电子设备所处拍摄环境的环境亮度值小于第一预设阈值。

结合第一方面，在第一方面的某些实现方式中，所述确定所述电子设备的状态符合第一预设条件，包括：

确定所述电子设备的状态为预览状态，且所述电子设备所处拍摄环境的环境亮度值小于第一预设阈值。

结合第一方面，在第一方面的某些实现方式中，所述确定所述电子设备的状态符合第一预设条件，包括：

确定所述电子设备的拍摄模式为夜景模式，所述夜景模式是指相机应用程序中的一种模式。

第二方面，提供了一种下采样模型的训练装置，包括用于执行第一方面或第一方面中任一种图像处理方法的模块/单元。

第三方面，提供一种电子设备，所述电子设备包括一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：显示第一界面，所述第一界面为预览界面或者录制界面；

确定所述电子设备的状态符合第一预设条件；

获取第一图像流，所述第一图像流为第一颜色空间的图像流；

对所述第一图像流进行第一图像处理，得到第二颜色空间的第二图像流；

对所述第一图像流进行第二图像处理，得到所述第一颜色空间的第三图像流，所述第二图像处理包括下采样处理与图像增强处理；

对所述第三图像流进行第三图像处理，得到所述第二颜色空间的第四图像流；

对所述第二图像流与所述第四图像流进行融合处理，得到第五图像流；

显示和/或保存所述第五图像流。

结合第三方面，在第三方面的某些实现方式中，所述第一图像流包括第一图像，所述第一图像为所述第一颜色空间的图像，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

对所述第一图像进行所述第一图像处理得到第二图像，所述第二图像为所述第二颜色空间的图像，所述第二图像流包括所述第二图像；

对所述第一图像进行所述第二图像处理得到第三图像，所述第三图像为所述第一颜色空间的图像，所述第三图像流包括所述第三图像；

对所述第三图像进行所述第三图像处理得到第四图像，所述第四图像为所述第二颜色空间的图像，所述第四图像流包括所述第四图像；

对所述第二图像和所述第四图像进行融合处理，得到第五图像，所述第五图像流包括所述第五图像。

结合第三方面，在第三方面的某些实现方式中，在对所述第一图像进行所述第二图像处理得到第三图像之前，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

将所述第一图像保存在所述电子设备的内存中；

所述对所述第一图像进行所述第二图像处理得到第三图像，包括：

从所述电子设备的内存中获取所述第一图像，并对所述第一图像进行所述第二图像处理得到所述第三图像。

结合第三方面，在第三方面的某些实现方式中，在对所述第三图像进行所述第三图像处理得到第四图像之前，所述方法还包括：

将所述第三图像保存在所述电子设备的内存中；

所述对所述第三图像进行所述第三图像处理得到第四图像，包括：

从所述电子设备的内存中获取所述第三图像，并对所述第三图像进行所述第三图像处理得到所述第四图像。

结合第三方面，在第三方面的某些实现方式中，所述第三图像的图像尺寸小于所述第一图像的图像尺寸；和/或，

所述第五图像的清晰度优于所述第二图像的清晰度。

结合第三方面，在第三方面的某些实现方式中，所述电子设备包括第一图像信号处理器与第二图像信号处理器，所述第一图像信号处理器用于对所述第一图像进行所述第一图像处理得到所述第二图像；所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

获取调用指令，所述调用指令用于指示运行所述第二图像信号处理器。

结合第三方面，在第三方面的某些实现方式中，所述图像增强处理的算法包括以下至少一项：

降噪算法、超分辨率算法、去模糊算法、调整对比度算法、调整亮度算法或者高动态范围图像算法。

结合第三方面，在第三方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

确定所述电子设备的状态为录制状态，且所述电子设备所处拍摄环境的环境亮度小于第一预设阈值。

结合第三方面，在第三方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

确定所述电子设备的状态为预览状态，且所述电子设备所处拍摄环境的环境亮度小于第一预设阈值。

结合第三方面，在第三方面的某些实现方式中，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行：

确定所述电子设备的拍摄模式为夜景模式，所述夜景模式是指相机应用程序中的一种模式。

第四方面，提供了一种电子设备，所述电子设备包括：一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面中的任一种图像处理方法。

第五方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中任一种图像处理方法。

第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第一方面中任一种图像处理方法。

第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或第一方面中任一种图像处理方法。

在本申请的实施例中，在确定电子设备的状态符合第一预设条件的情况下，可以获取第一图像流，第一图像流可以为第一颜色空间的图像流；对第一图像流进行第一图像处理，可以得到第二颜色空间的第二图像流；对第一图像流进行第二图像处理，可以得到第一颜色空间的第三图像流，第二图像处理可以包括下采样处理与图像增强处理；即第三图像流可以是指第一图像流对应的小尺寸且画质增强的图像流；对第三图像流进行第三图像处理，得到第二颜色空间的第四图像流；即第四图像流为与第二图像流相比为画质增强的图像流；通过对第二图像流与第四图像流进行融合处理，得到第五图像流；由于第四图像流是基于第三图像流得到的，第三图像流是对第一图像流进行下采样处理与图像增强处理得到的，因此第四图像流与第二图像流相比画质增强且清晰度降低；在本申请的实施例中，基于第二图像流可以对第四图像流的清晰度进行补偿；基于第四图像流可以对第二图像流的图像质量进行补偿；因此，通过对第二图像流与第四图像流进行融合处理，得到的第五图像流；第五图像流可以实现画质增强且清晰度的损失较小，从而能够避免Raw域图像流下采样处理带来的清晰度损失的问题，提高图像的清晰度。

附图说明

图1是一种适用于本申请的电子设备的硬件系统的示意图；

图2是一种适用于本申请的电子设备的软件系统的示意图；

图3是一种适用于本申请实施例的应用场景的示意图；

图4是一种适用于本申请实施例的应用场景的示意图；

图5是一种适用于本申请实施例的图像处理方法的示意图；

图6是一种适用于本申请的图像处理方法的架构示意图；

图7是一种适用于本申请的图像处理方法的架构示意图；

图8是本申请实施例提供的图像处理方法的效果示意图；

图9是本申请实施例提供的拜耳格式的Raw域图像的示意图；

图10是本申请实施例提供的一种电子设备的显示界面的示意图；

图11是本申请实施例提供的一种电子设备的显示界面的示意图；

图12是本申请实施例提供的一种电子设备的显示界面的示意图；

图13是本申请实施例提供的一种电子设备的结构示意图；

图14是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

在本申请的实施例中，以下术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

为了便于对本申请实施例的理解，首先对本申请实施例中涉及的相关概念进行简要说明。

1、binning

binning是一种图像读出模式，可以是指将相邻像素合并为一个像素。

示例性地，binning可以将n×n个像素合并为一个像素。例如，binning可以将相邻的3×3个像素合成为一个像素；也就是说，相邻3×3个像素的颜色以一个像素的形式呈现。

2、v2h2

v2h2是指通过横竖隔行隔列的加权平均的下采样方式。

3、下采样

下采样又可以称为缩小图像或者降采样；下采样用于缩小原图，即生成对应图像的缩略图；或者，使图像符合对应的显示区域；或者，降低特征的维度并保留有效信息，一定程度上避免过拟合，保持旋转、平移、伸缩不变形。

4、画质增强

画质增强可以是包括但不限于从像图像的曝光、清晰度、颜色、质感、噪音、防手抖、对焦或者伪像等方面对图像进行提升。

5、图像流

图像流可以是指包括至少两帧图像的图像序列；例如，该图像序列可以具有一定的时序。

6、预览流

预览流可以是指在预览状态下获取的图像流，对应的预览状态下的具有一定时序的预览图像；预览状态下可以包括普通预览状态与录制预览状态；例如，普通预览状态是指在相机应用程序中，在点击拍照的控件或者录制视频的控件之前，取景框内实时显示预览图像；或者，普通预览状态也可以是指在视频通话应用程序中，取景框内实时显示的视频通话的预览图像；录制预览状态可以是指在点击相机应用程序中的录制视频的控件之后，至点击停止录制之前，在录制界面中取景框中实时显示的录制图像也可以成为预览图像。

7、视频流

视频流可以是指在录制视频结束后，用于回放的图像流。

8、4K

4K是指一种分辨率大小；例如，4K可以是指分辨率为4096x2160。

9、2K

2K是指一种分辨率大小；例如，2K可以是指分辨率为2048×1080。

10、Raw域

Raw域是指Raw颜色空间。

11、YUV域

YUV域是指YUV颜色空间；其中，“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。

12、RGB域

RGB域是指RGB颜色空间；其中，R表示红色；G表示绿色；B表示蓝色。

13、颜色空间

颜色空间也可以称彩色模型(又称彩色空间或彩色系统)它的用途是在某些标准下用通常可接受的方式对彩色加以说明。

14、亮度值(Lighting Value，LV)

亮度值用于估计环境亮度，其具体计算公式如下：

其中，Exposure为曝光时间；Aperture为光圈大小；Iso为感光度；Luma为图像在XYZ空间中，Y的平均值。

下面将结合附图，对本申请实施例中的技术方案进行描述。

图1示出了一种适用于本申请的电子设备的硬件系统。

电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、投影仪等等，本申请实施例对装置100的具体类型不作任何限制。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块170，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块170可以包括压力传感器170A，陀螺仪传感器170B，气压传感器170C，磁传感器170D，加速度传感器170E，距离传感器170F，接近光传感器170G，指纹传感器170H，温度传感器170J，触摸传感器170K，环境光传感器170L，骨传导传感器170M等。

需要说明的是，图1所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图1所示的部件更多或更少的部件，或者，电子设备100可以包括图1所示的部件中某些部件的组合，或者，电子设备100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，AP)、调制解调处理器、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor，DSP)、基带处理器、神经网络处理器(neural-network processing unit，NPU)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。

控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在本申请的实施例中，处理器110可以执行：显示第一界面，第一界面为预览界面或者录制界面；确定电子设备的状态符合第一预设条件；获取第一图像流，第一图像流为第一颜色空间的图像流；对第一图像流进行第一图像处理，得到第二颜色空间的第二图像流；对第一图像流进行第二图像处理，得到第一颜色空间的第三图像流，第二图像处理包括下采样处理与图像增强处理；对第三图像流进行第三图像处理，得到第二颜色空间的第四图像流；对第二图像流与第四图像流进行融合处理，得到第五图像流；显示和/或保存第五图像流。

图1所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。

电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194可以用于显示图像或视频。

装置100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化，ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue，RGB)，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

示例性地，在本申请的实施例中，摄像头193可以获取第一图像流。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1、MPEG2、MPEG3和MPEG4。

陀螺仪传感器170B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器170B确定电子设备100围绕三个轴(即，x轴、y轴和z轴)的角速度。陀螺仪传感器170B可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器170B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器170B还可以用于导航和体感游戏等场景。

示例性地，在本申请的实施例中陀螺仪传感器170B可以用于采集的抖动信息，抖动信息可以用于表示电子设备在拍摄过程中的位姿变化。

加速度传感器170E可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器170E还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。

距离传感器170F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备100可以利用距离传感器170F测距以实现快速对焦。

环境光传感器170L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器170L也可用于拍照时自动调节白平衡。环境光传感器170L还可以与接近光传感器170G配合，检测电子设备100是否在口袋里，以防误触。

指纹传感器170H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。

触摸传感器170K，也称为触控器件。触摸传感器170K可以设置于显示屏194，由触摸传感器170K与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器170K用于检测作用于其上或其附近的触摸操作。触摸传感器170K可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器170K也可以设置于电子设备100的表面，并且与显示屏194设置于不同的位置。

上文详细描述了电子设备100的硬件系统，下面介绍电子设备100的软件系统。

图2是本申请实施例提供的电子设备的软件系统的示意图。

如图2所示，系统架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。

应用层210可以包括相机应用程序、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。

应用框架层220为应用层的应用程序提供应用程序编程接口(applicationprogramming interface，API)和编程框架；应用框架层可以包括一些预定义的函数。

例如，应用框架层220可以包括相机访问接口；相机访问接口中可以包括相机管理与相机设备。其中，相机管理可以用于提供管理相机的访问接口；相机设备可以用于提供访问相机的接口。

硬件抽象层230用于将硬件抽象化。比如，硬件抽象层可以包相机抽象层以及其他硬件设备抽象层；相机硬件抽象层可以调用相机算法。

例如，硬件抽象层230中包括相机硬件抽象层2301与相机算法2302；相机算法2302中可以包括第一算法，第一算法可以是用于图像处理的软件算法。

示例性地，第一算法可以是指不依赖特定硬件实现；比如，通常可以在CPU中运行的代码等。

驱动层240用于为不同硬件设备提供驱动。例如，驱动层可以包括相机设备驱动。

硬件层250可以包括相机设备以及其他硬件设备。

例如，硬件层250包括相机设备2501；相机设备2501中可以包括第二算法。

示例性地，相机设备2501中可以包括图像信号处理器，第二算法可以是指图像信号处理器中运行的用于图像处理的算法。

应理解，第二算法可以是指需要依赖于特定硬件实现的算法。

目前，在暗光环境下拍摄视频；比如，在夜景环境下录制视频时，由于进光量较少导致视频的噪声较大；为了减小视频中的噪声，提升视频的图像质量，通常对视频中的图像进行Raw域降噪处理；由于受限于电子设备的运算性能与功耗，在进行Raw域降噪时需要减小图像的尺寸；但是，对Raw域图像流进行下采样处理会使得图像的清晰度降低。

有鉴于此，本申请实施例提供了一种图像处理方法，在本申请的实施例中，在确定电子设备的状态符合第一预设条件的情况下，可以获取第一图像流，第一图像流可以为第一颜色空间的图像流；对第一图像流进行第一图像处理，可以得到第二颜色空间的第二图像流；对第一图像流进行第二图像处理，可以得到第一颜色空间的第三图像流，第二图像处理可以包括下采样处理与图像增强处理；即第三图像流可以是指第一图像流对应的小尺寸且画质增强的图像流；对第三图像流进行第三图像处理，得到第二颜色空间的第四图像流；即第四图像流为与第二图像流相比为画质增强的图像流；通过对第二图像流与第四图像流进行融合处理，得到第五图像流；由于第四图像流是基于第三图像流得到的，第三图像流是对第一图像流进行下采样处理与图像增强处理得到的，因此第四图像流与第二图像流相比画质增强且清晰度降低；在本申请的实施例中，基于第二图像流可以对第四图像流的清晰度进行补偿；基于第四图像流可以对第二图像流的图像质量进行补偿；因此，通过对第二图像流与第四图像流进行融合处理，得到的第五图像流；第五图像流可以实现画质增强且具有高清晰度，避免Raw域图像流下采样处理带来的清晰度损失的问题，提高图像的清晰度。

下面结合图3与图4对本申请实施例提供的图像处理方法的应用场景进行举例说明。

应用场景一：录制视频

本申请的图像处理方法可以应用于录制视频；例如，可以应用于暗光场景录制视频；如图3所示，在夜景场景录制视频时，电子设备的进光量少导致获取的图像噪声较大；图3中的(a)是采样现有方案进行图像处理，得到拍摄对象261的预览图像；图3中的(b)是通过本申请实施例提供的图像处理方法，得到拍摄对象261的预览图像；图3中的(b)所示的预览图像与图3中的(a)所示的预览图像相比，清晰度得到提升；因此，通过本申请实施例的图像处理方法，能够提升图像的清晰度，提高图像质量。

应用场景二：视频通话

本申请的图像处理方法可以应用于视频通话领域；比如，在暗光场景下视频通话时，由于电子设备的进光量少导致视频通话的图像噪声较大；如图4所示，图4中的(a)是采样现有方案进行图像处理，得到拍摄对象262的预览图像；图4中的(b)是通过本申请实施例提供的图像处理方法，得到拍摄对象262的预览图像；图4中的(b)所示的预览图像与图4中的(a)所示的预览图像相比，清晰度得到提升；因此，通过本申请实施例的图像处理方法，能够提升图像的清晰度，提高图像质量。

应理解，上述为对应用场景的举例说明，并不对本申请的应用场景作任何限定。

下面结合图5与图12对本申请实施例提供的图像处理方法进行详细描述。

图5是本申请实施例提供的一种适用于本申请的图像处理方法的示意图。该图像处理方法可以由图1所示的电子设备执行；该图像处理方法包括步骤S301至步骤S308，下面分别对步骤S301至步骤S308进行详细的描述。

应理解，图5所示的图像处理方法可以适用于图6或者图7所示的系统架构中执行。

步骤S301、显示第一界面。

示例性地，第一界面可以是指预览界面；例如，在电子设备处于预览状态时，电子设备显示的界面可以是指预览界面；其中，预览状态可以包括普通预览状态与录制预览状态；例如，普通预览状态是指在相机应用程序中，在点击拍照的控件或者录制视频的控件之前，取景框内实时显示预览图像；或者，普通预览状态也可以是指在视频通话应用程序中，取景框内实时显示的视频通话的预览图像；录制预览状态可以是指在点击相机应用程序中的录制视频的控件之后，在录制界面中取景框中实时显示的录制预览图像。

示例性地，第一界面可以是指录制界面；例如，在电子设备处理处于录制状态时，电子设备显示的界面可以为录制界面。

步骤S302、确定电子设备的状态符合第一预设条件。

可选地，确定电子设备的状态符合第一预设条件，可以包括：

确定电子设备的状态为录制状态，且电子设备所处拍摄环境的环境亮度小于第一预设阈值。

场景1：电子设备检测到运行相机应用程序的操作；在相机应用程序运行后，电子设备检测到拍摄环境的亮度值小于第一预设阈值(例如，夜景)；在检测到对指示录制视频的控件的点击操作之后，开始执行本申请实施例的图像处理方法，通过本申请实施例的图像处理方法对图像传感器采集的图像流进行图像处理，得到视频流。其中，检测到拍摄环境的亮度值小于第一预设阈值和检测到对指示录制视频的控件的点击操作，不分时序前后。

场景2：电子设备处于视频录制状态，且电子设备从亮度值大于或者等于第一预设阈值的拍摄环境移动至亮度值小于第一预设阈值的拍摄环境，当电子设备检测到当前的拍摄环境的亮度值小于第一阈值时，则开始执行本申请实施例的图像处理方法。

可选地，确定电子设备的状态符合第一预设条件，可以包括：

确定电子设备的状态为预览状态，且电子设备所处拍摄环境的环境亮度小于第一预设阈值。

场景3：电子设备检测到运行相机应用程序的操作；在相机应用程序运行后，电子设备检测到拍摄环境的亮度值小于第一预设阈值(例如，夜景)，在打开相机应用程序且未按下拍照/录像的按钮之前，此时取景框内可以实时显示预览图像；该预览图像可以是通过本申请实施例提供的图像处理方法得到的。

场景4：电子设备检测到运行视频通话应用程序的操作；在视频通话应用程序运行后，电子设备检测到拍摄环境的亮度值小于第一预设阈值(例如，夜景)，电子设备可以实时显示视频通话的图像；该视频通话的图像可以是通过本申请实施例提供的图像处理方法得到的。

场景5：电子设备处于预览状态，当电子设备从亮度值大于或者等于第一预设阈值的拍摄环境移动至亮度值小于第一预设阈值的拍摄环境时，当电子设备检测到当前的拍摄环境的亮度值小于第一阈值时，则开始执行本申请实施例的图像处理方法。

示例性地，对于上述场景1至场景5，由于电子设备的亮度值越大，表示电子设备所处的拍摄环境的环境亮度越高；可以通过电子设备的亮度值确定电子设备的环境亮度大小，在电子设备的亮度值小于第一预设阈值时，则可以表示电子设备所处拍摄环境的环境亮度小于第一预设阈值。

其中，亮度值用于估计环境亮度，其具体计算公式如下：

其中，Exposure为曝光时间；Aperture为光圈大小；Iso为感光度；Luma为图像在XYZ空间中，Y的平均值。

可选地，确定电子设备的状态符合第一预设条件，可以包括：

确定电子设备的拍摄模式为夜景模式，夜景模式是指相机应用程序中的一种模式。

场景6：电子设备检测到运行相机应用程序的操作；在相机应用程序运行后，检测到开启相机应用程序的夜景模式的操作，如图10所示；在检测到开启夜景模式的操作之后，开始执行本申请实施例的图像处理方法。

应理解，本申请的图像处理方法可以应用于视频的录制状态或者视频的预览状态，上述通过场景1至场景6对电子设备的状态符合第一预设条件进行举例说明，本申请对此不作任何限定。

步骤S303、获取第一图像流，第一图像流为第一颜色空间的图像流。

示例性地，第一图像流可以是指电子设备中图像传感器采集的Raw域图像流；Raw域图像流可以是指在Raw颜色空间的图像流。

步骤S304、对第一图像流进行第一图像处理，得到第二颜色空间的第二图像流。

示例性地，第二颜色空间可以是指RGB颜色空间或者YUV颜色空间。

可选地，第二图像流可以为RGB颜色空间的图像流；第一图像处理可以包括去马赛克处理；例如，通过对第一图像流进行去马赛克处理可以将第一图像流转换为RGB颜色空间的图像流。

可选地，第二图像流可以为YUV颜色空间的图像流；第一图像处理可以包括去马赛克处理与颜色空间转换处理；例如，通过对第一图像流进行去马赛克处理可以将第一图像流转换为RGB颜色空间的图像流；将RGB颜色空间的图像流可以转换为YUV颜色空间的图像流。

应理解，第一图像处理还可以包括RGB颜色空间或者YUV颜色空间的其他图像处理算法，本申请对此不作任何限定。

步骤S305、对第一图像流进行第二图像处理，得到第一颜色空间的第三图像流。

其中，第二图像处理可以包括下采样处理与图像增强处理。

应理解，下采样处理可以称为缩小图像或者降采样；下采样处理用于减小图像尺寸，生成图像对应的小尺寸图像；本申请对下采样处理所采用的算法不作任何限定。

可选地，图像增强处理的算法可以包括以下至少一项：

降噪算法、超分辨率算法、去模糊算法、调整对比度算法、调整亮度算法或者高动态范围图像算法。

应理解，第三图像流可以是指通过对第一图像流进行第二图像处理，得到的画质增强的小尺寸图像流；例如，可以第一图像流进行下采样处理，得到第一图像流对应的小尺寸图像流；对小尺寸图像流进行图像增强处理，得到画质增强的小尺寸图像。

可选地，第三图像流中包括第三图像，第一图像流中包括第一图像；第三图像的图像尺寸小于第一图像的图像尺寸。

在本申请的实施例中，由于对第一图像进行第二图像处理可以得到第三图像；第二图像处理包括下采样处理与图像增强处理；因此，第三图像的图像尺寸小于第一图像的图像尺寸。

可以理解的，S304和S305没有前后时序限制，可以同时进行。

步骤S306、对第三图像流进行第三图像处理，得到第二颜色空间的第四图像流。

示例性地，第二颜色空间可以是指RGB颜色空间或者YUV颜色空间。

可选地，第四图像流可以为RGB颜色空间的图像流；第三图像处理可以包括去马赛克处理；例如，通过对第三图像流进行去马赛克处理可以将第三图像流转换为RGB颜色空间的图像流。

可选地，第四图像流可以为YUV颜色空间的图像流；第三图像处理可以包括去马赛克处理与颜色空间转换处理；例如，通过对第三图像流进行去马赛克处理可以将第三图像流转换为RGB颜色空间的图像流；将RGB颜色空间的图像流可以转换为YUV颜色空间的图像流。

可以理解的，S304和S306没有前后时序限制，可以同时进行。

步骤S307、对第二图像流与第四图像流进行融合处理，得到第五图像流。

可选地，可以对第二图像流与第四图像流进行加权融合，得到融合后的第五图像流。

可选地，可以以第二图像流为基准，或者以第四图像流为基准进行融合，得到融合后的第五图像流。

上述为举例描述，本申请对融合处理具体采样的融合算法不作任何限定。

示例性地，以第一图像流中的一帧图像为图5所示的图像处理方法进行举例描述。

可选地，第一图像流包括第一图像，第一图像为第一颜色空间的图像；通过本申请实施例提供的图像处理方法，可以对第一图像进行第一图像处理得到第二图像，第二图像为第二颜色空间的图像，第二图像流包括第二图像；对第一图像进行第二图像处理得到第三图像，第三图像为第一颜色空间的图像，第三图像流包括第三图像；对第三图像进行第三图像处理得到第四图像，四图像为第二颜色空间的图像，第四图像流包括第四图像；对第二图像和第四图像进行融合处理，得到第五图像，第五图像流包括第五图像。

应理解，上述对一帧图像的第一图像处理、第二图像处理、第三图像处理或者融合处理适用于步骤S304至步骤S307中相同部分的描述，此处不在赘述。

可选地，第五图像的清晰度优于第二图像的清晰度。

应理解，在确定电子设备的状态符合第一预设条件的情况下，获取第一图像流，第一图像流包括第一图像；由于第一图像是在电子设备所在的拍摄环境的环境亮度小于第一预设阈值或者处于相机应用程序的夜景模式下采集的图像，因此第一图像中可能包括部分噪声；通过对第一图像进行第一图像处理得到第二图像，第二图像中也可能包括部分噪声；第五图像是基于对第二图像与第四图像进行融合处理后得到的图像，由于第四图像是基于第三图像进行第三图像处理得到的，第三图像是对第二图像进行下采样处理与图像增强处理后得到的；因此，第四图像可以用于对第二图像的清晰度进行补偿，即融合处理后得到的第五图像的清晰度是优于第二图像的清晰度。

可选地，对第一图像进行第二图像处理之前，可以将第一图像保存在电子设备的内存中；可以从电子设备的内存中获取第一图像，并对第一图像进行第二图像处理得到第三图像。

在本申请的实施例中，可以对第一图像进行第一图像处理与第二图像处理；由于第一图像处理可以不受限于软件算法控制，即第一图像处理可以自动执行；第二图像处理可以受限于软件算法控制，即在接收到调用指令时，可以开始执行第二图像处理；因此，可以将第一图像保存在电子设备的内存中，在接收到调用指令后，可以从电子设备的内存中获取第一图像并对第一图像进行第二图像处理。

可选地，对第三图像进行第三图像处理之前，可以将第三图像保存在电子设备的内存中；可以从电子设备的内存中获取第三图像，并对第三图像进行第二图像处理得到第四图像。

在本申请的实施例中，由于第三图像处理可以受限于软件算法控制，即在接收到调用指令时，可以开始执行第三图像处理；因此，可以将第三图像保存在电子设备的内存中，在接收到调用指令后，可以从电子设备的内存中获取第三图像并对第三图像进行第三图像处理。

可选地，电子设备可以包括第一图像信号处理器与第二图像信号处理器，第一图像信号处理器用于对第一图像进行第一图像处理得到第二图像；第二图像信号处理器用于对第三图像进行所述第三图像处理得到第四图像，所述方法还包括：

获取调用指令，调用指令用于指示运行第二图像信号处理器。

在本申请的实施例中，电子设备中可以包括第一图像信号处理器与第二图像信号处理器，第一图像信号处理器可以一直处于运行状态，即不受限于软件算法的控制；第二图像信号处理器可以在获取调用指令后才会运行，即可以受限于软件算法的控制。

步骤S308、显示和/或保存第五图像流。

可选地，在电子设备处于预览状态时，可以显示第五图像流；或者，在电子设备处于预览状态时，可以显示第五图像流，并且保存部分或者全部第五图像流。

示例性地，预览状态可以包括普通预览状态与录制预览状态；例如，普通预览状态是指在相机应用程序中，在点击拍照的控件或者录制视频的控件之前，取景框内实时显示预览图像；或者，普通预览状态也可以是指在视频通话应用程序中，取景框内实时显示的视频通话的预览图像；录制预览状态可以是指在点击相机应用程序中的录制视频的控件之后，在录制界面中取景框中实时显示的录制预览图像。

可选地，在电子设备处于录制状态时，可以保存第五图像流。

在本申请的实施例中，在确定电子设备的状态符合第一预设条件的情况下，可以获取第一图像流，第一图像流可以为第一颜色空间的图像流；对第一图像流进行第一图像处理，可以得到第二颜色空间的第二图像流；对第一图像流进行第二图像处理，可以得到第一颜色空间的第三图像流，第二图像处理可以包括下采样处理与图像增强处理；即第三图像流可以是指第一图像流对应的小尺寸且画质增强的图像流；对第三图像流进行第三图像处理，得到第二颜色空间的第四图像流；即第四图像流为与第二图像流相比为画质增强的图像流；通过对第二图像流与第四图像流进行融合处理，得到第五图像流；由于第四图像流是基于第三图像流得到的，第三图像流是对第一图像流进行下采样处理与图像增强处理得到的，因此第四图像流与第二图像流相比画质增强且清晰度降低；在本申请的实施例中，基于第二图像流可以对第四图像流的清晰度进行补偿；基于第四图像流可以对第二图像流的图像质量进行补偿；因此，通过对第二图像流与第四图像流进行融合处理，得到的第五图像流；第五图像流可以实现画质增强且清晰度的损失较小，从而提高图像流的图像质量。

实现方式一

图6是一种适用于本申请的图像处理方法的架构示意图。

如图6所示，系统300中可以包括图像传感器310、第一图像信号处理器320、内存330、Raw域算法模块340、第二图像信号处理器350、融合模块360与第三图像信号处理器370。

应理解，第一图像信号处理器320可以一直处于运行状态，即不受限于软件算法的控制；第二图像信号处理器350可以在获取调用指令后才会运行，即可以受限于软件算法的控制。

示例性地，图像传感器310用于采集原始图像，或者视频。

可选地，图像处理器310还可以用于向第一图像信号处理器320或者内存330输出图像或者视频。

例如，在录制视频的场景下，图像传感器310可以采集Raw域图像流(第一图像流的一个示例)。

应理解，图6中所示的Raw可以是指Raw颜色空间。

应理解，Raw域图像流是指Raw颜色空间的图像流，Raw颜色空间的图像流是指图像流在Raw颜色空间。

示例性地，第一图像信号传感器320可以用于将图像传感器310采集的Raw域图像流转换为RGB域的图像流(第二图像流的一个示例)，或者YUV域图像流或者其他颜色空间的图像流。

应理解，图6所示的RGB/YUV可以表示RGB颜色空间或者YUV颜色空间。

应理解，RGB域图像流是指RGB颜色空间的图像流，RGB颜色空间的图像流是指图像流在RGB颜色空间；同理，YUV域图像流是指YUV颜色空间的图像流，YUV颜色空间的图像流是指图像流在YUV颜色空间。

例如，第一图像信号处理器320可以根据去马赛克算法(第一图像处理的一个示例)将Raw域图像流转换为RGB域的图像流。其中，去马赛克算法可以是指将拜耳阵列结构的Raw域图像流转换成RGB域图像流的算法。示例性地，第一图像信号处理器320中的输入图像与输出图像的尺寸大小可以相同，或者不同。

在一个示例中，第一图像信号处理器320的输入图像流可以是指图像传感器310采集的4KRaw域图像流，第一图像信号处理器320的输出图像可以是4KRGB域图像流，第一图像信号处理器320可以对4KRaw域图像流进行去马赛克处理(demosic)处理，得到4KRGB域图像流。

在一个示例中，第一图像信号处理器320的输入图像可以是指图像传感器310采集的4KRaw域图像流，第一图像信号处理器320的输出图像流可以是2KRGB域图像流，则第一图像信号处理器320可以进行以下处理：

步骤一：对4KRaw域图像流进行去马赛克处理，得到4KRGB域图像流；

步骤二：对4KRGB域图像流进行下采样处理，得到2KRGB域图像流。

应理解，第一图像信号传感器320可以用于执行图5所示的对第一图像流进行第一图像处理，得到第二颜色空间的第二图像流的相关方法步骤。

示例性地，图像传感器310还可以将采集的图像流传输至内存330，内存330可以用于保存图像传感器310中采集的图像流。

示例性地，Raw域算法模块340可以从内存330中获取图像传感器310中采集的图像流；并对图像流进行下采样处理与图像增强处理，得到画质增强的小尺寸的图像流。

例如，Raw域算法模块340可以从内存330中获取图像传感器310中采集的Raw域图像流，并对Raw域图像流进行下采样处理，得到缩小尺寸的Raw域图像流；并对缩小尺寸的Raw域图像流进行图像增强处理，得到画质增强的小尺寸Raw域图像流(第三图像流的一个示例)。

示例性地，图像增强处理的算法可以包括但不限于以下算法中的一种或者两种以上：

降噪算法、超分辨率算法、去模糊算法、调整对比度算法、调整亮度算法、高动态范围图像算法。

应理解，Raw域算法模块340与内存330之间可以相互传输数据；Raw域算法模块340可以是指软件算法模块；例如，Raw域算法模块340可以是如图2所示的相机算法库中的模块；或者，Raw域算法模块340可以是指硬件算法模块；例如，Raw域算法模块340可以是如图2所示的相机设备中的模块。

还应理解，Raw域算法模块340可以用于执行图5所示的对第一图像流进行第二图像处理，得到第一颜色空间的第三图像流的相关方法步骤。

在一个示例中，Raw域算法模块340可以从内存330中读取图像传感器310获取的全尺寸Raw域图像流，对全尺寸的Raw域图像流进行下采样处理(例如，通过横竖隔行隔列的加权平均v2h2方式进行下采样)，得到缩小尺寸的Raw域图像流；缩小尺寸的Raw域图像流通过Raw域的图像增强算法处理后，得到画质增强的小尺寸Raw域图像流，输出画质增强的小尺寸Raw域图像流，并保存在内存330中。

应理解，上述通过v2h2对下采样方式进行处理说明，下采样可以采用任意一种方式，本申请对此。

示例性地，输入第一图像信号处理器320的图像可以是未经过其他算法处理的图像传感器310采集的Raw图像流(例如，4K的全尺寸的Raw域图像流)；输入第二图像信号处理器350中的图像可以是对图像传感器310采集的Raw域图像流通过Raw域算法模块340处理后的缩小尺寸的Raw域图像(例如，2K的Raw域图像)。

应理解，第二图像信号处理器350可以用于执行图5所示的对第三图像流进行第三图像处理，得到第二颜色空间的第四图像流的相关方法步骤。

可选地，由于可能存在数据接口的问题，导致Raw域算法模块340无法与第二图像信号处理器350直接进行数据流的传输；因此，可以通过内存330将Raw域算法模块340处理后得到的画质增强的小尺寸的Raw域图像传输至第二图像信号处理器350。

可选地，内存330与第二图像信号处理器350之间可以相互传输数据；比如，第二图像信号处理器350可以从内存330中获取Raw域算法模块340处理后的图像流；或者，第二图像信号处理器350在图像流进行Raw域算法处理时，第二图像信号处理器350可以将图像流传输至内存330，Raw域算法模块340从内存330中获取图像流并进行处理。

示例性地，第二图像信号处理器350可以从内存330中获取画质增强的小尺寸Raw域图像流(例如，2K)，对画质增强的小尺寸Raw域图像流进行处理(例如，去马赛克处理)，输出画质增强的小尺寸RGB域图像流(例如，2K)，或者可以输出画质增强的全尺寸RGB域图像流(例如，4K)。

需要说明的是，上述以第一图像信号处理器320与第二图像信号处理器350输出的是RGB域图像流(第四图像流的一个示例)进行举例说明，第一图像信号处理器320与第二图像信号处理器350输出的还可以是YUV域图像流，或者其他颜色空间的图像流；本申请对此不作任何限定。

应理解，RGB域可以是指RGB颜色空间；YUV域可以是指YUV颜色空间；图6所示的RGB/YUV可以表示RGB颜色空间或者YUV颜色空间。

应理解，经过Raw域算法模块340对Raw域图像流进行下采样处理后和图像增强算法处理后，与全尺寸的Raw域图像流相比，缩小尺寸的图像流的清晰度降低；因此，第二图像信号处理器350输出的画质增强的小尺寸Raw域图像流与第一图像信号处理器320输出的图像流相比清晰度降低。

示例性地，融合模块360用于对第一图像信号处理器320输出的图像流与第二图像信号处理器350输出的画质增强的小尺寸的图像流进行融合处理，得到融合后的图像流。

应理解，融合模块360，或者融合模块360与第三图像信号处理器370可以用于执行图5所示的对第二图像流与第四图像流进行融合处理，得到第五图像流的相关方法步骤。

应理解，由于第一图像信号处理器320输出的是正常清晰度的图像流，第二图像信号处理器350输出的是画质增强且清晰度降低的图像流；对正常清晰度的图像流与清晰度降低的图像流进行融合处理，从而能够对第二图像信号处理器350输出的图像流的清晰度进行提升，解决Raw域下采样存在的清晰度损失的问题；此外，由于第二图像信号处理器350输出的图像流是画质增强的图像流，因此通过融合处理可以使得融合后的图像流画质得到增强且清晰度损失较小。

在一个示例中，可以对第一图像信号处理器320输出的图像流与第二图像信号处理器350输出的图像流进行加权融合，得到融合后的图像流。

在一个示例中，可以以第一图像信号处理器320输出的图像流作为图像基准，或者以第二图像信号处理器350输出的图像流作为图像基准进行融合，得到融合后的图像流。

上述为举例描述，本申请对融合模块360具体采样的融合算法不作任何限定。

示例性地，第三图像信号处理器370用于对融合后的图像流进行YUV域或者RGB域算法处理，从而输出预览流和/或视频流(第五图像流的一个示例)；其中，预览流可以用于预览；视频流可以用于视频保存和回放等。

示例性地，本申请实施例提供的图像处理方法可以应用于预览流场景，通过本申请实施例提供的图像处理方法可以实时显示预览图像；其中，预览状态下可以包括普通预览状态与录制预览状态；例如，普通预览状态是指在相机应用程序中，在点击拍照的控件或者录制视频的控件之前，取景框内实时显示预览图像；或者，普通预览状态也可以是指在视频通话应用程序中，取景框内实时显示的视频通话的预览图像；录制预览状态可以是指在点击相机应用程序中的录制视频的控件之后，在录制界面中取景框中实时显示的录制预览图像。

应理解，图6所示的预览流对应的场景中对时延具有较高的要求，即需要在较短的时间内对图像进行处理并在电子设备中显示预览图像；考虑到预览流的低时延与高图像质量的需求；由于高图像质量的需要，通常可以对图像传感器获取的Raw域图像进行图像增强处理；由于低时延的需求，在进行Raw域图像进行图像增强时通常可以对图像传感器采集的Raw域图像进行下采样后，对小尺寸的Raw域图像进行图像增强处理；但是，对Raw域图像进行下采样后会造成图像的清晰度降低，导致预览流无法同时满足低时延与高图像质量的需求；在本申请实施例提供的图像处理方法中，通过增加Raw域算法模块340可以实现对Raw域图像进行下采样与图像增强处理；将图像增强处理后的小尺寸Raw域图像可以输入第二图像信号处理器350进行图像处理；通过第一图像信号处理器320可以实现对获取的Raw域图像直接进行图像处理，通过融合模块360对第一图像信号处理器320的输出图像与第二图像信号处理器350的输出图像进行融合处理；第一图像信号处理器320的输出图像可以对第二图像信号处理器350的输出图像的清晰度进行补偿；第二图像信号处理器350的输出图像可以第一图像信号处理器320的输出图像的图像质量进行补偿，从而使得预览流能够同时满足低时延与高图像质量的需求。

还应理解，对于夜景录制视频的场景中，由于环境亮度较小导致视频的噪声较大，需要对视频中的图像进行降噪处理；由于预览流对应的场景具有低时延与高图像质量的需求；对于高图像质量的需要，通常可以对图像传感器获取的Raw域图像进行Raw域降噪处理；由于低时延的需求，在进行Raw域图像进行降噪处理时通常可以对图像传感器采集的Raw域图像进行下采样后，对小尺寸的Raw域图像进行Raw域降噪处理；但是，对Raw域图像进行下采样后会造成图像的清晰度降低，导致预览流无法同时满足低时延与高图像质量的需求；在本申请实施例提供的图像处理方法中，通过增加Raw域算法模块340可以实现对Raw域图像进行下采样与Raw域图像的降噪处理；将降噪处理后的小尺寸Raw域图像可以输入第二图像信号处理器350进行图像处理；通过第一图像信号处理器320可以实现对获取的Raw域图像直接进行图像处理，通过融合模块360对第一图像信号处理器320的输出图像与第二图像信号处理器350的输出图像进行融合处理；第一图像信号处理器320的输出图像可以对第二图像信号处理器350的输出图像的清晰度进行补偿；第二图像信号处理器350的输出图像可以第一图像信号处理器320的输出图像的图像质量进行补偿，从而使得预览流能够同时满足低时延与高图像质量的需求。

可选地，图6所示的方法可以适用于视频处理，也可以适用于图像的处理。

示例性地，第三图像信号处理器370执行的YUV域或者RGB域算法可以但不限于包括：

全局色调映射(global tone mapping，GTM)、局部色调映射(local tonemapping，LTM)、色彩校正(color correction matrix，CCM)、降噪算法(noise reduce，NR)等。

其中，全局色调映射用于解决高动态图像的灰度值分布不均匀的问题；局部色调映射是指在图像的不同区域使用不同的色调映射曲线；色彩校正用于校准除白色以外其他颜色的准确度；降噪算法用于将图像中的噪声(例如，高斯噪声)去除，使得图像变得平滑。

需要说明的是，第一图像信号处理器320与第二图像信号处理器350可以是指不同的图像信号处理器；或者，可以是指同一图像信号处理器的不同部分；比如，图像信号处理器可以包括两个部分，一部分是进行Raw域算法处理，表示为ISP-part1；另一部分是进行YUV域和/或RGB域算法处理，表示为ISP-part2；第一图像信号处理器320可以是指第一part1；第二图像信号处理器350可以是指第二part1，第一part1与第二part1是指图像信号处理器中不同的part1；第三图像信号处理器370可以是指ISP-part2；第三图像信号处理器370与第一图像信号处理器320可以是同一图像信号处理器中的不同部分，或者，第三图像信号处理器370与第二图像信号处理器350可以是同一图像信号处理器中的不同部分。

应理解，上述通过图6所示的系统架构对图像流的进行图像处理说明；类似地，图6所示的系统架构也对图像进行图像处理。

示例性地，图像传感器310采集的Raw域图像流中可以包括第一图像，第一图像为Raw图像；第一图像信号处理器320可以对Raw图像进行处理，得到RGB图像或者YUV图像(第二图像的一个示例)；可以将第一图像保存至内存330中，Raw域算法模块从内存330中获取第一图像，对第一图像进行下采样处理与图像增强处理，得到画质增强的小尺寸Raw域图像(第三图像的一个示例)；Raw域算法模块340与内存330之间可以相互传输数据；可以将画质增强的小尺寸Raw域图像保存至内存330中；第二图像信号处理器350可以从内存330中获取画质增强的小尺寸Raw域图像，并对取画质增强的小尺寸Raw域图像进行图像处理，得到画质增强的RGB图像或者画质增强的YUV图像(第四图像的一个示例)；融合模块360可以对RGB图像与画质增强的RGB图像进行融合处理得到融合图像，或者，融合模块360可以对YUV图像与画质增强的YUV图像进行融合处理得到融合图像；第三图像信号处理器370可以对融合图像执行的YUV域图像处理算法或者RGB域图像处理算法，预览和/或图像(第五图像的一个示例)；该图像可以用于预览或者可以保存于电子设备中用于回放。

应理解，图6所示的系统架构对图像进行图像处理时适用于对图像流进行图像处理的相关步骤与方法，此处不再赘述。

在本申请的实施例中，在确定电子设备的状态符合第一预设条件的情况下，可以获取第一图像流，第一图像流可以为第一颜色空间的图像流；对第一图像流进行第一图像处理，可以得到第二颜色空间的第二图像流；对第一图像流进行第二图像处理，可以得到第一颜色空间的第三图像流，第二图像处理可以包括下采样处理与图像增强处理；即第三图像流可以是指第一图像流对应的小尺寸且画质增强的图像流；对第三图像流进行第三图像处理，得到第二颜色空间的第四图像流；即第四图像流为与第二图像流相比为画质增强的图像流；通过对第二图像流与第四图像流进行融合处理，得到第五图像流；由于第四图像流是基于第三图像流得到的，第三图像流是对第一图像流进行下采样处理与图像增强处理得到的，因此第四图像流与第二图像流相比画质增强且清晰度降低；在本申请的实施例中，基于第二图像流可以对第四图像流的清晰度进行补偿；基于第四图像流可以对第二图像流的图像质量进行补偿；因此，通过对第二图像流与第四图像流进行融合处理，得到的第五图像流；第五图像流可以实现画质增强且清晰度的损失较小，解决了Raw域图像流下采样处理带来的清晰度损失问题，提高图像的清晰度。

实现方式二

在一个示例中，第二图像信号处理器可以与Raw域算法模块之间可以直接进行数据流的传输时，则可以不需要通过内存进行数据流的传输，如图7所示。

图7是一种适用于本申请的图像处理方法的架构示意图。

如图7所示，该系统400中可以包括图像传感器410、第一图像信号处理器420、Raw域算法模块430、第二图像信号处理器440、融合模块450与第三图像信号处理器460；如图7所示，Raw域算法模块430可以直接向第二图像信号处理器440传输数据流。

需要说明的是，图7中与图6相同的部分可以参照图6中的描述，此处不再赘述。

图8是本申请实施例提供的图像处理方法的效果示意图。

如图8所示，图8中的(a)是通过本申请实施例的图像处理方法得到的输出图像；图8中的(b)是通过现有Raw域图像进行降噪处理后采用v2h2的binning方式得到的输出图像；与图8中的(a)所示的输出图像相比，图8中的(b)所示的输出图像清晰度较低；例如，图8中的(a)所示的区域A1的清晰度优于图8中的(b)所示的区域A2的清晰度；图8中的(a)所示的区域B1的清晰度优于图8中的(b)所示的区域B2的清晰度；因此，通过本申请实施例提供的图像处理方法在对图像进行Raw域降噪处理时与现有的方案相比，能够提升图像的清晰度。

需要说明的是，binning是一种图像读出模式，可以是指将相邻像素合并为一个像素。例如，binning可以将n×n个像素合并为一个像素。例如，binning可以将相邻的3×3个像素合成为一个像素；也就是说，相邻3×3个像素的颜色以一个像素的形式呈现。v2h2的binning方式是指横竖隔行隔列的binning方式；如图9所示，对于拜耳格式的图像，采用v2h2的binning方式，对于R像素而言可以是通过R

在一个示例中，可以在电子设备的相机应用程序中开启夜景模式，则在电子设备识别到当前的拍摄环境处于进光量较少的场景下，通过本申请实施例提供的图像处理方法对传感器采集的Raw域图像流进行图像处理，从而输出降噪处理后的预览流或者视频流。

图10示出了电子设备的一种图形用户界面(graphical user interface，GUI)。

如图10中的(a)所示的GUI可以是相机应用程序在录像模式下的显示界面，该显示界面中可以包括拍摄界面510；拍摄界面510上可以包括取景框511与控件；比如，取景框511中可以包括用于指示录像的控件512与用于指示设置的控件513；检测到用户点击控件513的操作，响应于用户操作显示设置界面，如图10中的(b)所示；在设置界面上包括夜景模式514，检测到用户点击夜景模式514，则电子设备开启夜景模式；在电子设备开启夜景模式后，可以通过本申请实施例提供的图像处理方法对电子设备采集的图像流进行图像处理。

在一个示例中，如图11中的(a)所示的拍摄界面510中可以包括用于指示设置的控件513；检测到用户点击控件513的操作，响应于用户操作显示设置界面，如图11中的(b)所示；在设置界面上包括人工智能(artificial intelligence，AI)夜景模式515，检测到用户开启AI夜景模式515则电子设备开启AI夜景模式；在用户开启AI夜景模式后，用户可以无需手动选择开启夜景模式；即电子设备可以根据拍摄场景的进光量自动识别暗光场景，在暗光场景中自动开启夜景模式；开启夜景模式后可以采用本申请实施例提供的图像处理方法对获取的图像流进行处理，得到处理后的图像流。

在一个示例中，如图12所示在录像模式下，拍摄界面510中还可以包括控件516，控件516用于指示开启/关闭夜景模式；在电子设备检测到用户点击控件516的操作后，电子设备可以开启夜景模式，通过本申请实施例提供的图像处理方法对电子设备采集的图像流进行图像处理。

在本申请的实施例中，在确定电子设备的状态符合第一预设条件的情况下，可以获取第一图像流，第一图像流可以为第一颜色空间的图像流；对第一图像流进行第一图像处理，可以得到第二颜色空间的第二图像流；对第一图像流进行第二图像处理，可以得到第一颜色空间的第三图像流，第二图像处理可以包括下采样处理与图像增强处理；即第三图像流可以是指第一图像流对应的小尺寸且画质增强的图像流；对第三图像流进行第三图像处理，得到第二颜色空间的第四图像流；即第四图像流为与第二图像流相比为画质增强的图像流；通过对第二图像流与第四图像流进行融合处理，得到第五图像流；由于第四图像流是基于第三图像流得到的，第三图像流是对第一图像流进行下采样处理与图像增强处理得到的，因此第四图像流与第二图像流相比画质增强且清晰度降低；在本申请的实施例中，基于第二图像流可以对第四图像流的清晰度进行补偿；基于第四图像流可以对第二图像流的图像质量进行补偿；因此，通过对第二图像流与第四图像流进行融合处理，得到的第五图像流；第五图像流可以实现画质增强且清晰度的损失较小；解决了Raw域图像流下采样处理带来的清晰度损失的问题，提高图像的清晰度。

上文结合图1至图12详细描述了本申请实施例提供的图像处理方法；下面将结合图13与图14详细描述本申请的装置实施例。应理解，本申请实施例中的装置可以执行前述本申请实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。

图13是本申请实施例提供的一种电子设备的结构示意图。该电子设备600包括显示模块610与处理模块620。

其中，所述显示模块610用于显示第一界面，显示第一界面，所述第一界面为预览界面或者录制界面；处理模块620用于确定所述电子设备的状态符合第一预设条件；获取第一图像流，所述第一图像流为第一颜色空间的图像流；对所述第一图像流进行第一图像处理，得到第二颜色空间的第二图像流；对所述第一图像流进行第二图像处理，得到所述第一颜色空间的第三图像流，所述第二图像处理包括下采样处理与图像增强处理；对所述第三图像流进行第三图像处理，得到所述第二颜色空间的第四图像流；对所述第二图像流与所述第四图像流进行融合处理，得到第五图像流；显示和/或保存所述第五图像流。

可选地，作为一个实施例，所述第一图像流包括第一图像，所述第一图像为所述第一颜色空间的图像，所述处理模块620还用于：

对所述第一图像进行所述第一图像处理得到第二图像，所述第二图像为所述第二颜色空间的图像，所述第二图像流包括所述第二图像；

对所述第一图像进行所述第二图像处理得到第三图像，所述第三图像为所述第一颜色空间的图像，所述第三图像流包括所述第三图像；

对所述第三图像进行所述第三图像处理得到第四图像，所述第四图像为所述第二颜色空间的图像，所述第四图像流包括所述第四图像；

对所述第二图像和所述第四图像进行融合处理，得到第五图像，所述第五图像流包括所述第五图像。

可选地，作为一个实施例，所述处理模块620还用于：

将所述第一图像保存在所述电子设备的内存中；

从所述电子设备的内存中获取所述第一图像，并对所述第一图像进行所述第二图像处理得到所述第三图像。

可选地，作为一个实施例，所述处理模块620还用于：

将所述第三图像保存在所述电子设备的内存中；

从所述电子设备的内存中获取所述第三图像，并对所述第三图像进行所述第三图像处理得到所述第四图像。

可选地，作为一个实施例，所述第三图像的图像尺寸小于所述第一图像的图像尺寸；和/或，所述第五图像的清晰度优于所述第二图像的清晰度。

可选地，作为一个实施例，所述电子设备包括第一图像信号处理器与第二图像信号处理器，所述第一图像信号处理器用于对所述第一图像进行所述第一图像处理得到所述第二图像；所述第二图像信号处理器用于对所述第三图像进行所述第三图像处理得到所述第四图像，所述处理模块620还用于：

获取调用指令，所述调用指令用于指示运行所述第二图像信号处理器。

可选地，作为一个实施例，所述图像增强处理的算法包括以下至少一项：

降噪算法、超分辨率算法、去模糊算法、调整对比度算法、调整亮度算法或者高动态范围图像算法。

可选地，作为一个实施例，所述处理模块620具体用于：

确定所述电子设备的状态为录制状态，且所述电子设备所处拍摄环境的环境亮度值小于第一预设阈值。

可选地，作为一个实施例，所述处理模块620具体用于：

确定所述电子设备的状态为预览状态，且所述电子设备所处拍摄环境的环境亮度值小于第一预设阈值。

可选地，作为一个实施例，所述处理模块620具体用于：

确定所述电子设备的拍摄模式为夜景模式，所述夜景模式是指相机应用程序中的一种模式。

需要说明的是，上述电子设备600以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。

例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

因此，在本申请的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

图14示出了本申请提供的一种电子的结构示意图。图14中的虚线表示该单元或该模块为可选的；电子设备700可用于实现上述方法实施例中描述的方法。

电子设备700包括一个或多个处理器701，该一个或多个处理器701可支持电子设备700实现方法实施例中的图像处理方法。处理器701可以是通用处理器或者专用处理器。例如，处理器701可以是中央处理器(central processing unit，CPU)、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件，如分立门、晶体管逻辑器件或分立硬件组件。

处理器701可以用于对电子设备700进行控制，执行软件程序，处理软件程序的数据。电子设备700还可以包括通信单元705，用以实现信号的输入(接收)和输出(发送)。

例如，电子设备700可以是芯片，通信单元705可以是该芯片的输入和/或输出电路，或者，通信单元705可以是该芯片的通信接口，该芯片可以作为终端设备或其它电子设备的组成部分。

又例如，电子设备700可以是终端设备，通信单元705可以是该终端设备的收发器，或者，通信单元705可以是该终端设备的收发电路。

电子设备700中可以包括一个或多个存储器702，其上存有程序704，程序704可被处理器701运行，生成指令703，使得处理器701根据指令703执行上述方法实施例中描述的图像处理方法。

可选地，存储器702中还可以存储有数据。可选地，处理器701还可以读取存储器702中存储的数据，该数据可以与程序704存储在相同的存储地址，该数据也可以与程序704存储在不同的存储地址。

处理器701和存储器702可以单独设置，也可以集成在一起，例如，集成在终端设备的系统级芯片(system on chip，SOC)上。

示例性地，存储器702可以用于存储本申请实施例中提供的图像处理方法的相关程序704，处理器701可以用于在执行图像处理时调用存储器702中存储的图像处理方法的相关程序704，执行本申请实施例的图像处理方法；例如，显示第一界面，所述第一界面为预览界面或者录制界面；确定所述电子设备的状态符合第一预设条件；获取第一图像流，所述第一图像流为第一颜色空间的图像流；对所述第一图像流进行第一图像处理，得到第二颜色空间的第二图像流；对所述第一图像流进行第二图像处理，得到所述第一颜色空间的第三图像流，所述第二图像处理包括下采样处理与图像增强处理；对所述第三图像流进行第三图像处理，得到所述第二颜色空间的第四图像流；对所述第二图像流与所述第四图像流进行融合处理，得到第五图像流；显示和/或保存所述第五图像流。

本申请还提供了一种计算机程序产品，该计算机程序产品被处理器701执行时实现本申请中任一方法实施例的方法。

该计算机程序产品可以存储在存储器702中，例如是程序704，程序704经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器701执行的可执行目标文件。

本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本申请中任一方法实施例所述的图像处理方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。

该计算机可读存储介质例如是存储器702。存储器702可以是易失性存储器或非易失性存储器，或者，存储器702可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmableROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(randomaccess memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamicRAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的电子设备的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

另外，本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。