图像处理方法及装置、存储介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备。

背景技术

随着智能终端的发展，拍照功能也越来越完善。在某些场景中需要对图像进行虚化，以满足场景需求。

相关技术中，一般采用双目虚化或者是单目虚化的方式来进行图像虚化，具体都是通过计算深度图来获取图像的深度信息来虚化图像。这种方式在实际处理过程中，经常会遗漏部分图像，使得虚化不全面。并且在一些特性不明显的场景，深度图的计算就会受到影响，对环境的依赖性过高，对算法的计算结果依赖性强，从而导致虚化效果较差，导致图像质量较差。

发明内容

本公开提供一种图像处理方法、图像处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服虚化效果较差的问题。

根据本公开的一个方面，提供一种图像处理方法，包括：确定当前对焦位置的焦点队列；对所述焦点队列关联的参考图像进行图像分割，得到所述参考图像对应的多个图像子区域；根据所述参考图像对应的所述多个图像子区域的清晰度确定清晰度图像；基于用户选择区域对所述清晰度图像进行查找来确定候选图像，对所述候选图像在所述用户选择区域之外的其他区域的图像进行虚化得到虚化图像，并根据所述用户选择区域的图像和所述虚化图像得到目标图像。

根据本公开的一个方面，提供一种图像处理装置，包括：焦点队列确定模块，用于确定当前对焦位置的焦点队列；区域划分模块，用于对所述焦点队列关联的参考图像进行图像分割，得到所述参考图像对应的多个图像子区域；清晰度图像确定模块，用于根据所述参考图像对应的所述多个图像子区域的清晰度确定清晰度图像；图像区域处理模块，用于基于用户选择区域对所述清晰度图像进行查找来确定候选图像，对所述候选图像在所述用户选择区域之外的其他区域的图像进行虚化得到虚化图像，并根据所述用户选择区域的图像和所述虚化图像得到目标图像。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述的图像处理方法。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及

存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的图像处理方法。

在本公开的一些实施例所提供的图像处理方法、装置、计算机可读存储介质和电子设备中，一方面，通过确定当前对焦位置的焦点队列，并对焦点队列对应的参考图像进行图像分割得到清晰度图像，由于清晰度图像可以表示每个图像子区域中符合清晰度条件的参考图像，因此基于清晰度图像能够快速准确地确定图像质量最高的图像作为候选图像，在确定用户选择区域的候选图像后，可以对该候选图像在用户选择区域之外的其他区域的部分进行分区域虚化，避免了虚化过程中对图像的遗漏问题，提高了全面性和完整性，且能够准确地确定虚化目标。另一方面，由于直接对候选图像在用户选择区域之外的其他区域进行虚化处理，避免了在特征不明显的场景中由于深度图的影响而无法确定需要进行虚化的部分以及需要进行虚化的区域的问题，减小了对算法的计算结果的依赖性，由于准确地确定需要虚化的图像以及需要虚化的区域，从而可以提高虚化效果，提高了图像质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的图像处理方法的应用场景的示意图。

图2示出了适于用来实现本公开实施例的电子设备的结构示意图。

图3示出了本公开实施例中图像处理方法的流程示意图。

图4示出了本公开实施例中确定焦点队列的流程示意图。

图5示出了本公开实施例的焦点队列的示意图。

图6示意性示出了本公开实施例中确定清晰度图像的流程图。

图7示意性示出了本公开实施例的清晰度图像的示意图。

图8示意性示出了本公开实施例的确定用户选择区域的图像的流程图。

图9中示意性示出了本公开实施例的对其他区域的图像进行虚化的流程图。

图10示意性示出了本公开实施例的拍照过程的流程图。

图11示意性示出了本公开实施例的查看过程的流程图。

图12示意性示出了本公开示例性实施例中图像处理装置的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”仅是为了区分的目的，不应作为本公开内容的限制。

相关技术中，双目虚化主要通过双摄标定来实现实时的预览和拍照虚化。单目虚化主要使用在硬件受限或模组受限的场景，如低端手机，基于成本考虑，不会使用两颗模组，使用一颗模组达到虚化的目的，就需要使用单目虚化算法，另外一种典型场景如前置场景，屏幕上如放置两个模组，对目前主流的全面屏来说，会占用部分屏幕尺寸，在实际使用过程中经常会有误触的情况发生。

为了解决上述技术问题，图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的应用场景的示意图。

该图像处理方法可以应用于拍照场景或者是图像编辑处理的场景中。参考图1中所示，具体可以应用于使用终端101对目标对象102进行拍摄得到拍照图像。进一步在查看拍照图像的过程中执行上述图像处理方法。或者是，也可以直接在拍照过程中使用上述图像处理方法，本公开实施例中以先进行拍照然后查看拍照图像为例进行说明。其中，终端101可以是各种类型的能够用于拍摄的客户端，例如可以为各种能够用于采集图像或视频，并且能够展示图像或视频的智能手机、平板电脑、台式计算机、车载设备、可穿戴设备等等。目标对象102可以为各种场景中的任意类型的待拍摄对象，例如人物、动物或者是风景等等。目标对象可以处于静止状态或者是运动状态。具体地，可以使用终端101上的相机或者是拍摄相机应用来对目标图像进行图像采集。终端上的相机可以包括多个摄像头模组，可以调用其中任意一个或多个摄像头模组来对目标对象进行图像采集。

具体地，在用户点击拍照控件进行拍照操作时，参照当前对焦位置和对焦范围，选择不同的焦点对焦拍照。对具体的拍照焦点，设置焦点队列对每一个焦点值对应的焦点图像(参考图像)进行分割，将每一个参考图像分割成N个图像子区域。针对每一个图像子区域，均有M个参考图像。针对M个参考图像，可以通过能量梯度函数的方法来评测每个图像子区域的最优清晰度的参考图像的编号。所有的这些图像子区域的最优清晰度的参考图像组成一个清晰度图像，清晰度图像作为照片评价的关键指标。每个最优子区域可以理解为当前区域的焦点位置，用户在拍完照后，可以对拍照图像的不同区域进行点击选择，每次点击其中一个子区域，通过查找清晰度表格中该子区域对应的最清晰的图像呈现，其他区域则可以通过渐进背景虚化，针对用户选择区域，则可以通过最优子区域和次优子区域图像进行融合等算法进一步提升用户选择区域的清晰度。

需要说明的是，本公开实施例所提供的图像处理方法可以完全由终端来执行。相应地，图像处理装置可设置于终端中。

图2示出了适于用来实现本公开示例性实施方式的一种电子设备的示意图。需要说明的是，图2示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的图像处理方法。

具体的，如图2所示，电子设备200可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber IdentificationModule，SIM)卡接口295等。其中传感器模块280可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器210中还可以设置存储器，用于存储指令和数据。

USB接口230是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口230可以用于连接充电器为电子设备200充电，也可以用于电子设备200与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备等。

充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。

电子设备200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。

移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块260可以提供应用在电子设备200上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案。

电子设备200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像虚化的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

电子设备200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。在一些实施例中，电子设备200可以包括1个或N个摄像模组291，N为大于1的正整数，若电子设备200包括N个摄像头，N个摄像头中有一个是主摄像头，其他可以为副摄像头，例如长焦摄像头。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。

电子设备200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。

音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。

扬声器271，用于将音频电信号转换为声音信号。电子设备200可以通过扬声器271收听音乐，或收听免提通话。受话器272，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时，可以通过将受话器272靠近人耳接听语音。麦克风273，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风273发声，将声音信号输入到麦克风273。电子设备200可以设置至少一个麦克风273。耳机接口274用于连接有线耳机。

针对电子设备200包括的传感器，深度传感器用于获取景物的深度信息。压力传感器用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器可以用于确定电子设备200的运动姿态。气压传感器用于测量气压。磁传感器包括霍尔传感器。电子设备200可以利用磁传感器检测翻盖皮套的开合。加速度传感器可检测电子设备200在各个方向上(一般为三轴)加速度的大小。距离传感器用于测量距离。接近光传感器可以包括例如发光二极管(LED)和光检测器，例如光电二极管。指纹传感器用于采集指纹。温度传感器用于检测温度。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏290提供与触摸操作相关的视觉输出。环境光传感器用于感知环境光亮度。骨传导传感器可以获取振动信号。

按键294包括开机键，音量键等。按键294可以是机械按键。也可以是触摸式按键。马达293可以产生振动提示。马达293可以用于来电振动提示，也可以用于触摸振动反馈。指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口295用于连接SIM卡。电子设备200通过SIM卡和网络交互，实现通话以及数据通信等功能。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本公开实施例中，首先提供了一种图像处理方法。图3中示意性示出了该图像处理方法的流程示意图。参考图3中所示，对本公开实施例中的图像处理方法进行详细说明。

在步骤S310中，确定当前对焦位置的焦点队列。

本公开实施例中，终端可以处于拍照状态，且拍照状态可以为正常拍照状态。或者是终端可以处于虚化模式的拍照状态，虚化模式指的是将拍摄照片的一部分做模糊处理，从而凸显被拍摄的主体。终端可以为能够进行图像采集的智能终端，且该终端可以包括一个或者是多个摄像头，此处对摄像头的数量不做特殊限定。本公开实施例中，以终端处于正常拍照状态为例进行说明。

拍照操作指的是开启终端的相机或者是拍摄相机应用，调用终端的摄像头来对目标对象进行拍照的操作。拍照操作可以为各种类型触发操作，例如可以为点击拍照控件、点击拍照按键、语音拍照、表情拍照、身体动作方式拍照中的一种或者是多种的组合，此处不做特殊限定，只要能够触发终端进行拍照即可。

拍照操作对应的当前对焦位置，指的是本次拍照操作时，自动对焦的对焦位置，即当前拍照时刻所对应的自动对焦位置。自动对焦位置可以认为是默认位置。每次用户点击拍照控件进行拍照操作时，其对应的当前对焦位置可以相同或不同。当前对焦位置可以确定一个拍照焦点(即焦点值)，例如用Fi表示。不同拍照时刻，其对应的当前对焦位置以及拍照焦点，可以相同或者是不同，此处不做具体限定。

本公开实施例中，可以对每一个当前对焦位置以及所对应的焦点值均设置一个焦点队列，以便于根据焦点队列对当前拍照时刻的焦点值对应的焦点图像进行图像分割，将一幅焦点图像分割成多个图像子区域。焦点图像代表了用户需展示的内容，因此焦点图像可以相当于在每个焦点值处生成的拍照图像。

图4中示意性示出了确定焦点队列的流程图，参考图4中所示，主要包括以下步骤：

在步骤S410中，根据对焦范围的最大值以及所述对焦范围的最小值，确定多个焦点值；所述多个焦点值中包括所述当前对焦位置对应的焦点值；

在步骤S420中，根据所述多个焦点值的数量确定所述焦点队列。

本公开实施例中，可以根据拍照操作的当前对焦位置、镜头对焦范围的最大值以及最小值，重新确定多个焦点值。多个焦点值的数量可以根据对焦范围(焦点值的区间)的大小而实际确定，例如对焦范围越大，则焦点值的数量越多，以提高准确性。多个焦点值的数量可以为奇数个，且多个焦点值中可以包括当前对焦位置对应的焦点值，以提高焦点值划分的准确性。在划分焦点值时，可以取当前对焦位置的焦点值到最大值或者是到最小值的中间值，当然也可以根据其他方式确定焦点值。例如，对焦范围从1-1000，当前拍照时刻的焦点值为500，如果要划分5个焦点值，则可以分别为1、250、500、750、1000。

焦点队列可以由多个焦点值组成，且焦点值的数量对应的参考图像可以形成焦点队列。例如，划分的多个焦点值的数量为M，则对应得到焦点队列M。每个焦点值可以对应一张具体的照片(参考图像)，例如每个焦点值对应照片M

在步骤S320中，对所述焦点队列关联的参考图像进行图像分割，得到所述参考图像对应的多个图像子区域。

本公开实施例中，在设置焦点队列之后，可以基于焦点队列M对每一个焦点值的参考图像进行分割，将每一个参考图像分割成多个图像子区域，图像子区域的数量可以用N表示，且多个图像子区域的大小可以相同或者是不同。由于每一个参考图像均划分为多个图像子区域，因此针对每一个图像子区域，均对应M个参考图像。即，划分的结果为：存在N个图像子区域，且每个图像子区域均对应M个参考图像。

图像分割指的是将一个图像划分为多个子区域的过程，每个参考图像的图像分割方式相同，以保持一致性。具体而言，可以按照图像分割算法来对每一个参考图像进行分割。图像分割算法例如可以为基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法、基于深度学习的分割方法中的任意一种。例如，可以确定一个合适的阈值，将大于等于阈值的像素作为物体或背景，生成一个二值图像，从而实现图像分割。

除此之外，也可以按照分割目的进行划分，例如语义分割，即分类出每一块区域的语义(即这块区域是什么物体)，确定物体的类别。进一步将不同分属不同物体的像素区域分开。具体可以对每个参考图像进行场景检测，以得到参考图像的哪些像素属于哪些物体的场景检测结果，即识别物体类型。例如区域A属于猫、区域B属于人等等。接下来，可以根据场景检测结果(识别到的物体类型)，将属于同一类型的物体划分到一个区域，从而对每个参考图像进行图像分割，以将其划分为多个图像子区域。

在步骤S330中，根据所述参考图像对应的所述多个图像子区域的清晰度确定清晰度图像。

本公开实施例中，清晰度可以用于描述图像质量，且清晰度与图像质量正相关，即清晰度越高，图像质量越高。同一个参考图像，每个图像子区域的清晰度可以相同或不同，此处不作具体限定。清晰度图像用于衡量拍照图像的清晰度的数值，清晰度图像可以在拍照操作的过程中来确定。清晰度图像指的是对每个参考图像，根据每个图像子区域的清晰度共同确定的用于表示清晰度的指标，其具体可以为清晰度列表或者是清晰度集合或者是其他内容来表示。清晰度图像用于将图像子区域以及参考图像进行综合显示，以便于后续图像处理。

图6示意性示出了确定清晰度图像的流程图，参考图6中所示，主要包括步骤S610至步骤S630，其中：

在步骤S610中，计算参考图像在每个图像子区域的清晰度。

本步骤中，可以根据每个参考图像中每个图像子区域的目标像素点以及目标像素点的相邻像素点来计算每个图像子区域的清晰度。目标像素点可以为像素点(x,y)，与其对应的相邻像素点可以为像素点(x+1,y)以及像素点(x,y+1)。目标像素点可以为每个图像子区域中的任意一个像素点。基于此，每个分割的图像子区域可以通过能量梯度函数来评测清晰度值。在进行图像处理时，将图像看作二维离散矩阵，利用梯度函数获取图像灰度信息，以此来评判图像清晰度。在离散信号中梯度表现为差分形式。

具体地，可以根据目标像素点的灰度值以及目标像素点的相邻像素点的灰度值进行逻辑运算来计算每个图像子区域的清晰度。将水平方向(x方向)和竖直方向(y方向)的相邻像素的灰度值之差的平方和作为每个像素点的梯度值，对所有像素梯度值累加得到清晰度评价函数值，计算清晰度的公式可以为公式(1)所示：

D(f)＝∑

其中，表示图像f对应的目标像素点(x,y)的灰度值，为图像子区域的清晰度计算结果。每个图像子区域的清晰度的计算过程均相同，此处不再赘述。

除此之外，也可以通过其他梯度函数来计算每个图像子区域的清晰度，其他梯度函数例如可以为拉普拉斯函数等等，此处不作具体限定。

在步骤S620中，根据所述清晰度从多个参考图像中获取与每个图像子区域对应的清晰度最大的参考图像。

本步骤中，计算了位于每一个图像子区域的所有参考图像的清晰度。进一步可以根据清晰度从大到小的顺序，从每一个图像子区域的维度对多个参考图像进行排序。例如，图像子区域N

在确定每个图像子区域的多个参考图像的排列顺序后，可以筛选出每个图像子区域的清晰度最大的参考图像，同时记录每一个图像子区域的参考图像的排列顺序。每个图像子区域对应的清晰度最大的参考图像可以相同或者是不同，且多个图像子区域的清晰度最大的参考图像可以未完全覆盖所有的参考图像。

在步骤S630中，对每个图像子区域对应的清晰度最大的参考图像进行组合，得到清晰度图像列表，并将所述清晰度图像列表确定为所述清晰度图像。

本步骤中，在得到每个图像子区域的清晰度之后，可以对每个参考图像的每个图像子区域的清晰度进行组合，以得到清晰度图像。每一个图像子区域都存在一个清晰度最大的参考图像，可以获取该清晰度最大的参考图像的编号。例如，图像子区域N

图7中示意性示出了清晰度图像的示意图，参考图7中所示，分割的图像子区域为4，焦点队列为5的清晰度列表，其中图像子区域N

综上所述，拍照过程中，得到的结果包括当前对焦位置的焦点值所形成的拍照图像，以及清晰度图像，以便于后续进行处理。通过图像分割将多个焦点值对应的参考图像划分为多个图像子区域的方式，对每个图像子区域通过能量梯度函数来评测图像子区域的清晰度数值。对整幅图像，维护一个清晰度图像表示的标准图像用来记录图像子区域的清晰度值，用户点击区域获取到的子区域就是当前最优的子区域，能够提高便捷性和获取图像的准确性。

继续参考图3中所示，在步骤S340中，基于用户选择区域对所述清晰度图像进行查找来确定候选图像，对所述候选图像在所述用户选择区域之外的其他区域的图像进行虚化得到虚化图像，并根据所述用户选择区域的图像和所述虚化图像得到目标图像。

本公开实施例中，用户选择区域指的是点击操作的触控点在拍照图像上的区域，且每次点击操作可以确定一个用户选择区域。在拍照图像中，除了点击操作所确定的用户选择区域之外，未接收到点击操作的区域均属于其他区域。拍照图像可以为拍照操作中自动对焦生成的图像。点击操作指的是在拍照操作完成之后，在查看图像或者是处理图像的过程中，用户对拍照操作对应的拍照图像的任意位置的触控操作。

图8中示意性示出了确定用户选择区域的图像的流程图，参考图8中所示，主要包括步骤S810至步骤S830，其中：

在步骤S810中，响应于点击操作确定所述用户选择区域，并确定所述用户选择区域所属的图像子区域；所述点击操作作用于所述拍照操作得到的拍照图像。

本步骤中，用户选择区域可以根据点击操作的触控点所在的区域而确定。例如，点击操作的触控点A所在的预设区域即为用户选择区域。预设区域可以为包含触控点的整个区域。由于触控点的位置与图像子区域之间存在对应关系，因此可以根据该对应关系来确定用户选择区域所属的图像子区域。例如，点击操作的触控点在图像子区域N

在步骤S820中，从所述清晰度图像包含的所有清晰度最大的参考图像中，确定所述用户选择区域对应的清晰度最大的参考图像，以确定所述候选图像。

本步骤中，清晰度图像中可以包括每个图像子区域的清晰度最大的参考图像，相当于一个索引。由于已经确定了用户选择区域所属的图像子区域，因此可以对用户选择区域所属的图像子区域以及清晰度图像进行匹配，通过对清晰度图像进行查找得到用户选择区域对应的清晰度最大的参考图像。进一步地，可以将用户选择区域对应的清晰度最大的参考图像作为选择出来的候选图像。候选图像指的是可以用于向用户进行展示的图像，是最终形成的目标图像的基础。并且，候选图像可以包括用户选择区域以及其他区域，即可以显示在用户选择区域以及其他区域中。例如，点击操作的触控点在图像子区域N

在步骤S830中，根据所述图像子区域的清晰度确定所述用户选择区域的待选图像，并对所述候选图像和所述待选图像进行融合处理。

本公开实施例中，待选图像可以为每个图像子区域的清晰度满足预设条件的参考图像。清晰度满足预设条件可以为清晰度与最大清晰度相邻且小于最大清晰度，即每个图像子区域对应的排列第二的清晰度。例如，用户选择区域为图像子区域N

进一步地，可以对用户选择区域的图像进行融合处理，具体可以将候选图像在用户选择区域的部分和待选图像进行融合，以得到一个融合图像作为用户选择区域的图像。在对候选图像和待选图像进行融合时，可以将二者的像素进行平均处理以得到融合图像，也可以通过其他方式进行融合，此处不做具体限定。

图8中的技术方案，通过将清晰度图像中清晰度最高的参考图像与待选图像进行融合而得到用户选择区域的图像，能够在确定要展示的图像后对用户选择区域进行二次图像处理，能够提升用户选择区域的表现力，提高用户选择区域的图像质量。

除此之外，还可以对候选图像在用户选择区域之外的其他区域的图像进行虚化得到虚化图像。图9中示意性示出了对其他区域的图像进行虚化的流程图，参考图9中所示，主要包括以下步骤：

在步骤S910中，获取所述候选图像处于所述其他区域的虚化程度。

本步骤中，在确定候选图像后，要展示给用户的图像则不会发生变化。因此可以确定该候选图像在每一个子区域的展示状态。在将候选图像划分为用户选择区域和其他区域之后，可以对该候选图像在其他区域的图像进行虚化处理，以实现渐进虚化的效果。

具体而言，可以确定其他区域的虚化程度，不同其他区域对应的虚化程度可以相同或者是不同，其他区域可以包括一个或者是多个，具体根据划分的区域的数量而确定。本公开实施例中，可以根据其他区域到用户选择区域之间的距离而确定虚化程度，并且每个其他区域的虚化程度可以和距离正相关，即距离越近，虚化程度越弱。

除此之外，虚化程度也可以根据其他方式来确定。例如，可以根据清晰度来确定虚化程度，清晰度越高，虚化程度越小等等。

在步骤S920中，根据所述虚化程度对所述候选图像在所述其他区域的图像进行虚化处理，以确定所述虚化图像。

本步骤中，在得到虚化程度之后，可以按照每个其他区域对应的虚化程度，对候选图像处于该其他区域的图像进行虚化处理，以得到其他区域对应的虚化图像作为其他区域最终要显示的图像。

图9中的技术方案，由于虚化程度根据其他区域到用户选择区域的距离而确定，因此能够准确地进行虚化，且能够对该候选图像在用户选择区域之外的其他区域的部分进行虚化，避免了虚化过程中对图像的遗漏问题，提高了全面性和完整性。由于直接对候选图像在用户选择区域之外的其他区域进行虚化处理，避免了在特征不明显的场景中由于深度图的影响而无法确定需要进行虚化的部分以及需要进行虚化的区域的问题，减小了对算法的计算结果的依赖性，由于可以准确地确定需要虚化的图像以及需要虚化的区域，从而可以提高虚化效果，提高了图像质量。

在得到用户选择区域的图像以及其他区域的虚化图像之后，可以将用户选择区域的图像以及虚化图像进行组合，从而得到完整的目标图像，以供用户查看或者是进行其他操作。对用户选择区域的图像，通过图像融合提升表现力，非选定的其他区域，采用渐进虚化方案提升图像虚化体验，能够实现不同区域进行不同方式的处理，进而提高图像的准确性和图像质量。

图10示意性示出了拍照过程的流程图，参考图10中所示，主要包括以下步骤：

在步骤S1001中，用户点击进行拍照。

在步骤S1002中，获取当前对焦位置，参照当前对焦位置、对焦范围的最大值和最小值，确定焦点队列的不同焦点值。

在步骤S1003中，根据图像分割算法对多个参考图像进行分割，得到每个参考图像对应的多个图像子区域。

在步骤S1004中，计算每个参考图像在每个图像子区域的清晰度。

在步骤S1005中，对每一个图像子区域，在多个参考图像中得到清晰度最大的参考图像的编号。

在步骤S1006中，将每个图像子区域的清晰度最大的图像组合成清晰度图像。

在步骤S1007中，多个参考图像组合成一张图像，将清晰度图像以及拍照图像关联，以供查询时使用。

通过图10中的技术方案，能够在拍照过程中通过确定多个焦点值以及进行图像分割得到多个图像子区域，进而根据清晰度确定由每个图像子区域的清晰度最大的参考图像得到的清晰度图像，提高了确定清晰度图像的准确性。

图11中示意性示出了用户查看图像的流程图，参考图11中所示，主要包括以下步骤：

在步骤S1101中，用户查看拍照图像。

在步骤S1102中，通过点击操作确定用户选择区域。如果没有检测到用户对拍照图像的点击操作，则使用当前对焦位置拍摄的图像进行显示，即显示拍照图像。

在步骤S1103中，查询清晰度图像，以确定用户选择区域对应的清晰度最大的参考图像。

在步骤S1104中，获取最优子区域，即获取用户选择区域的清晰度最大的参考图像。

在步骤S1105中，获取次优子区域，即获取用户选择区域的清晰度满足预设条件的参考图像。

在步骤S1106中，进行图像融合，确定用户选择区域的图像。

在步骤S1107中，显示用户选择区域的图像，其他区域通过渐进虚化的方式进行虚化。

本公开实施例中的技术方案，相比于单目虚化，可消除由于手动抖动带来的虚化效果差的问题，相比于双目虚化，可通过单颗摄像头就可以实现类似虚化效果，节约成本。此方案可自动计算对焦位置，故流程上可去除拍照时的相机对焦动作，节约拍照时对焦算法带来的计算时延和降低算法运行时相机功耗。可在单帧上实现多区域的虚化，相比于传统的单目虚化和双目虚化，只能对主体区域进行虚化，主体区域外则不能实现单帧的虚化，避免了虚化遗漏的问题，增加了虚化范围，实现了全面性和完整性。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

图12示意性示出了本公开的示例性实施方式的图像处理装置的方框图。参考图12所示，根据本公开的示例性实施方式的图像处理装置1200可以包括以下模块：

焦点队列确定模块1201，用于确定当前对焦位置的焦点队列；

区域划分模块1202，用于对所述焦点队列关联的参考图像进行图像分割，得到所述参考图像对应的多个图像子区域；

清晰度图像确定模块1203，用于根据所述参考图像对应的所述多个图像子区域的清晰度确定清晰度图像；

图像区域处理模块1204，用于基于用户选择区域对所述清晰度图像进行查找来确定候选图像，对所述候选图像在所述用户选择区域之外的其他区域的图像进行虚化得到虚化图像，并根据所述用户选择区域的图像和所述虚化图像得到目标图像。

在本公开的一种示例性实施例中，焦点队列确定模块包括：焦点值划分模块，用于根据所述当前对焦位置、对焦范围的最大值以及所述对焦范围的最小值，确定多个焦点值；所述多个焦点值中包括所述当前对焦位置对应的焦点值；队列确定模块，用于根据所述多个焦点值的数量确定所述焦点队列。

在本公开的一种示例性实施例中，区域划分模块包括：场景检测模块，用于将参考图像进行场景检测，得到场景检测结果；分割控制模块，用于根据所述场景检测结果，对所述参考图像进行图像分割，得到所述所述参考图像对应的多个图像子区域。

在本公开的一种示例性实施例中，清晰度图像确定模块包括：清晰度计算模块，用于计算参考图像在每个图像子区域的清晰度；参考图像确定模块，用于根据所述清晰度从多个参考图像中获取与每个图像子区域对应的清晰度最大的参考图像；列表确定模块，用于对每个图像子区域对应的清晰度最大的参考图像进行组合，得到清晰度图像列表，并将所述清晰度图像列表确定为所述清晰度图像。

在本公开的一种示例性实施例中，清晰度计算模块被配置为：根据参考图像中每个图像子区域的目标像素点的灰度值，以及所述目标像素点的相邻像素点的灰度值，计算所述参考图像在所述每个图像子区域的所述清晰度。

在本公开的一种示例性实施例中，图像区域处理包括：用户选择区域确定模块，用于响应于点击操作确定所述用户选择区域，并确定所述用户选择区域所属的图像子区域；所述点击操作作用于所述拍照操作得到的拍照图像的候选图像确定模块，用于从所述清晰度图像包含的所有图像子区域的清晰度最大的参考图像中，确定所述用户选择区域对应的清晰度最大的参考图像，以确定所述候选图像；融合处理模块，用于根据所述图像子区域的清晰度确定所述用户选择区域的待选图像，并对所述候选图像和所述待选图像进行融合处理。

在本公开的一种示例性实施例中，融合处理模块包括：待选图像确定模块，用于根据所述图像子区域的清晰度的排列顺序，确定所述待选图像；图像确定模块，用于对所述候选图像和所述待选图像的像素值进行平均处理。

在本公开的一种示例性实施例中，图像区域处理模块包括：虚化程度确定模块，用于获取所述候选图像处于所述其他区域的虚化程度；虚化处理模块，用于根据所述虚化程度对所述候选图像在所述其他区域的图像进行虚化处理，以确定所述虚化图像。

在本公开的一种示例性实施例中，虚化程度确定模块被配置为：按照所述其他区域到所述用户选择区域之间的距离，确定所述候选图像在所述其他区域的虚化程度，所述虚化程度与所述距离正相关。

需要说明的是，由于本公开实施方式的图像处理装置的各个功能模块与上述图像处理方法的实施方式中相同，因此在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。