图像预览方法、装置、终端设备及可读存储介质

技术领域

本公开涉及图像处理领域，尤其涉及一种图像预览方法、装置、终端设备及可读存储介质。

背景技术

在手持终端设备拍摄的过程中，可能会因为终端设备抖动，导致拍摄出来的画面不够清晰，发生重影或模糊的情况。相关技术中，可以通过光学防抖技术(Optical ImageStabilization，OIS)或者电子防抖技术(Optical Image Stabilization，EIS)来提升拍摄质量，改善因抖动导致的重影或模糊问题。

在高变焦倍率下的拍摄预览场景，画面重影或模糊问题更为严重。而相关技术中的防抖技术，对高变焦倍率场景下的画面质量改善效果不好。

发明内容

为克服相关技术中存在的问题，本公开提供一种图像预览方法、装置、终端设备及可读存储介质。

根据本公开实施例的第一方面，提出了一种图像预览方法，应用于终端设备，方法包括：

获取初始图像；其中，所述初始图像为：当前变焦倍率下，摄像模组的传感器采集的图像；

获取当前变焦倍率下的参考预览图像；

根据所述参考预览图像与所述初始图像之间的非重叠区域，对所述参考预览图像进行防抖补偿；

根据补偿后的所述参考预览图像，在取景框显示目标预览图像。

在一些实施例中，所述根据所述参考预览图像与所述初始图像之间的非重叠区域，对所述参考预览图像进行防抖补偿，包括：

获取初始图像对应的初级裁切图像；

根据所述参考预览图像与所述初级裁切图像之间的全部非重叠区域，对所述参考预览图像进行防抖补偿。

在一些实施例中，所述获取初始图像的初级裁切图像，包括：

控制第一裁切单元对所述初始图像初级裁切，获取所述初级裁切图像。

在一些实施例中，所述获取当前变焦倍率下的参考预览图像，包括：

根据所述当前变焦倍率，确定对应的参考预览图像的图像信息；

根据所述图像信息和所述初级裁切图像，确定二级裁切的裁切信息；

根据所述裁切信息对所述初级裁切图像裁切，获得所述参考预览图像。

在一些实施例中，所述根据所述裁切信息对所述初级裁切图像裁切，获得所述参考预览图像，包括：

根据所述裁切信息，控制第二裁切单元对所述初级裁切图像二级裁切；

获取二级裁切后的所述参考预览图像。

在一些实施例中，所述方法包括：

根据用户的操作指令，确定对应的所述当前变焦倍率。

根据本公开实施例的第二方面，提出了一种图像预览装置，应用于终端设备，装置包括：

第一获取模块，用于获取初始图像；其中，所述初始图像为：当前变焦倍率下，摄像模组的传感器采集的图像；

第二获取模块，用于获取当前变焦倍率下的参考预览图像；

补偿模块，用于根据所述参考预览图像与所述初始图像之间的非重叠区域，对所述参考预览图像进行防抖补偿；

显示模块，用于根据补偿后的所述参考预览图像，在取景框显示目标预览图像。

在一些实施例中，所述补偿模块用于：

获取初始图像对应的初级裁切图像；

根据所述参考预览图像与所述初级裁切图像之间的全部非重叠区域，对所述参考预览图像进行防抖补偿。

在一些实施例中，所述补偿模块用于：

控制第一裁切单元对所述初始图像初级裁切，获取所述初级裁切图像。

在一些实施例中，所述补偿模块用于：

根据所述当前变焦倍率，确定对应的参考预览图像的图像信息；

根据所述图像信息和所述初级裁切图像，确定二级裁切的裁切信息；

根据所述裁切信息对所述初级裁切图像裁切，获得所述参考预览图像。

在一些实施例中，所述补偿模块用于：

根据所述裁切信息，控制第二裁切单元对所述初级裁切图像二级裁切；

获取二级裁切后的所述参考预览图像。

在一些实施例中，所述装置包括：

确定模块，用于根据用户的操作指令，确定对应的所述当前变焦倍率。

根据本公开实施例的第三方面，提出了一种终端设备，包括：

处理器；

用于存储处理器的可执行指令的存储器；

其中，所述处理器被配置为执行如上任一项所述的图像预览方法。

根据本公开实施例的第四方面，提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行如上任一项所述的图像预览方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开的方法中，根据当前变焦倍率下的参考预览图像与初始图像之间的非重叠区域，对参考预览图像进行防抖补偿，有效扩大EIS补偿算法的像素补偿数据。EIS所能提取的图像特征更充分，从而有效提升EIS补偿的准确性，防抖效果更好、画质更清晰。并且不同的变焦倍率下，所对应的参考预览图像有所不同，用于防抖补偿的余量也是动态变化的，更利于适应于不同变焦倍率下预览图像的补偿。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的方法的流程图。

图2是根据一示例性实施例示出的方法的流程图。

图3是根据一示例性实施例示出的方法的流程图。

图4是根据一示例性实施例示出的方法的流程图。

图5是根据一示例性实施例示出的方法的流程图。

图6是根据一示例性实施例示出的图像处理系统的结构示意图。

图7是根据一示例性实施例示出的装置的框图。

图8是根据一示例性实施例示出的装置的框图。

图9是根据一示例性实施例示出的终端设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

相关技术中，当需要拍摄远景物体时，往往需要变焦(zoom)至高变焦倍率下进行预览，直至物体稳定后再进行拍摄。在高变焦倍率如15倍(15×)预览时，由于过大的数字变焦以及物理抖动原因，用户感知画面抖动、模糊不清的问题会更加明显，从而影响用户的主观感受和视觉体验。

相关技术中的两种防抖技术至少存在如下问题：

第一，光学防抖技术(OIS)：

OIS技术通过在镜头结构上做硬件改进，在镜头内部加装可以向多个方向移动的微型马达。在感知到镜头抖动时，驱动微型马达带动传感器进行反向运动补偿，抵消镜头抖动，从而达到稳定图像画面的目的。

相关技术的OIS技术中，受到终端设备空间的限制，相对于拍摄近景的防抖效果更好，而拍摄远景时抖动方向和角度更多变，因此OIS防抖效果不佳。

第二，电子防抖技术(EIS)：

EIS技术通过固定余量的图像画面进行算法补偿。对于不同的变焦倍率，均是采用其相同倍率下的固定余量进行像素补偿。比如，任一倍率下最终预览时画面是x×y，采用其1.25倍率的固定余量进行像素补偿，即固定余量为：(x×1.25)×(y×1.25)。1.25x×1.25y与x×y中心重叠后的非重叠部分用以进行像素补偿。

相关技术的EIS技术中，固定余量的补偿方法适用于变焦倍率较小的视频拍摄场景，变焦倍率较大的拍照场景时，固定余量的算法补偿误差大，仍会造成模糊及画质损失。

本公开实施例提出了一种图像预览方法，包括：获取初始图像；其中，初始图像为：当前变焦倍率下，摄像模组的传感器采集的图像；获取当前变焦倍率下的参考预览图像；根据参考预览图像与初始图像之间的非重叠区域，对参考预览图像进行防抖补偿；根据补偿后的参考预览图像，在取景框显示目标预览图像。本公开的方法中，根据当前变焦倍率下的参考预览图像与初始图像之间的非重叠区域，对参考预览图像进行防抖补偿，有效扩大EIS补偿算法的像素补偿数据。EIS所能提取的图像特征更充分，从而有效提升EIS补偿的准确性，防抖效果更好、画质更清晰。并且不同的变焦倍率下，所对应的参考预览图像有所不同，用于防抖补偿的余量也是动态变化的，更利于适应于不同变焦倍率下预览图像的补偿。

在一个示例性的实施例中，本实施例的图像预览方法，应用于终端设备。其中，终端设备比如可以是手机、平板电脑、智能穿戴设备等具有摄像功能的电子设备。

如图1所示，本实施例的方法可以包括如下步骤：

S110、获取初始图像。

S120、获取当前变焦倍率下的参考预览图像。

S130、根据参考预览图像与初始图像之间的非重叠区域，对参考预览图像进行防抖补偿。

S140、根据补偿后的参考预览图像，在取景框显示目标预览图像。

其中，在步骤S110中，本实施例中适用于高变焦倍率场景下的拍摄预览，高变焦倍率比如可以包括：15×、20×或50×等。当前变焦倍率(ZoomRatio)指当前拍摄所处的高变焦倍率。

初始图像为：当前变焦倍率下，摄像模组的传感器采集的图像。摄像模组的传感器(Sensor)可以是互补金属氧化物半导体(CMOS)或电荷耦合元件(CCD)。结合本公开实施例的应用场景，本公开实施例中的摄像模组指长焦镜头。

本步骤中，对于相同的镜头而言，在不同变焦倍率下的初始图像是相同的，是传感器的原始出图尺寸，与传感器的性能有关。比如，本实施例中传感器输出的初始图像视场(FOV)大小满足：4096×3072。

在步骤S120中，终端设备中或相机程序中可预存有：不同的变焦倍率与参考预览图像的图像信息的对应关系。当终端设备的处理器确定当前变焦倍率后，可根据对应关系查询确定当前变焦倍率对应的参考预览图像的图像信息，图像信息可以包括视场大小。

比如，当前变焦倍率为15×，其对应的参考预览图像的视场大小满足：520×390。参考预览图像的视场大小可以表征：当前变焦倍率下，用户视觉最终感知的视场范围。

在步骤S130中，防抖补偿比如是电子防抖补偿(EIS)。本步骤可以包括如下两种示例：

在第一个示例中：

初始图像4096×3072与参考预览图像(IPECrop)520×390之间的全部非重叠区域均可以作为EIS的余量补偿区。结合图6所示，以及结合传感器输出的初始图像至为用户呈现的预览图像之间都会经过裁切的特点，本示例中的裁切工作将都在第二裁切单元(IPE)处进行，而第一裁切单元不进行裁切处理。

在第二个示例中：

如图2所示，本示例中步骤S130可以包括如下步骤：

S131、获取初始图像对应的初级裁切图像。本步骤中，初级裁切图像是指初始图像经过第一次裁切后的图像。第一次裁切由第一裁切单元执行，此次裁切的尺寸是相对固定的。比如，对于初始图像的视场大小4096×3072而言，其初级裁切图像的视场大小满足：1440×1080。

S132、根据参考预览图像与初级裁切图像之间的全部非重叠区域，对参考预览图像进行防抖补偿。本步骤中，如图6所示，参考预览图像(IPECrop)103与初级裁切图像(IFECrop)102的中心重叠之后，处理器控制以二者之间的全部非重叠区域均可以作为EIS的余量补偿区，对参考预览图像进行EIS补偿。

结合上述两种示例，本步骤S130中的余量补偿区相较于相关技术均变大，其中，第一个示例中的余量补偿区大于第二个示例中的余量补偿区，图像数据浪费更少，但是第二个示例中EIS补偿效果更好。

本步骤中，EIS涉及的软件算法比如可以包括：深度学习的卷积方法(deconvmethod)、基础陀螺法(base gyro method)、特征提取法(feature method)等。处理器在控制进行EIS时，可首先获取终端设备陀螺仪等传感器检测的抖动数据，根据抖动数据结合非重叠区域的图像内容，对参考预览图像进行反向补偿。

在步骤S140中，对于EIS补偿后的参考预览图像，处理器可进行相关处理后得到目标预览图像，控制在取景框显示目标预览图像。比如目标预览图像与参考预览图像的视场大小相同，尺寸有所差异。

例如，参考预览图像的视场大小满足：520×390，但在显示预览过程中，结合图6所示，可对参考预览图像(IPECrop)103进行升级处理(IPEUpscale)，视场大小不变、放大尺寸，得到目标预览图像(Preview)104。

本公开实施例中，根据初始图像与参考预览图像确定的非重叠区域较大，以较大区域的像素数据对参考预览图像进行EIS补偿，可以实现图像余量的充分利用。并且余量补偿区变大，EIS中图像算法所能应用的数据越大，所能提取的图像特征越多。EIS根据参考预览图像与初始图像或初级裁切图像计算的相对位移差会更准确，防抖补偿将会更好。有效减少画质损失，并改善模糊的现象。

在一个示例性的实施例中，本实施例的方法可以包括如图1所示的步骤S110至步骤S140。其中，步骤S130包括如图2所示的步骤S131至步骤S132，如图3所示，本实施例中步骤S131可以包括如下步骤：

S1311、控制第一裁切单元对初始图像初级裁切，获取初级裁切图像。

本步骤中，第一裁切单元可以是IFE裁切单元，第一裁切单元与终端设备的图像处理器(GPU)通信连接。结合图6所示，传感器与第一裁切单元连接，传感器采集的初始图像101输出至第一裁切单元，第一裁切单元对初始图像101进行初级裁切。

本步骤中，第一裁切单元的裁切能力是相对固定的，仅用于得到初级裁切图像102。

比如，初始图像的视场大小满足4096×3072时，第一裁切单元对输入的初始图像，输出的初级裁切图像的视场大小始终满足：1440×1080。

在一个示例性的实施例中，本实施例的方法可以包括如图1所示的步骤S110至步骤S140。其中，步骤S130包括如图2所示的步骤S131至步骤S132。如图4所示，本实施例中步骤S120可以包括如下步骤：

S1201、根据当前变焦倍率，确定对应的参考预览图像的图像信息。

S1202、根据图像信息和初级裁切图像，确定二级裁切的裁切信息。

S1203、根据裁切信息对初级裁切图像裁切，获得参考预览图像。

其中，在步骤S1201中，结合图1对应实施例中步骤S120的实施方式，终端设备中可预存有：不同的变焦倍率与参考预览图像的图像信息的对应关系。当终端设备的处理器确定当前变焦倍率后，可根据对应关系确定参考预览图像的图像信息，图像信息可以包括视场大小。

比如，当前变焦倍率为15×，其对应的参考预览图像的视场大小满足：520×390。

在步骤S1202中，参考预览图像是初始图像经过两次裁切后得到的图像。二级裁切的裁切信息可以是：二级裁切的裁切比例。本实施例中的裁切信息为高倍率下只开长焦镜头时，对应的数字变焦的裁切信息。

本步骤中，处理器可以调用多摄平滑切换算法(SAT)计算确定二级裁切的裁切比例。在计算过程中，根据初始图像以及初级裁切获得的初级裁切图像，可获知初级裁切的裁切比例。而根据初级裁切的裁切比例，以及参考预览图像的图像信息，可以确定二级裁切的裁切比例。

比如，当前变焦倍率为15×时，初始图像的视场大小满足4096×3072，经过初级裁切的初级裁切图像的视场大小满足：1440×1080。初级裁切的裁切比例约为3倍(3×)。若将初级裁切图像的1440×1080裁切为参考预览图像的520×390，则二级裁切的裁切比例约为5倍(5×)。

在步骤S1203中，根据二级裁切的裁切比例对初级裁切图像进行裁切，以获得参考预览图像。

在一个示例性的实施例中，本实施例的方法可以包括如图1所示的步骤S110至步骤S140。其中，步骤S130包括如图2所示的步骤S131至步骤S132。步骤S120可以包括如图4所示的步骤S1201至步骤S1203。

如图5所示，本实施例中，步骤S1203可以包括如下步骤：

S1203-1、根据裁切信息，控制第二裁切单元对初级裁切图像二级裁切。

S1203-2、获取二级裁切后的参考预览图像。

其中，在步骤S1203-1中，第二裁切单元可以是IPE裁切单元，第二裁切单元与图像处理器通信连接。结合图6所示，传感器、第一裁切单元和第二裁切单元依次连接。传感器采集的初始图像101输出至第一裁切单元，第一裁切单元对初始图像101进行初级裁切得到初级裁切图像(IFECrop)102。初级裁切图像(IFECrop)102输出至第二裁切单元，第二裁切单元进行二次裁切得到参考预览图像(IPECrop)103。

在步骤S1203-2中，处理器或相机程序可获取参考预览图像。

在一个示例性的实施例中，本实施例的方法可以包括如图1所示的步骤S110至步骤S140。本实施例中的方法还可以包括如下步骤：

S100、根据操作指令，确定对应的当前变焦倍率。

本步骤中，可以是在步骤S110之前执行的。用户的操作指令包括：在相机程序界面内，手指zoom的长度、或者手指对变焦条的点击。处理器你根据操作指令，可以获知用户指定的当前变焦倍率。

本公开实施例中，随着用户的指令可获知对应的变焦倍率，而随着变焦倍率的变化，参考预览图像也会不同，对应的EIS的余量补偿区也会动态变化。从而终端设备可以动态的发挥不同变焦倍率下，非重叠区域的像素补偿能力，实现更佳的防抖效果，提升画质质量。并且，本实施例中是对EIS软件算法的输入数据的优化，不增加硬件成本。

在一个示例性的实施例中，本公开实施例还提出了一种图像预览装置，应用于终端设备，用以实现上述实施例中的图像预览方法。如图7所示，本实施例的装置包括：第一获取模块110、第二获取模块120、补偿模块130以及显示模块140。其中，第一获取模块110用于获取初始图像；其中，初始图像为：当前变焦倍率下，摄像模组的传感器采集的图像。第二获取模块120用于获取当前变焦倍率下的参考预览图像。补偿模块130用于根据参考预览图像与初始图像之间的非重叠区域，对参考预览图像进行防抖补偿。显示模块140用于根据补偿后的参考预览图像，在取景框显示目标预览图像。

如图8所示，本实施例中的装置包括：确定模块100，用于根据用户的操作指令，确定对应的当前变焦倍率。

在一个示例性的实施例中，依旧参照图7所示，本实施例的装置包括：第一获取模块110、第二获取模块120、补偿模块130以及显示模块140。其中，补偿模块130用于：获取初始图像对应的初级裁切图像；根据参考预览图像与初级裁切图像之间的全部非重叠区域，对参考预览图像进行防抖补偿。

本实施例中，补偿模块130用于：控制第一裁切单元对初始图像初级裁切，获取初级裁切图像。

本实施例中，补偿模块130用于：根据当前变焦倍率，确定对应的参考预览图像的图像信息；根据图像信息和初级裁切图像，确定二级裁切的裁切信息；根据裁切信息对初级裁切图像裁切，获得参考预览图像。

本实施例中，补偿模块130用于：根据裁切信息，控制第二裁切单元对初级裁切图像二级裁切；获取二级裁切后的参考预览图像。

如图9所示是一种终端设备的框图。本公开还提供了一种终端设备，例如，设备500可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

设备500可以包括以下一个或多个组件：处理组件502，存储器504，电力组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。

处理组件502通常控制设备500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504被配置为存储各种类型的数据以支持在设备500的操作。这些数据的示例包括用于在设备500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件506为设备500的各种组件提供电力。电力组件506可以包括电源管理系统，一个或多个电源，及其他与为装置500生成、管理和分配电力相关联的组件。

多媒体组件508包括在设备500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当设备500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当设备500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为设备500提供各个方面的状态评估。例如，传感器组件514可以检测到设备500的打开/关闭状态，组件的相对定位，例如组件为设备500的显示器和小键盘，传感器组件514还可以检测设备500或设备500一个组件的位置改变，用户与设备500接触的存在或不存在，设备500方位或加速/减速和装置500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516被配置为便于设备500和其他设备之间有线或无线方式的通信。设备500可以接入基于通信标准的无线网络，如WiFi，4G或5G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的方法。

本公开另一个示例性实施例中提供的一种非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由设备500的处理器520执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。当存储介质中的指令由终端设备的处理器执行时，使得终端设备能够执行上述的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。