用于获得超微距图像的系统

本申请为申请号202180002905.0(PCT申请号为PCT/IB2021/054186)、申请日2021年05月15日、发明名称“用于获得超微距图像的系统和方法”的分案申请。

关联申请案的交叉引用

本申请要求以下美国临时专利申请案的优先权：2020年5月30日提交的第63/032,576号、2020年8月26日提交的第63/070,501号、2020年11月5日提交的第63/110,057号、2020年12月1日提交的第63/119,853号、2020年12月1日提交的第63/119,853号、2021年3月22日提交的第63/164,187号、2021年4月11日提交的第63/173,446号和2021年4月21日提交的第63/177,427号，所有这些内容均通过引用明确地并入本文。

技术领域

本文公开的主题一般涉及微距图像，尤其涉及使用移动长焦(“Tele”或“T”)相机获得此类图像的方法。

背景技术

多相机(其中具有两个相机的“双相机”就是一个例子)现在是便携式电子移动设备(“移动设备”，例如智能手机、平板电脑等)的标准配置。多相机通常包括一个广角视场(或“角度”)的FOV

“微距摄影(Macro-photography)”模式正在成为一种流行的差异化因素。“微距摄影”是指捕获靠近相机的物体，使图像传感器上记录的图像几乎与实际捕获的物体一样大。物体大小与图像大小的比率是物体对图像的放大率。对于诸如数字单透镜反光相机(DSLR)之类的系统相机，微距图像的定义是具有大约1:1或更大的物体对图像的放大率，例如1:1.1。在移动设备的环境中，此定义是宽松的，因此物体对图像的放大率约为10:1甚至15:1的图像也被称为“微距图像(Macro image)”。已知的移动设备提供微距摄影能力，这通常是通过使用UW相机实现非常近的聚焦来提供的，UW相机具有相对较短的有效焦距(effectivefocal length；EFL)，例如EFL＝2.5mm。

UW相机可以聚焦到微距摄影所需的近距离(例如1.5厘米至15厘米)，但其空间分辨率较差。例如，EFL＝2.5mm的UW相机聚焦到5cm(透镜-物体距离(lens-objectdistance))处的物体时，物体对图像(object-to-image)的放大率约为19:1。这根据薄透镜方程式：

EFL＝2.5mm，物体-透镜的距离v＝2.6mm，物体-透镜的距离u＝50mm。即使聚焦靠近到1.5厘米，UW相机的物体对图像的放大率也将约为5:1。从这些短的物体-透镜的距离(例如u＝5cm或更小)对于用户来说是非常具有挑战性的—例如它可能会使图像的取景变得非常困难，它可能会阻止捕获流行的微距物体，例如活体(例如昆虫)，以及它可能会引入阴影并使场景中的照明变得模糊。

可以使用智能手机的长焦相机实现专用的微距相机。聚焦近距离物体的长焦相机具有非常浅的景深(depth of field；DOF)。因此，在微距摄影模式下捕获微距图像非常具有挑战性。流行的微距物体，例如花朵或昆虫，其深度变化很大，并且无法在单次捕获中全聚焦内(all-in-focus)成像。在移动设备中安装多相机将是有益的，其(i)从更大的透镜-物体的距离(例如3.0-35cm)和(ii)以更大的物体对图像的放大率(例如1:5–25:1)捕获微距图像。

发明内容

在下文中并且为简单起见，术语“UW图像”和“W图像”、“UW相机”和“W相机”、“UWFOV”(或FOV

在各种实施例中，提供了一种系统，包括：广角相机，用于提供至少一个广角图像；长焦相机，包括长焦透镜模块；透镜致动器，用于移动所述长焦透镜模块以聚焦到3.0厘米和35厘米之间的任何距离或一组距离，具有物体对图像的放大率介于1:5和25:1之间；及应用处理器(AP)，配置为分析来自所述广角相机的图像数据，以：定义用于使用所述长焦相机捕获微距图像的序列的捕获策略，其中所述微距图像的序列具有从一个捕获的微距图像转移到另一个捕获的微距图像的聚焦平面(focus plane)；以及从所述序列生成新的微距图像。新的微距图像的聚焦平面和景深可以连续控制。在一些实施例中，连续控制可以是后捕获(post-capture)。

在一些实施例中，长焦相机可以是包括光路折叠元件(optical path foldingelement；OPFE)的折叠长焦相机。在一些实施例中，长焦相机可以是包括两个OPFE的双折叠长焦相机。在一些实施例中，长焦相机可以是包括弹出式透镜的弹出式长焦相机。

在一些实施例中，聚焦可以是3.0至25cm、3.0至15cm、或10至35cm的物体-透镜的距离。

在一些实施例中，长焦相机可具有7至10mm、10至20mm、或20至40mm的EFL。

在一些实施例中，可以在基于来自所捕获的微距图像的信息的微距图像的序列的捕获期间调整长焦捕获策略。

在一些实施例中，来自捕获的微距图像的信息由高斯拉普拉斯算子分析(Laplacian of Gaussian analysis)处理。

在一些实施例中，来自UW相机的图像数据是相位检测自动聚焦(phase detectionauto-focus；PDAF)数据。

在一些实施例中，新的微距图像的生成可以使用UW图像作为参考图像。

在一些实施例中，新的微距图像的生成可以使用UW图像的视频流作为参考图像。

在一些实施例中，AP可以被配置为自动检测所捕获的微距图像的序列中感兴趣的物体(OOI)并在OOI完全聚焦内(in-focus)时生成新的微距图像。

在一些实施例中，AP可以被配置为自动检测UW图像数据中的OOI并在OOI完全聚焦内时生成新的微距图像。

在一些实施例中，AP可以被配置为在输入微距图像的序列中自动检测OOI并在OOI的特定图像片段具有特定量的前向散焦模糊(forward de-focus blur)和特定量的后向散焦模糊(backward de-focus blur)时生成新的微距图像。

在一些实施例中，AP可以被配置为：自动检测UW图像数据中的OOI，以及当所述OOI的特定图像片段具有特定量的前向散焦模糊和特定量的后向散焦模糊时，生成新的广角图像。

在一些实施例中，AP可以被配置为从捕获的微距图像的序列计算深度图并且使用深度图来生成新的微距图像。

在一些实施例中，AP可以被配置为提供具有真实人造闪电场景的新的微距图像。

在一些实施例中，AP可以被配置为分析来自广角相机的图像数据以自动选择物体并定义用于用长焦相机捕获物体的捕获策略。在一些实施例中，可以向用户显示聚焦峰值图(focus peaking map)以选择用长焦相机捕获的物体。

在一些实施例中，AP可以被配置为根据PDAF数据计算深度图并且使用深度图来生成新的微距图像。

在一些实施例中，长焦透镜模块可以包括一个或多个D形切割(D cut)透镜。

在一些实施例中，系统还可以包括用于聚焦到4-15cm的物体-透镜的距离的液体透镜。在一些实施例中，液体透镜的屈光力(power)可以在0-30屈光度的范围内连续改变。在一些实施例中，液体透镜可以位于折叠长焦相机的OPFE的顶侧上。在一些实施例中，液体透镜可以位于折叠长焦相机的OPFE和长焦透镜模块之间。

附图说明

下面参考在此段落之后列出的所附附图描述本文公开的实施例的非限制性示例。附图和描述旨在阐明和阐明本文公开的实施例，并且不应被视为以任何方式进行限制。不同附图中的相同元件可以由相同的数字表示。附图中的元素不一定按比例绘制。

图1A示出了处于长焦透镜状态的折叠长焦透镜和传感器模块的实施例的透视图，其中聚焦在无穷远处；

图1B示出了图1A的长焦透镜和传感器模块在微距透镜状态下聚焦于近物的立体图；

图1C示出了本文公开的处于最小变焦状态的另一连续变焦的长焦透镜和传感器模块的横截面；

图1D示出了图1C的模块处于中间变焦状态；

图1E示出了图1C的模块处于最大变焦状态；

图1F示出了在最小变焦状态下本文公开的又一连续变焦的长焦透镜和传感器模块的截面图；

图1G示出了图1F的模块处于中间变焦状态；

图1H示出了图1F的模块处于最大变焦状态；

图1I示出了本文公开的折叠式长焦相机的实施例；

图1J显示了处于操作或“弹出(pop-out)”状态的弹出式相机；

图1K示出了图1J的弹出式相机处于非操作或“折叠(collapsed)”状态；

图1L以横截面视图示出了本文公开的示例性长焦相机透镜系统处于折叠状态；

图1M示出了图1L的透镜系统处于第一长焦状态，具有第一EFL和第一变焦系数；

图1N示出了图1L的透镜系统处于具有第二EFL和第二变焦因子的第二长焦状态；

图1O示出了图1L的透镜系统处于长焦微距状态，具有第三EFL和第三变焦系数；

图1P以弹出状态的截面图示意性地示出了本文公开的另一示例性长焦相机透镜系统；

图1Q示出了图1P的透镜系统处于第一折叠状态；

图1R示出了图1P的透镜系统处于第二折叠状态；

图1S以弹出状态的截面图示意性地示出了本文公开的又一示例性长焦相机透镜系统；

图1T示出了图1S的透镜系统处于折叠状态；

图1U示意性地示出了超广角FOV和微距FOV之间的双相机输出图像尺寸和比率；

图2A示出了本文公开的具有微距功能的折叠式长焦数码相机的实施例；

图2B示出了本文公开的具有微距功能的折叠式长焦数码相机的另一个实施例；

图2C示出了本文公开的处于第一变焦状态的又一连续变焦的长焦透镜和传感器模块的截面图；

图2D示出了图2C的模块处于第二变焦状态；

图2E示出了图2C的模块处于第三变焦状态；

图3A示出了一个聚焦的点物体，微透镜将物体的光线投射到两个子像素的中心，导致零视差；

图3B示出了来自焦外的图3A的点物体的光线；

图4A示出了捕获本文公开的微距聚焦堆栈(Macro focus stack)的方法；

图4B示出了产生本文所揭示的聚焦堆栈的另一方法；

图5A示出了示例性微距物体和用于捕获微距物体的设置；

图5B示出了图5A的微距设置的输出图；

图5C示出了另一个示例性微距物体和用于捕获微距物体的设置；

图5D示出了图5C的微距设置的输出图；

图6示出了从聚焦堆栈的多个图像生成单个微距图像的方法；

图7示出了图形用户界面(GUI)，用户可以使用所述界面来发送命令以修改输出图像的外观；

图8A展示对称模糊函数；

图8B示出了具有图8A中描述的功能的不对称模糊函数；

图9示出了用于执行本文公开的方法的系统；及

图10示出了示例性双相机。

具体实施方式

具有微距摄影模式的长焦相机可以通过在长焦相机透镜内进行移动来切换到微距状态，从而改变透镜的属性。例如在共同拥有的国际专利申请案第PCT/IB2020/051405号和第PCT/IB2020/058697号中描述了具有这种能力的相机。例如，在第PCT/IB2020/051405号中的图19A和19B示出了两种折叠的长焦相机状态：一种具有长焦透镜处于第一“长焦透镜(Tele lens)”状态，而另一种具有处于第二“微距透镜(Macro lens)”状态的长焦透镜。由于长焦相机的EFL较大，并且图像传感器的图像区域在微距模式下比在长焦模式下更小，因此“微距透镜”状态可能会带有像下面的FOV 198这样的小微距FOV。

在下文中，如果图像同时满足这两个标准，则称为“微距图像(Macro images)”：

1:5-25:1的物体对图像的放大率；及

使用EFL范围为7mm-40mm的相机在30mm-350mm范围内的物体-透镜的距离处捕获(capture)。

图1A和1B示意性地示出了本文公开并编号为100的折叠长焦透镜和传感器模块的实施例。图1A示出了从顶部透视图聚焦在无限远的长焦透镜状态下的模块100，以及图1B示出了在具有最大物体对图像的放大率(M

模块100还包括第一透镜组(G1)104、第二透镜组(G2)106和第三透镜组(G3)108、模块外壳102和图像传感器110。在此实施例中，透镜组104、106和108固定耦合，即透镜组之间的距离不改变。透镜组104、106和108可以一起形成具有EFL＝13mm的透镜。透镜组104、106和108共享透镜光轴112。为了聚焦，透镜组104、106和108由VCM机构(未示出)沿透镜光轴112一起致动。VCM机制(未示出)也可用于在透镜聚焦状态之间改变。

参照图1B和第PCT/IB2020/051405号的表25中的示例6中详述的光学设计，可以实现M

通过从较大距离捕获物体，可以连续选择较小的物体对图像的放大率M。使用图1A的透镜配置及透镜组G1+G2+G3一起尽可能朝图像传感器110移动来获得零放大率(对于无穷远处的物体)。对于零和M

在另一个实施例中，微距相机可以具有25mm的EFL并且可以与上述具有EFL＝2.5mm的UW相机进行比较。两个相机可以包括相同的图像传感器，例如，具有4mm有源图像传感器宽度。当聚焦到5cm时，EFL＝25mm的微距相机将具有1:1的物体对图像的放大率，并将捕获4mm的物体宽度(与传感器宽度相同)。相比之下，具有大约19:1的物体对图像的放大率的UW相机将捕获76mm的物体宽度。

EFL＝7-40mm的长焦相机可能有利于微距摄影，因为它可以提供大的图像放大倍率。然而，将长焦相机聚焦到较短的物体-透镜的距离并非易事，需要大的透镜行程，这些透镜必须支持光学规格，例如将透镜和图像传感器之间的偏心偏差(相对于与光路垂直的平面)限制在25微米或更小，例如限制到5微米。例如，对于EFL＝25mm到10cm的微距相机聚焦(相对于无限远聚焦)，需要约6.3mm的透镜行程。对于直立(非折叠)长焦相机，2毫米或更多的透镜行程不兼容于移动设备(以及相机)高度限制。然而，在折叠相机设计(在图1A-1B和图2A-2B中描述)或“弹出式”相机设计(在图1J-1K中描述，例如在共同拥有的国际专利申请第PCT/IB2020/058697号中描述)智能手机的高度不会限制此类透镜行程。

在其他实施例中，用于捕获微距图像的折叠或非折叠长焦相机可以具有7-40mm的EFL，例如18mm。对于微距功能，折叠或未折叠的长焦相机可能能够连续聚焦到物体-透镜的距离为30-350毫米。

图1C-1E示出了在不同变焦状态下在此公开并编号为120的连续变焦的长焦透镜和传感器模块的实施例。图1C示出了处于其最小变焦状态的模块120，具有EFL＝15mm；图1D示出了处于中间变焦状态的模块120，具有EFL＝22.5mm；以及图1E示出了处于其最大变焦状态的模块120，具有EFL＝30mm。

模块120包括具有8个单透镜元件L1-L8的透镜122、图像传感器124和可选的光学窗口126。光轴由128表示。模块120包括在折叠式长焦相机中，例如相机1000。模块120具有连续变焦范围，可以在最小变焦状态和最大变焦状态之间连续切换。最大变焦状态EFL

图1F-1H示出了在不同变焦状态下在此公开并编号为130的连续变焦的长焦透镜和传感器模块的另一实施例。图1F示出了处于其最小变焦状态的模块130，具有EFL＝10mm；图1G示出了处于中间变焦状态的模块130，具有EFL＝20mm；并且图1H示出了处于其最大变焦状态的模块130，具有EFL＝30mm。

模块130包括具有10个单透镜元件L1-L10的透镜132、图像传感器134和可选的光学窗口136。模块130被包括在诸如相机1000的折叠长焦相机中。模块130具有连续变焦范围，可以在最小变焦状态和最大变焦状态之间连续切换。最大变焦状态EFL

图1I示出了本文公开并编号为140的折叠式长焦相机的实施例。通常，折叠式长焦相机基于一个光路折叠元件(OPFE)。例如在共同拥有的国际专利申请案第PCT/IB2016/057366号中描述了这种扫描折叠长焦相机。相机140基于两个OPFE，因此可以指“双折叠(double-folded)”长焦相机。模块140包括第一“物体OPFE”142、物体OPFE致动器144、“图像OPFE”146和图像OPFE致动器148。透镜(未示出)被包括在镜筒150中。相机140还包括图像传感器151和聚焦致动器153。

模块140是扫描折叠长焦相机。通过物体OPFE 142和图像OPFE 146的旋转运动，相机140的原生(对角线(diagonal))FOV(FOVN)可以被操纵以扫描场景。FOVN可以是10-40度，FOVN的扫描范围可以是±5度至±35度。例如，具有20度FOVN和±20FOVN扫描的扫描折叠长焦相机覆盖了60度的长焦FOV。

图1J-1K示例性地示出了例如在共同拥有的国际专利申请案第PCT/IB2020/058697号中描述的弹出式长焦相机160。图1J示出了处于操作或“弹出”状态的弹出式相机160。弹出式相机150包括光圈152、包括透镜(未示出)的镜筒154、弹出式机构156和图像传感器158。图1K示出了处于非操作或“折叠”状态的弹出式相机160。通过弹出机构156，相机150从弹出状态切换到折叠状态。在一些双相机实施例中，W相机和T相机都可以是弹出式相机。在其他实施例中，W或T相机中只有一个可以是弹出式相机，而另一个(非弹出式)相机可以是折叠或非折叠(直立)相机。

图1L-1O以截面图示意性地示出了如本文所公开的示例性弹出式长焦微距相机透镜系统170。透镜系统170可以包括在如图1J至1K中描述的弹出式相机中。图1L示出了处于折叠状态的透镜系统170。图1M示出了处于第一长焦状态的透镜系统170，其具有第一EFL(EFL1)和第一变焦因子(ZF1)。图1N示出了处于第二长焦状态的透镜系统170，其具有第二EFL(EFL2)和第二ZF2，其中EFL1

图1P-1R以横截面图示意性地示出了如本文所公开的另一示例性弹出式长焦微距相机透镜系统180。透镜系统180包括透镜182和图像传感器184。透镜系统180可以被包括在弹出式相机中，如图1J-1K中所述。图1P示出了处于弹出状态的透镜系统180。在弹出状态下，包括透镜系统180的相机可以聚焦以接近<350mm的物体-透镜的距离处的物体以捕获微距图像。图1Q示出了处于第一折叠状态的透镜系统180。图1R示出了处于第二折叠状态的透镜系统180。

图1S-1T以截面图示意性地示出了如本文所公开的另一示例性弹出式长焦微距相机透镜系统190。透镜系统190包括透镜192和图像传感器194。透镜系统190可以包括在如图1J-1K中描述的弹出式相机中。图1S示出了处于弹出状态的透镜系统190。在弹出状态下，包括透镜系统190的相机可以聚焦到小于350mm的物体-透镜的距离处的物体以捕获微距图像。图1T示出了处于折叠状态的透镜系统190。

模块100、120、130、140、150、170、180、190和220或包括模块100、120、130、140、150、170、180、190和220的相机可能能够/用于使用微距相机模块(例如微距相机模块910)捕获微距图像。

图1U在示例195中图示了超广角(UW)FOV 196、广角(W)FOV 197和微距FOV 198的示例性三相机输出图像尺寸和之间的比率。关于用于在透镜-物体距离处捕获物体的长焦相机，例如1m以上，在基于长焦相机的微距模式下，在图像传感器平面形成更大的图像。因此，图像可能覆盖的区域大于图像传感器的活动区域，因此只有长焦相机FOV的裁剪FOV(cropped FOV)可用于捕获微距图像。例如，考虑一个EFL为30mm的微距相机和一个具有4mm有效图像传感器宽度的图像传感器。当聚焦到5厘米(透镜-物体的距离)的物体时，需要v＝77毫米的透镜-图像的距离才能聚焦，并且可以实现约1:1.5的物体对图像的放大率。实际长焦FOV的大约43％的微距FOV可用于捕获微距图像。

以下描述涉及W相机，假设可以使用UW相机代替。

图2A示出了本文公开的具有微距能力的折叠长焦相机的实施例，编号为200。相机200包括图像传感器202、具有光轴212的透镜204和OPFE 206，例如棱镜。相机200还包括在垂直于光轴212的方向214上安装在棱镜206的顶侧(面向物体的表面，未示出)上的液体透镜(liquid lens；LL)208。液体透镜具有可通过由LL致动器210提供的电压来调节的光学特性。在此实施例中，LL 208可以连续地提供0至35屈光度(dioptre)的屈光度范围。在微距摄影状态下，包括LL 208和透镜204的整个透镜系统可具有7-40mm的EFL。DOF可以浅至0.01-2mm。在此实施例和以下实施例中，液体透镜具有机械高度H

对于具有固定光学特性的常规透镜(与具有自适应光学特性的LL相比)，净高与透镜机械高度H(CH/H)之间的比率通常为0.9或更大。对于液体透镜，CH/H比通常为0.9或更小，例如0.8或0.75。因此，为了利用包括棱镜和透镜的光学系统的CH，H

图2B示出了具有本文公开的微距能力的折叠长焦相机的又一实施例，编号为200'。相机200’包括与相机200相同的元件，除了在相机200’中LL 208位于棱镜206和透镜204之间。如在相机200中，透镜204可以是具有大于透镜高度H的透镜宽度W的D形切割透镜。在一个示例中，D形切割透镜的宽度/高度W/H比可以是1.2。如同在相机200中一样，在微距摄影状态下，包括LL 208和透镜204的整个透镜系统可以具有7mm-40mm的EFL并且DOF可以浅至0.01-7.5mm。

图2C-2E示意性地示出了在不同变焦状态下本文公开并编号为220的连续变焦的长焦透镜和传感器模块的另一实施例。模块220包括在折叠式长焦相机中，例如相机1000。模块220包括透镜222、(可选的)光学元件224和图像传感器226。图2C-2E显示了3个场，每个场有3条光线：上边缘光线、下边缘光线和主光线。透镜222包括6个单透镜元件L1-L6。光轴用228表示。

图2C示出了聚焦到无穷远的模块220。图2D示出了聚焦到100mm的模块220，图2E示出聚焦到50mm的模块220。

透镜220被分成两个透镜组G1(包括透镜元件L1和L2)和G2(包括L3、L4、L5和L6)，它们相对于彼此移动并且另外一起作为一个透镜相对于图像传感器进行聚焦。由于这些相机随附的自由度非常浅，因此捕获聚焦堆栈(focus stack)并从中构建出良好的图像并非易事。然而，下面描述的方法允许这样做。

一些多相机配备W相机和具有微距功能的长焦相机(或仅其中一个相机)具有相位检测自动聚焦(PDAF)传感器，例如2PD传感器，即每个传感器像素被分成两个或更多子像素，并支持通过计算视差进行深度估计的传感器。PDAF传感器利用多个微透镜(“ML”)或部分覆盖的ML来检测聚焦内和聚焦外的像素。多个ML被校准，以便聚焦的物体在相对于透镜的相同位置投影到传感器平面上，参见图3A。

图3A示出了聚焦的点物体302，其中ML将来自物体的光投射到两个子像素的中心上，导致零视差(zero-disparity)。图3B示出了来自失焦的点物体304的光线。“主透镜”、“ML”和“子像素对”在图3A和图3B中以相同方式示出。在图3B中，左侧ML将来自物体304的光投射到左侧子像素的中心。右侧ML将同一物体投影到右子像素上，导致正视差值为2。聚焦平面(未绘示)之前/之后的物体被投影到相对于每个透镜的不同位置，从而在投影之间产生正/负差异。PDAF视差信息可用于创建“PDAF深度图”。请注意，此PDAF深度图既粗糙(由于基线非常小)又相对于聚焦平面。也就是说，检测零视差是用于聚焦的物体，而不是无限远的物体。在其他实施例中，深度图可以基于来自立体相机、飞行时间(Time-of-Flight；ToF)的图像数据或通过本领域中已知的用于单目深度的方法，例如，运动的深度。

图4A示出了如本文所公开的捕获微距聚焦堆栈(或“定义长焦捕获策略”)的方法。术语“聚焦堆栈(focus stack)”是指在相同成像条件下捕获的多个图像(即在聚焦堆栈的捕获过程中相机和物体不移动，但透镜的聚焦在连续图像捕获之间以定义的步骤移动)。应用控制器(AP)，例如图9所示的AP 940，可以被配置为执行此方法的步骤。在步骤402中使物体聚焦。在一些实施例中并且为了使物体或区域聚焦，可以向用户显示本领域已知的聚焦峰值图(focus peaking map)。如果使用诸如相机140的扫描长焦相机，则可以通过检测W相机FOV中的物体并自动将扫描长焦相机FOV转向此物体来使物体聚焦。W相机FOV中的物体可以通过算法自动选择进行聚焦，也可以由人类用户手动选择。例如，本领域已知的提供显着图(saliency map)的显着算法(saliency algorithm)可用于通过算法进行自动物体选择。用户在步骤404中给出捕获命令。在步骤406中捕获第一图像。在步骤408中，根据下面描述的和图5A及图5B所示的方法分析图像。在一些实施例中，可以仅分析图像的片段(而不是整个图像)。被分析的片段可以由在来自微距相机的图像数据或W相机的图像数据上运行的物体检测算法来定义。或者，被分析的图像片段(即OOI)可由用户手动标记。根据此分析的结果，在步骤410中以定义的步长(defined step)移动透镜以向前聚焦(即，聚焦移离相机一步)，或在步骤412中以定义的步长移动透镜以向后聚焦(即，聚焦移向相机一步)。前向或后向聚焦可取决于在步骤408中生成的命令。例如，当检测到图5B(或图5D)中的平台(plateau)A(A')时，可以触发后向聚焦命令。例如，当检测到图5B(或图5D)中没有平台A(A')时，可以触发前向聚焦命令。在步骤414中捕获附加图像。重复这些步骤直到步骤408中的分析输出用于反转后向聚焦的命令或用于中止聚焦堆栈捕获的中止命令。例如，当检测到图5B(或图5D)中的平台A(A')或E(E')时，可以触发中止命令。中止命令在步骤416中结束聚焦堆栈捕获。在另一实施例中，步骤410可以由步骤412代替并且步骤412可以由步骤410代替，即可以先进行后向聚焦，然后进行前向聚焦。

如果使用扫描长焦相机(例如相机140)来捕获微距聚焦堆栈并定义长焦捕获策略，则覆盖比原生长焦FOV大的FOV段的物体(“物体FOV”)可以被多个聚焦堆栈捕获，每个聚焦堆栈覆盖物体FOV的不同FOV段。例如，W相机图像数据可用于将物体FOV划分为多个(比长焦FOVN)更小的FOV，其中使用如上所述的聚焦堆栈捕获过程连续捕获FOV，并在捕获多个FOV后拼接在一起。

如果连续变焦的长焦相机(例如相机120或相机130)用于捕获微距聚焦堆栈并定义长焦捕获策略，例如根据物体FOV的大小或内容或颜色，可以选择特定的缩放系数。例如，W相机图像数据可用于分析微距物体。基于此分析，可为连续变焦的长焦相机选择合适的变焦系数。选择标准可以是连续变焦的长焦相机的FOV完全覆盖微距物体。其他选择标准可能是连续变焦的长焦相机的FOV不仅完全覆盖微距物体，而且还额外覆盖一定量的背景FOV例如出于审美原因。其他选择标准可以是选择FOV，使得由连续变焦的长焦相机捕获的图像可以具有特定的DOF。作为第一个示例，更大的DOF可能有利于捕获具有包括较少数量的单个图像的聚焦堆栈的物体。作为第二个例子，特定的DOF可能对例如微距图像的美学外观是有益的。

图4B图示了捕获聚焦堆栈(或定义长焦捕获策略)的另一种方法。AP(例如图9中所示的AP 940)可以被配置为执行此方法的步骤。在步骤452中，用W相机捕获PDAF图。在步骤454中，如本领域已知的，从PDAF图计算深度图。在步骤456中从深度图导出诸如聚焦步长和聚焦堆栈档次(focus stack brackets)之类的聚焦堆栈参数。聚焦堆栈档次是聚焦堆栈的上限和下限，即它们包括两个平面，一个是聚焦堆栈中物体-透镜的距离最大的第一聚焦内平面(in-focus plane)，以及一个最小物体的第二聚焦内平面-聚焦堆栈中的透镜距离。在这两个限制之间捕获具有偏移聚焦的多个图像。聚焦步长定义了在聚焦堆栈中捕获的两个连续聚焦内平面之间的距离。聚焦平面可以具有由DOF(位于中心的聚焦平面)定义的特定深度。步骤456中定义的参数可用于控制相机。例如，可以将参数输入标准的突发模式功能以进行聚焦堆栈捕获，例如在安卓(Android)智能手机上提供的功能。在步骤458中，根据参数捕获聚焦堆栈。在其他实施例中，步骤452中的PDAF图可以不是由W相机而是由具有微距能力的长焦相机捕获。长焦相机的PDAF图可能表现出更高的空间分辨率，这可能是合乎需要的，以及焦外(out-of-focus)区域的更强模糊，这可能是合乎需要的，也可能是不合乎需要的。对于具有较浅的深度的物体，焦外区域可能需要更强的模糊，例如<1mm的深度。对于具有较大深度的物体，焦外区域的较强模糊可能是不合乎需要的，例如>2.5mm的深度。强烈的模糊可能使在步骤454中执行的深度计算变得不可能。

在一些实施例中，在步骤452中，PDAF图像数据可以仅从特定场景片段中捕获，例如，仅用于ROI。在其他实施例中，在步骤452中，PDAF图像数据可以从整个场景中捕获，但是步骤454中的深度图计算可以仅针对片段执行。特定场景片段可以通过对来自UW或W或长焦相机的图像数据执行的图像分析来识别。在步骤452中不仅可以从单个图像而且可以从视频流中捕获PDAF图。

在一些实施例中，代替在步骤454中计算深度图，深度图或用于计算深度图的图像数据可由附加相机提供。

在一些实施例中，可以应用不同的分析方法以仅在一个(或仅几个)聚焦位置处分析整个微距场景。从此分析中，可以导出优选的聚焦堆栈步长和聚焦堆栈范围。然后将这些值输入到标准的突发模式功能中以进行聚焦堆栈捕获。

在一些实施例中，对于步骤458中的聚焦堆栈捕获，对于在聚焦堆栈中捕获的所有图像，成像设置(例如白平衡和曝光时间的值)可以保持恒定。

捕获包含具有浅DOF的微距图像的聚焦堆栈可能需要以高精度启动相机透镜，因为DOF定义了聚焦过程的最小精度限制。对驱动精度的要求可以从图像的DOF中得出。例如，可能需要允许以比DOF大2-15倍的精度控制聚焦平面的位置的致动精度。例如，考虑一个包含具有50μm的DOF的微距图像的聚焦堆栈，即距离聚焦平面小于25μm的场景片段处于聚焦内状态。因此，聚焦的最低精度为25μm至3μm。

本领域已知的光学图像稳定(optical image stabilization；OIS)可以在聚焦堆栈捕获期间使用。OIS可以基于启动透镜或图像传感器或相机910的OPFE。在一些实施例中，微距场景的深度数据可用于OIS。

图5A示例性地示出了微距物体(此处为花朵)和用于捕获微距物体(未按比例)的相机。花朵是从顶部位置(用“相机”标记)捕获的。

图5B示出了图5A的微距设置的示例性输出图，其中图5A使用图4A中描述的方法获得。图中的点代表聚焦堆栈的特定图像的分析结果，即在如上所述的聚焦堆栈捕获期间分析聚焦堆栈中的每个图像，其中分析提供每个图像的数量(聚焦内的像素总和)。这些数字可以按此处所示绘制。分析可以使用本领域已知的函数，例如高斯拉普拉斯算子，或布伦纳的聚焦测量(Brenner's focus measure)。合适函数的概述可以在下述找到：桑托斯(Santos)等人发表“分子细胞遗传学分析中自动聚焦功能的评估”，1997年，显微镜学杂志，第188卷，第3篇，1997年12月，第264-272页。

分析输出是每个图像中处于聚焦内状态的像素数量的测量。特定图像的输出数量越大，图像中聚焦的像素总数就越高。聚焦堆栈分析的假设是微距物体的主要部分表现出以共同特定特征为特征的分析曲线。此曲线的特征(从左侧图像侧开始，即从焦点比微距物体更远的相机场景设置开始)在于平台A(焦点比物体更远，因此几乎没有像素在聚焦内，并且输出数量很少)。接着是正梯度区域B(首先是微距物体的最远部分处于聚焦内状态，然后是微距物体的较大部分处于聚焦内状态)。接着是一个平台C(例如，微距物体的中心和物体的大部分都在聚焦内状态)。然后是负梯度D(焦点从微距物体中心移开)。然后是一个平台E。如图4A所示的中止命令是通过检测平台A或平台E触发的。根据聚焦堆栈捕获开始的聚焦位置，聚焦堆栈捕获将被中止或聚焦移动的方向将被切换(从朝向相机到远离相机或相反)。通常，聚焦堆栈捕获可以从微距物体的一部分或点处于焦点的聚焦位置开始。分析将为第一张图像输出一个高数字。然后焦点从相机移开，这意味着分析输出在平台C上移动(向图中的左侧)，直到到达图中的梯度区域B，最后到达平台区域A。如果分析输出的数字没有进一步增加，焦点将移回第一个位置(在平台C)，并将聚焦移向相机。执行与上述相同的步骤，直到达到最终平台E。至此，聚焦堆栈捕获过程结束。

图5C示出了另一个示例性微距物体(这里是蜜蜂)和另一个用于捕获微距物体(未按比例缩放)的相机。图5D示出了图5C的微距设置的另一个示例性输出图，其中使用在图4中描述的方法来处理图5C。尽管由于物体深度分布不同而细节上有所不同，但这里的特征A'-E'与图5B中的特征A-E相似。

根据例如在图4A，图4B和图5A至5D描述的方法捕获的聚焦堆栈的长焦图像是可以进一步处理的输入微距图像，例如通过图6中描述的方法。

图6示出了从聚焦堆栈的多个图像生成单个微距图像的方法。诸如AP 940之类的AP可以被配置为执行此方法的步骤。在步骤602中通过本领域已知的分析方法选择聚焦堆栈的合适图像。可能取消图像“合适”图像资格的标准可能包括：图像中的显着运动模糊(例如来自握手)、捕获数据中的冗余或聚焦不良。在此过程中仅进一步使用选定的合适图像。在步骤604中用本领域已知的方法对齐合适的图像。在步骤606中选择对齐图像中的合适图像区域。“合适”区域的选择标准可以包括区域的聚焦程度，例如一个区域是否清晰聚焦或有一定程度的散焦模糊。选择标准的选择取决于用户或程序的输入。用户可能希望输出图像具有全聚焦内的微距物体(即景深大于微距物体深度的图像)，这意味着微距物体的所有部分同时聚焦。然而，全聚焦内视图通常并不代表人类观察者最愉快的图像(因为人类的感知也会因深度而产生一定程度的模糊)，因此具有一定聚焦平面和一定量的图像模糊区域可能更有吸引力。“聚焦平面”是由未处理图像的所有聚焦所形成的平面。来自如图所示生成的聚焦堆栈的图像。图4A-4B和步骤606中合适图像的选择可以允许连续选择输出图像612中的任何聚焦平面和任何模糊量。未在聚焦内的图像片段的模糊量可能取决于它们在场景中的位置。对于相对于聚焦平面远离相机某个距离d的物体段的图像段，模糊量可能与比聚焦平面更靠近相机相同距离d的图像段不同。新的微距图像的聚焦平面位置和景深的连续控制可以在捕获聚焦堆栈后(“后捕获(post-capture)”)执行。在一些实施例中，也可以在捕获聚焦堆栈(“预捕获(pre-capture)”)之前执行对新的微距图像的聚焦平面位置和景深的连续控制，例如通过向用户显示预览视频流来启用。在步骤608中使用本领域已知的方法将所选图像融合成单个图像。在一些实施例中并且可选地，步骤608中的融合可以使用深度图信息，例如估计的深度图信息。使用本领域已知的聚焦深度(depth from focus)或散焦深度(depth from defocus)方法。在其他实施例中，可以使用来自PDAF(见图3A-B)的深度图信息。PDAF信息可以从UW相机的图像传感器或从W相机或从具有微距功能的长焦相机提供。在一些实施例中，长焦相机可以在捕获长焦聚焦堆栈图像的同时捕获PDAF数据，即在与聚焦堆栈图像相同的聚焦条件下捕获PDAF图像堆栈。从这个PDAF图像堆栈可以计算深度图。例如。可以仅使用来自单个PDAF图像的聚焦内图像片段，因为它们可以高精度分配到特定深度。通过融合来自PDAF图像堆栈的所有聚焦内图像片段的深度估计数据，可以生成高质量的深度图。

在一些实施例中，在步骤608中，长焦图像数据和广角图像数据都可以融合到一个图像。

在其他实施例中，仅在步骤602中选择的图像的子集可以在步骤608中融合成单个图像并在步骤612中输出。例如，可以在步骤608中将仅1张、仅2张、或仅3张、或仅4张或仅5张图像的子集融合成单个图像并在步骤612中输出。在又一实施例中，在步骤612中可以仅输出在步骤602中选择的图像中的一个。在步骤610中对单个输出图像进行微调以例如通过降低噪声来最终确定结果。微调可能包括平滑图像接缝、增强、径向模糊、色度衰减等过滤器。在步骤612输出图像。

在其他实施例中，步骤606中合适图像区域的选择可以基于对来自W相机的图像执行的图像分析。由于W相机具有更宽的FOV和更大的DOF(相对于具有微距功能的长焦相机)，额外使用W图像数据来生成单个微距图像可能是有益的，例如用于物体识别和分割。例如，可以在使用具有微距功能的长焦相机进行聚焦堆栈捕获之前或期间在FOV

在一些实施例中，W相机的图像信息可用于进一步的任务。一张或多张W图像可以用作微距图像生成过程中的地面实况“锚点”(ground truth“anchor”)或参考图像。地面实况在这里指的是关于一个场景片段的W图像信息，它比同一场景片段的长焦(Tele)图像信息要完整得多。与单个长焦图像相比，单个W图像提供了更多关于微距物体的信息。作为一个例子，人们可能会想到一个ROI或OOI，它在单个W图像中大部分处于聚焦内状态并且完全可见，但在单个长焦图像中仅部分可见，例如因为远距离DOF明显更浅。W地面实况或参考图像可以用作图6中描述的方法的以下步骤中的地面实况锚点：

在步骤602，W图像可用于选择合适的图像。地面实况可能例如允许识别超过特定聚焦模糊或运动模糊阈值的长焦图像。

在步骤604中，可以使用W图像作为用于对齐图像的参考图像。在一个示例中，聚焦堆栈的长焦图像可以全部参照W参考图像对齐。在另一个示例中，聚焦堆栈的长焦图像可以首先参考W参考图像对齐，并且为了更详细的对齐，可以参考聚焦堆栈的其他长焦图像来对齐长焦图像。

在步骤606中，W图像可用于定义如上所述的合适的图像区域。

在步骤608，W图像可用于校正融合伪影(Fusion artifact)。融合伪影被定义为实际场景中不存在的视觉特征，但它们是图像融合过程中不需要的副产品。

在步骤610中，W图像可用于识别融合图像中表现出不想要的特征并且可以被校正的图像片段。这种不想要的特征可能是例如图像错位、不自然的色差或模糊等原因造成的散焦或运动。散焦模糊(de-focus blur)可能例如由在图像融合步骤608中使用的深度图中的估计误差引起。

在又一实施例中，上述方法可以不涉及诸如步骤608-612中描述的任何图像处理，但是可以用于从聚焦堆栈中选择单个图像。此选择可以自动执行(例如，通过使用图5A-5D中描述的方法分析最清晰、最清晰和构图良好的图像的聚焦堆栈)或由人类用户手动执行。图7示出了图形用户界面(GUI)，用户可以使用此界面来发送命令以修改输出图像的外观，例如用户可以发送命令(例如“前向模糊(forward blur)”和“后向模糊(backward blur)”)以获得更模糊的图像或较大部分处于聚焦的图像。“背景模糊(background blur)”和“前向模糊”是指如图8A和8B中描述的模糊选项。在一个实施例中，在用户命令是修改图像的外观的情况下，此方法将从步骤606开始重新执行，但是具有一组不同的选择标准。在另一个实施例中，如果用户命令是修改图像的外观，则可以对输出图像应用模糊算法(人工模糊)以形成另一个输出图像。可以通过标记一个新的图像片段来改变聚焦平面，此片段应该通过触摸设备屏幕以在聚焦内状态。可以根据用户的意愿改变模糊。用户可能希望修改显示图像的DOF，例如从全聚焦内图像(即无限DOF))到更浅的自由度。用户可能希望修改不是全聚焦内的图像的聚焦平面。用户可以修改图像，并且可以显示通过指示投影的输出图像的估计生成的预览图像。如果用户在“应用(apply)”上执行点击，则可以应用完整的算法，如图6中所描述的。

图8A展示对称模糊函数。通过移动图中的滑块(前向/后向模糊)，如图8A所示，用户可以在X轴上线性移动，如Y轴上所指示的那样将模糊应用于图像。图8B示出了具有图8A中描述的功能的不对称模糊函数。模糊功能的应用使用户能够以不同的方式模糊前景和背景。例如，在某些情况下，从艺术的角度来看，前向模糊可能根本不需要。非对称模糊使这种可能性成为可能。

在一些实施例中，进一步的图像特征例如可以提供人造闪电(artificiallightning)。人造闪电是指场景中的闪电场景可以被用户或程序改变，例如通过人为地移动场景中的光源。对于人造闪电，深度图的存在可能是有益的。

图9示出了用于执行上述方法的系统900。系统900包括第一长焦相机模块(或简称“长焦相机”)910。长焦相机910可以是具有微距功能的折叠长焦相机、双折叠长焦相机、弹出式长焦相机、扫描折叠长焦相机或直立(非折叠)长焦相机。如果相机910是折叠相机，则它包括用于将光路折叠90度的光路折叠元件(OPFE)912、透镜模块914和图像传感器916。透镜致动器918执行透镜模块914的移动以将透镜带到不同的透镜状态以用于聚焦并且可选地用于OIS。系统910可以包括附加的第二相机模块930和应用处理器(AP)940。第二相机模块930可以是W相机或UW相机。在一些实施例中，可以包括W相机和UW相机两者。AP 940包括用于生成图像的图像生成器942和用于分析如上所述的图像的图像分析器946，以及物体检测器944。诸如智能手机屏幕之类的人机界面(HMI)950允许用户向AP传输命令。存储器元件970可用于存储图像数据。用于相机910和第二相机模块930之间校准的校准数据可以存储在存储器元件970和/或附加存储元件(未示出)中。附加存储元件可以集成在相机910和/或第二相机模块930中。附加存储元件可以是EEPROM(电可擦除可编程只读存储器)。存储器元件970可以例如是NVM(非易失性存储器)。

图10图示了本领域已知的并且编号为1000的双相机(其可以是具有多于两个相机的多相机的一部分)，参见例如共同拥有国际专利申请案第PCT/IB2015/056004号。双相机1000包括折叠长焦相机1002和广角相机1004。长焦相机1002包括OPFE 1006、透镜1008，透镜1008可以包括具有光轴1010和图像传感器1012的多个透镜元件(在此表示中不可见，但在例如图1C-1H中可见)。广角相机1004包括具有光轴1016和图像传感器1018的透镜1014。OPFE 1006将光路从基本上平行于光轴1016的第一光路1020折叠到基本上平行于光轴1010的第二光路。

虽然已经根据某些实施例和通常相关联的方法描述了本公开，但是实施例和方法的改变和排列对于本领域技术人员来说将是显而易见的。

本公开应理解为不受本文描述的具体实施例限制，而仅受所附权利要求的范围限制。

此外，为了清楚起见，术语“基本上(substantially)”在本文中用于暗示值在可接受范围内变化的可能性。根据一个示例，此处使用的术语“基本上”应该被解释为暗示超过或低于任何指定值的高达5％的可能变化。根据另一个例子，此处使用的术语“基本上”应该被解释为暗示可能的变化超过或低于任何指定值的2.5％。根据进一步的示例，此处使用的术语“基本上”应该被解释为暗示超过或低于任何指定值的最多1％的可能变化。

本说明书中提及的所有参考文献均通过引用整体并入本说明书中，其程度与每个单独的参考文献被具体地和单独地指示为通过引用并入本文的程度相同。此外，本申请中对任何参考文献的引用或标识不应被解释为承认此类参考文献可作为本申请的现有技术。