用于光学防抖的装置和方法

本申请为申请号202180004818.9(PCT申请号为PCT/IB2021/056617)、申请日2021年07月22日、发明名称“扫描折叠相机中的光学防抖”的分案申请。

技术领域

本文公开的示例一般涉及数码相机，特别是涉及使用折叠数码相机获得的图像的校正。

背景技术

已知具有折叠光学器件(folded optics)的紧凑型数码相机，也被称为“折叠相机”，例如参见共同拥有的国际专利申请PCT/IB2016/057366。在诸如智能手机、平板电脑等手持电子装置(在本文中也称为“手持装置”)中，一折叠望远相机通常是一多相机的一部分，并伴有一个或多个附加的相机，例如一超广角相机和一广角相机。一超广角相机的视场(FOV

图1A从一透视图中示意性地示出了编号为100的一折叠望远相机。相机100包括：具有一透镜光轴110的一透镜102、一光路折叠元件(optical path folding element,OPFE)104和一图像传感器106。光路折叠元件104将从一对象、场景或全景视图部分114沿基本上平行于X轴的轴108的一第一光路折叠成沿基本上平行于Z轴的轴110的一第二光路。相机100被设计为使光路折叠元件104相对于所述图像传感器围绕轴110(X轴)旋转，即在Y-Z平面中，由一箭头112指示的旋转。也就是说，折叠望远相机100是一"扫描"望远相机(scanning Tele camera,STC)。图1B显示了从零位置旋转30度之后的光路折叠元件104。

图1C显示了俯视图的包括具有透镜102、光路折叠元件104和图像传感器106的一STC 100的一手持装置120。一装置法线(“N”)与装置120的一屏幕116正交并且朝向观察者。所述相机的光轴是平行于X轴。在其他例子中，STC 100可以被包含在120中，因此所述相机的光轴是平行于Y轴。

图像是从一相机的某个视点(point of view,POV)中获取的。所述视点是由所述矢量定义的方向，所述矢量以一相机的光圈位置为起点，以FOV中心的一对象点为终点(见图3A，两个视点矢量324和328对应于两个FOV

例如在共同拥有的PCT专利申请号PCT/IB2016/057366中所描述并且参考图1A-1B，所述光路折叠元件的旋转可以围绕X轴和围绕Y轴来执行，以在图1A-1B中的二维(2D)中利用FOV进行“扫描”。

手持装置中所包含的现代相机通常包括光学防抖(optical imagestabilization,OIS)，其用于缓解由一用户的手部运动(通常称为“手抖动”)引起的非期望的相机运动。对于OIS，光学部件被移动以减少在一相机的图像传感器上成像对象的移动。可以移动所述透镜模块和/或所述图像传感器和/或所述光路折叠元件和/或整个相机。所述手持装置中包含的一惯性测量单元(inertial measurement unit,IMU)提供沿6个自由度(degrees of freedom)的运动数据，亦即且参考图1C，X-Y-Z中的线性运动、围绕Z轴滚动(roll)“倾斜”、偏航(yaw)(围绕Y轴倾斜)以及俯仰(pitch)(围绕X轴倾斜)。通常，OIS仅用于俯仰和偏航旋转补偿，而不是用于滚动旋转，因为俯仰和偏航旋转占手抖引起的图像劣化的主要份额。所述IMU、普通(即非扫描)相机以及所述包括手持装置的坐标系统可以被对齐并且不会随时间变化。对于一STC来说，这是无效的。当FOV扫描被执行时，一手持装置的坐标系统与一STC的坐标系统之间的关系确实会发生变化。因此，本领域已知的OIS不能被用于一STC中的手部运动补偿。

需要用于扫描望远相机的OIS，这将是有利的。

发明内容

为了简单起见，术语“电子装置”、“电子手持装置”、“手持装置”或仅“装置”可互换地被使用。为了简单起见，术语“智能手机”可被用于表示具有扫描折叠相机的所有电子手持装置以及在本文描述的此类相机中实现OIS的方法。

在各种实施例中，提供了多种望远折叠相机，其用于补偿包括这种相机的一手持电子装置的一非期望的转动运动，其中所述补偿取决于所述非期望的转动运动以及取决于所述望远折叠相机的一视点(point of view,POV)。

在各种实施例中，一手持电子装置包括：

一望远折叠相机，所述望远折叠相机包括：一光路折叠元件(optical pathfolding element,OPFE)，用于将来自一第一光路的光折叠朝向一第二光路，所述第一光路与所述装置的一法线(normal)形成小于90度的角度，所述第二光路基本上正交于所述装置的所述法线；一透镜，具有沿所述第二光路的一透镜光轴；以及一图像传感器，其中所述装置是一手持电子装置；一光路折叠元件致动器，用于在一个或多个方向上倾斜所述光路折叠元件，以将所述望远折叠相机的一视点(point of view,POV)指向一场景的一部份；

一运动传感器，用于感测所述装置的一非期望的转动运动；以及

至少一致动器，用于移动所述望远折叠相机的至少一部件，以补偿所述装置的所述非期望的转动运动，其中所述补偿取决于所述装置的所述非期望的转动运动以及取决于所述望远折叠相机的视点。

在一些实施例中，所述非期望的转动运动围绕所述装置法线。

在一些实施例中，一装置还包括一广角相机，所述广角相机的一视场FOV

在一些实施例中，所述感测所述转动运动包括在三个方向上测量所述转动运动。

在一些实施例中，用于移动所述望远折叠相机的所述部件以补偿所述装置的非期望的转动运动的所述致动器是所述光路折叠元件致动器，所述光路折叠元件致动器用于在一个或多个方向上倾斜所述光路折叠元件，以将所述望远折叠相机的一视点指向一场景的一部份。

在一些实施例中，所述移动所述望远折叠相机的所述部件以补偿所述装置的非期望的转动运动包括移动所述透镜。

在一些实施例中，所述移动所述望远折叠相机的所述部件以补偿所述装置的非期望的转动运动包括移动所述图像传感器。

在一些实施例中，一装置还包括一处理单元，所述处理单元被配置为执行一座标变换，以将所述望远相机的座标对齐所述手持装置的座标，反之亦然。

在一些实施例中，一装置还包括一处理单元，所述处理单元被配置为执行一座标变换，所述座标变换将一参考座标系统的座标对齐所述手持装置的座标和所述望远相机的座标。

在一些实施例中，所述座标变换是使用罗德里格旋转公式(Rodrigues'rotationformula)来执行。

在一些实施例中，所述运动传感器包括一惯性测量单元(inertial measurementunit,IMU)。

在一些实施例中，一装置还包括一微控制器(microcontroller unit,MCU)，所述微控制器被配置为读出所述运动传感器，且被配置为提供控制信号至所述转动运动补偿致动器。在一些实施例中，所述微控制器(MCU)被包含在一应用处理器(applicationprocessor,AP)中。

在一些实施例中，一装置还包括一应用处理器，所述应用处理器被配置为向所述光路折叠元件致动器提供视点控制信号，以倾斜所述光路折叠元件。

在各种实施例中，提供了多种方法，其包括：

提供包括一望远折叠相机的一手持装置，所述望远折叠相机包括：一光路折叠元件(OPFE)，用于将来自一第一光轴的光折叠朝向一第二光轴，所述第一光轴与所述装置的一法线形成小于90度的角度，所述第二光轴基本上正交于所述装置的一法线；一透镜，具有沿所述第二光轴的一透镜轴；以及一图像传感器；

提供一光路折叠元件致动器，所述光路折叠元件致动器用于在一个或多个方向上倾斜所述光路折叠元件，以将所述望远折叠相机的一视点(POV)指向一场景的一部份；

感测所述装置的一非期望的转动运动；以及

补偿所述非期望的转动运动，其中所述补偿取决于所述非期望的转动运动以及取决于所述望远折叠相机的视点。

在一些实施例中，所述补偿所述非期望的转动运动包括移动所述望远折叠相机的一部件。

在一些实施例中，所述补偿所述非期望的转动运动包括补偿围绕所述装置的法线方向的一转动运动。

在一些实施例中，一方法还包括执行一座标变换，以将所述望远相机的座标对齐一惯性测量单元(IMU)的座标。

在一些实施例中，一方法还包括执行一座标变换，以将所述惯性测量单元的座标对齐所述望远相机的座标。

在一些实施例中，一方法还包括执行一座标变换，以将一参考座标系统的座标对齐所述惯性测量单元的座标和所述望远相机的座标。

在一些实施例中，所述执行所述座标变换包括使用罗德里格旋转公式执行所述变换。

在一些实施例中，所述感测所述装置的一非期望的转动运动包括在三个方向上感测所述非期望的转动运动。

在一些实施例中，所述补偿所述装置的所述非期望的转动运动包括转动所述光路折叠元件。

在一些实施例中，所述补偿所述装置的所述非期望的转动运动包括移动所述透镜。

在一些实施例中，所述补偿所述装置的所述非期望的转动运动包括移动所述图像传感器。

在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在所述X方向上计算由所述非期望的转动运动引起的一被改变的视点：P

在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在所述Y方向上计算由所述非期望的转动运动引起的一被改变的视点：P

在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在所述X方向上计算由所述非期望的转动运动引起的一被改变的视点：P

在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在X、Y和Z方向上计算由所述非期望的转动运动引起的一被改变的视点的一方向：P

在一些实施例中，所述补偿所述非期望的转动运动包括通过使用以下等式在X、Y和Z方向上计算由所述非期望的转动运动引起的一被改变的视点的一矢量：P

附图说明

本文中所公开的实施例的非限制性示例在下文中参考本文所附的附图进行描述，其在本段后面列出。附图和描述意在说明和阐明本文中所公开的实施例，并且不应被认为以任何方式限制。不同附图中的相同元件可以由相同的附图标记指示。

图1A示意性地示出了一已知的折叠扫描相机的透视图；

图1B示出了图1A的所述望远相机中的所述光路折叠元件从零位置旋转30度后的图。

图1C示出了例如图1A-B中所示的一扫描相机，其集成为一智能手机中的“后向”或“面向世界(world-facing)”的相机；

图2A示例性地示出了包括在零位置的一第一扫描望远相机以及一第二广角相机的一智能手机；

图2B示出了图2A的所述智能手机，其中所述望远相机在非零位置；

图2C示出了图2A的所述智能手机，其中所述望远相机在另一个非零位置；

图3A示出了用于导出所述望远相机的一坐标系统的二维(2D)图表；

图3B示出了手抖动引起的转动装置运动对图3A的2D图表的影响。

图3C示出了用于扫描本文公开的望远相机OIS的一方法的主要步骤流程图；

图4A以框图示意性地示出了一手持装置的实施例，所述实施例包括具有至少一个本文公开的扫描望远相机的多光圈相机；以及

图4B以框图示意性地示出了一手持装置的另一实施例，其包括具有至少一个本文公开的扫描望远相机的多光圈相机。

具体实施方式

图2A示例性地示出了一智能手机200，其包括处于零位置(zero position)的一STC 202和一广角相机P204。广角相机204不是一扫描相机，且其视点(“POV

460，此处未示出)可以对齐智能手机200的一坐标系统，例如图2A中所示的所述坐标系统，其中所述坐标系统的三个轴平行于智能手机200的三个对称轴，以使IMU(和智能手机200)的坐标系统的Z轴平行于POV

在用于OIS的第一示例性方法(“示例1”)中，考虑广角相机204的OIS，其(为简单起见)仅可以对俯仰旋转进行校正。为了检测非期望的手部运动量，可以从IMU(“X

图2B示出了STC 202在非零位置的智能手机200。POV

考虑STC 202在非零位置的示例1(俯仰方向的手部运动)。广角相机204的OIS可以如示例1中被执行。然而，对于STC 202的OIS，示例1的方法不再允许执行手部运动补偿，即(通常)没有C

对于OIS的一第二示例性方法(“示例2”)，请参阅图2C。与图2A相比，POV

图3A示出了用于导出STC的一坐标系统的二维(2D)图表320。STC的光圈322位于坐标(0,0,0)。一零状态STC POV

图3B示出了在包括STC的所述手持装置经历绕Z轴的旋转“滚动”运动之后的图3A的2D图表320，例如，因为用户的手部运动。POV

图3C以流程图的形式示出了本文公开的用于STC OIS的方法的主要步骤。

在第一步骤302中，由一人类用户或一程序触发并由一FOV扫描器442(图4A)处理的一命令将FOV

在步骤304中，IMU被读出并提供围绕俯仰(Pitch)、偏航(Yaw)和滚动(Roll)方向的旋转运动，即分别为X

在步骤306中，一坐标变换被执行。由于所述装置的一非期望的转动运动引起的STC的视点变化和所述非期望的转动运动的感测发生在不同的坐标系统中，所以需要进行所述坐标变换。

像是AP或MCU的一处理单元可以被配置用于执行所述坐标变换(例如，装置400或装置480的AP 440，或者图4A中装置400的MCU 470)。在一些例子中，AP或MCU可以解析求解以下等式，或者AP或MCU可以使用一多项式拟合或一线性拟合来近似求解所述等式。在其他例子中，AP或MCU可能不执行计算，但对座标变换使用一查找表(Look Up Table,LUT)。在一些例子中，例如如图4A所示，所述座标变换可以由连接到STC模块410的MCU(例如MCU 470)来执行。

在一些例子中，可以执行所述变换以便在IMU的所述坐标系统中表达STC的坐标。然后，可以在所述IMU的坐标系统中计算装置转动和补偿运动。

在一些例子中，诸如图3B中所示的图表320的2D图表可以被使用来表示STC在IMU的坐标系统中的坐标。图表320可能类似于用于校准STC或用于校准一双相机的校准图表，例如包括一望远相机和一广角相机。STC光圈322可以位于(0,0,0)。所述手持装置可以在“横向”方向上指向图表320，即参考图3B的所述坐标系统，如图1C中所示的一智能手机的长边可以平行于X轴并且短边平行于Y轴，STC光圈在Z方向指向所述图表。STC可以到达的所有视点是由“视点矢量”或“相机指向矢量”P给出，其指向位于图表320上的坐标。零状态位置的坐标可以是(0,0,EFL

如果STC被指向一非零视点，从IMU坐标到STC坐标的一座标变换则必须被执行。在一些例子中，罗德里格旋转公式可以被使用。IMU的俯仰/偏航/滚动旋转值可以被命名为“hnd_pitch”、“hnd_yaw”和“hnd_roll”。IMU在具有以下单位矢量的一坐标系统中提供hnd_pitch、hnd_yaw和hnd_roll：

-俯仰(Pitch)单位矢量R

-偏航(Yaw)单位矢量R

-滚动(Roll)单位矢量R

通常，OIS仅校正小角度。因此，在某些情况下并且近似地，可以独立地处理所述俯仰/偏航/滚动旋转。对于所述装置的任何(轻微)旋转，罗德里格旋转公式可单独地应用于俯仰/偏航/滚动旋转，其中所述(轻微)旋转可以由俯仰/偏航/滚动旋转的总和来表示。仅通过hnd_pitch、或仅通过hnd_yaw或仅通过hnd_roll(在IMU的坐标R

绕R

绕R

绕R

对于小角度，经过俯仰、偏航和滚动旋转的一最终视点矢量(归一化之前)P

P

归一化可以被执行以确保所述最终视点矢量P

P

从上面的等式可以明显看出，为了补偿STC中非期望的手部旋转运动，与一非扫描相机相比，例如广角相机204，其中可以仅补偿围绕偏航和俯仰的非期望的手部旋转运动，必须补偿围绕偏航、俯仰和滚动三个方向的旋转手部运动。

在座标变换的其他例子中，所述变换可以被执行以在STC的所述坐标系统中表达IMU的坐标。然后手部运动旋转和补偿运动可以在STC的坐标系统中被计算。如上所述，罗德里格旋转公式可以被使用。

在座标变换的其他例子中，所述变换可以是到一第三坐标系统(“参考系统”)。STC和IMU的坐标均以所述参考座标系统来表示。然后手部运动旋转和补偿运动可以在所述参考座标系统中被计算。如上所述，罗德里格旋转公式可以被使用。

在步骤308中，OIS的移动可以被执行。在一些例子中，OIS可以通过移动STC的光路折叠元件来执行。在其他例子中，可以为OIS移动诸如透镜102之类的一透镜和/或诸如图像传感器106之类的一图像传感器。假设理想的OIS，光路折叠元件和/或透镜和/或传感器的运动可能会导致一POC矢量修正P

P

在一些实施例中，步骤304至308可以被重复以连续地稳定STC。包括步骤304至308的OIS循环可以以例如500Hz至100kHz的频率被执行。在执行上述OIS方法时，STC图像或图像流被捕获。

在一些实施例中，IMU可以固定地附接到所述光路折叠元件，使得当移动所述光路折叠元件时，IMU也会随之移动。这允许对所述STC和所述IMU两者使用具有多个相同基本矢量的多个坐标系统，从而不需要步骤306的所述座标变换。

在一些实施例中，一传感器致动器可以启动所述图像传感器来校正一STC图像的视点像差。如共同拥有的国际专利申请PCT/IB2021/056311中所述，STC图像经历视点像差。一像差是STC图像在所述图像传感器上的一旋转(“旋转视点像差”)。当一非期望的旋转手部运动通过移动如本文公开的一光路折叠元件来补偿时，所述光路折叠元件的移动引入了一视点像差。一传感器致动器可被用于围绕所述图像传感器的一法线旋转一图像传感器，以补偿旋转的视点像差。

图4A示意性地示出了编号为400并且包括具有本文公开的至少一个STC的多光圈相机的一手持装置的一实施例。装置400包括一个STC模块410，其包括一光路折叠元件412以及用于FOV扫描和/或OIS的一光路折叠元件致动器414，以及形成由一图像传感器416记录的一长焦图像的一望远透镜模块420。一望远透镜致动器422可以移动透镜模块420以用于聚焦和/或OIS。手持装置400还可以包括一应用处理器(application processor,AP)440，所述应用处理器包括一FOV扫描器442、一OIS控制器444、一图像生成器446和一对象跟踪器448。

在其他例子中，装置400可以包括一STC，所述STC包括两个光路折叠元件以及所述两个光路折叠元件各自的一光路折叠元件致动器。在一些例子中，所述光路折叠元件致动器可以致动所述光路折叠元件以执行如本文所公开的OIS。在其他例子中，一透镜致动器可致动一透镜或一传感器致动器可致动用于执行如本文所公开的OIS的一传感器。例如在

PCT/IB2021/054186中描述了基于两个光路折叠元件的一STC相机。在这样的STC中，所述相机内的光路被折叠了两次，因此可以说是一双折叠扫描望远相机。

手持装置400还包括一广角(或超广角)相机模块430，所述广角相机模块430包括一第二透镜模块434，所述第二透镜模块434形成由一第二图像传感器432记录的一图像。一第二透镜致动器436可以移动透镜模块434以进行对焦和/或OIS。在一些例子中，STC可以扫描整个FOV

在一些例子中，对象跟踪器448可以被配置为跟踪FOV

在一些例子中，跟踪信息和OIS信息可能会互相干扰，并且可能需要跟踪和OIS之间的协调，以实现一个期望的对象跟踪和/或OIS结果。

作为OIS的第三示例性方法，考虑诸如装置400或480的一装置，其包括不具有OIS的一广角相机和一STC。STC可以跟踪静止的一对象，以便所述对象的中心位于FOV

作为OIS的第四示例性方法，考虑诸如装置400或480的一装置，其包括没有OIS的一广角相机和具有OIS的一STC。如示例3，我们假设在FOV

2·ΔOIS的一STC运动将被触发，这是(i)将对象保持在FOV

作为OIS的第五示例性方法，考虑诸如装置400或480的一装置，其包括没有OIS的一广角相机和具有OIS的一STC。对象跟踪可以在FOV

作为OIS的第六示例性方法，考虑诸如装置400或480的一装置，其包括具有OIS的一广角相机和不具有OIS的一STC。对象跟踪可以在FOV

作为OIS的第七示例性方法，考虑诸如装置400或480的一装置，其具有所述广角相机和所述具有OIS的STC。我们假设RT跟踪，因此一对象的中心位于FOV

校准数据可以被存储在一第一存储器424中，例如在一电可擦可编程序只读存储器(electrically erasable programmable read only memory,EEPROM)中，和/或在一第二存储器438中，和/或在诸如非易失性存储器(non-volatile memory,NVM)的一第三存储器450中。所述校准数据可以包括广角相机430和STC 410之间的校准数据。所述校准数据还可以包括一光路折叠元件的位置和STC对应的视点之间的校准数据。

手持装置400还包括一惯性测量单元(inertial measurement unit,IMU；例如一陀螺仪)460，其提供400的运动信息。例如，一微控制器(microcontroller unit,MCU)可被用于读取和处理IMU 460的数据。在一些例子中，所述MCU可以由AP 440的一部分的一OIS控制器444来控制。在一些例子中，步骤304和步骤306可以由所述MCU来执行，并且步骤308可以由光路折叠元件致动器414(和/或透镜致动器436和/或传感器致动器418，在OIS分别由透镜移位或传感器移位来执行的情况下)来执行。在一些例子中，MCU 470可以被集成到AP440中。

编号为480并且包括如本文所公开的具有至少一个STC的一多光圈相机的一手持装置的另一个实施例如图4B所示。用于从IMU 460读取和处理运动数据以及用于提供多个OIS控制信号的一MCU(未示出)可以被包括在STC模块410中，例如被包括在光路折叠元件致动器414的驱动程序中。

在一些例子中，额外的数据可被用于手部运动估计。额外的数据可能例如是来自所述广角相机430的图像数据，或者是来自所述手持装置中存在的其他传感单元的数据。

在一些例子中，来自广角相机430的图像数据可以被用于估计来自如本领域已知的多个图像的“光流(optical flow)”，其中OIS控制器444可以使用光流的数据以及来自IMU 460的数据来估计装置400的运动。在其他例子中，仅从相机410和/或相机430的图像数据所估计的光流数据可被用于估计装置400的运动。

图像生成器446可以被配置为生成图像和图像流。在一些例子中，图像生成器446可以被配置为仅使用来自相机430的第一图像数据。在其他例子中，图像生成器446可以使用来自相机410和/或相机430的图像数据。

尽管已经根据某些实施例和一般相关联的方法对本公开进行了描述，但是实施例和方法的更改和置换对于本领域技术人员而言将是显而易见的。本公开要被理解为不受本文中所描述的具体实施例的限制，而是仅由所附权利要求的范围限定。

除非另有说明，否则在供选择的选项列表的最后两个选项之间使用“和/或”一词表示对所列选项中的一个或多个进行选择是适当的，并且可以作出选择。

应该理解的是，在权利要求书或说明书中提及“一个(a)”或“一个(an)”元件的情况下，这种引用不应被解释为只有那个元件中的一个。

此外，为了清楚起见，术语“基本上”在本文中用于暗指值在可接受范围内变化的可能性。根据一个示例，本文中所使用的术语“基本上”应当被解释为暗指在任何指定值之上或之下可能的变化高达5％。根据另一示例，本文中所使用的术语“基本上”应当被解释为暗指在任何指定值之上或之下可能的变化高达2.5％。根据另一示例，本文中所使用的术语“基本上”应当被解释为暗指在任何指定值之上或之下可能的变化高达1％。

本说明书中提及的所有专利和专利申请在本文都通过引用的方式全部并入本说明书中，如同每个单独的参考文献都具体并单独地指定为通过引用的方式并入此处。此外，本申请中对任何参考文献的引用或识别都不应当理解为承认所述参考文献可用作对本发明的现有技术。