校准方法

技术领域

本发明涉及一种校准结构光成像设备的方法，更准确地说，涉及一种使用可微分的渲染器校准结构光成像设备的方法。

背景技术

结构光是具有特定图案的光(即空间编码或调制的光)。可以利用结构光来获得感兴趣场景中的物体的深度和表面信息，例如在应用于诸如自动车辆、增强现实、虚拟现实、游戏和人脸识别的不同领域的三维(3D)感测期间。

结构光成像设备包括投影仪和图像传感器。投影仪将结构光的图案发射到场景上，场景内物体的表面特征导致反射的图案看起来失真。图像传感器捕获场景的图像，并将观察到的反射图案与未失真的投影图案进行比较。两个图案之间的差异然后被用于确定所观察的物体的深度和表面信息。

如同许多数字成像设备一样，为了补偿设备的组件内在的像差，有必要在使用前校准结构光成像设备。由于来自结构光投影仪的附加信息，结构光成像设备的校准比传统相机校准更具挑战性。因此，校准结构光成像设备的已知方法通常需要多个图像的捕获。仅使用一幅图像进行校准具有挑战性，并且通常需要多幅图像。此外，由于所述过程是有噪声的，所以具有更多图像允许稳定的解决方案。

发明内容

本公开提供了一种校准结构光成像设备的改进方法，所述方法比以前的方法需要更少的图像。

根据本发明的第一方面，提供了一种校准包括图像传感器和结构光投影仪的结构光成像设备的方法。所述方法包括：

(a)由所述结构光投影仪将结构光的图案投影到目标上，所述目标包括多个光学标记；

(b)由所述图像传感器捕获所述目标上的所述图案的至少一个图像；

(c)使用(i)指定所述光学标记的属性的预定数据和(ii)所捕获的图像中的所述标记的外观，来确定所述设备相对于所述目标的姿态；

(d)使用所述设备的所述姿态、场景的3D模型和校准数据来渲染所述目标和所述图案的图像；以及

(e)通过调整校准数据迭代地细化渲染的图像，直到在所述渲染的图像和所述所捕获的图像之间实现基本收敛。

所述校准数据可以包括所述图像传感器和所述光投影仪的内在参数、失真系数和外在参数。

最终校准数据可以作为校准数据文件保存到存储器。

步骤(e)可以包括应用梯度下降算法来最小化包括渲染的和采集的图像的成本函数，以细化所述校准数据。

根据本发明的第二方面，提供了一种使用包括图像传感器和结构光投影仪的结构光成像设备的方法。所述方法包括：

用所述图像传感器捕获的图像；以及

使用根据任一前述权利要求所述的经调整的校准数据来校正所述图像。

根据本发明的第三方面，提供了一种结构光成像设备，包括图像传感器和结构光投影仪，以及存储使用第一方面的方法生成的经调整的校准数据的存储器。

根据本发明的第四方面，提供了一种校准包括图像传感器和结构光投影仪的结构光成像设备的方法，所述方法包括：

(a)由所述结构光投影仪将结构光的图案投影到目标上，所述目标包括多个光学标记；

(b)由所述图像传感器捕获目标上的图案的图像；

(c)使用(i)指定光学标记的属性的预定数据和(ii)所捕获的图像中的所述标记的外观，来确定所述目标相对于所述图像传感器的估计姿态和所述目标相对于所述结构光投影仪的估计姿态；

(d)使用包括所述光学标记的已知属性、所述目标相对于所述图像传感器的所述估计姿态以及内在图像传感器校准参数的估计值的3D模型，来渲染包括光学标记的预期外观的目标的第一合成图像；

(e)通过将所述所捕获的图像与所述第一合成图像进行匹配直到达到基本收敛，以通过逆渲染来细化所述目标相对于所述图像传感器的所述估计姿态和估计的内在图像传感器校准参数；

(f)使用包括结构光的所述图案的已知属性、所述目标相对于所述结构光投影仪的所述估计姿态、所述目标相对于所述图像传感器的细化姿态、细化的内在图像传感器校准参数以及内在投影仪校准参数的估计值的3D模型，来渲染包括所述结构光的预期图案的所述目标的第二合成图像；

以及

(g)通过将所述所捕获的图像与所述第二合成渲染图像进行匹配直到达到基本收敛，以通过逆渲染来细化所述目标相对于所述结构光投影仪的所述估计姿态和估计的内在投影仪校准参数。

附图说明

图1示意性地示出了在校准期间的结构光成像设备；以及

图2和图3是示出校准结构光成像设备的方法的流程图。

具体实施方式

现在将参照附图描述校准结构光成像设备的方法。

图1示意性地示出了在使用校准目标20的校准期间的结构光成像设备10。结构光成像设备10包括结构光投影仪12、图像传感器14和处理单元16(其被示为集成到设备10中，但是可以设置在设备外部)。校准目标20是包括光学标记22(显示为棋盘方格)的平坦目标。

图2是示出校准诸如图1所示设备的结构光成像设备的方法的流程图。

在步骤1中，图案数据由处理单元16生成并存储，例如在生产投影仪之前由某个模拟工具生成并存储。图案24由结构光投影仪12投影到目标20上。结构光的图案24可以是任何合适的规则的或不规则的图案，例如图1所示的线、形状或点的图案。

光被目标20反射，以形成包括光学标记22和反射的投影图案24的图像。图像由图像传感器14收集(步骤2)并由处理单元16存储。

在步骤3中，处理单元16检索关于目标上的光学标记22的属性(即，尺寸、形状和/或位置)的存储信息。使用检索到的信息和捕获的图像中的标记22的外观(尺寸、形状和/或位置)，处理单元16确定结构照明成像设备10相对于目标的相对位置和取向(以下统称为“姿态”)。该过程可以依赖于例如基本的三角测量：在图像中检测标记，同时那些标记之间的距离是已知的，并且可以用于推断图像传感器相对于那些标记的位置以及由图像传感器捕获的图像的失真。

在步骤4中，处理单元16使用可微分的渲染器来使用3D仿真生成校准目标20的计算模型。所述模拟包括光学标记22、目标表面上的投影图案24以及成像传感器和投影仪。作为模型的输入，处理单元16使用在步骤3中计算的目标的姿态和校准参数的初始估计。校准参数可以包括投影仪12的内在参数和图像传感器14的内在参数(诸如焦距和光学中心的坐标以及视野)；失真系数，诸如任何附加的光学器件的径向和切向失真系数；以及外在参数，包括目标表面、图像传感器和投影仪的相对位置。

在步骤5中，校准参数被细化以优化由渲染的模型和捕获的图像获得的模拟图像。这是通过应用任何已知的梯度下降算法来最小化包括初始校准数据的成本函数来执行的。重复步骤5，直到达到预定的收敛，并且获得最终的校准数据，最终的校准数据然后由处理单元16存储在例如相关联的或集成的存储器中。替代地，可以应用固定的、预定义的迭代次数。

在校准文件中建立的示例性数据可以包括：

相机内在特性：

分辨率(宽度、高度)

焦点(行、列)

主点(行、列)

失真(模型、径向系数、切向系数)

视野(行、列)

投影仪内在特性：

分辨率(宽度、高度)

焦点(行、列)

主点(行、列)

失真(模型、径向系数、切向系数)

视野(行、列)

外在特性：

旋转、平移

通过使用可微分的渲染器来模拟目标20的图像，考虑到目标20、图像传感器14和结构光投影仪12，上述方法允许仅使用少量的捕获的图像来有效校准结构照明成像设备10。这与通常只能使用图像中检测到的点来计算三角测量的已知方法形成对比。那些点是稀疏的，并且它们的检测位置经常受到噪声的影响。本方法可以利用图像的每个像素来计算三角测量。这减少了由操作者收集多个图像所需的时间，而是使用计算时间来执行校准。所述方法允许用较少的图像进行类似质量的校准，或者用类似数量的图像进行更好质量的校准。

图3是示出校准诸如图1所示设备的结构光成像设备的方法的流程图。

在步骤101至步骤102中，结构光的图案被投影到目标上，并且目标的图像被捕获(例如，如上文关于图2的步骤1至步骤2所述)。

在步骤103中，估计目标相对于图像传感器和结构光投影仪的姿态。在一个示例中，可以直接确定目标相对于图像传感器的估计姿态，然后可以根据投影仪相对于图像传感器的位置间接确定目标相对于投影仪的估计姿态。

在步骤104中，使用3D模型渲染目标的第一合成图像，所述第一合成图像包括光学标记的预期外观，所述3D模型包括光学标记的已知属性(例如，几何形状)、目标相对于图像传感器的姿态的估计以及内在图像传感器校准参数的估计值。

在步骤105中，通过将捕获的图像与第一合成图像进行匹配直到达到收敛，目标相对于图像传感器的姿态的估计和估计的内在图像传感器校准参数被细化。这是通过逆渲染(使用逆渲染器)来执行的。

在步骤106中，使用3D模型渲染目标的第二合成图像，所述第二合成图像包括结构光的预期图案，所述3D模型包括目标相对于投影仪的姿态的估计、目标相对于图像传感器的细化姿态和细化的内在图像传感器校准参数(在步骤105中获得的)、结构光的预期图案的已知属性(例如，几何形状)以及内在投影仪校准参数的估计值。

在步骤107中，通过将捕获的图像与第二合成渲染图像进行匹配直到达到收敛，目标相对于结构光投影仪的估计姿态和估计的内在投影仪校准参数被细化。这是通过逆渲染(使用逆渲染器)来执行的。

目标相对于图像传感器的细化姿态和细化的内在图像传感器校准参数(从步骤105获得)，连同目标相对于投影仪的细化姿态和细化的内在投影仪校准参数(从步骤107获得)一起表示最终校准数据，最终校准数据然后可以由处理单元16存储。

在使用结构照明成像设备10期间，结构光投影仪12将结构光的图案投影到场景中的感兴趣的物体上，例如，用于面部识别的用户面部。图案被(整个)物体扭曲，并且反射的扭曲的图案的图像被图像传感器14捕获。使用在校准的步骤5(图2)或步骤105和步骤107(图3)中生成的最终校准数据来校正捕获的图像，并且可以将校正的捕获的图像与初始投影图案进行比较，以确定物体的深度和表面信息。

本方法可用于校准一系列应用的结构光成像设备。在一些示例中，根据本方法校准的结构光照明可以被包括在车辆、移动计算设备(诸如移动电话、平板电脑或可穿戴设备)、游戏控制台、距离测量设备、监视设备等中。

应当理解，可以对如上所述的校准方法进行多种修改。例如，一个或多个处理步骤(例如图案数据的生成或存储，或者步骤3至步骤5(图2)或步骤103至步骤107(图3)中的任何一个)可以在处理单元16外部执行，或者一起在结构光照明设备10外部执行，例如在远程云服务器上执行。

校准设备10的结构光投影仪12可以包括任何合适类型的光发射器，诸如垂直腔面发射激光器(VCSEL)、侧面发射半导体激光器或激光二极管，并且可以发射任何合适波长(例如在红外波段)的光。校准设备10的图像传感器14也没有特别限制，并且可以包括例如互补金属氧化物半导体(CMOS)检测器。结构光投影仪12和图像传感器14都可以包括附加的光学元件，诸如带通滤波器、透镜、掩模或其他折射/衍射光学器件，这些光学元件有助于校准数据中的投影仪12和传感器14的各自内在参数。