摄像头模组

技术领域

本发明涉及一种摄像头模组。

背景技术

三维内容被应用于游戏和文化领域，除此之外，还被应用于诸如教育、制造、自动驾驶等各种领域，为了获得三维内容，需要深度图。深度图是表示空间距离的图，并且表示二维图像中一个点相对于另一点的透视信息。

获得深度图的方法之一是将红外(IR)结构光投射到物体上并分析来自物体的反射光以提取深度图。对于IR结构光，存在难以获得移动物体的期望水平的深度分辨率的问题。

同时，作为替代IR结构光方法的技术，飞行时间(ToF)方法正引起关注。根据ToF方法，测量飞行时间，即光被照射、反射和返回的时间，来计算到物体的距离。ToF方法的一个很大的优势是实时快速地提供关于三维空间中的距离的信息。另外，用户无需应用附加算法或执行硬件校正就可以获得精确的距离信息。另外，即使当测量非常近的物体或移动物体时，也可以获得精确的深度图。

然而，在当前的ToF方法的情况下，存在能够从一帧获得的信息不充分，即，其分辨率非常低的问题。另外，存在使用IR光获得的二维(2D)图像的分辨率也很低的问题。

作为提高分辨率的方法，存在一种提高图像传感器的像素数量的方法。然而，在这种情况下，存在摄像头模组的体积和制造成本大大增加的问题。

因此，需要一种能够使分辨率提高而不会大大增加摄像头模组的体积和制造成本的获得深度图的方法。

发明内容

技术问题

本发明旨在提供一种利用飞行时间(ToF)方法提取深度图并生成二维(2D)红外图像的摄像头模组。

技术方案

本发明的一个方面提供一种摄像头模组，包括：光输出部，被配置成在一个时段依次输出第一输出光信号和第二输出光信号，第一输出光信号和第二输出光信号照射到物体上；透镜部，包括红外(IR)滤光器和设置在IR滤光器上的至少一个透镜，并且被配置成收集从物体反射的第一输入光信号和第二输入光信号；图像传感器，被配置成从透镜部收集的第一输入光信号和第二输入光信号产生第一电信号和第二电信号；倾斜部，被配置成根据预定规则使第一输入光信号的光路和第二输入光信号的光路移动；以及图像控制部，被配置成利用第一输出光信号与第一输入光信号之间的相位差以及第一电信号来获得物体的深度图，并且被配置成利用第二电信号来获得物体的二维(2D)图像。

图像控制部可以利用在多个时段(其中，第一输入光信号的光路根据预定规则被多次移动)提取的数据来获得物体的深度图。

根据预定规则，第一输入光信号的光路可以在第一时段基于预设的移动值沿第一方向移动，在第二时段基于预设的移动值沿与第一方向垂直的第二方向移动，在第三时段基于预设的移动值沿与第二方向垂直的第三方向移动，在第四时段基于预设的移动值沿与第三方向垂直的第四方向移动。

图像控制部可以通过对利用第一电信号从在第一时段提取的数据获得的第一图像、从在第二时段提取的数据获得的第二图像、从在第三时段提取的数据获得的第三图像以及从在第四时段提取的数据获得的第四图像进行匹配来获得物体的深度图。

图像控制部可以利用在一个时段(其中，第二输入光信号的光路根据预定规则被多次移动)提取的数据来获得2D图像。

根据预定规则，第二输入光信号的光路可以在该一个时段的第一子时段基于预设的移动值沿第一方向移动，在该一个时段的第二子时段基于预设的移动值沿与第一方向垂直的第二方向移动，在该一个时段的第三子时段基于预设的移动值沿与第二方向垂直的第三方向移动，在该一个时段的第四子时段基于预设的移动值沿与第三方向垂直的第四方向移动。

图像控制部可以通过对利用第二电信号从在第一子时段提取的数据获得的第一子图像、从在第二子时段提取的数据获得的第二子图像、从在第三子时段提取的数据获得的第三子图像以及从在第四子时段提取的数据获得的第四子图像进行匹配来获得物体的2D图像。

光输出部可以以连续波的形式输出第二输出光信号。

预设的移动值可以大于与零个像素对应的值且小于与一个像素对应的值。

有益效果

根据本发明的实施例，使用一个摄像头模组能够获得深度图和二维(2D)红外图像两者。

另外，通过使入射光信号的光路移动，即使不大幅增加图像传感器的像素数也能够获得具有高分辨率的深度图和2D红外图像。

附图说明

图1是根据本发明的一个实施例的摄像头模组的框图。

图2是示出摄像头模组的一个示例的剖视图。

图3是用于描述根据本发明的实施例的图像传感器部的视图。

图4是用于描述根据本发明的实施例的光输出部的输出光信号的视图。

图5是用于描述根据本发明的实施例的图像传感器部产生第一电信号的过程的视图。

图6是用于描述通过倾斜部改变输入光信号的光路的一组视图。

图7和图8是用于描述根据红外(IR)滤光器的倾斜控制来将输入到图像传感器的图像帧移动的效果的视图。

图9是用于描述根据本发明的实施例的预定规则的视图，输入光信号的光路通过倾斜部以预定规则移动。

图10是示出通过根据本发明的一个实施例的摄像头模组获得的相位图像的示例的视图，图11是示出振幅图像的示例的视图，图12是示出深度图像的示例的一组视图。

图13和图14是用于描述根据本发明的实施例的超分辨率(SR)技术的视图。

图15是用于描述根据本发明的实施例的排列像素值的过程的视图。

图16是示出根据本发明的一个实施例的摄像头装置生成深度图像和二维(2D)图像的方法的流程图。

具体实施方式

在下文中，将参考附图详细描述本发明的示例性实施例。

然而，本发明的技术精神不限于将要描述的一些实施例，并且可以使用各种其他实施例来实现，并且在技术精神的范围内，实施例中的至少一个部件可以被选择性地耦接、替换和使用。

另外，除非上下文另外明确具体地定义，否则本文中使用的所有术语(包括技术术语和科学术语)可以被解释为具有本领域技术人员的惯用含义，并且通用术语(诸如常用词典中定义的术语)的含义将通过考虑相关技术的上下文含义来解释。

另外，本发明的实施例中使用的术语在描述性意义上来考虑，而不用于限制本发明。

在本说明书中，除非上下文另外明确地指出，否则单数形式包括其复数形式，并且在描述“A、B和C中的至少一个(或一个或多个)”的情况下，可以包括A、B和C的所有可能组合中的至少一个组合。

另外，在描述本发明的部件时，可以使用诸如“第一”、“第二”、“A”、“B”、“(a)”和“(b)”的术语。

这些术语仅是为了将一个元件与另一元件区分开，并且该元件的本质、顺序等不受这些术语的限制。

另外，应理解，当一个元件被称为“连接或耦接”到另一元件时，这样的描述可以包括该元件直接连接或耦接到另一元件的情况以及该元件被连接或耦接到另一元件并且又一元件设置在它们之间的情况。

另外，在任一个元件被描述为形成或设置在另一元件“上或下”的情况下，这样的描述包括两个元件被形成或设置为彼此直接接触的情况以及一个或多个其他元件插设在两个元件之间的情况。另外，当一个元件被描述为设置在另一元件“上”或“下”时，这样的描述可以包括该一个元件相对于另一元件设置在上侧或下侧的情况。

首先，将参考图1和图2具体描述根据本发明的实施例的摄像头模组的结构。

图1是根据本发明的一个实施例的摄像头模组的框图。

参考图1，摄像头模组100包括光输出部110、透镜部120、图像传感器部130、倾斜部140和图像控制部150。

光输出部110产生第一输出光信号和第二输出光信号，并将第一输出光信号和第二输出光信号照射到物体上。在这种情况下，第一输出光信号和第二输出光信号可以在一个时段被依次输出并且在多个时段重复输出。

光输出部110可以产生并输出脉冲波或连续波形式的输出光信号。连续波可以具有正弦波或方波的形式。具体地，光输出部110可以产生脉冲波或连续波形式的第一输出光信号，并且产生连续波形式的第二输出光信号。根据本发明的实施例，由于第二输出光信号以连续波的形式输出，因此具有降低光输出部110的开关损耗的优点。

在本说明书中，输出光可以指从光输出部110输出并入射到物体上的光，输入光可以指从光输出部110输出、到达物体、被物体反射并且被输入到摄像头模组100的光。从物体的角度来看，输出光可以是入射光，输入光可以是反射光。

光输出部110将产生的第一输出光信号和第二输出光信号以预定的曝光时间照射到物体上。在这种情况下，曝光时段指一个帧周期。在产生多个帧的情况下，重复所设定的曝光时段。例如，摄像头模组100以20FPS拍摄物体的图像，曝光时段为1/20[秒]。另外，在产生100帧的情况下，曝光时段可以重复100次。

参考图1，为了产生第一输出光信号和第二输出光信号，光输出部110可以包括被配置为产生光的光源112和被配置为调制光的光调制器114。

首先，光源112产生光。光源112以预定的时间间隔重复地开启和关闭，以产生具有脉冲波形式或连续波形式的第一输出光信号和第二输出光信号。预定的时间间隔可以对应于输出光信号的频率。光源的开启和关闭可以由光调制器114控制。

在这种情况下，光源112产生的光可以是波长为770nm至3000nm的红外光，并且也可以是波长为380nm至770nm的可见光。发光二极管(LED)可以被用作光源112，并且光源112可以具有以预定图案布置有多个LED的形式。另外，光源112也可以包括有机LED(OLED)或激光二极管(LD)。可替代地，光源112也可以是垂直腔面发射激光器(VCSEL)。VCSEL是被配置为将电信号转换为光信号的激光二极管中的一种，并且可以使用约800nm至1000nm，例如约850nm或940nm的波长。

另外，光调制器114控制光源112的开启和关闭以控制光源112产生连续波或脉冲波形式的第一输出光信号和第二输出光信号。光调制器114可以通过频率调制、脉冲调制等来控制光源112产生连续波或脉冲波形式的输出光信号。

透镜部120收集从物体反射的第一输入光信号和第二输入光信号，并将第一输入光信号和第二输入光信号传输到图像传感器部130。透镜部120可以包括红外(IR)滤光器和设置在IR滤光器上的一个透镜，以收集第一输入光信号和第二输入光信号。

图像传感器部130使用通过透镜部120收集的第一输入光信号和第二输入光信号来产生第一电信号和第二电信号。在这种情况下，第一电信号是与第一输入光信号对应的信号，第二电信号是与第二输入光信号对应的信号。

具体地，图像传感器部130可以与光输出部110的开启和关闭周期同步，以接收第一输入光信号。图像传感器部130可以接收与从光输出部110输出的第一输出光信号同相和异相的第一输入光信号。也就是说，图像传感器部130可以重复地执行在光源开启时接收第一输入光信号的操作以及在光源关闭时接收第一输入光信号的操作。

另外，图像传感器部130可以响应于光输出部110的第二输出光信号接收第二输入光信号。具体地，图像传感器部130可以与第二输出光信号被输出的时间同步以接收第二输入光信号。

然后，图像传感器部130分别使用接收到的第一输入光信号和接收到的第二输入光信号来产生第一电信号和第二电信号。在这种情况下，可以使用具有不同相位差的多个参考信号来产生第一电信号。

倾斜部140根据预定规则使第一输入光信号和第二输入光信号的光路移动。

具体地，倾斜部140可以在每个时段使第一输入光信号沿预定方向移动预设的移动值。另外，倾斜部140可以在每个子时段使第二输入光信号沿预定方向移动预设的移动值。

在这种情况下，倾斜部140可以根据预设的移动值使第一输入光信号和第二输入光信号的光路移动。在这种情况下，预设的移动值可以以图像传感器部130的子像素为单位设定。子像素可以是大于零个像素且小于一个像素的单位。另外，倾斜部140可以基于当前光路将输出光信号或输入光信号的至少一个光路的方向改变为向上、向下、向左和向右方向中的一个方向。

图像控制部150使用第一电信号和第二电信号获得深度图和二维(2D)图像。

参考图1，图像控制部150可以包括被配置为获得深度图像的第一图像获取部151和被配置为获得2D图像的第二图像获取部152。

具体地，第一图像获取部151使用第一输出光信号与第一输入光信号之间的相位差以及第一电信号来获得物体的深度图。第一图像获取部151利用在多个时段(其中，第一输入光信号的光路根据预定规则被多次移动)提取的数据来获得物体的深度图。在这种情况下，第一图像获取部151可以通过对利用第一电信号从在第一时段提取的数据获得的第一图像、从在第二时段提取的数据获得的第二图像、从在第三时段提取的数据获得的第三图像以及从在第四时段提取的数据获得的第四图像进行匹配来获得物体的深度图。

另外，第二图像获取部152使用第二电信号来获得物体的2D图像。第二图像获取部152可以利用在一个时段(其中，第二输入光信号的光路根据预定规则被多次移动)提取的数据来获得2D图像。在这种情况下，第二图像获取部152可以通过对使用第二电信号从在第一子时段提取的数据获得的第一子图像、从在第二子时段提取的数据获得的第二子图像、从在第三子时段提取的数据获得的第三子图像以及从在第四子时段提取的数据获得的第四子图像进行匹配来获得物体的2D图像。

图2是示出摄像头模组的一个示例的剖视图。

参考图2，摄像头模组300包括透镜组件310、图像传感器320和印刷电路板330。在这种情况下，透镜组件310可以对应于图1的透镜部120，图像传感器320可以对应于图1的图像传感器部130。另外，图1的图像控制部150等可以形成在印刷电路板330上。尽管未在附图中示出，但是图1的光输出部110可以设置在印刷电路板330上的图像传感器320旁边，或者设置在摄像头模组300外部，例如，摄像头模组300旁边。

透镜组件310可以包括透镜312、镜筒314、透镜支架316和IR滤光器318。

透镜312可以被设置为多个透镜312，也可以被设置为一个透镜312。在将透镜312设置为多个透镜312的情况下，可以使透镜相对于中心轴对准以形成光学系统。在这种情况下，中心轴可以与光学系统的光轴相同。

镜筒314可以耦接到透镜支架316，并设置有用于在其中容纳透镜的空间。镜筒314可以可旋转地耦接到一个或多个透镜，但这仅仅是示例性的，并且镜筒314可以通过不同的方法(例如使用粘合剂(例如，诸如环氧树脂的粘合树脂)的方法)与之耦接。

透镜支架316可以耦接到镜筒314并支撑镜筒314，并且耦接到其上安装有图像传感器320的印刷电路板330。由于有透镜支架316，可以在镜筒314的下方形成可以附接IR滤光器318的空间。可以在透镜支架316的内周面上形成螺旋图案，并且透镜支架316可以可旋转地耦接到镜筒314(镜筒314的外周面上形成有如透镜支架316的螺旋图案那样的螺旋图案)。然而，这仅仅是示例性的，并且透镜支架316和镜筒314可以通过粘合剂耦接，或者透镜支架316和镜筒314也可以一体地形成。

透镜支架316可以被分为耦接到镜筒314的上支架316-1和耦接到其上安装有图像传感器320的印刷电路板330的下支架316-2，并且上支架316-1和下支架316-2可以一体地形成、单独地形成并固定或耦接、或者单独地形成并且彼此间隔开。在这种情况下，上支架316-1可以形成为其直径小于下支架316-2的直径。

以上示例仅是一个实施例，并且透镜部120也可以被设置为不同的结构，该结构可以收集入射在摄像头模组100上的第一输入光信号和第二输入光信号，并将收集到的第一输入光信号和收集到的第二输入光信号传输到图像传感器部130。

图3是用于描述根据本发明的实施例的图像传感器部的视图。

图像传感器部130接收第一输入光信号和第二输入光信号以分别产生第一电信号和第二电信号。

为此，图像传感器部130可以被实现为互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器，并且可以形成为以网格形状排列有多个像素的结构。例如，在如图3所示的分辨率为320×240的图像传感器部130的情况下，可以以网格形状排列76800像素。

每个像素132可以包括第一光接收部132-1和第二光接收部132-2，第一光接收部132-1包括第一光电二极管和第一晶体管，第二光接收部132-2包括第二光电二极管和第二晶体管。

在多个像素之间会产生恒定的间隙，如图3的阴影区域。在本发明的实施例中，具有与一个像素相邻的恒定间隙的一个像素将被描述为一个像素。

在下文中，将参考图4至图15详细描述根据本发明的实施例的摄像头模组的部件。

图4是用于描述根据本发明的实施例的光输出部的输出光信号的视图。

如上所述，第一输出光信号和第二输出光信号可以在一个时段(即，一个曝光时段)依次输出。另外，对于多个曝光时段，可以重复输出第一输出光信号和第二输出光信号。也就是说，可以以相同的模式输出第一输出光信号和第二输出光信号。

在这种情况下，如图4所示，可以将第一输出光信号和第二输出光信号产生为具有不同的频率。根据本发明的实施例，如图4所示，可以控制光输出部110以在曝光时段的前一半中产生频率为f1的第一输出光信号，并在曝光时段的剩余一半中产生频率为f2的第二输出光信号。例如，光输出部110可以产生频率为80.32MHz的第一输出光信号和频率为60.24MHz的第二输出光信号。

图5是用于描述根据本发明的实施例的图像传感器部产生第一电信号的过程的视图。

根据本发明的实施例，在图像传感器部130中，接收第一输入光信号并产生第一电信号的过程可以不同于接收第二输入光信号并产生第二电信号的过程。

首先，将描述接收第一输入光信号并产生第一电信号的过程。第一光接收部132-1接收具有与第一输出光信号的相位相同的相位的第一输入光信号。也就是说，当光源开启时，第一光电二极管导通并接收第一输入光信号。另外，当光源关闭时，第一光电二极管截止并停止接收第一输入光信号。第一光电二极管将接收到的第一输入光信号转换成电流，并将该电流传输到第一晶体管。第一晶体管将接收到的电流转换成电信号并将该电信号输出。

第二光接收部132-2接收具有与输出光的波形的相位相反的相位的第一输入光信号。也就是说，当光源开启时，第二光电二极管截止并接收第一输入光信号。另外，当光源关闭时，第二光电二极管导通并停止接收第一输入光信号。第二光电二极管将接收到的第一输入光信号转换成电流并将该电流传输到第二晶体管。第二晶体管将接收到的电流转换成电信号。

因此，第一光接收部132-1可以被称为同相接收单元，第二光接收部132-2可以被称为异相接收单元。如上所述，当在不同的时间激活第一光接收部132-1和第二光接收部132-2时，根据与物体的距离产生接收的光量的差异。例如，在物体直接位于摄像头模组100的前面(即，距离＝0)的情况下，由于光从光输出部110输出并被物体反射并从物体返回所用的时间为零，因此光源的开启和关闭周期是光的接收周期。因此，仅第一光接收部132-1接收光，第二光接收部132-2不接收光。作为另一示例，在物体与摄像头模组100间隔开预定距离的情况下，由于光从光输出部110输出并被物体反射并从物体返回需要时间，因此光源的开启和关闭周期与光接收周期不同。因此，在第一光接收部132-1和第二光接收部132-2之间产生接收的光量的差异。也就是说，可以使用第一光接收部132-1和第二光接收部132-2之间的接收的光量的差异来计算与物体的距离。

图像传感器部130可以使用参考信号以及由第一光接收部132-1的晶体管和第二光接收部132-2的晶体管产生的电信号来产生与具有不同相位差的多个参考信号中的每一个对应的第一电信号。如图5所示，当产生与根据本发明的实施例的第一输入光信号对应的第一电信号时，可以使用四个参考信号C

在这种情况下，每个参考信号的频率可以被设置为与从光输出部110输出的第一输出光信号的频率相同。另外，图像传感器部130可以将接收到的第二输入光信号转换为电信号。每个电信号可以包括关于与参考信号对应的电荷量或电压量的信息。

接下来，将描述接收第二输入光信号并产生第一电信号的过程。产生第二电信号的过程可以与产生第一电信号的过程不同。由于第二电信号是用于获得2D图像而不用于获得深度图像的电信号，因此可以不使用参考信号，并且第一光接收部132-1和第二光接收部132-2可以同时接收第二输入光信号。然而，第一光接收部132-1和第二光接收部132-2可以与倾斜部140的倾斜周期同步来接收光。

接下来，将参考图6至图8详细描述根据本发明的实施例的倾斜部。

图6是用于描述通过倾斜部改变输入光信号的光路的一组视图。

在图6A中，由实线示出的部分示出了输入光信号的当前光路，而由虚线示出的部分示出了其改变后的光路。当与当前光路对应的曝光时段结束时，倾斜部140可以将输入光信号的光路改变为由虚线示出的光路。然后，输入光信号的路径从当前光路移动一个子像素。例如，如图6A所示，当倾斜部140将当前光路向右移动0.173°时，入射在图像传感器部130上的输入光信号可以向右移动0.5个像素(子像素)。

根据本发明的实施例，倾斜部140可以从参考位置沿顺时针方向改变输入光信号的光路。例如，如图所示，在图6B中，在第一曝光时段结束之后，倾斜部140在第二曝光时段中基于图像传感器部130将输入光信号的光路移动0.5个像素。另外，倾斜部140在第三曝光时段中基于图像传感器部130将输入光信号的光路向下移动0.5个像素。另外，倾斜部140在第四曝光时段中基于图像传感器部130将输入光信号的光路向左移动0.5个像素。另外，倾斜部140在第五曝光时段中基于图像传感器部130将输入光信号的光路向上移动0.5个像素。也就是说，倾斜部140可以以四个曝光时段将输入光信号的光路移动到原始位置。由于在移动输出光信号的光路时可以类似地实施，因此将省略其详细描述。另外，对应于顺时针方向的光路的变化图案仅是示例性的，并且变化图案可以对应于逆时针方向。

同时，子像素可以大于零个像素且小于一个像素。例如，子像素可以具有0.5个像素的尺寸，也可以具有1/3个像素的尺寸。子像素的设计可以由本领域技术人员改变。

图7和图8是用于描述根据IR滤光器的倾斜控制来将输入到图像传感器的图像帧移动的效果的视图。图7是示出在IR滤光器的厚度为0.21mm并且IR滤光器的折射率为1.5的条件下根据倾斜角度的移动距离的模拟结果的视图。

参考图7和下面的等式1，IR滤光器318的倾角θ1和移动距离可以具有以下关系。

[等式1]

在这种情况下，θ

[等式2]

另外，θ

如上所述，当控制IR滤光器318的倾角时，即使不倾斜图像传感器320，也可以获得移动的图像数据。

根据本发明的实施例，用于使IR滤光器的倾角倾斜的倾斜部140可以包括与IR滤光器直接或间接连接的致动器，并且致动器可以包括微机电系统(MEMS)装置、音圈电机(VCM)和压电元件中的至少一个。

在这种情况下，如上所述，子像素大于零个像素且小于一个像素，并且需要非常精确的控制以将输入光信号在该范围内移动。在使用致动器使IR滤光器倾斜的情况下，根据致动器的精度，倾斜的IR滤光器的倾角和输入光信号的移动值可以不同于预设值。特别地，在操作致动器期间发生错误或故障或者由于致动器长期使用使得致动器的部件的排列变得脱节的情况下，IR滤光器的倾角误差和输入光信号的移动值误差可能会变得非常大。

根据本发明的实施例，倾斜部140可以以软件或硬件方式改变输入光信号的光路。上面已经描述了倾斜部140通过控制IR滤光器的倾角改变输入光信号的光路的示例，但是本发明不限于此。

图9是用于描述根据本发明的实施例的预定规则的视图，输入光信号的光路通过倾斜部以预定规则移动。

在本发明的实施例中，倾斜部140可以根据预定规则多次移动第一输入光信号的光路和第二输入光信号的光路。

如上所述，由于光输出部110在一个时段内依次输出第一输出光信号和第二输出光信号，因此第一输入光信号和第二输入光信号也在一个时段(即，一个曝光时段)内被依次输入到透镜部120。

例如，如图9所示，当假设一个曝光时段包括八个子时段时，可以在第一子时段至第四子时段输入第一输入光信号，并且可以在第五子时段至第八子时段输入第二输入光信号。

根据预定规则，第一输入光信号可以通过倾斜部140，在第一时段基于预设的移动值沿第一方向移动，在第二时段基于预设的移动值沿与第一方向垂直的第二方向移动，在第三时段基于预设的移动值沿与第二方向垂直的第三方向移动，在第四时段基于预设的移动值沿与第三方向垂直的第四方向移动。

参考图9，例如，倾斜部140可以以子像素为单位在第一时段沿第一方向移动第一输入光信号的光路，其中子像素大于零个像素且小于图像传感器部130的一个像素，并且可以以子像素为单位在第二时段沿与第一方向垂直的第二方向移动该光路，以子像素为单位在第三时段沿与第二方向垂直的第三方向移动该光路，以子像素为单位在第四时段沿与第三方向垂直的第四方向移动该光路，并且可以重复执行相应的过程。在本说明书中，子像素可以指大于零个像素且小于一个像素的单位。在本说明书中，可以利用子像素移动值或者移动值来描述沿第一方向在第一时段的移动距离、沿第二方向在第二时段的移动距离、沿第三方向在第三时段的移动距离和沿第四方向在第四时段的移动距离。例如，在一个像素包括四个(2×2)子像素并且以子像素为单位移动的情况下，移动值可以表示为一个子像素、0.5个像素等。

根据预定规则，第二输入光信号可以通过倾斜部140在一个时段的第一子时段基于预设的移动值沿第一方向移动，在一个时段的第二子时段基于预设的移动值沿与第一方向垂直的第二方向移动，在一个时段的第三子时段基于预设的移动值沿与第二方向垂直的第三方向移动，在一个时段的第四子时段基于预设的移动值沿与第三方向垂直的第四方向移动。

参考图9，例如，倾斜部140可以以子像素为单位在第一时段的第五子时段沿第一方向移动第一输入光信号的光路，其中子像素大于零个像素且小于图像传感器部130的一个像素，并且可以以子像素为单位在第一时段的第六子时段沿与第一方向垂直的第二方向移动该光路，以子像素为单位在第一时段的第七子时段沿与第二方向垂直的第三方向移动该光路，以子像素为单位在第一时段的第八子时段沿与第三方向垂直的第四方向移动该光路，并且可以在每个曝光时段重复执行相应的过程。在本说明书中，子像素可以指大于零个像素且小于一个像素的单位。在本说明书中，在第一时段、第二时段、第三时段和第四时段沿第一方向、第二方向、第三方向和第四方向的移动距离可以表示为子像素移动值或者移动值。例如，在一个像素包括四个(2×2)子像素并且光路以一个子像素为单位移动的情况下，移动值可以表示为一个子像素、0.5个像素等。

在下文中，将参考图10至图15具体描述通过根据本发明的实施例的图像控制部获得深度图和2D图像。

如上所述，图像控制部150利用从图像传感器部130接收到的第一电信号计算第一输出光信号与第一输入光信号之间的相位差，并利用该相位差计算物体与摄像头模组100之间的距离。

具体地，图像控制部150可以使用关于第一电信号的电荷量的信息来计算第一输出光信号与第一输入光信号之间的相位差。

如上所述，可以针对第一输出光信号的频率产生四个电信号。因此，图像控制部150可以使用下面的等式3来计算第一输出光信号和第一输入光信号之间的相位差t

[等式3]

这里，Q

然后，图像控制部150可以利用第一输出光信号与第一输入光信号之间的相位差来计算物体与摄像头模组100之间的距离。在这种情况下，图像控制部150可以使用下面的等式4来计算物体与摄像头模组100之间的距离d。

[等式4]

这里，c是光速，f是第一输出光的频率。

根据本发明的实施例，可以从摄像头模组100获得飞行时间(ToF)IR图像和深度图像。

更具体地，如图10所示，可以从根据本发明的实施例的摄像头模组100获得根据四个相位的原始图像。在这种情况下，四个相位可以是0°、90°、180°和270°，并且每个相位的原始图像可以是包括针对每个相位数字化了的像素值的图像，并且也可以被称为相位图像、相位IR图像等。

当使用图10的四个相位图像和等式5进行计算时，可以获得振幅图像(图5的ToFIR图像)。

[等式5]

这里，Raw(x

可替代地，当使用图10的四个相位图像和等式6进行计算时，可以获得强度图像(另一个ToF IR图像)。

[等式6]

强度＝|Raw(x

在这种情况下，Raw(x

如上所述，ToF IR图像是通过将四个相位图像中的两个相位图像减去的操作而从剩余的两个相位图像生成的图像，并且可以通过该操作去除背景光。因此，在ToF IR图像中，仅保留具有由光源输出的波长的信号，从而可以提高对物体的IR灵敏度并且可以显著降低噪音。

在本说明书中，ToF IR图像可以指振幅图像或强度图像，并且强度图像也可以被称为置信度图像。如图7所示，ToF IR图像可以是灰度图像。

同时，当使用图10的四个相位图像以及等式7和8来进行计算时，可以获得图11的深度图像。

[等式7]

[等式8]

另外，图像控制部150可以使用从图像传感器部130接收的第二电信号获得物体的2D图像。

如上所述，由于倾斜部140在一个时段的每个子时段倾斜第二输入光信号，并且图像传感器部130与倾斜部140同步并产生第二电信号，因此对应于第二输入光信号的第二电信号可以包括多个信号。例如，当第二输入光信号针对四个子时段输入时，第二电信号可以包括四个电信号。

图像控制部150可以使用针对子时段产生的电信号生成多个子帧。例如，在第二电信号包括与四个子时段对应的四个电信号的情况下，图像控制部150可以生成四个子帧。

在一个时段生成的深度图或在一个时段生成的多个子帧可以用作深度图像或2D图像。然而，在图像传感器部130的分辨率低的情况下，存在深度图像或2D图像的分辨率降低的问题。因此，根据本发明的实施例的图像控制部150通过分别对多个低分辨率深度图像和多个低分辨率2D图像进行匹配来生成一个高分辨率深度图像和一个高分辨率2D图像。

具体地，图像控制部利用在多个时段提取的数据来获得物体的深度图，在该多个时段中，第一输入光信号的光路根据预定规则被多次移动。图像控制部通过对使用第一电信号从在第一时段提取的数据获得的第一图像、从在第二时段提取的数据获得的第二图像、从在第三时段提取的数据获得的第三图像以及从在第四时段提取的数据获得的第四图像进行匹配来获得物体的深度图。

另外，图像控制部利用在一个时段提取的数据来获得2D图像，在该一个时段中，第二输入光信号的光路根据预定规则被多次移动。图像控制部通过对利用第二电信号从在第一子时段提取的数据获得的第一子图像、从在第二子时段提取的数据获得的第二子图像、从在第三子时段提取的数据获得的第三子图像以及从在第四子时段提取的数据获得的第四子图像进行匹配来获得物体的2D图像。

在本发明的实施例中，为了增加深度图像的分辨率和2D图像的分辨率，使用了超分辨率(SR)技术。SR技术是用于从多个低分辨率图像获得高分辨率图像的技术，并且SR技术的数学模型可以表示为等式9。

[等式9]

y

这里，1＝k≤p，p是低分辨率图像的数量，y

为此，在本发明中，由于倾斜部140将第一输入光信号的光路和第二输入光信号的光路改变了根据预定规则预设的移动值来获得低分辨率图像图以便解决该问题，因此即使不使用统计方法，也可以准确地计算等式9的M

图13和图14是用于描述根据本发明的实施例的SR技术的视图。在图13和图14中，示出了使用低分辨率深度图获得高分辨率深度图的过程。

参考图13，图像控制部150可以使用在一个曝光时段即一帧中生成的多个低分辨率子帧来提取多个低分辨率深度图。另外，图像控制部150可以通过重新排列多个低分辨率深度图的像素值来提取高分辨率深度图。在这种情况下，第一输入光信号的与多个低分辨率深度图对应的光路可以彼此不同。

例如，图像控制部150可以使用第一电信号中包括的多个电信号来生成低分辨率子帧1-1至4-4。低分辨率子帧1-1至1-4是针对第一曝光时段生成的低分辨率子帧。低分辨率子帧2-1至2-4是针对第二曝光时段生成的低分辨率子帧。低分辨率子帧3-1至3-4是针对第三曝光时段生成的低分辨率子帧。低分辨率子帧4-1至4-4是针对第四曝光时段生成的低分辨率子帧。然后，图像控制部150将深度图提取技术应用于针对曝光时段生成的多个低分辨率子帧以提取低分辨率深度图LRD-1至LRD-4。低分辨率深度图LRD-1是使用子帧1-1至1-4提取的低分辨率深度图。低分辨率深度图LRD-2是使用子帧2-1至2-4提取的低分辨率深度图。低分辨率深度图LRD-3是使用子帧3-1至3-4提取的低分辨率深度图。低分辨率深度图LRD-4是使用子帧4-1至4-4提取的低分辨率深度图。另外，图像控制部150通过重新排列低分辨率深度图LRD-1至LRD-4的像素值来提取高分辨率深度图HRD。

作为另一示例，参考图14，图像控制部150可以通过重新排列与一个参考信号对应的多个子帧的像素值来生成高分辨率子帧。在这种情况下，第一输入光信号的与多个子帧对应的光路是不同的。另外，图像控制部150可以使用多个高分辨率子帧来提取高分辨率深度图。

例如，在图14中，图像控制部150使用第一电信号中包括的多个电信号来生成低分辨率子帧1-1至4-4。低分辨率子帧1-1至1-4是在第一曝光时段中生成的低分辨率子帧。低分辨率子帧2-1至2-4是在第二曝光时段中生成的低分辨率子帧。低分辨率子帧3-1至3-4是在第三曝光时段中生成的低分辨率子帧。低分辨率子帧4-1至4-4是在第四曝光时段中生成的低分辨率子帧。在这种情况下，低分辨率子帧1-1、2-1、3-1和4-1对应于一个参考信号C1，并且对应于不同的光路。然后，图像控制部150可以通过重新排列低分辨率子帧1-1、2-1、3-1和4-1的像素值来生成高分辨率子帧H-1。当通过重新排列像素值来生成高分辨率子帧H-1至H-4时，图像控制部将深度图提取技术应用于高分辨率子帧H-1至H-4以提取高分辨率深度图HRD。

同时，图像控制部150可以使用在一个曝光时段即一帧中生成的多个低分辨率子帧来获得一个高分辨率2D图像。例如，图像控制部150可以使用第二电信号中包括的多个电信号生成多个低分辨率子帧即子图像，并通过对子图像进行匹配来获得一个高分辨率2D图像。

如上所述，在深度图像的情况下，由于通过对在多个时段生成的深度图进行匹配而获得一个深度图，因此当与摄像头模组100的图像拍摄速度相比时，深度图的数量可以较少。例如，在通过对四个时段的深度图进行匹配而获得一个深度图的情况下，具有100fps的摄像头模组每秒可以获得25个高分辨率深度图。

另一方面，在2D图像的情况下，由于通过对在一个时段生成的多个子图像进行匹配而获得一个高分辨率2D图像，因此获得的2D图像的数量可以与摄像头模组100的图像拍摄速度相匹配。例如，具有100fps的摄像头模组每秒可以获得100个高分辨率2D图像。

图15是用于描述根据本发明的实施例的排列像素值的过程的视图。

在这种情况下，假设使用四个尺寸分别为4×4的低分辨率图像来生成一个尺寸为8×8的高分辨率图像。在这种情况下，高分辨率像素网格具有8×8个像素，其数量与高分辨率图像的像素数量相同。在这种情况下，低分辨率图像可以指的是包括低分辨率子帧和低分辨率深度图，高分辨率图像可以指的是包括高分辨率子帧和高分辨率深度图。

在图15中，第一低分辨率图像至第四低分辨率图像是当以子像素为单位移动光路时拍摄的图像，其中子像素是0.5个像素。图像控制部150基于光路未移动的第一低分辨率图像根据光路被移动的方向来排列第二低分辨率图像至第四低分辨率图像的像素值从而与高分辨率图像匹配。

具体地，第二低分辨率图像是从第一低分辨率图像向右移动了一个子像素的图像。因此，第二低分辨率图像的像素B设置在位于第一低分辨率图像的像素A的右侧的像素处。

第三低分辨率图像是从第二低分辨率图像向下移动了一个子像素的图像。因此，第三低分辨率图像的像素C设置在位于第二低分辨率图像的像素B下方的像素处。

第四低分辨率图像是从第三低分辨率图像向左移动了一个子像素的图像。因此，第四低分辨率图像的像素D设置在位于第三低分辨率图像的像素C的左侧的像素处。

当将第一低分辨率图像至第四低分辨率图像的像素值在高分辨率像素网格中重新排列时，生成高分辨率图像帧，高分辨率图像帧的分辨率为各低分辨率图像的分辨率增加到原来的四倍。

同时，图像控制部150可以将权重应用于要排列的像素值。在这种情况下，权重可以根据子像素的尺寸或光路的移动方向设置为不同，并且低分辨率图像的权重可以设置为不同。

根据一个实施例，倾斜部140可以通过控制透镜组件(例如，透镜组件中包括的IR滤光器318(参见图2))的倾角使得可以获得移动了一个子像素的数据的方法来移动输入光信号。

图16是示出根据本发明的一个实施例的摄像头装置生成深度图像和二维(2D)图像的方法的流程图。

参考图16，根据本发明的实施例的摄像头装置100的图像控制部150可以针对每个时段获得八个子图像。在八个子图像中，四个子图像可用于生成深度图，其余四个子图像可用于生成2D图像。

首先，图像控制部150使用在第一时段获得的子图像1-1至1-4来获得第一图像(S1610)。另外，图像控制部150通过对在第一时段获得的子图像1-5至1-8来获得在第一时段生成的2D图像进行匹配(S1620)。

接下来，图像控制部150使用在第二时段获得的子图像2-1至2-4来获得第二图像(S1630)。另外，图像控制部150通过对在第二时段获得的子图像2-5至2-8来获得在第二时段生成的2D图像匹配(S1640)。

接下来，图像控制部150使用在第三时段获得的子图像3-1至3-4来获得第三图像(S1650)。另外，图像控制部150通过对在第三时段获得的子图像3-5至3-8来获得在第三时段生成的2D图像进行匹配(S1660)。

接下来，图像控制部150使用在第四时段获得的子图像4-1至4-4来获得第四图像(S1670)。另外，图像控制部150通过对在第四时段获得的子图像4-5至4-8来获得在第四时段生成的2D图像进行匹配(S1680)。

另外，图像控制部150通过对第一图像、第二图像、第三图像和第四图像进行匹配来生成一个深度图。为此，可以使用如上所述的SR技术将第一图像、第二图像、第三图像和第四图像匹配为一个深度图或一个深度图像。

如上所述，第一图像可以是从在第一输入光信号的光路基于预设的移动值沿第一方向移动的第一时段提取的数据获得的图像，第二图像可以是从在第一输入光信号的光路基于预设的移动值沿与第一方向垂直的第二方向移动的第二时段提取的数据获得的图像，第三图像可以是从在第一输入光信号的光路基于预设的移动值沿与第二方向垂直的第三方向移动的第三时段提取的数据获得的图像，第四图像可以是从在第一输入光信号的光路基于预设的移动值沿与第三方向垂直的第四方向移动的第四时段提取的数据获得的图像。

另外，在子图像中，用于生成时段的2D图像的子图像1-5、2-5、3-5和4-5可以是从在第二输入光信号的光路基于预设的移动值沿第一方向移动的第一时段提取的数据获得的图像，子图像1-5、2-5、3-5和4-5可以是从在第二输入光信号的光路基于预设的移动值沿与第一方向垂直的第二方向移动的第二时段提取的数据获得的图像，子图像1-5、2-5、3-5和4-5可以是从在第二输入光信号的光路基于预设的移动值沿与第二方向垂直的第三方向移动的第三时段提取的数据获得的图像，子图像1-5、2-5、3-5和4-5可以是从在第二输入光信号的光路基于预设的移动值沿与第三方向垂直的第四方向移动的第四时段提取的数据获得的图像。

尽管以上已经参考实施例主要描述了本发明，但是本领域技术人员将理解，本发明不限于实施例，实施例仅是示例性的，并且在不背离本实施例的基本特征的情况下，以上未示出的各种修改和应用可以落入本发明的范围内。例如，可以修改和实现在实施例中具体描述的部件。另外，应解释的是，与修改和应用有关的差异落入由所附权利要求限定的本发明的范围内。