一种TOF深度传感模组和图像生成方法
文献发布时间:2023-06-19 11:57:35
技术领域
本申请涉及TOF技术领域,并且更具体地,涉及一种TOF深度传感模组和图像生成方法。
背景技术
飞行时间(time of flight,TOF)技术是一种常用的深度或距离测量技术,其基本原理为通过发射端发出连续光或者脉冲光,当连续光或者脉冲光照射到待测物体后会发生反射,然后接收端接收待测物体的反射光。接下来,通过确定从发射端到接收端的光的飞行时间,就可以计算待测物体到TOF系统的距离或深度。
传统方案中常采用脉冲型TOF技术进行距离的测量。脉冲型TOF技术是通过测量(发射端发射的)出射光束的发射时间和(接收端接收的)反射光束的接收时间之间的时间差来实现对距离的测量。具体地,在脉冲型TOF技术中,光源一般发出持续时间很短的脉冲光束,经待测目标反射后被接收端的光电探测器接收,通过测量发射脉冲和接收脉冲的时间间隔就可以得到待测物体的深度或距离。
脉冲型TOF技术要求光电探测器的灵敏度要足够高,达到单光子探测的能力,常用的光电探测器为单光子雪崩二极管(single-photon avalanche diode,SPAD)。由于SPAD复杂的接口和处理电路,导致常用的SPAD传感器的分辨率较低,不足以满足深度传感高空间分辨率的需求。
发明内容
本申请提供一种TOF深度传感模组和图像生成方法,以提高TOF深度传感模组最终生成的深度图的空间分辨率。
第一方面,提供了一种TOF深度传感模组,该TOF深度传感模组包括激光光源、偏振过滤器件、光束整形器件、第一光学元件、第二光学元件、接收单元和控制单元,其中,激光光源能够产生多种偏振态的光,偏振过滤器件位于激光光源和光束整形器件之间。
上述TOF深度传感模组中的各个模块或者单元的功能具体如下:
激光光源用于产生激光光束;
偏振过滤器件用于对激光光束进行过滤,得到单一偏振态的光束;
光束整形器件用于对单一偏振态的光束的FOV进行调整,得到第一光束;
控制单元用于控制第一光学元件对所述第一光束的方向进行控制,得到出射光束;
控制单元还用于控制第二光学元件将目标物体对来自第一光学元件的光束反射得到的反射光束偏转到接收单元。
上述第一光束的FOV的范围包括[5°×5°,20°×20°]。
其中,上述单一偏振态为多种偏振态中的一种;
例如,上述多种偏振态可以包括线偏振、左旋圆偏振以及右旋圆偏振,上述单一偏振态可以是线偏振、左旋圆偏振以及右旋圆偏振中的任意一种。
上述第一光学元件和第二光学元件是不同的元件,其中,第一光学元件位于发射端,第二光学元件位于接收端。具体地,第一光学元件可以位于光束整形器件与目标物体之间,第二光学元件可以位于接收单元和目标物体之间。
上述接收单元可以包括接收镜头和传感器,接收镜头可以将反射光束会聚到传感器,使得传感器能够接收到反射光束,进而获取反射光束被接收单元接收的时刻,得到出射光束对应的TOF,最后可以再根据出射光束对应的TOF生成目标物体的深度图。
可选地,上述控制单元用于调整第一光学元件的双折射率参数得到调整后的双折射率参数;上述第一光学元件用于基于调整后的双折射率参数对第一光束的方向进行调整,得到出射光束。
其中,在第一光学元件的双折射率不同时,第一光学元件能够将第一光束调整到不同的方向。
可选地,上述控制单元用于:控制第一光学元件在M个不同时刻分别对第一光束的方向进行控制,得到M个不同方向的出射光束,该M个不同方向的出射光束覆盖的总FOV的范围包括[50°×50°,80°×80°];控制第二光学元件分别将目标物体对M个不同时刻来自第一光学元件的光束反射得到的M个反射光束偏转到接收单元。
本申请实施例中,通过光束整形器件对光束的FOV进行调整,使得第一光束的具有较大的FOV,同时采用过分时复用的方式进行扫描(第一光学元件在不同的时刻出射不同方向的出射光束),能够提高最终得到的目标物体的深度图的空间分辨率。
结合第一方面,在第一方面的某些实现方式中,上述控制单元还用于:根据M个不同方向的出射光束分别对应的TOF,生成目标物体的深度图。
上述M个不同方向的出射光束对应的TOF具体可以是指上述M个不同方向的出射光束对应的反射光束被接收单元接收的时刻与上述M个不同方向的出射光束的出射时刻之间的时间差信息。
假设上述M个不同方向的出射光束包含出射光束1,那么,出射光束1对应的反射光束可以是指出射光束1到达目标物体,并经过目标物体后反射后产生的光束。
结合第一方面,在第一方面的某些实现方式中,上述第一光学元件与第二光学元件的距离小于或者等于1cm。
结合第一方面,在第一方面的某些实现方式中,上述第一光学元件为转镜器件。
结合第一方面,在第一方面的某些实现方式中,上述第二光学元件为转镜器件。
其中,上述转镜器件通过转动实现对出射光束的出射方向的控制。
结合第一方面,在第一方面的某些实现方式中,上述第一光学元件为液晶偏振元件。
结合第一方面,在第一方面的某些实现方式中,上述第二光学元件为液晶偏振元件。
结合第一方面,在第一方面的某些实现方式中,上述第一光学元件包括:横向偏振控制片、横向液晶偏振光栅、纵向偏振控制片和纵向液晶偏振光栅。
结合第一方面,在第一方面的某些实现方式中,上述第二光学元件包括:横向偏振控制片、横向液晶偏振光栅、纵向偏振控制片和纵向液晶偏振光栅。
结合第一方面,在第一方面的某些实现方式中,在上述第一光学元件或者第二光学元件中,横向偏振控制片、横向液晶偏振光栅、纵向偏振控制片和纵向液晶偏振光栅与激光光源的距离依次变大。
结合第一方面,在第一方面的某些实现方式中,在上述第一光学元件或者第二光学元件中,纵向偏振控制片、纵向液晶偏振光栅、横向偏振控制片和横向液晶偏振光栅与激光光源的距离依次变大。
结合第一方面,在第一方面的某些实现方式中,上述转镜器件为微电子机械系统振镜或者多面转镜。
结合第一方面,在第一方面的某些实现方式中,上述光束整形器件由扩散镜头和矩形孔阑构成。
结合第一方面,在第一方面的某些实现方式中,上述TOF深度传感模组还包括:准直镜头,该准直镜头位于激光光源和偏振过滤器件之间,该准直镜头用于对激光光束进行准直处理;偏振过滤器件用于对准直镜头准直处理后的光束进行过滤,得到单一偏振态的光束。
结合第一方面,在第一方面的某些实现方式中,上述TOF深度传感模组还包括:准直镜头,该准直镜头位于偏振过滤器件和光束整形器件之间,该准直镜头用于对单一偏振态的光束进行准直处理;光束整形器件用于对准直镜头准直处理后的FOV进行调整,得到第一光束。
上述通过准直镜头对光束进行准直处理,能够得到近似平行的光束,可以提高光束的功率密度,进而可以提高后续采用光束进行扫描的效果。
可选地,上述准直镜头的通光孔径小于或者等于5mm。
由于上述准直镜头的尺寸较小,因此,包含准直镜头的TOF深度传感模组比较容易被集成到终端设备中,能够在一定程度上减少在终端设备中占用的空间。
结合第一方面,在第一方面的某些实现方式中,上述激光光源为垂直腔面发射激光器(vertical cavity surface emitting laser,VCSEL)。
可选地,上述激光光源为法布里-珀罗激光器(可以简称为FP激光器)。
与单个VCSEL相比,单个FP激光器可以实现更大的功率,同时电光转换效率也较VCSEL高,进而能够提高TOF深度传感模组的扫描效果。
可选地,上述激光光源发射的激光光束的波长大于900nm。
由于太阳光中大于900nm的光线的强度相对较弱,因此,当激光光束的波长大于900nm时有助于降低太阳光造成的干扰,进而能够提高TOF深度传感模组的扫描效果。
可选地,上述激光光源发射的激光光束的波长为940nm或者1550nm。
由于太阳光中940nm或者1550nm附近的光线的强度相对较弱,因此,当激光光束的波长为940nm或者1550nm时能够大大降低太阳光造成的干扰,进而能够提高TOF深度传感模组的扫描效果。
结合第一方面,在第一方面的某些实现方式中,上述激光光源的发光面积小于或者等于5×5mm
由于上述激光光源的尺寸较小,因此,包含激光光源的TOF深度传感模组比较容易被集成到终端设备中,能够在一定程度上减少在终端设备中占用的空间。
结合第一方面,在第一方面的某些实现方式中,上述TOF深度传感模组的平均输出光功率小于800mw。
当TOF深度传感模组的平均输出光功率小于或者等于800mw时,TOF深度传感模组的功耗较小,便于设置在终端设备等对功耗比较敏感的设备中。
第二方面,提供一种图像生成方法,该图像生成方法应用于含有上述第一方面中的TOF深度传感模组的终端设备,该图像生成方法包括:控制激光光源产生激光光束;利用偏振过滤器件对激光光束进行过滤,得到单一偏振态的光束;利用光束整形器件对单一偏振态的光束进行调整,得到第一光束;控制第一光学元件在M个不同时刻分别对来自光束整形器件的第一光束的方向进行控制,得到M个不同方向的出射光束;控制第二光学元件分别将目标物体对M个不同方向的出射光束反射得到的M个反射光束偏转到接收单元;根据M个不同方向的出射光束分别对应的TOF,生成目标物体的深度图。
其中,上述单一偏振态为多种偏振态中的一种;
例如,上述多种偏振态可以包括线偏振、左旋圆偏振以及右旋圆偏振,上述单一偏振态可以是线偏振、左旋圆偏振以及右旋圆偏振中的任意一种。
上述第一光束的FOV的范围包括[5°×5°,20°×20°];上述M个不同方向的出射光束覆盖的总FOV的范围包括[50°×50°,80°×80°]。
可选地,上述方法还包括:获取M个不同方向的出射光束分别对应的TOF。
可选地,上述获取M个不同方向的出射光束分别对应的TOF,包括:根据上述M个不同方向的出射光束对应的反射光束被接收单元接收的时刻与上述M个不同方向的出射光束的出射时刻确定M个不同方向的出射光束分别对应的TOF。
上述M个不同方向的出射光束对应的TOF具体可以是指上述M个不同方向的出射光束对应的反射光束被接收单元接收的时刻与上述M个不同方向的出射光束的出射时刻之间的时间差信息。
本申请实施例中,通过光束整形器件对光束的FOV进行调整,使得第一光束的具有较大的FOV,同时采用过分时复用的方式进行扫描(第一光学元件在不同的时刻出射不同方向的出射光束),能够提高最终得到的目标物体的深度图的空间分辨率。
可选地,上述控制第一光学元件在M个不同时刻分别对来自光束整形器件的第一光束的方向进行控制,得到M个不同方向的出射光束,包括:在M个不同时刻调整第一光学元件的双折射率参数,得到M个不同时刻分别对应的调整后的双折射率参数,以使得第一光学元件在M个不同时刻分别基于调整后的双折射率参数对第一光束的方向进行调整,得到M个不同方向的出射光束。
结合第二方面,在第二方面的某些实现方式中,上述根据M个不同方向的出射光束分别对应的TOF,生成目标物体的深度图,包括:根据M个不同方向的出射光束分别对应的TOF,确定目标物体的M个区域与TOF深度传感模组之间的距离;根据目标物体的M个区域与TOF深度传感模组之间的距离,生成目标物体的M个区域的深度图;根据目标物体的M个区域的深度图合成目标物体的深度图。
结合第二方面,在第二方面的某些实现方式中,上述控制第一光学元件在M个不同时刻分别对来自光束整形器件的第一光束的方向进行控制,得到M个不同方向的出射光束,包括:上述控制单元生成第一电压信号,第一电压信号用于控制第一光学元件在M个不同时刻分别对第一光束的方向进行控制,以得到M个不同方向的出射光束;上述控制第二光学元件分别将目标物体对M个不同方向的出射光束反射得到的M个反射光束偏转到接收单元,包括:控制单元生成第二电压信号,第二电压信号用于控制第二光学元件分别将目标物体对M个不同方向的出射光束反射得到的M个反射光束偏转到接收单元。
其中,上述第一电压信号和第二电压信号在同一时刻的电压值相同。
结合第二方面,在第二方面的某些实现方式中,上述利用光束整形器件对单一偏振态的光束进行调整,得到第一光束,包括:利用光束整形器件对单一偏振态的光束的角空间强度分布进行调整,以得到第一光束。
第三方面,提供了一种终端设备,该终端设备包括上述第一方面中的TOF深度传感模组。
上述第三方面的终端设备可以执行第二方面中的图像生成方法。
附图说明
图1是激光雷达测距的原理示意图;
图2是利用本申请实施例的TOF深度传感模组进行距离测量的示意图;
图3是本申请实施例的TOF深度传感模组的示意性框图;
图4是VCSEL的示意图;
图5是阵列光源的示意图;
图6是利用光束分束器对阵列光源发出的光束进行分束的示意图;
图7是利用光束分束器对阵列光源发出的光束进行分束后得到的投射区域的示意图;
图8是利用光束分束器对阵列光源发出的光束进行分束后得到的投射区域的示意图;
图9是利用光束分束器对阵列光源发出的光束进行分束后得到的投射区域的示意图;
图10是利用光束分束器对阵列光源发出的光束进行分束后得到的投射区域的示意图;
图11是本申请实施例的TOF深度传感模组的示意性结构图;
图12是光束分束器进行分束处理的示意图;
图13是本申请实施例的TOF深度传感模组的示意性结构图;
图14是本申请实施例的TOF深度传感模组的示意性结构图;
图15本申请实施例的TOF深度传感模组工作的示意图;
图16是阵列光源的发光区域的示意图;
图17是采用光束分束器对图16所示的阵列光源发出的光束进行分束处理的示意图;
图18是本申请实施例的图像生成方法的示意性流程图;
图19是目标物体在t0-t3时刻的深度图;
图20是本申请实施例的图像生成方法的示意性流程图;
图21是本申请实施例的图像生成方法的示意性流程图;
图22是在第一工作模式下获取目标物体的最终深度图的示意性流程图;
图23是在第一工作模式下获取目标物体的最终深度图的示意性流程图;
图24是在第二工作模式下获取目标物体的最终深度图的示意性流程图;
图25是在第二工作模式下获取目标物体的最终深度图的示意性流程图;
图26是利用本申请实施例的TOF深度传感模组进行距离测量的示意图;
图27是本申请实施例的TOF深度传感模组的示意性框图;
图28是激光光束的空间角的示意图;
图29是本申请实施例的TOF深度传感模组的示意性框图;
图30是本申请实施例的TOF深度传感模组对目标物体进行扫描的示意图;
图31是本申请实施例的TOF深度传感模组的扫描轨迹的示意图;
图32是本申请实施例的TOF深度传感模组的扫描方式的示意图;
图33是本申请实施例的TOF深度传感模组的示意性框图;
图34是本申请实施例的TOF深度传感模组的示意性框图;
图35是本申请实施例的液晶偏振光栅的结构示意图;
图36是本申请实施例的TOF深度传感模组的结构示意图;
图37是通过周期性的控制信号改变液晶偏振光栅的物理特性的示意图;
图38是液晶偏振光栅对输入的光束的方向进行控制的示意图;
图39是施加在液晶偏振光栅上的电压信号的示意图;
图40是本申请实施例的TOF深度传感模组的扫描轨迹的示意图;
图41是待扫描区域的示意图;
图42是待扫描区域的示意图;
图43是本申请实施例的TOF深度传感模组的结构示意图;
图44是电光晶体对光束的方向进行控制的示意图;
图45是施加在电光晶体上的电压信号的示意图;
图46是本申请实施例的TOF深度传感模组的扫描轨迹的示意图;
图47是本申请实施例的TOF深度传感模组的结构示意图;
图48是声光器件对光束的方向进行控制的示意图;
图49是本申请实施例的TOF深度传感模组的结构示意图;
图50是OPA器件对光束的方向进行控制的示意图;
图51是本申请实施例的TOF深度传感模组的结构示意图;
图52是本申请实施例的图像生成方法的示意性流程图;
图53是利用本申请实施例的TOF深度传感模组进行距离测量的示意图;
图54是本申请实施例的TOF深度传感模组的结构示意图;
图55是本申请实施例的TOF深度传感模组的示意性框图;
图56是本申请实施例的TOF深度传感模组的示意性框图;
图57是本申请实施例的图像生成方法的示意性流程图;
图58是本申请实施例的TOF深度传感模组的示意性框图;
图59是本申请实施例的TOF深度传感模组的示意性框图;
图60是本是本申请实施例的TOF深度传感模组的示意性框图;
图61是本申请实施例的TOF深度传感模组的结构示意图;
图62是本申请实施例的图像生成方法的示意性流程图;
图63是本申请实施例的TOF深度传感模组的结构示意图
图64是本申请实施例的液晶偏光器件的结构示意图;
图65是控制时序的示意图;
图66是电压驱动信号的时序图;
图67是TOF深度传感模组在不同时刻的扫描区域的示意图;
图68是目标物体在t0-t3时刻对应的深度图的示意图;
图69是目标物体的最终深度图的示意图;
图70是用本申请实施例的TOF深度传感模组工作时的示意图;
图71是本申请实施例的TOF深度传感模组的结构示意图;
图72是本申请实施例的TOF深度传感模组的结构示意图;
图73是本申请实施例的TOF深度传感模组的结构示意图;
图74是本申请实施例的TOF深度传感模组的结构示意图;
图75是本申请实施例的TOF深度传感模组的结构示意图;
图76是本申请实施例的TOF深度传感模组500的结构示意图;
图77是微透镜扩散片的形貌的示意图;
图78是本申请实施例的图像生成方法的示意性流程图;
图79是本申请实施例的TOF深度传感模组的结构示意图;
图80是本申请实施例的TOF深度传感模组的具体结构示意图;
图81是本申请实施例的TOF深度传感模组的具体结构示意图;
图82是本申请实施例的TOF深度传感模组的具体结构示意图;
图83是本申请实施例的TOF深度传感模组的具体结构示意图;
图84是本申请实施例的TOF深度传感模组600的结构示意图;
图85是本申请实施例的TOF深度传感模组600的结构示意图;
图86是本申请实施例的TOF深度传感模组600的结构示意图;
图87是偏振滤光片的接收偏振光束的示意图;
图88是本申请实施例的图像生成方法的示意性流程图;
图89是本申请实施例的TOF深度传感模组的具体结构示意图;
图90是本申请实施例的TOF深度传感模组的具体结构示意图;
图91是本申请实施例的TOF深度传感模组的具体结构示意图;
图92是本申请实施例的TOF深度传感模组的具体结构示意图;
图93是本申请实施例的TOF深度传感模组的具体结构示意图;
图94是本申请实施例的TOF深度传感模组的驱动信号和接收信号的示意图;
图95是本申请实施例的TOF深度传感模组发出的光束的角度和状态的示意图;
图96是本申请实施例的TOF深度传感模组的结构示意图;
图97是本申请实施例的TOF深度传感模组的结构示意图;
图98是本申请实施例的TOF深度传感模组的结构示意图;
图99是平板液晶盒进行光束偏转的原理示意图;
图100是平板液晶盒进行光束偏转的原理示意图;
图101是本申请实施例的图像生成方法的示意性流程图;
图102是第一光束的FOV的示意图;
图103是M个不同方向的出射光束覆盖的FOV的示意图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
图1是激光雷达测距的原理示意图。
如图1所示,激光雷达的发射器发射出激光脉冲(脉冲宽度可以是纳秒到皮秒量级),与此同时计时器开始计时,当激光脉冲照射到目标区域时,由于目标区域表面的反射会产生反射的激光脉冲,当激光雷达的检测器接收到该反射的激光脉冲时,计时器停止计时,以得到TOF。接下来,就可以根据TOF来计算激光雷达与目标区域的距离了。
具体地,可以根据公式(1)确定激光雷达与目标区域的距离。
L=c*T/2 (1)
其中,在上述公式(1)中,L为激光雷达与目标区域的距离,c为光速,T为光传播的时间。
应理解,在本申请实施例的TOF深度传感模组中,激光光源发出光束后要经过TOF深度传感模组中的其他元件(例如,准直镜头,光束分束器等等)的处理,使得光束最终从发射端发出,在这个过程中,来自TOF深度传感模组中某个元件的光束也可以称为该元件发出的光束。
例如,激光光源发出光束,该光束经过准直镜头的准直处理后又出射出去,准直镜头发出的光束实际上也可以称为来自准直镜头的光束,这里的准直镜头发出的光束并不是表示准直镜头自身发出的光束,而是对上一个元件传播过来的光束进行处理后所出射的光束。
此外,在本申请中,激光光源或者阵列光源发出的光束也可以称为来自激光光源或者阵列光源的光束。
下面先结合图2对本申请实施例的TOF深度传感模组进行简单的介绍。
图2是利用本申请实施例的TOF深度传感模组进行距离测量的示意图。
如图2所示,TOF深度传感模组可以包括发射端(也可以成为投射端)、接收端和控制单元,其中,发射端用于产生出射光束,接收端用于接收目标物体的反射光束(该反射光束是目标物体对出射光束进行反射得到的光束),控制单元可以控制发射端和接收端分别进行光束的发射和接收。
在图2中,发射端一般可以包括激光光源、光束分束器、准直镜头和投射镜头(可选),接收端一般可以包括接收镜头和传感器,接收镜头和传感器可以统称为接收单元。
在图2中,可以利用计时装置记录出射光束对应的TOF来计算TOF深度传感模组到目标区域的距离,进而得到目标物体的最终深度图。其中,出射光束对应的TOF可以是指反射光束被接收单元接收的时刻与出射光束的出射时刻之间的时间差信息。
上述图2中的激光光源具体可以是阵列光源。
本申请实施例的TOF深度传感模组可以用于三维(3dimensions,3D)图像获取,本申请实施例的TOF深度传感模组可以设置在智能终端(例如,手机、平板、可穿戴设备等等)中,用于深度图像或者3D图像的获取,也可以为3D游戏或体感游戏提供手势和肢体识别。
下面结合图3对本申请实施例的TOF深度传感模组进行详细的介绍。
图3是本申请实施例的TOF深度传感模组的示意性框图。
图3所示的TOF深度传感模组100包括阵列光源110、准直镜头120、光束分束器130、接收单元140和控制单元150。下面对TOF深度传感模组100中的这几个模块或者单元进行详细介绍。
阵列光源110:
阵列光源110用于产生(发射)激光光束。
其中,上述阵列光源110包括N个发光区域,每个发光区域都可以单独产生激光光束,N为大于1的正整数。
上述控制单元150用于控制阵列光源110的N个发光区域中的M个发光区域发光。
准直镜头120用于对M个发光区域发出的光束进行准直处理;
光束分束器130用于对准直镜头准直处理后的光束进行分束处理;
接收单元140用于接收目标物体的反射光束。
其中,上述M小于或者等于N,M为正整数,N为大于1的正整数;上述光束分束器具体用于将接收到的每一束光分为多束光;上述目标物体的反射光束是目标物体对来自光束分束器的光束进行反射得到的光束。上述M个发光区域发出的光束也可以称为来自M个发光区域的光束。
由于M小于或者等于N,因此,控制单元150可以控制阵列光源110中的部分或者全部发光区域发光。
上述N个发光区域可以是N个独立发光区域,也就是说,上述N个发光区域中的每个发光区域可以独立或者单独发光,而不受到其他发光区域的影响。对于上述N个发光区域中的每个发光区域来说,每个发光区域一般由多个发光单元组成,在上述N个发光区域中,不同的发光区域由不同的发光单元组成,也就是说,同一个发光单元只属于一个发光区域。对于每个发光区域来说,当控制该发光区域发光时,该发光区域中的所有发光单元可以都发光。
上述阵列光源的发光区域的总数目可以是N,当上述M=N时,控制单元可以控制阵列光源的全部发光区域同时发光或者分时发光。
可选地,上述控制单元用于控制阵列光源的N个发光区域中的M个发光区域同时发光。
例如,上述控制单元可以控制阵列光源的N个发光区域中的M个发光区域在T0时刻同时发光。
可选地,上述控制单元用于控制阵列光源的N个发光区域中的M个发光区域分别在M个不同的时刻分别发光。
例如,上述M=3,上述控制单元可以控制阵列光源的3个发光区域分别在T0时刻,T1时刻和T2时刻发光,也就是说,这3个发光区域中的第一个发光区域在T0时刻发光,第二个发光区域在T1时刻发光,第三个发光区域在T2时刻发光。
可选地,上述控制单元用于控制阵列光源的N个发光区域中的M个发光区域分别在M0个不同的时刻分别发光,其中,M0为大于1且小于M的正整数。
例如,上述M=3,M0=2,上述控制单元可以控制阵列光源的3个发光区域中的1个发光区域在T0时刻发光,控制阵列光源的3个发光区域中的另外2个发光区域在T1时刻发光。
本申请实施例中,通过控制阵列光源的不同发光区域分时发光以及控制光束分束器对光束进行分束处理,能够提高TOF深度传感模组在一段时间内出射的光束数目,进而能够在对目标物体的扫描过程中实现较高的空间分辨率和较高的帧率。
可选地,上述阵列光源110的发光面积小于或者等于5×5mm
当阵列光源110的发光面积小于或者等于5×5mm
可选地,上述阵列光源110可以是半导体激光光源。
上述阵列光源110可以是垂直腔面发射激光器(vertical cavity surfaceemitting laser,VCSEL)。
图5是VCSEL的示意图,如图5所示,VCSEL中包括很多个发光点(图5中的黑点区域),每个发光点可以在控制单元的控制下发光。
可选地,上述激光光源可以是法布里-珀罗激光器(可以简称为FP激光器)。
与单个VCSEL相比,单个FP激光器可以实现更大的功率,同时电光转换效率也较VCSEL高,能够提高扫描效果。
可选地,上述阵列光源110发射的激光光束的波长大于900nm。
由于太阳光中大于900nm的光线的强度相对较弱,因此,当激光光束的波长大于900nm时有助于降低太阳光造成的干扰,可以提高TOF深度传感模组的扫描效果。
可选地,上述阵列光源110发射的激光光束的波长为940nm或者1550nm。
由于太阳光中940nm或者1550nm附近的光线的强度相对较弱,因此,当激光光束的波长为940nm或者1550nm时能够大大降低太阳光造成的干扰,可以提高TOF深度传感模组的扫描效果。
下面结合图5对阵列光源110包括多个独立的发光区域的情况进行详细说明。
如图5所示,阵列光源110由互相独立的发光区域111,112,113和114组成,在每一个区域内有若干发光单元1001,每个区域中的若干发光单元1001由共同的电极1002相连,不同的发光区域的发光单元与不同的电极相连,以使得不同区域相互独立。
对于图5所示的阵列光源110来说,可以通过控制单元150分别控制独立的发光区域111,112,113和114在不同的时刻单独发光。例如,控制单元150可以控制发光区域111,112,113和114分别在t0、t1、t2和t3时刻发光。
可选地,上述准直镜头120准直处理后的光束可以是发散角小于1度的准平行光。
上述准直镜头120可以是一片或者多片镜片组成,当准直镜头120由多片镜片组成时,准直镜头120能够有效降低上述准直处理过程中产生的像差。
上述准直镜头120可以是塑料材料组成,也可以由玻璃材料组成,也可以是由塑料材料和玻璃材料共同组成。当准直镜头120由玻璃材料组成时,准直镜头在对光束进行准直处理的过程中能够降低温度对准直镜头120的后焦距的影响。
具体地,由于玻璃材料的热膨胀系数较小,因此准直镜头120采用采用玻璃材料时,能够降低温度对准直镜头120的后焦距的影响。
可选地,上述准直镜头120的通光孔径小于或者等于5mm。
当准直镜头120的通光孔径小于或者等于5mm时,准直镜头120的面积较小,能够减少TOF深度传感模组100占用的空间,便于将TOF深度传感模组100安装到空间相对有限的终端设备中。
如图3所示,接收单元140可以包括接收镜头141和传感器142,接收镜头141用于将反射光束会聚到传感器142。
上述传感器142也可以称为传感器阵列,该传感器阵列可以是二维传感器阵列。
可选地,上述传感器142的分辨率大于或者等于P×Q,光束分束器对阵列光源110的一个发光区域发出的光束进行分束后得到的光束数目为P×Q,其中,P和Q均为正整数。
上传传感器的分辨率大于或者等于光束分束器130对来自阵列光源的一个发光区域的光束进行分束后的光束数目,使得传感器142能够接收目标物体对来自光束分束器的光束进行反射得到的反射光束,进而使得TOF深度传感模组能够得到实现对反射光束的正常接收。
可选地,上述光束分束器130既可以是一维分束器件也可以是二维分束器件。
在实际应用时可以根据需要选择一维分束器件或者二维分束器件。
具体地,在实际应用时可以根据需要选择一维分束器件或者二维分束器件,当只需要出射光束在一个维度上分束时,可以使用一维光束分束器件,当出射光束需要在两个维度上分束时,需要采用二维分束器件。
当上述光束分束器130是一维分束器件时,光束分束器130具体可以是柱透镜阵列或者一维光栅。
当光束分束器130是二维分束器件时,光束分束器130具体可以是微透镜阵列或者二维衍射光学元件(diffractive optical element,DOE)。
上述光束分束器130可以由树脂材料或者玻璃材料组成,也可以由树脂材料和玻璃材料共同组成。
当光束分束器130的组成部分包含玻璃材料时,能够有效的降温度对光束分束器130的性能的影响,使得光束分束器130保持相对稳定的性能。具体地,当温度发生变化时,玻璃的热膨胀系数较树脂低,因此,光束分束器130采用玻璃材料时,光束分束器的性能相对比较稳定。
可选地,上述光束分束器130的光束入射端面的面积小于5×5mm
当光束分束器130的光束入射端面的面积小于5×5mm
可选地,上述光束分束器130的光束接收面与阵列光源110的光束发射面平行。
当光束分束器130的光束接收面与阵列光源110的光束发射面平行时,能够使得光束分束器130更高效地接收阵列光源110发射的光束,可以提高光束分束器130的接收光束的效率。
如图3所示,接收单元140可以包括接收镜头141和传感器142。下面结合具体例子对接收单元接收光束的方式进行介绍。
例如,上述阵列光源110包括4个发光区域,那么,接收镜头141可以分别用于接收目标物体对光束分束器130在4个不同时刻(t4、t5、t6和t7)分别产生的光束进行反射得到的反射光束1、反射光束2、反射光束3和反射光束4,并将反射光束1、反射光束2、反射光束3和反射光束4传播到传感器142。
可选地,上述接收镜头141可以由一片或者多片镜片组成。
当上述接收镜头141由多片镜片组成时,能够有效地降低接收镜头141接收光束时产生的像差。
另外,上述接收镜头141可以由树脂材料或者玻璃材料组成,也可以由树脂材料和玻璃材料共同组成。
当接收镜头141包含玻璃材料时,能够有效的降温度对接收镜头141的后焦距产生的影响。
上述传感器142可以用于接收镜头141传播过来的光束,并对接收镜头141传播过来的光束进行光电转换,将光信号转换为电信号,便于后续计算光束从发射端发出光束到接收端接收到光束之间的时间差(该时间差可以称为光束的飞行时间),并根据该时间差计算目标物体与TOF深度传感模组之间的距离,进而得到目标物体的深度图像。
上述传感器142可以是单光子雪崩二极管阵列(single-photon avalanchediode,SPAD)。
其中,SPAD是于一种工作在盖革模式(偏置电压高于击穿电压)的雪崩光电二极管,在接收到单光子后有一定的概率发生雪崩效应,瞬间产生一个脉冲电流信号用于探测光子到达的时间。由于用于上述TOF深度传感模组的SPAD阵列需要复杂的猝灭电路、计时电路和存储和读取单元,现有的用于TOF深度传感的SPAD阵列的分辨率有限。
在目标物体与TOF深度传感模组的距离较远的情况下,接收镜头传播到传感器的目标物体的反射光的强度一般很弱,传感器需要有非常高的探测灵敏度,而SPAD有单光子探测灵敏度和皮秒量级的响应时间,因而在本申请中采用SPAD作为传感器142能够提高TOF深度传感模组的灵敏度。
上述控制单元150除了控制阵列光源110之外,还可以控制传感器142。
上述控制单元150可以与阵列光源110以及传感器142保持电气连接,以实现对阵列光源110和传感器142的控制。
具体地,控制单元150可以控制传感器142的工作方式,使得在M个不同时刻,传感器的对应的区域能够分别接收到目标物体对阵列光源110的相应的发光区域发出的光束进行反射的反射光束。
具体地,目标物体的反射光束位于接收镜头数值孔径内的部分会被接收镜头接收,并传播到传感器,通过接收镜头的设计,可以使得传感器的每个像素可以接收到目标物体不同区域的反射光束。
本申请中,通过分区控制阵列光源的发光并采用光束分束器进行分束的方式,能够增加TOF深度传感模组在同一时刻的出射的光束数目,能够提高最终获取到的目标物体的深度图的空间分辨率和高帧率。
应理解,如图2所示,对于本申请实施例的TOF深度传感模组来说,TOF深度传感模组中的投射端和接收端可以均位于目标物体的同一侧。
可选地,上述TOF深度传感模组100的输出光功率小于或者等于800mw。
具体地,上述TOF深度传感模组100的最大输出光功率或者平均输出功率小于或者等于800mw。
当TOF深度传感模组100的输出光功率小于或者等于800mw时,TOF深度传感模组100的功耗较小,便于设置在终端设备等对功耗比较敏感的设备中。
下面结合图6至图10对本申请实施例的TOF深度传感模组100得到目标物体的深度图的过程进行详细描述。
如图6所示,左图为阵列光源110的发光区域的示意图,阵列光源110包括四个发光区域(也可以称为发光分区)A、B、C和D,这四个发光区域分别在t0、t1、t2和t3时刻点亮。右图为阵列光源110产生的光束经过光束分束器130分束之后投射到的目标物体表面的示意图,其中,每个点表示投射光斑,每个黑色实线框所围成的区域是传感器142中的一个像素对应的目标区域。在图6中,相应的光束分束器130的复制级次为4×4,也就是说,在每一个时刻,阵列光源的一个区域产生的发光斑点在经过光束分束器130的复制之后会变成4×4个斑点,因此,通过光束分束器130,能够大大增加同一时刻投射的光斑数量。
在图6中,通过在t0、t1、t2和t3时刻分别点亮阵列光源110的四个发光区域,能够得到目标物体的不同位置的深度图。
具体地,阵列光源110的发光区域a在t0时刻发出的光束经过光束分束器130的分束处理之后投射到目标物体的表面的示意图分别如图7所示。
阵列光源110的发光区域b在t1时刻发出的光束经过光束分束器130的分束处理之后投射到目标物体的表面的示意图分别如图8所示。
阵列光源110的发光区域c在t2时刻发出的光束经过光束分束器130的分束处理之后投射到目标物体的表面的示意图分别如图9所示。
阵列光源110的发光区域d在t3时刻发出的光束经过光束分束器130的分束处理之后投射到目标物体的表面的示意图分别如图10所示。
根据图7至图10所示的光束投射情况可以得到t0、t1、t2和t3时刻目标物体对应的深度图,然后将这些t0、t1、t2和t3时刻目标物体对应的深度图进行叠加,可以得到具有更高分辨率的目标物体的深度图。
在图3所示的TOF深度传感模组100中,准直镜头120可以位于阵列光源110和光束分数器件130之间,阵列光源110发出的光束要先经过准直镜头120的准直处理,然后再由光束分束器对准直处理后的光束进行处理。
可选地,对于上述TOF深度传感模组100来说,光束分束器130也可以先对阵列光源110产生的光束直接进行分束处理,然后再由准直镜头120对分束处理后的光束进行准直处理。
下面结合图11进行详细说明。在图11所示的TOF深度传感模组100中,各个模块或者单元的具体作用如下:
控制单元150用于控制阵列光源110中的N个发光区域中的M个发光区域发光;
光束分束器130用于对M个发光区域发出的光束进行分束处理;
准直镜头120用于对光束分束器130发出的光束进行准直处理;
接收单元140,用于接收目标物体的反射光束。
其中,上述M小于或者等于N,M为正整数,N为大于1的正整数;光束分束器130具体用于将接收到的每一束光分为多束光;目标物体的反射光束是目标物体对准直镜头120发出的光束进行反射得到的光束。上述M个发光区域发出的光束也可以称为来自M个发光区域的光束。
图11所示的TOF深度传感模组与图3所示的TOF深度传感模组的主要区别在于准直镜头的位置不同,在图3所示的TOF深度传感模组中,准直镜头位于阵列光源和光束分束器之间,而在图11所示的TOF深度传感模组中,光束分束器位于阵列光源和准直镜头之间(相当于准直镜头位于光束分束器出射光束的方向)。
图11所示的TOF深度传感模组100和图3所示的TOF深度传感模组100对阵列光源110发出的光束的处理方式略有不同。在图3所示的TOF深度传感模组100中,阵列光源110发出光束之后,由准直镜头120和光束分束器130依次进行准直处理和分束处理。而在图11所示的TOF深度传感模组100中,阵列光源110发出光束之后,由光束分束器130和准直镜头120依次进行分束处理和准直处理。
下面结合附图对光束分束器130对阵列光源发出的光束进行分束处理进行介绍。
如图12所示,阵列光源110产生的多个光束经过光束分束器130进行分束处理后,可以将阵列光源110产生的每一个光束分成多个光束,最终经过分束之后会得到数量更多的光束。
在图11所示的TOF深度传感模组的基础上,本申请实施例的TOF深度传感模组100还可以包括光学元件,该光学元件的折射率可控,在光学元件的折射率不同时,光学元件能够将单一偏振态的光束调整到不同的方向,不需要机械转动和振动就能够实现将不同的光束照射到不同的方向,能够快速定位到感兴趣的扫描区域。
图13是本申请实施例的TOF深度传感模组的示意性结构图。
在图13所示的TOF深度传感模组100中,各个模块或者单元的具体作用如下:
控制单元150用于控制阵列光源110的N个发光区域中的M个发光区域发光;
控制单元150还用于控制光学元件160的双折射率参数,以改变M个发光区域发出的光束的传播方向。
光束分束器130用于接收光学元件160发出的光束,并对光学元件160发出的光束进行分束处理;
可选地,光束分束器130具体用于将接收到的每一束光分为多束光,光束分束器130可以对阵列光源110的一个发光区域发出的光束进行分束后得到的光束数目为P×Q。
准直镜头120用于对光束分束器130发出的光束进行准直处理;
接收单元140用于接收目标物体的反射光束。
其中,上述目标物体的反射光束是目标物体对光束分束器130发出的光束进行反射得到的光束。上述M个发光区域发出的光束也可以称为来自M个发光区域的光束。
在图13中,光学元件160位于阵列光源110和光束分束器130之间,事实上,光学元件160也可以位于准直镜头120和光束分束器130之间,下面结合图14进行说明。
图14是本申请实施例的TOF深度传感模组的示意性结构图。
在图14所示的TOF深度传感模组100中,各个模块或者单元的具体作用如下:
控制单元150用于控制阵列光源110的N个发光区域中的M个发光区域发光;
准直镜头120用于对M个发光区域发出的光束进行准直处理;
控制单元150还用于控制光学元件160的双折射率参数,以改变准直镜头120进行准直处理后的光束的传播方向;
光束分束器130用于接收光学元件160发出的光束,并对光学元件160发出的光束进行分束处理;
可选地,光束分束器130具体用于将接收到的每一束光分为多束光,光束分束器130可以对阵列光源110的一个发光区域发出的光束进行分束后得到的光束数目为P×Q。
准直镜头120用于对光束分束器130发出的光束进行准直处理;
接收单元140用于接收目标物体的反射光束。
其中,上述目标物体的反射光束是目标物体对光束分束器130发出的光束进行反射得到的光束。上述M个发光区域发出的光束也可以称为来自M个发光区域的光束。
下面结合图15对本申请实施例中的TOF深度传感模组的工作过程进行详细描述。
图15本申请实施例的TOF深度传感模组工作的示意图。
如图15所示,该TOF深度传感模组包括投射端、接收端和控制单元,其中,控制单元用于控制投射端向外发射出射光束,以实现对目标区域的扫描,控制单元还用于控制接收端来接收从目标扫描区域反射得到的反射光束。
其中,投射端包括阵列光源110、准直镜头120、光学元件160、光束分束器130和投射镜头(可选)。接收端包括接收镜头141和传感器142。控制单元150还用于控制阵列光源110、光学元件160和传感器142的时序同步。
图15所示的TOF深度传感模组中的准直镜头140可以包括1-4个镜片,该准直镜头140用于将阵列光源110产生的第一光束转换为近似平行光。
上述图15所示的TOF深度传感模组的工作流程如下:
(1)阵列光源110发出的光束经过准直镜头120的准直处理后形成准直光束,到达光学元件160;
(2)光学元件160根据控制单元的时序控制,实现光束的有序偏转,从而使出射后的偏转光束的角度实现二维扫描;
(3)光学元件160出射后的偏转光束到达光束分束器130;
(4)光束分束器130对每个角度的偏转光束进行复制,得到多个角度的出射光束,从而实现了光束的二维复制;
(5)在每次扫描周期内,接收端只能对被点斑照亮的目标区域进行成像;
(6)在光学元件完成所有S×T次扫描之后,接收端中的二维阵列传感器将产生S×T张图像,最后在处理器中将这些图像拼接成一张更高分辨率的图像。
本申请实施例的TOF深度传感模组中的阵列光源可以多个发光区域,每个发光区域可以独立发光,下面结合图16对本申请实施例的TOF深度传感模组的阵列光源包括多个发光区域的情况下TOF深度传感模组的工作流程进行详细的描述。
图16是阵列光源的发光区域的示意图。
当阵列光源110包括多个发光区域时,本申请实施例的TOF深度传感模组的工作流程如下:
(1)阵列光源110不同发光区域分时发出的光束经过准直镜头120形成准直光束,到达光束分束器130,光束分束器130受控制单元的时序信号的控制,能够实现对光束的有序偏转,从而使出射光束的角度能够实现二维扫描;
(2)准直镜头120准直处理后的光束到达光束分束器130,光束分束器130对每个角度的入射光束进行复制,将同时产生多个角度的出射光束,实现光束的二维复制;
(3)每次扫描周期内,接收端只对被点斑照亮的目标区域进行成像;
(4)在光学元件完成所有S×T次扫描之后,接收端中的二维阵列传感器将产生S×T张图像,最后在处理器中将这些图像拼接成一张更高分辨率的图像。
下面结合图16和图17对本申请实施例的TOF深度传感模组的扫描工作原理进行描述。
如图16所示,111、112、113、114是阵列光源的独立发光区域,可以分时点亮,115、116、117、118是阵列光源中不同的独立工作区中的发光孔。
图17是采用光束分束器对图16所示的阵列光源发出的光束进行分束处理的示意图。
如图17所示,120是光束分束器产生的一个复制级次(图17左上角的黑色实线框),121是二维阵列传感器的一个像素对应的目标区域(121包括122、123、124和125),122是发光孔115经过光束分束器进行光束扫描产生的点斑,123是发光孔116利用光学元件进行光束扫描产生的点斑,124是发光孔117利用光学元件进行光束扫描产生的点斑,125是发光孔118利用光学元件进行光束扫描产生的点斑。
具有图16所示的阵列光源的TOF深度传感模组的具体的扫描过程如下:
只点亮115,光学元件分别进行光束扫描,实现122的点斑;
熄灭115,点亮116,光学元件分别进行光束扫描,实现123的点斑;
熄灭116,点亮117,光学元件分别进行光束扫描,实现124的点斑;
熄灭117,点亮118,光学元件分别进行光束扫描,实现125的点斑;
通过上述四个步骤就可以完成二维阵列传感器的一个像素对应的目标区域点斑扫描。
上面的图13至图15中的光学元件160可以是液晶偏振光栅、电光器件、声光器件、光学相控阵列器件等器件中的任意一种,有关液晶偏振光栅、电光器件、声光器件、光学相控阵列器件等器件的详细介绍可以参见下文中的第一种情况至第四种情况中的相关描述。
上文结合附图对本申请实施例的TOF深度传感模组进行了详细介绍,下面结合附图对本申请实施例的图像生成方法进行介绍。
图18是本申请实施例的图像生成方法的示意性流程图。图18所示的方法可以由包含本申请实施例的TOF深度传感模组的终端设备来执行。具体地,图18所示的方法可以由包含图3所示的TOF深度传感模组的终端设备来执行。图18所示的方法包括步骤2001至2006,下面对这些步骤分别进行详细的介绍。
2001、利用控制单元控制阵列光源的N个发光区域中的M个发光区域分别在M个不同时刻发光。
其中,M小于或者等于N,M为正整数,N为大于1的正整数。
在上述步骤2001中,可以通过控制单元来控制阵列光源的发光。
具体地,控制单元可以分别在M个时刻向阵列光源的M个发光区域分别发出控制信号,以控制该M个发光区域分别在M个不同时刻单独发光。
例如,如图6所示,阵列光源110包括四个独立的发光区域A、B、C和D,那么,控制单元可以分别在t0、t1、t2和t3时刻向四个独立的发光区域A、B、C和D发出控制信号,使得这四个独立的发光区域A、B、C和D分别在t0、t1、t2和t3时刻发光。
2002、利用准直镜头对M个发光区域分别在M个不同时刻产生的光束进行准直处理,得到准直处理后的光束。
仍以图6为例进行说明,当阵列光源的四个独立的发光区域A、B、C和D分别在t0、t1、t2和t3时刻发出光束时,准直镜头可以对发光区域A、B、C和D分别在t0、t1、t2和t3时刻发出光束进行准直处理,得到准直处理后的光束。
2003、利用光束分束器对准直处理后的光束进行分束处理。
光束分束器具体可以将接收到的每一束光分为多束光,光束分束器对来自阵列光源的一个发光区域的光束进行分束后得到的光束数目可以为P×Q。
如图6所示,阵列光源的发光区域A、B、C和D分别在t0、t1、t2和t3时刻发出光束,那么,发光区域A、B、C和D分别在t0、t1、t2和t3时刻发出的光束经过准直镜头处理后入射到光束分束器中进行处理,光束分束器对发光区域A、B、C和D进行分束处理后的结果可以如图6右侧所示。
可选地,上述步骤2003中的分束处理,具体包括:利用光束分束器对准直处理后产生的光束进行一维或者二维分束处理。
2004、利用接收单元接收目标物体的反射光束。
上述目标物体的反射光束是目标物体对来自光束分束器的光束进行反射得到的光束。
可选地,上述步骤2004中的接收单元包括接收镜头和传感器,上述步骤2004中利用接收单元接收目标物体的反射光束,包括:利用接收镜头将目标物体的反射光束会聚到传感器。这里的传感器也可以称为传感器阵列,该传感器阵列可以是二维传感器阵列。
可选地,上述传感器的分辨率大于或者等于P×Q,光束分束器对来自阵列光源的一个发光区域的光束进行分束后得到的光束数目为P×Q。
其中,上述P和Q均为正整数。上传传感器的分辨率大于或者等于光束分束器对来自阵列光源的一个发光区域的光束进行分束后的光束数目,使得传感器能够接收目标物体对来自光束分束器的光束进行反射得到的反射光束,使得TOF深度传感模组能够得到实现对反射光束的正常接收。
2005、根据阵列光源的M个发光区域分别在M个不同时刻发出的光束对应的TOF,生成M个深度图。
上述阵列光源的M个发光区域分别在M个不同时刻发出的光束对应的TOF具体可以是指阵列光源的M个发光区域分别在M个不同的时刻发出的光束的发出时刻与对应的反射光束的接收时刻之间的时间差信息。
例如,阵列光源包括三个发光区域A,B和C,其中,发光区域A在T0时刻发出光束,发光区域B在T1时刻发出光束,发光区域C在T2时刻发出光束。那么,发光区域A在T0时刻发出的光束对应的TOF具体可以是指发光区域A在T0时刻发出的光束经过准直镜头的准直处理和光束分束器的分束处理,并到达目标物体,经过目标物体的反射之后,最终到达接收单元(或者被接收单元接收)的时刻与T0时刻之间的时间差信息。发光区域B在T1时刻发出的光束对应的TOF以及发光区域C在T2时刻发出的光束对应的TOF也是类似的含义。可选地,上述M个深度图分别是目标物体的M个区域集合对应的深度图,该M个区域集合中的任意两个区域集合之间存在不重叠区域。
可选地,上述步骤2005中生成目标物体的M个深度图,具体包括:
2005a、根据M个发光区域分别在M个不同时刻发出的光束对应的TOF,确定目标物体的M个区域与TOF深度传感模组之间的距离;
2005b、根据目标物体的M个区域与TOF深度传感模组之间的距离,生成目标物体的M个区域的深度图。
2006、根据M个深度图得到目标物体的最终深度图。
具体地,在步骤2006中,可以对M个深度图进行行拼接,以得到目标物体的深度图。
例如,通过上述步骤2001至2005得到了目标物体在t0-t3时刻的深度图,这四个时刻的深度图如图19所示,通过对图19所示的t0-t3时刻的深度图进行拼接,得到目标物体的最终深度图可以如图69所示。
TOF深度传感模组的结构不同时,对应的图像生成方法的过程也有所不同。下面结合图20对本申请实施例的图像生成方法进行介绍。
图20是本申请实施例的图像生成方法的示意性流程图。图20所示的方法可以由包含本申请实施例的TOF深度传感模组的终端设备来执行。具体地,图20所示的方法可以由包含图11所示的TOF深度传感模组的终端设备来执行。图20所示的方法包括步骤3001至3006,下面对这些步骤分别进行详细的介绍。
3001、利用控制单元控制阵列光源的N个发光区域中的M个发光区域分别在M个不同时刻发光。
其中,上述N个发光区域互不重叠,M小于或者等于N,M为正整数,N为大于1的正整数。
上述利用控制单元控制阵列光源的N个发光区域中的M个发光区域分别在M个不同时刻发光,具体可以是指利用控制单元分别控制M个发光区域依次在M个不同时刻发光。
例如,如图16所示,阵列光源包括111、112、113和114这四个发光区域,那么,控制单元可以控制111、112和113分别在T0时刻、T1时刻和T2时刻发光。或者,控制单元也可以控制111、112、113和114分别在T0时刻、T1时刻、T2时刻和T3时刻发光。
3002、利用光束分束器对M个发光区域分别在M个不同时刻产生的光束进行分束处理。
上述光束分束器具体用于将接收到的每一束光分为多束光。
上述利用光束分束器对M个发光区域分别在M个不同时刻产生的光束进行分束处理,具体可以是指利用光束分束器分别对M个发光区域在M个不同的时刻产生的光束进行分束处理。
例如,如图16所示,阵列光源包括111、112、113和114这四个发光区域,控制单元可以控制111、112和113分别在T0时刻、T1时刻和T2时刻发光,那么,光束分束器可以在T0时刻对111发出的光束进行分束处理,在T1时刻对112发出的光束进行分束处理,在T2时刻对112发出的光束进行分束处理(应理解,此处忽略了光束从发光区域到达光束分束器所需要的时间)。
可选地,上述步骤3002中的分束处理,具体包括:利用光束分束器分别对M个发光区域在M个不同时刻产生的光束进行一维或者二维分束处理。
3003、利用准直镜头对来自光束分束器的光束进行准直处理。
例如,仍以图16为例,光束分束器分别在T0时刻、T1时刻和T2时刻对111、112和113发出的光束进行分束处理,那么,准直镜头可以在T0时刻对光束分束器对111分束处理后的光束进行准直处理,在T1时刻对光束分束器对112分束处理后的光束进行准直处理,在T2时刻对光束分束器对113分束处理后的光束进行准直处理。
3004、利用接收单元接收目标物体的反射光束。
其中,上述目标物体的反射光束是目标物体对来自准直镜头的光束进行反射得到的光束。
可选地,上述步骤3004中的接收单元包括接收镜头和传感器,上述步骤3004中利用接收单元接收目标物体的反射光束,包括:利用接收镜头将目标物体的反射光束会聚到传感器。这里的传感器也可以称为传感器阵列,该传感器阵列可以是二维传感器阵列。
可选地,上述传感器的分辨率大于或者等于P×Q,光束分束器对来自阵列光源的一个发光区域的光束进行分束后得到的光束数目为P×Q。
其中,上述P和Q均为正整数。上传传感器的分辨率大于或者等于光束分束器对来自阵列光源的一个发光区域的光束进行分束后的光束数目,使得传感器能够接收目标物体对来自光束分束器的光束进行反射得到的反射光束,使得TOF深度传感模组能够得到实现对反射光束的正常接收。
3005、根据阵列光源的M个发光区域分别在M个不同时刻发出的光束对应的TOF,生成M个深度图。
上述阵列光源的M个发光区域分别在M个不同时刻发出的光束对应的TOF具体可以是指阵列光源的M个发光区域分别在M个不同的时刻发出的光束的发出时刻与对应的反射光束的接收时刻之间的时间差信息。
例如,阵列光源包括三个发光区域A,B和C,其中,发光区域A在T0时刻发出光束,发光区域B在T1时刻发出光束,发光区域C在T2时刻发出光束。那么,发光区域A在T0时刻发出的光束对应的TOF具体可以是指发光区域A在T0时刻发出的光束经过准直镜头的准直处理和光束分束器的分束处理,并到达目标物体,经过目标物体的反射之后,最终到达接收单元(或者被接收单元接收)的时刻与T0时刻之间的时间差信息。发光区域B在T1时刻发出的光束对应的TOF以及发光区域C在T2时刻发出的光束对应的TOF也是类似的含义。
上述M个深度图分别是目标物体的M个区域集合对应的深度图,该M个区域集合中的任意两个区域集合之间存在不重叠区域。
可选地,上述步骤3005生成M个深度图,具体包括:
3005a、根据M个发光区域分别在M个不同时刻发出的光束对应的TOF,确定目标物体的M个区域与TOF深度传感模组之间的距离;
3005b、根据目标物体的M个区域与TOF深度传感模组之间的距离,生成目标物体的M个区域的深度图。
3006、根据M个深度图得到目标物体的最终深度图。
可选地,上述步骤3006中得到目标物体的最终深度图包括:对M个深度图进行行拼接,以得到目标物体的深度图。
例如,通过上面步骤3001至3005的过程得到的深度图可以如图68所示,图68示出了t0-t3时刻对应的深度图,通过对t0-t3时刻对应的深度图进行拼接可以得到如图69所示的目标物体的最终深度图。
本申请实施例中,通过控制阵列光源的不同发光区域分时发光以及控制光束分束器对光束进行分束处理,能够提高TOF深度传感模组在一段时间内出射的光束数目,进而得到多个深度图,使得根据多个深度图拼接得到的最终深度图具有较高的空间分辨率和较高的帧率。
图20所示的方法与图18方法的主要处理过程类似,主要区别在于,图20所示的方法中是先利用光束分束器对阵列光源发出的光束进行分束处理,然后再利用准直镜头对分束处理后的光束进行准直处理。而在图18所示的方法中是先利用准直镜头对阵列光源发出的光束进行准直处理,然后再利用光束分束器对准直处理后的光束进行分束处理。
当本申请实施例的图像生成方法由终端设备执行时,终端设备可以由不同的工作模式,不同的工作模式下阵列光源的发光方式以及后续生成目标物体的最终深度图的方式有所不同。下面结合附图对不同工作模式下如何获取目标物体的最终深度图进行详细的介绍。
图21是本申请实施例的图像生成方法的示意性流程图。
图21所示的方法包括步骤4001至4003,下面分别对这些步骤进行详细介绍。
4001、确定终端设备的工作模式。
上述终端设备包括第一工作模式和第二工作模式,其中,在第一工作模式下,控制单元可以控制阵列光源的N个发光区域中的L个发光区域同时发光,在第二工作模式下,控制单元可以控制阵列光源的N个发光区域中的M个发光区域在M个不同时刻发光。
应理解,当上述步骤4001中确定终端设备工作在第一工作模式时,执行步骤4002,当上述步骤4001中确定终端设备工作在第二工作模式时,执行步骤4003。
下面对步骤4001中确定终端设备的工作模式的具体过程进行详细的介绍。
可选地,上述步骤4001中确定终端设备的工作模式,包括:根据用户的工作模式选择信息确定终端设备的工作模式。
其中,上述用户的工作模式选择信息用于选择第一工作模式和第二工作模式中的一种作为终端设备的工作模式。
具体地,当上述图像生成方法由终端设备执行时,终端设备可以从用户获取用户的工作模式选择信息。例如,用户可以通过终端设备的操作界面输入用户的工作模式选择信息。
上述根据用户的工作模式选择信息确定终端设备的工作模式,使得用户能够灵活的选择和确定终端设备的工作模式。
可选地,上述步骤4001中确定终端设备的工作模式,包括:根据终端设备与目标物体之间的距离,确定终端设备的工作模式。
具体地,在终端设备与目标物体之间的距离小于或者等于预设距离的情况下,可以确定终端设备工作在第一工作模式;而在终端设备的与目标物体之间的距离大于预设距离的情况下,可以确定终端设备工作在第二工作模式。
当终端设备与目标物体之间的距离较小时,阵列光源有足够的发光功率同时发出多个到达目标物体的光束。因此,当终端设备与目标物体之间的距离较小时,通过采用第一工作模式,可以使得阵列光源的多个发光区域同时发光,便于后续获得目标物体更多区域的深度信息,能够在目标物体的深度图的分辨率一定的情况下,提高目标物体的深度图的帧率。
当终端设备与目标物体之间的距离较大时,由于阵列光源的总功率有限,可以采用第二工作模式获取目标物体的深度图。具体地,通过控制阵列光源分时发出光束,使得阵列光源分时发出的光束也能够到达目标物体。使得终端设备在距离目标物体较远的情况下,也能够分时获取目标物体的不同区域的深度信息,进而获得目标物体的深度图。
可选地,上述步骤4001中确定终端设备的工作模式,包括:根据目标物体所处的场景,确定终端设备的工作模式。
具体地,在终端设备处于室内场景的情况下,可以确定终端设备工作在第一工作模式;在终端设备处于室外场景的情况下,可以确定终端设备工作在第二工作模式。
当终端设备处于室内场景时,由于终端设备与目标物体之间的距离相对较近,外部噪声相对较弱,阵列光源有足够的发光功率同时发出多个到达目标物体的光束。因此,当终端设备与目标物体之间的距离较小时,通过采用第一工作模式,可以使得阵列光源的多个发光区域同时发光,便于后续获得目标物体更多区域的深度信息,能够在目标物体的深度图的分辨率一定的情况下,提高目标物体的深度图的帧率。
当终端设备处于室外场景时,由于终端设备与目标物体之间的距离相对较远,外部噪声相对较大,并且阵列光源的总功率有限,因此,可以采用第二工作模式获取目标物体的深度图。具体地,通过控制阵列光源分时发出光束,使得阵列光源分时发出的光束也能够到达目标物体。使得终端设备在距离目标物体较远的情况下,也能够分时获取目标物体的不同区域的深度信息,进而获得目标物体的深度图。
上述根据终端设备与目标物体之间的距离或者目标物体所处的场景,能够灵活的确定终端设备的工作模式,使得终端设备在适合的工作模式下进行工作。
4002、在第一工作模式下获取目标物体的最终深度图。
4003、在第二工作模式下获取目标物体的最终深度图。
本申请实施例中,图像生成方法存在不同的工作模式,因此,可以根据不同的情况选择第一工作模式或者第二工作模式来生成目标物体的深度图,能够提高生成目标物体的深度图的灵活性,并且在两种工作模式下都能得到目标物体的高分辨率的深度图。
下面结合图22对在第一工作模式下获取目标物体的最终深度图的过程进行详细的介绍。
图22是在第一工作模式下获取目标物体的最终深度图的示意性流程图。图22所示的过程包括步骤4002A至4002E,下面对这些步骤分别进行详细的介绍。
4002A、控制阵列光源的N个发光区域中的L个发光区域同时发光。
其中,L小于或者等于N,L为正整数,N为大于1的正整数。
在步骤4002A中,可以通过控制单元来控制阵列光源的N个发光区域中的L个发光区域同时发光。具体地,控制单元可以在T时刻向阵列光源的N个发光区域中的L个发光区域发出控制信号,以控制该L个发光区域在时刻T同时发光。
例如,阵列光源包括四个独立的发光区域A、B、C和D,那么,控制单元可以在时刻T向四个独立的发光区域A、B、C和D发出控制信号,使得这四个独立的发光区域A、B、C和D在时刻T同时发光。
4002B、利用准直镜头对L个发光区域发出的光束进行准直处理。
假设阵列光源包括四个独立的发光区域A、B、C和D,那么,准直镜头可以对阵列光源的发光区域A、B、C和D在时刻T发出光束进行准直处理,得到准直处理后的光束。
在步骤4002B中通过准直镜头对光束进行准直处理,能够得到近似平行的光束,可以提高光束的功率密度,进而可以提高后续采用光束进行扫描的效果。
4002C、利用光束分束器对准直镜头准直处理后产生的光束进行分束处理。
上述光束分束器具体用于将接收到的每一束光分为多束光。
4002D、利用接收单元接收目标物体的反射光束。
上述目标物体的反射光束是目标物体对来自光束分束器的光束进行反射得到的光束。
4002E、根据L个发光区域发出的光束对应的TOF,得到目标物体的最终深度图。
上述L个发光区域发出的光束对应的TOF具体可以是指阵列光源的L个发光区域在T时刻分别发出的光束对应的反射光束的接收时刻与T时刻之间的时间差信息。
可选地,上述接收单元包括接收镜头和传感器,上述步骤4002D中利用接收单元接收目标物体的反射光束,包括:利用接收镜头将目标物体的反射光束会聚到传感器。
上述传感器也可以称为传感器阵列,该传感器阵列可以是二维传感器阵列。
可选地,上述传感器的分辨率大于P×Q,光束分束器对来自阵列光源的一个发光区域的光束进行分束后得到的光束数目为P×Q。
其中,上述P和Q均为正整数。由于上传传感器的分辨率大于光束分束器对来自阵列光源的一个发光区域的光束进行分束后的光束数目,使得传感器能够接收目标物体对来自光束分束器的光束进行反射得到的反射光束,使得TOF深度传感模组能够得到实现对反射光束的正常接收。
可选地,上述步骤4002E中生成目标物体的最终深度图,具体包括:
(1)根据L个发光区域发出的光束对应的TOF,生成目标物体的L个区域的深度图;
(2)根据目标物体的L个区域的深度图合成目标物体的深度图。
上述图22所示的方法可以由图3所示的TOF深度传感模组或者包含图3所示的TOF深度传感模组的终端设备来执行。
当TOF深度传感模组中的准直镜头和光束分束器的相对位置关系不同时,在第一工作模式下获取目标物体的最终深度图的过程也有所不同。下面结合图23对在第一工作模式下获取目标物体的最终深度图的过程进行描述。
图23是在第一工作模式下获取目标物体的最终深度图的示意性流程图。图23所示的过程包括步骤4002a至4002e,下面对这些步骤分别进行详细的介绍。
4002a、控制阵列光源的N个发光区域中的L个发光区域同时发光。
其中,L小于或者等于N,L为正整数,N为大于1的正整数。
在步骤4002a中,可以通过控制单元来控制阵列光源的N个发光区域中的L个发光区域同时发光。具体地,控制单元可以在T时刻向阵列光源的N个发光区域中的L个发光区域发出控制信号,以控制该L个发光区域在时刻T同时发光。
例如,阵列光源包括四个独立的发光区域A、B、C和D,那么,控制单元可以在时刻T向四个独立的发光区域A、B、C和D发出控制信号,使得这四个独立的发光区域A、B、C和D在时刻T同时发光。
4002b、利用光束分束器对L个发光区域的光束进行分束处理。
上述光束分束器具体用于将接收到的每一束光分为多束光。
4002c、利用准直镜头对来自光束分束器的光束进行准直处理,得到准直处理后的光束。
4002d、利用接收单元接收目标物体的反射光束。
上述目标物体的反射光束是目标物体对准直处理后的光束进行反射得到的光束。
4002e、根据L个发光区域发出的光束对应的TOF,得到目标物体的最终深度图。
上述L个发光区域发出的光束对应的TOF具体可以是指阵列光源的L个发光区域在T时刻分别发出的光束对应的反射光束的接收时刻与T时刻之间的时间差信息。
可选地,上述接收单元包括接收镜头和传感器,上述步骤4002d中利用接收单元接收目标物体的反射光束,包括:利用接收镜头将目标物体的反射光束会聚到传感器。
上述传感器也可以称为传感器阵列,该传感器阵列可以是二维传感器阵列。
可选地,上述传感器的分辨率大于P×Q,光束分束器对来自阵列光源的一个发光区域的光束进行分束后得到的光束数目为P×Q。
其中,上述P和Q均为正整数。由于上传传感器的分辨率大于光束分束器对来自阵列光源的一个发光区域的光束进行分束后的光束数目,使得传感器能够接收目标物体对来自光束分束器的光束进行反射得到的反射光束,使得TOF深度传感模组能够得到实现对反射光束的正常接收。
可选地,上述步骤4002e中生成目标物体的最终深度图,具体包括:
(1)根据L个发光区域发出的光束对应的TOF,生成目标物体的L个区域的深度图;
(2)根据目标物体的L个区域的深度图合成目标物体的深度图。
上述图23所示的过程与图22所示的过程均是在第一工作模式下如何获取目标物体的最终深度图,主要的区别在于,图23中是先利用光束分束器对阵列光源发出的光束进行分束处理,然后再利用准直镜头对分束处理后的光束进行准直处理;而在图22中是先利用准直镜头对阵列光源发出的光束进行准直处理,然后再可用光束分束器对准直处理后的光束进行分束处理。
下面结合图24对在第二工作模式下获取目标物体的最终深度图的过程进行详细的介绍。
图24是在第二工作模式下获取目标物体的最终深度图的示意性流程图。图24所示的过程包括步骤4003A至4003E,下面对这些步骤分别进行详细的介绍。
4003A、控制阵列光源的N个发光区域中的M个发光区域在M个不同时刻发光。
其中,上述M小于或者等于N,且M和N均为正整数。
在步骤4003A中,可以通过控制单元来控制阵列光源的发光。具体地,控制单元可以分别在M个时刻向阵列光源的M个发光区域发出控制信号,以控制该M个发光区域分别在M个不同时刻单独发光。
例如,阵列光源包括四个独立的发光区域A、B、C和D,那么,控制单元可以分别在t0、t1和t2时刻向四个独立的发光区域A、B和C发出控制信号,使得这三个独立的发光区域A、B和C分别在t0、t1和t2时刻发光。
4003B、利用准直镜头对M个发光区域分别在M个不同时刻产生的光束进行准直处理,得到准直处理后的光束。
上述步骤4003B中,利用准直镜头对M个发光区域分别在M个不同时刻产生的光束进行准直处理,具体可以是指利用准直镜头分别对M个发光区域在M个不同的时刻产生的光束进行准直处理。
假设,阵列光源包括四个独立的发光区域A、B、C和D,阵列光源中的三个独立的发光区域A、B和C在控制单元的控制下分别在t0、t1和t2时刻发光,那么,准直镜头可以对发光区域A、B和C分别在t0、t1和t2时刻发出的光束进行准直处理。
通过准直镜头对光束进行准直处理,能够得到近似平行的光束,可以提高光束的功率密度,进而可以提高后续采用光束进行扫描的效果。
4003C、利用光束分束器对准直处理后的光束进行分束处理。
4003D、利用接收单元接收目标物体的反射光束。
上述光束分束器具体用于将接收到的每一束光分为多束光。上述目标物体的反射光束是目标物体对来自光束分束器的光束进行反射得到的光束。
4003E、根据M个发光区域分别在M个不同时刻发出的光束对应的TOF,生成M个深度图。
上述阵列光源的M个发光区域分别在M个不同时刻发出的光束对应的TOF具体可以是指阵列光源的M个发光区域分别在M个不同的时刻发出的光束的发出时刻与对应的反射光束的接收时刻之间的时间差信息。
4003F、根据M个深度图得到目标物体的最终深度图。
可选地,上述M个深度图分别是目标物体的M个区域集合对应的深度图,M个区域集合中的任意两个区域集合之间存在不重叠区域。
可选地,上述接收单元包括接收镜头和传感器,上述步骤4003D中利用接收单元接收目标物体的反射光束,包括:利用接收镜头将目标物体的反射光束会聚到传感器。
上述传感器也可以称为传感器阵列,该传感器阵列可以是二维传感器阵列。
可选地,传感器的分辨率大于或者等于P×Q,光束分束器对来自阵列光源的一个发光区域的光束进行分束后得到的光束数目为P×Q。
其中,上述P和Q均为正整数。上传传感器的分辨率大于或者等于光束分束器对来自阵列光源的一个发光区域的光束进行分束后的光束数目,使得传感器能够接收目标物体对来自光束分束器的光束进行反射得到的反射光束,使得TOF深度传感模组能够得到实现对反射光束的正常接收。
可选地,上述步骤4003E中生成M个深度图,具体包括:
(1)根据M个发光区域分别在M个不同时刻发出的光束对应的TOF,确定目标物体的M个区域与TOF深度传感模组之间的距离;
(2)根据目标物体的M个区域与TOF深度传感模组之间的距离,生成目标物体的M个区域的深度图;
(3)根据目标物体的M个区域的深度图合成目标物体的深度图。
上述图24所示的方法可以由图3所示的TOF深度传感模组或者包含图3所示的TOF深度传感模组的终端设备来执行。
当TOF深度传感模组中的准直镜头和光束分束器的相对位置关系不同时,在第二工作模式下获取目标物体的最终深度图的过程也有所不同。下面结合图25对在第二工作模式下获取目标物体的最终深度图的过程进行描述。
图25是在第二工作模式下获取目标物体的最终深度图的示意性流程图。图25所示的过程包括步骤4003a至4003f,下面对这些步骤分别进行详细的介绍。
4003a、控制阵列光源的N个发光区域中的M个发光区域在M个不同时刻发光。
其中,M小于或者等于N,且M和N均为正整数。
在步骤4003a中,可以通过控制单元来控制阵列光源的发光。具体地,控制单元可以分别在M个时刻向阵列光源的M个发光区域发出控制信号,以控制该M个发光区域分别在M个不同时刻单独发光。
例如,阵列光源包括四个独立的发光区域A、B、C和D,那么,控制单元可以分别在t0、t1和t2时刻向四个独立的发光区域A、B和C发出控制信号,使得这三个独立的发光区域A、B和C分别在t0、t1和t2时刻发光。
4003b、利用光束分束器对M个发光区域分别在M个不同的时刻产生的光束进行分束处理。
上述光束分束器具体用于将接收到的每一束光分为多束光。
上述利用光束分束器对M个发光区域分别在M个不同时刻产生的光束进行分束处理,具体可以是指利用光束分束器分别对M个发光区域在M个不同的时刻产生的光束进行分束处理。
例如,阵列光源包括四个独立的发光区域A、B、C和D。在控制单元的控制下,发光区域A在T0时刻发光,发光区域B在T1时刻发光,发光区域C在T2时刻发光。那么,光束分束器可以在T0时刻对发光区域A发出的光束进行分束处理,在T1时刻对发光区域B发出的光束进行分束处理,在T2时刻对发光区域C发出的光束进行分束处理。
4003c、采用准直镜头对来自光束分束器的光束进行准直处理。
通过准直镜头对光束进行准直处理,能够得到近似平行的光束,可以提高光束的功率密度,进而可以提高后续采用光束进行扫描的效果。
4003d、利用接收单元接收目标物体的反射光束。
上述目标物体的反射光束是目标物体对来自准直镜头的光束进行反射得到的光束。
4003e、根据M个发光区域分别在M个不同时刻发出的光束对应的TOF,生成M个深度图。
上述阵列光源的M个发光区域分别在M个不同时刻发出的光束对应的TOF具体可以是指阵列光源的M个发光区域分别在M个不同的时刻发出的光束的发出时刻与对应的反射光束的接收时刻之间的时间差信息。
4003f、根据M个深度图得到目标物体的最终深度图。
可选地,上述M个深度图分别是目标物体的M个区域集合对应的深度图,M个区域集合中的任意两个区域集合之间存在不重叠区域。
可选地,上述接收单元包括接收镜头和传感器,上述步骤4003d中利用接收单元接收目标物体的反射光束,包括:利用接收镜头将目标物体的反射光束会聚到传感器。
上述传感器也可以称为传感器阵列,该传感器阵列可以是二维传感器阵列。
可选地,传感器的分辨率大于或者等于P×Q,光束分束器对来自阵列光源的一个发光区域的光束进行分束后得到的光束数目为P×Q。
其中,上述P和Q均为正整数。上传传感器的分辨率大于或者等于光束分束器对来自阵列光源的一个发光区域的光束进行分束后的光束数目,使得传感器能够接收目标物体对来自光束分束器的光束进行反射得到的反射光束,使得TOF深度传感模组能够得到实现对反射光束的正常接收。
可选地,上述步骤4003e中生成M个深度图,具体包括:
(1)根据M个发光区域分别在M个不同时刻发出的光束对应的TOF,确定目标物体的M个区域与TOF深度传感模组之间的距离;
(2)根据目标物体的M个区域与TOF深度传感模组之间的距离,生成目标物体的M个区域的深度图;
(3)根据目标物体的M个区域的深度图合成目标物体的深度图。
上述图25所示的过程与图24所示的过程均是在第二工作模式下如何获取目标物体的最终深度图,主要的区别在于,图25中是先利用光束分束器对阵列光源发出的光束进行分束处理,然后再利用准直镜头对分束处理后的光束进行准直处理;而在图24中是先利用准直镜头对阵列光源发出的光束进行准直处理,然后再可用光束分束器对准直处理后的光束进行分束处理。
上文结合图1至图25对本申请实施例的一种TOF深度传感模组和图像生成方法进行了详细介绍。下面结合图26到图52对本申请实施例的另一种TOF深度传感模组和图像生成方法进行详细的介绍。
传统的TOF深度传感模组一般是采用机械转动或振动部件带动光学结构(例如,反射镜、透镜和棱镜等)或发射光源本身转动或振动的方式来改变激光光束的传播方向,以实现对目标物体的不同区域的扫描。但是这种TOF深度传感模组的尺寸较大,不太适合安装到一些空间有些的设备(例如,移动终端)中。另外,这种类型的TOF深度传感模组一般采用连续的扫描方式进行扫描,产生的扫描轨迹一般也是连续的,在对目标物体进行扫描时的灵活性较差,无法快速定位到感兴趣区域(region of interest,ROI)。为此,本申请实施例提供了一种不需要机械转动和振动就能够实现将不同的光束照射到不同的方向,能够快速定位到感兴趣的扫描区域。下面结合附图进行具体说明。
下面先结合图26对本申请实施例的TOF深度传感模组进行简单的介绍。
图26是利用本申请实施例的TOF深度传感模组进行距离测量的示意图。
如图26所示,TOF深度传感模组可以包括发射端(也可以成为投射端)、接收端和控制单元,其中,发射端用于发出出射光束,接收端用于接收目标物体的反射光束(该反射光束是目标物体对出射光束进行反射得到的光束),控制单元可以控制发射端和接收端分别进行光束的发射和接收。
在图26中,发射端一般可以包括激光光源、准直镜头(可选)、偏振过滤器件、光学元件和投射镜头(可选),接收端一般可以包括接收镜头和传感器,接收镜头和传感器可以统称为接收单元。
在图26中,可以利用计时装置记录出射光束对应的TOF来计算TOF深度传感模组到目标区域的距离,进而得到目标物体的最终深度图。其中,出射光束对应的TOF可以是指反射光束被接收单元接收的时刻与出射光束的出射时刻之间的时间差信息。
本申请实施例的TOF深度传感模组可以用于3D图像获取,本申请实施例的TOF深度传感模组可以设置在智能终端(例如,手机、平板、可穿戴设备等等)中,用于深度图像或者3D图像的获取,也可以为3D游戏或体感游戏提供手势和肢体识别。
下面结合图27对本申请实施例的TOF深度传感模组进行详细的介绍。
图27是本申请实施例的TOF深度传感模组的示意性框图。
图27所示的TOF深度传感模组200包括激光光源210、偏振过滤器件220、光学元件230、接收单元240、和控制单元250。其中,偏振过滤器件220位于激光光源210和光学元件230之间,下面对TOF深度传感模组200中的这几个模块或者单元进行详细介绍。
激光光源210:
激光光源210用于产生激光光束,具体地,激光光源210能够产生多种偏振态的光。
可选地,上述激光光源210发出的激光光束为单束准平行光,激光光源210发出的激光光束的发散角小于1°。
可选地,上述激光光源可以是半导体激光光源。
上述激光光源可以是垂直腔面发射激光器(vertical cavity surface emittinglaser,VCSEL)。
可选地,上述激光光源可以是法布里-珀罗激光器(可以简称为FP激光器)。
与单个VCSEL相比,单个FP激光器可以实现更大的功率,同时电光转换效率也较VCSEL高,能够提高扫描效果。
可选地,上述激光光源210发射的激光光束的波长大于900nm。
由于太阳光中大于900nm的光线的强度相对较弱,因此,当激光光束的波长大于900nm时有助于降低太阳光造成的干扰,可以提高TOF深度传感模组的扫描效果。
可选地,上述激光光源210发射的激光光束的波长为940nm或者1550nm。
由于太阳光中940nm或者1550nm附近的光线的强度相对较弱,因此,当激光光束的波长为940nm或者1550nm时能够大大降低太阳光造成的干扰,可以提高TOF深度传感模组的扫描效果。
偏振过滤器件220:
偏振过滤器件220用于对激光光束进行过滤,得到单一偏振态的光束。
其中,偏振过滤器件220过滤得到的单一偏振态的光束是激光光源210产生的光束具有多种偏振态中的一种。
例如,激光光源210产生的激光光束包括不同方向的线偏振光、左旋圆偏振光以及右旋圆偏振光,那么,偏振过滤器件220可以对将激光光束中的偏振态为左旋圆偏振光和右旋偏转光筛选掉,就得到偏振态为特定方向的线偏振光的光束了。
光学元件230:
光学元件230用于对单一偏振态的光束的方向进行调整。
其中,光学元件230的折射率参数可控,在光学元件230的折射率不同时,光学元件230能够将单一偏振态的光束调整到不同的方向。
下面结合附图对激光光束的传播方向进行说明,激光光束的传播方向可以用空间角来定义。如图28所示,激光光束的空间角包括激光光束与出射面直角坐标系z轴方向的夹角θ和其在XY平面的投影与X轴方向的夹角
控制单元250:
控制单元250用于控制光学元件230的折射率参数,以改变单一偏振态的光束的传播方向。
上述控制单元250可以产生控制信号,该控制信号可以是电压信号,也可以是射频驱动信号,通过控制信号可以改变光学元件230的折射率参数,从而能够改变光学元件20接收到的单一偏振态的光束的出射方向。
接收单元240:
接收单240用于接收目标物体的反射光束。
其中,上述目标物体的反射光束是目标物体对单一偏振态的光束进行反射得到的光束。
具体地,单一偏振态的光束通过光学元件230之后会照射到目标物体的表面,由于目标物体的表面的反射会产生反射光束,该反射光束可以由接收单元240来接收。
上述接收单元240具体可以包括接收镜头241和传感器242,接收镜头241用于接收反射光束,并将反射光束会聚到传感器242。
本申请实施例中,由于光学元件的双折射率不同时能够将光束调整到不同的方向,因此,通过控制光学元件的双折射率参数,就能够调整光束的传播方向,从而实现了以非机械转动的方式对光束传播方向的调整,能够实现光束的离散扫描,可以更加灵活的对周围环境和目标物体的深度或距离测量。
也就是说,在本申请实施例中,通过控制光学元件230的折射率参数,能够改变单一偏振态的光束的空间角,从而使得光学元件230能够对单一偏振态的光束的传播方向进行偏转,进而输出扫描方向和扫描角度满足要求的出射光束,能够实现离散的扫描,扫描时的灵活性较高,可以快速定位到ROI。
可选地,上述控制单元250还用于:根据激光光束对应的TOF,生成目标物体的深度图。
上述激光光束对应的TOF具体可以是指激光光束对应的反射光束被接收单元接收的时刻与激光光源发出激光光束的时刻之间的时间差信息。其中,激光光束对应的反射光束具体可以是指激光光束经过偏振过滤器件、光学元件的处理后到达目标物体,并经过目标物体后反射后产生的光束。
图29是本申请实施例的TOF深度传感模组的示意性框图。
如图29所示,上述TOF深度传感模组200还包括:准直镜头260,该准直镜头260位于激光光源210和偏振过滤器件220之间,该准直镜头260用于对激光光束进行准直处理;偏振过滤器件220用于对准直镜头进行准直处理后的光束进行过滤,得到单一偏振态的光束。
可选地,上述激光光源210的发光面积小于或者等于5×5mm
可选地,上述准直镜头的通光孔径小于或者等于5mm。
由于上述激光光源、准直镜头的尺寸较小,因此,包含上述器件(激光光源、准直镜头)的TOF深度传感模组比较容易被集成到终端设备中,能够在一定程度上减少在终端设备中占用的空间。
可选地,上述TOF深度传感模组200的平均输出光功率小于800mw。
当TOF深度传感模组的平均输出光功率小于或者等于800mw时,TOF深度传感模组的功耗较小,便于设置在终端设备等对功耗比较敏感的设备中。
图30是本申请实施例的TOF深度传感模组对目标物体进行扫描的示意图。
如图30所示,光学元件230在T0时刻可以向外发射出射光束1,在一个时刻T1,如果需要改变扫描方向和扫描角度的话,可以直接控制光学元件在T1时刻发射出出射光束2,在下一个时刻T2,如果还需要改变扫描方向和扫描角度的话,可以通过发出控制信号控制光学元件在T2时刻发射出出射光束3。TOF深度传感模组200在不同时刻能够直接输出不同方向的出射光束,从而实现对目标物体的扫描。
下面结合图31对TOF深度传感模组200实现离散扫描的效果进行详细说明。
图31是本申请实施例的TOF深度传感模组的扫描轨迹的示意图。
如图31所示,TOF深度传感模组可以从扫描点A开始扫描,当需要从扫描点A切换到扫描点B进行扫描时,可以直接通过控制单元250对光学元件230进行控制,使得出射光束直接照射到扫描点B,而不必从扫描点A逐渐移动到扫描点B(不必沿着图中AB之间的虚线从A移动到B)。同样的,当需要从扫描点B切换到扫描点C进行扫描时,也可以通过控制单元250对光学元件230进行控制,使得出射光束直接照射到扫描点C,而不必从扫描点B逐渐移动到扫描点C(不必沿着图中BC之间的虚线从B移动到C)。
因此,上述TOF深度传感模组200能够实现离散的扫描,扫描的灵活性较高,可以快速定位到需要扫描的区域。
由于TOF深度传感模组200能够实现离散扫描,因此,TOF深度传感模组200在扫描时可以采用多种扫描轨迹实现对某个区域的扫描,扫描方式的选择更加灵活,也便于TOF深度传感模组200的时序控制设计。
下面以结合图32,以3×3的二维点阵为例来说明TOF深度传感模组200的扫描方式。
图32是本申请实施例的TOF深度传感模组的扫描方式的示意图。
如图32所示,TOF深度传感模组200可以二维点阵的左上角的点开始进行扫描,一直扫描到二维点阵的右下角的点结束,这样的扫描方式包括扫描方式A至扫描方式F。除了从二维点阵的左上角的点开始扫苗之外,还可以从二维点阵的中心点开始扫描,直到扫描完二维点阵所有的点,从而完成二维点阵的全部扫描,这样的扫描方式包括扫描方式G至扫描方式J。
此外,也可以从二维阵列中的任意一点开始扫描,直到完成二维阵列所有点的扫描。如图32中的扫描方式K所示,可以从二维阵列的第一行第二列的点开始扫描,直到扫描到二维阵列中的中心点,从而完成二维阵列点阵的全部扫描。
可选地,上述光学元件230为液晶偏振光栅、光学相控阵列、电光器件以及声光器件中的任意一种。
下面结合附图分情况对光学元件230的具体构成进行详细的介绍。
第一种情况:光学元件230为液晶偏振光栅(liquid crystal polarizationgrating,LCPG)。在第一种情况下,光学元件230的双折射率可控,在光学元件的双折射率不同时,光学元件能够将单一偏振态的光束调整到不同的方向。
液晶偏振光栅是一种基于几何相位原理的新型光栅器件,它作用于圆偏振光,具有电光可调性和偏振可调性。
液晶偏振光栅是一种利用液晶分子的周期性排列形成的光栅,其一般制作方法是通过光控取向技术控制液晶分子指向矢(液晶分子的长轴方向)在一个方向上线性周期渐变制备而成的。通过控制入射光的偏振态可将圆偏转光衍射至+1级或-1级,可以通过加制衍射级和零级的切换实现光束偏转。
图33是本申请实施例的TOF深度传感模组的示意性框图。
如图33所示,光学元件230为液晶偏振光栅,控制单元250能够控制激光光源向液晶偏振光栅发射激光光束,并通过控制信号控制液晶偏振光栅对激光光束的方向进行偏转,以得到出射光束。
可选地,上述液晶偏振光栅包括水平方向的LCPG组件和竖直方向的LCPG组件。
图34是本申请实施例的TOF深度传感模组的示意性框图。
如图34所示,液晶偏振光栅由水平方向的LCPG组件和竖直方向的LCPG组件组成,通过水平方向的LCPG组件能够实现水平方向的离散随机扫描,通过竖直方向的LCPG组件能够实现竖直方向的离散随机扫描。当水平方向的LCPG组件和竖直方向的LCPG组件组合在一起时可以实现水平方向和竖直方向的二维离散随机扫描。
应理解,图34中仅示出了水平方向的LCPG在前,竖直方向的LCPG在后的情况(水平方向的LCPG与激光光源的距离小于竖直方向的LCPG与激光光源的距离)。实际上,在本申请中,在液晶偏振光栅中,也可以是竖直方向的LCPG在前,而水平方向的LCPG在后(竖直方向的LCPG与激光光源的距离小于水平方向的LCPG与激光光源的距离)。
本申请中,当液晶偏振光栅包括水平方向的LCPG组件和竖直方向的LCPG组件时,能够实现水平方向和竖直方向的二维离散随机扫描。
可选地,在第一种情况下,液晶偏振光栅还可以包括横向偏振控制片和纵向偏振控制片。
当液晶偏振光栅中包括偏振控制片时,能够实现对光束的偏振态的控制。
图35是本申请实施例的液晶偏振光栅的结构示意图。
如图35所示,液晶偏振光栅包括不仅包括横向LCPG和纵向LCPG,还包括横向偏振控制片和纵向偏振控制片。在图35中,横向LCPG位于横向偏振控制片和纵向偏振控制片之间,纵向偏振控制片位于横向LCPG和纵向LCPG之间。
图36是是本申请实施例的TOF深度传感模组的结构示意图。
如图36所示,该TOF深度传感模组中的液晶偏振光栅的结构如图35所示,横向偏振控制片、横向LCPG、纵向偏振控制片和纵向LCPG与所述激光光源的距离依次变大。
可选地,上述图35中所示的液晶偏振光栅中的各个组件的可以存在以下几种组合方式。
组合方式1:124;
组合方式2:342;
组合方式3:3412。
其中,在上述组合方式1中,1可以表示紧贴的横向偏振控制片和纵向偏振控制片,此时,这两片紧贴的偏振控制片相当于一片偏振控制片,因此,组合方式1中采用1来表示贴合在一起的横向偏振控制片和纵向偏振控制片。类似地,在上述组合方式2中,3可以表示紧贴的横向偏振控制片和纵向偏振控制片,此时,这两片紧贴的偏振控制片相当于一片偏振控制片,因此,组合方式2中采用3来表示贴合在一起的横向偏振控制片和纵向偏振控制片。
在将组合方式1或者组合方式2的光学元件230放置在TOF深度传感模组时,横向偏振控制片或纵向偏振控制片均位于靠近激光光源的一侧,而横向LCPG和纵向LCPG均位于远离激光光源的一侧。
在将组合方式3的光学元件230放置在TOF深度传感模组时,纵向偏振控制片、纵向LCPG、横向偏振控制片以及横向LCPG与激光光源的距离依次变大。
应理解,以上液晶偏振光栅的三种组合方式以及图35中的组合方式仅为示例,实际上,本申请中的光学元件中的各个部件还可以有不同的组合方式。只要保证横向偏振控制片与激光光源的距离小于横向LCPG与激光光源的距离,以及横向偏振控制片与激光光源的距离小于横向LCPG与激光光源的距离的即可。
如图37所示,通过向液晶偏振光栅输入周期性的控制信号(图37中,控制信号的周期为Λ)可以周期性的改变液晶偏振光栅的物理特性,具体可以使得液晶偏振光栅的内部液晶分子的排列方式发生变化(液晶分子一般呈棒状,液晶分子的指向会由于控制信号的影响而改变),从而实现对激光光束的方向的偏转。
当同时结合液晶偏振光栅和偏振片时,能够实现对光束的不同方向的控制。
如图38所示,入射光通过左旋右旋圆偏振片以及LCPG的电压控制,可以实现三个不同方向的光束控制,出射光线的偏转角度可以根据下面的衍射光栅方程来确定。
在上述衍射光栅方程中,θ
通过单片的LCPG能够实现3个角度的偏转,进而得到3个角度的出射光束,因此,通过将LCPG多层级联,能够得到更多角度的出射光束。因此,通过N层偏振控制片(偏振控制片用来控制入射光的偏振,实现左旋光和右旋光的转换)和N层LCPG的组合理论上可以实现3
例如,如图35所示,TOF深度传感模组的光学元件由器件1、2、3和4组成,其中器件1、2、3和4分别表示横向偏振控制片、横向LCPG、纵向偏振控制片和纵向LCPG,可以通过控制各组偏振控制片和LCPG的电压来实现对光束偏转方向和角度的控制。
以实现3x3的点扫描为例,分别在图36所示的器件1、2、3和4上施加如图39所示的电压信号(图39中的1、2、3、4分别表示施加在图36所示的器件1、2、3和4上电压信号),就可以控制激光光源发出的激光束实现图40所示的扫描轨迹。
具体地,假定入射光为左旋圆偏振光,横向LCPG在左旋光入射下向左偏转,纵向LCPG在左旋光入射下向下偏转。下面对各个时刻光束的偏转方向进行详细介绍。
当横向偏振控制片两端为高电压信号时,经过横向偏振控制片的光束的偏振态不变,当横向偏振控制片两端为低电压信号时,经过横向偏振控制片的光束的偏振态会改变。同样的,当纵向偏振控制片两端为高电压信号时,经过纵向偏振控制片的光束的偏振态不变,当纵向偏振控制片两端为低电压信号时,经过纵向偏振控制片的光束的偏振态会改变。
在0时刻,器件1的入射光为左旋圆偏振光,由于器件1施加的是低电压,经过器件1之后出射的是右旋圆偏振光;器件2的入射光为右旋圆偏振光,由于器件2施加的是高电压,经过器件2之后出射仍是右旋圆偏振光;器件3的入射光为右旋圆偏振光,由于器件3施加的是低电压,经过器件3之后出射的是左旋圆偏振光;器件4的入射光为左旋圆偏振光,由于器件4施加的是高电压,经过器件4之后出射仍是左旋圆偏振光;因此,0时刻,经过器件1至器件4之后,入射光的方向不变,偏振态也不变。如图40所示,0时刻对应的扫描点如图40中心t0所示的位置。
在t0时刻,器件1的入射光为左旋圆偏振光,由于器件1施加的是高电压,经过器件1之后出射的仍是左旋圆偏振光;器件2的入射光为左旋圆偏振光,由于器件2施加的是低电压,经过器件2之后出射的是向左偏转的右旋圆偏振光;器件3的入射光为向左偏转的右旋圆偏振光,由于器件3施加的是低电压,经过器件3之后出射的是向左偏转的左旋圆偏振光;器件4的入射光为向左偏转的左旋圆偏振光,由于器件4施加的是高电压,经过器件4之后出射仍是向左偏转的左旋圆偏振光;也就是说,相对于0时刻,在t0时刻经过器件4出射后的光束向左偏转,在图40中对应的扫描点为t0所示的位置。
在t1时刻,器件1的入射光为左旋圆偏振光,由于器件1施加的是高电压,经过器件1之后出射的仍是左旋圆偏振光;器件2的入射光为左旋圆偏振光,由于器件2施加的是低电压,经过器件2之后出射的是向左偏转的右旋圆偏振光;器件3的入射光为向左偏转的右旋圆偏振光,由于器件3施加的是高电压,经过器件3之后出射的是向左偏转的右旋圆偏振光;器件4的入射光为向左偏转的右旋圆偏振光,由于器件4施加的是低电压,经过器件4之后出射是向左偏转并且向上偏转的左旋圆偏振光;也就是说,相对于0时刻,在t1时刻经过器件4出射后的光束向左偏转和向上偏转,在图40中对应的扫描点为t1所示的位置。
在t2时刻,器件1的入射光为左旋圆偏振光,由于器件1施加的是低电压,经过器件1之后出射的是右旋圆偏振光;器件2的入射光为右旋圆偏振光,由于器件2施加的是高电压,经过器件2之后出射的是仍是右旋圆偏振光;器件3的入射光为右旋圆偏振光,由于器件3施加的是高电压,经过器件3之后出射的仍是右旋圆偏振光;器件4的入射光为右旋圆偏振光,由于器件4施加的是低电压,经过器件4之后出射是向上偏转的左旋圆偏振光;也就是说,相对于0时刻,在t2时刻经过器件4出射后的光束向上偏转,在图40中对应的扫描点为t2所示的位置。
在t3时刻,器件1的入射光为左旋圆偏振光,由于器件1施加的是低电压,经过器件1之后出射的是右旋圆偏振光;器件2的入射光为右旋圆偏振光,由于器件2施加的是低电压,经过器件2之后出射的是向右偏转的右旋圆偏振光;器件3的入射光为向右偏转的右旋圆偏振光,由于器件3施加的是低电压,经过器件3之后出射的是向右偏转的左旋圆偏振光;器件4的入射光为向右偏转的左旋圆偏振光,由于器件4施加的是低电压,经过器件4之后出射是向右偏转并且向上偏转的左旋圆偏振光;也就是说,相对于0时刻,在t3时刻经过器件4出射后的光束向右偏转和向上偏转,在图40中对应的扫描点为t3所示的位置。
在t4时刻,器件1的入射光为左旋圆偏振光,由于器件1施加的是低电压,经过器件1之后出射的是右旋圆偏振光;器件2的入射光为右旋圆偏振光,由于器件2施加的是低电压,经过器件2之后出射的是向右偏转的左旋圆偏振光;器件3的入射光为向右偏转的左旋圆偏振光,由于器件3施加的是低电压,经过器件3之后出射的是向右偏转的右旋圆偏振光;器件4的入射光为向右偏转的右旋圆偏振光,由于器件4施加的是高电压,经过器件4之后出射仍是向右偏转的右旋圆偏振光;也就是说,相对于0时刻,在t0时刻经过器件4出射后的光束向右偏转,在图40中对应的扫描点为t4所示的位置。
在t5时刻,器件1的入射光为左旋圆偏振光,由于器件1施加的是低电压,经过器件1之后出射的是右旋圆偏振光;器件2的入射光为右旋圆偏振光,由于器件2施加的是低电压,经过器件2之后出射的是向右偏转的右旋圆偏振光;器件3的入射光为向右偏转的右旋圆偏振光,由于器件3施加的是高电压,经过器件3之后出射的仍是向右偏转的右旋圆偏振光;器件4的入射光为向右偏转的右旋圆偏振光,由于器件4施加的是低电压,经过器件4之后出射是向右偏转并且向下偏转的左旋圆偏振光;也就是说,相对于0时刻,在t5时刻经过器件4出射后的光束向右偏转和向下偏转,在图40中对应的扫描点为t5所示的位置。
在t6时刻,器件1的入射光为左旋圆偏振光,由于器件1施加的是低电压,经过器件1之后出射的是右旋圆偏振光;器件2的入射光为右旋圆偏振光,由于器件2施加的是高电压,经过器件2之后出射的是仍是右旋圆偏振光;器件3的入射光为右旋圆偏振光,由于器件3施加的是低电压,经过器件3之后出射的是左旋圆偏振光;器件4的入射光为左旋圆偏振光,由于器件4施加的是低电压,经过器件4之后出射是向下偏转的右旋圆偏振光;也就是说,相对于0时刻,在t6时刻经过器件4出射后的光束向下偏转,在图40中对应的扫描点为t6所示的位置。
在t7时刻,器件1的入射光为左旋圆偏振光,由于器件1施加的是高电压,经过器件1之后出射的仍是左旋圆偏振光;器件2的入射光为左旋圆偏振光,由于器件2施加的是低电压,经过器件2之后出射的是向左偏转的右旋圆偏振光;器件3的入射光为向左偏转的右旋圆偏振光,由于器件3施加的是低电压,经过器件3之后出射的是向左偏转的左旋圆偏振光;器件4的入射光为向左偏转的左旋圆偏振光,由于器件4施加的是低电压,经过器件4之后出射是向左偏转并且向下偏转的右旋圆偏振光;也就是说,相对于0时刻,在t7时刻经过器件4出射后的光束向左偏转和向上偏转,在图40中对应的扫描点为t7所示的位置。
应理解,这里只是结合图39和图40对TOF深度传感模组可能的扫描轨迹进行的说明,通过改变控制各组偏振控制片和LCPG的电压可以实现任意的离散随机扫描。
例如,通过改变控制各组偏振控制片和LCPG的电压可以实现图32所示的各种扫描轨迹。
在利用传统的激光雷达对目标物体进行扫描时,经常需要先对目标区域进行粗扫描(Coarse scan),而在发现感兴趣区域(ROI)后再进行分辨率更高的精细扫描(Finescan)。而本申请实施例的TOF深度传感模组由于能够实现离散扫描,因此,可以直接定位到感兴趣区域进行精细扫描,能够大大节省精细扫描所需要的时间。
例如,如图41所示,待扫描区域(包括人体轮廓在内的整个矩形区域)的总点数为M,ROI(图41中位于人体轮廓图像内的图像区域)占待扫描区域总面积的1/N。
在对图41所示的待扫描区域进行扫描时,假设传统的激光雷达和本申请实施例的激光扫描雷达的点扫描速率均为K点/秒,并且在对ROI区域进行扫描时需要进行精细扫描,进行精细扫描时的分辨率需要提高到原来的四倍(也就是4K点/秒)。那么,利用本申请实施例的TOF深度传感模组完成对ROI的精细扫描需要的时间为t
另外,上述t
由上面的公式(2)和公式(3)可知,采用本申请实施例的TOF深度传感模组对ROI进行精细扫描所需要的时间仅为传统的激光雷达进行精细扫描所需要的时间的1/N,大大缩短了对ROI精细扫描所需要的时间。
由于本申请实施例的TOF深度传感模组能够实现离散扫描,因此,本申请实施例的TOF深度传感模组可以实现对任意形状的ROI区域(车,人,建筑和随机斑块)进行精细扫描,特别是一些非对称区域和离散的ROI块。另外,利用本申请实施例的TOF深度传感模组也能够实现扫描区域的点密度均匀分布或非均匀分布。
第二种情况:光学元件230为电光器件。
在第二种情况下,当光学元件230为电光器件时,控制信号可以为电压信号,该电压信号可以用于改变电光器件的折射率,以使得电光器件在相对激光光源的位置不变的情况下对激光光束进行不同方向的偏转,从而得到扫描方向与控制信号相匹配的出射光束。
可选地,如图43所示,上述电光器件可以包括横向电光晶体(水平偏转的电光晶体)和纵向电光晶体(竖直偏转的电光晶体)。其中,横向电光晶体能够实现对激光光束水平方向的偏转,纵向电光晶体能够实现对激光光束竖直方向的偏转。
可选地,电光晶体具体可以是钽铌酸钾(potassium tantalate niobate,KTN)晶体、氘化磷酸二氢钾(deuterated potassium dihydrogen phosphate,DKDP)晶体以及铌酸锂(lithium niobate,LN)晶体中的任意一种。
下面结合附图对电光晶体的工作原理进行简单的介绍。
如图44所示,电光晶体在施加电压信号的情况下,由于电光晶体的二阶光电效应,电光晶体内会产生折射率差(也就是说电光晶体内不同区域的折射率会有所不同),从而使得入射光束发生偏转,如图44所示,出射光束相对于入射光束的方向发生了一定的偏转。
出射光束相对于入射光束的偏转角可以根据下面的公式(4)来计算。
在上述公式(4)中,θ
从上述公式(4)可知,通过调节外加电场的强度(也就是调节施加在电光晶体上的电压)可以控制光束的偏转角度,从而实现对目标区域的扫描。另外,为了实现更大的偏转角度,可以将多个电光晶体级联。
如图43所示,光学元件包括水平偏转电光晶体和竖直偏转电光晶体,这两块电光晶体分别负责水平方向和竖直方向的光束偏转,在施加了如图45所示的控制电压信号后,可以实现如图46所示的3x3扫描。具体地,在图45中,1和2分别表示加在水平偏转电光晶体和竖直偏转电光晶体上的控制电压信号。
第三种情况:光学元件230为声光器件。
如图47所示,光学元件230为声光器件。该声光器件可以包括换能器,当光学元件230为声光器件时,控制信号具体可以是射频控制信号,该射频控制信号可以用于控制换能器产生不同频率的声波,以改变声光器件的折射率,进而使得声光器件在相对激光光源的位置不变的情况下对激光光束进行不同方向的偏转,从而得到扫描方向与控制信号相匹配的出射光束。
如图48所示,声光器件包括吸声体、石英和压电换能器。声光器件在接收到电信号之后,压电换能器能够在电信号的作用下产生声波信号,该声波信号在声光器件中传输时会改变石英的折射率分布,从而形成光栅,使得石英能够对入射光束产生一定角度的偏转,在不同时刻输入的控制信号不同时,声光器件可以在不同的时刻产生不同方向的出射光束。如图48所示,石英在不同时刻(T0、T1、T2、T3和T4)的出射光束的偏转方向可以不同。
当入射到声光器件的电信号为周期性信号时,声光器件中的石英由于折射率分布周期性的发生变化,因此,形成了周期性的光栅,利用周期性的光栅能够实现对入射光束的周期性的偏转。
另外,声光器件的出射光的强度与输入到声光器件的射频控制信号的功率直接相关,入射光束的衍射的角度也与射频控制信号的频率直接相关。通过改变射频控制信号的频率,出射光束的角度也可以得到相应的调节。具体地,可以根据下面的公式(5)来确定出射光束相对于入射光束的偏转角度。
在上述公式(5)中,θ为出射光束相对于入射光束偏转的角度,λ为入射光束的波长,f
第四种情况:光学元件230为光学相控阵列(opitcal phase array,OPA)器件。
下面结合附图对49和50对光学元件230为OPA器件的情况进行详细的说明。
如图49所示,光学元件230为OPA器件,通过OPA器件能够实现对入射光束进行偏转,从而得到扫描方向与控制信号相匹配的出射光束。
OPA器件一般由一维或者二维的移相器阵列组成,在各路移相器不存在相位差的情况下,光到达等相位面处的时间相同,光向前传播,不会发生干涉,因而不会发生波束偏转。
而在各路移相器附加上相位差之后(以各路光信号赋予均匀的相位差为例,第二个波导与第一个波导的相位差为Δ,第三个波导与第一个波导的相位差为2Δ,以此类推),此时的等相位面不再垂直于波导方向,而是有了一定的偏转,满足等相位关系的波束会相干相长,不满足等相位条件的光束就会相互抵消,因此光束的指向总是垂直于等相位面。
如图50所示,设相邻波导之间的间距均为d,则相邻波导输出的光束到达等相位面的光程差为ΔR=d·sinθ。其中,θ表示光束偏转角度,由于这个光程差是由阵元的相位差引起的,因而ΔR=Δ·λ/2π,因此在阵元中通过引入相位差可以实现对波束的偏转,这就是OPA的对光束进行偏转的原理。
因此,偏转角θ=arcsin(Δ·λ/(2π*d)),通过控制相邻移相器的相位差,如π/12,π/6,则光束偏转角度为arcsin(λ/(24d))和arcsin(λ/(12d))。这样通过控制移相器阵列的相位,可以实现任意二维方向的偏转,移相器可以由液晶材料制作,通过施加不同的电压使液晶产生不同的相位差。
可选地,如图51所示,上述TOF深度传感模组200还包括:
准直镜头260,该准直镜头260位于所述激光光源210和偏振过滤器件220之间,该准直镜头260用于对激光光束进行准直处理;偏振过滤器件220用于对准直镜头260处理后的光束进行过滤,得到单一偏振态的光束。
另外,上述准直镜头260还可以位于偏振过滤器件220与光学元件230之间,在这种情况下,偏振过滤器件220先对激光光源产生的光束进行偏振过滤,得到单一偏振态的光束,接下来,再由准直镜头260对单一偏振态的光束进行准直处理。
可选地,上述准直镜头260还可以位于光学元件230右侧(准直镜头260与激光光源210之间的距离大于光学元件230与激光光源210之间的距离),在这种情况下,光学元件230对单一偏振态的光束的方向进行调整后,准直镜头260再对经过方向调整后的单一偏振态的光束进行准直处理。
上文结合图26至图51对本申请实施例的TOF深度传感模组200进行了详细的介绍,下面结合图52对本申请实施例的图像生成方法进行描述。
图52是本申请实施例的图像生成方法的示意性流程图。
图52所示的方法可以由本申请实施例的TOF深度传感模组或者包含本申请实施例的TOF深度传感模组的终端设备来执行。具体地,图52所示的方法可以由图27所示的TOF深度传感模组200或者包含图27所示的TOF深度传感模组200的终端设备来执行。图52所示的方法包括步骤4001至4005,下面对这些步骤分别进行详细的介绍。
5001、控制激光光源产生激光光束。
其中,上述激光光源能够产生生多种偏振态的光。
例如,上述激光光源可以产生线偏振、左旋圆偏振以及右旋圆偏振等多种偏振态的光。
5002、利用偏振过滤器件对激光光束进行过滤,得到单一偏振态的光束。
上述单一偏振态可以是线偏振、左旋圆偏振以及右旋圆偏振中的任意一种。
例如,在步骤5001中,激光光源产生的激光光束包括线偏振光、左旋圆偏振光以及右旋圆偏振光,那么,在步骤5002中,可以对将激光光束中的偏振态为左旋圆偏振光右旋圆偏振光左旋圆偏振光和右旋圆偏振光筛选掉,只保留特定方向的线偏振光,可选地,偏振过滤器件中还可以包括1/4波片,以使得筛选后的线偏振光转换为左旋圆偏振光(或右旋圆偏振光)。
5003、控制光学元件在M个不同时刻分别为不同的双折射率参数,以得到M个不同方向的出射光束。
上述光学元件的双折射率参数可控,在光学元件的双折射率不同时,光学元件能够将单一偏振态的光束调整到不同的方向。上述M为大于1的正整数。上述M个反射光束是目标物体对M个不同方向的出射光束进行反射得到的光束。
此时,上述光学元件可以是液晶偏振光栅,有关液晶偏振光栅的具体情况可参见上文中的第一种情况的描述。
可选地,上述光学元件在M个时刻分别为不同的双折射率参数具体可以包括以下两种情况:
情况1:光学元件在M个时刻中的任意两个时刻的双折射率参数均不相同;
情况2:光学元件在M个时刻中存在至少两个时刻,光学元件在该至少两个时刻下的双折射率参数不同。
在情况1中,假设M=5,那么,光学元件在5个时刻分别对应5个不同的双折射率参数。
在情况2中,假设M=5,那么,光学元件在5个时刻中只要有2个时刻对应不同的双折射率参数即可。
5004、利用接收单元接收M个反射光束。
5005、根据M个不同方向的出射光束对应的TOF,生成目标物体的深度图。
上述M个不同方向的出射光束对应的TOF具体可以是指上述M个不同方向的出射光束对应的反射光束被接收单元接收的时刻与上述M个不同方向的出射光束的出射时刻之间的时间差信息。
假设上述M个不同方向的出射光束包含出射光束1,那么,出射光束1对应的反射光束可以是指出射光束1到达目标物体,并经过目标物体后反射后产生的光束。
本申请实施例中,由于光学元件的双折射率不同时能够将光束调整到不同的方向,因此,通过控制光学元件的双折射率参数,就能够调整光束的传播方向,从而实现了以非机械转动的方式对光束传播方向的调整,能够实现光束的离散扫描,可以更加灵活的对周围环境和目标物体的深度或距离测量。
可选地,上述步骤5005中生成目标物体的深度图,具体包括:
5005a、根据M个不同方向的出射光束对应的TOF,确定目标物体的M个区域与TOF深度传感模组之间的距离。
5005b、根据目标物体的M个区域与TOF深度传感模组之间的距离,生成目标物体的M个区域的深度图;根据目标物体的M个区域的深度图合成目标物体的深度图。
在图52所示的方法中,还可以对光束进行准直处理,
可选地,在上述步骤5002之前,图52所示的方法还包括:
5006、对激光光束进行准直处理,得到准直处理后的光束.
在对激光光束进行准直处理之后,上述步骤5002中得到单一偏振态的光束,具体包括:利用偏振过滤器件对准直处理后的光束进行过滤,得到单一偏振态的光。
在采用偏振过滤器件对激光光束进行过滤得到单一偏振态的光束之前,通过对激光光束进行准直处理,能够得到近似平行的光束,可以提高光束的功率密度,进而可以提高后续采用光束进行扫描的效果。
上述准直处理后的光束可以是发散角小于1度的准平行光。
应理解,在图52所示的方法中,还可以在单一偏振态的光束进行准直处理,具体地,图52所示的方法还包括:
5007、对单一偏振态的光束进行准直处理,得到准直处理后的光束。
上述步骤5007可以位于步骤5002和步骤5003之间,上述步骤5007也可以位于步骤5003和步骤5004之间。
当上述步骤5007位于步骤5002和步骤5003之间时,偏振过滤器件对激光光源产生的激光光束进行过滤之后,得到单一偏振态的光束,接下来,通过准直镜头对单一偏振态的光束进行准直处理,得到准直处理后的光束,接下来,再通过光学元件控制单一偏振态的光束的传播方向。
当上述步骤5007位于步骤5003和步骤5004之间时,光学元件改变了单一偏振态的光束的传播方向之后,再由准直镜头对单一偏振态的光束的进行准直处理,得到准直处理后的光束。
应理解,在图52所示的方法中,步骤5006和步骤5007是可选的步骤,可以选择执行步骤5006或者5007中的任意一个。
上文结合图26至图52对本申请实施例的一种TOF深度传感模组和图像生成方法进行了详细介绍。下面结合图53至图69对本申请实施例的另一种TOF深度传感模组和图像生成方法进行详细的介绍。
传统的TOF深度传感模组中常采用脉冲型的TOF技术进行扫描,但是脉冲型TOF技术要求光电探测器的灵敏度要足够高,达到单光子探测的能力,常用的光电探测器常采用单光子雪崩二极管(SPAD),由于SPAD复杂的接口和处理电路,导致常用的SPAD传感器的分辨率较低,不足以满足深度传感高空间分辨率的需求。为此,本申请实施例提供了一种TOF深度传感模组和图像生成方法,通过块照明和分时复用的方式来提高深度传感的空间分辨率。下面结合附图对这种类型的TOF深度传感模组和图像生成方法进行详细的介绍。
下面先结合图53对本申请实施例的TOF深度传感模组进行简单的介绍。
图53是利用本申请实施例的TOF深度传感模组进行距离测量的示意图。
如图53所示,TOF深度传感模组可以包括发射端(也可以成为投射端)、接收端和控制单元,其中,发射端用于发出出射光束,接收端用于接收目标物体的反射光束(该反射光束是目标物体对出射光束进行反射得到的光束),控制单元可以控制发射端和接收端分别进行光束的发射和接收。
在图53中,发射端一般可以包括激光光源、偏振过滤器件、准直镜头(可选)、第一光学元件和投射镜头(可选),接收端一般可以包括接收镜头、第二光学元件和传感器。在图53中,可以利用计时装置记录出射光束对应的TOF来计算TOF深度传感模组到目标区域的距离,进而得到目标物体的最终深度图。其中,出射光束对应的TOF可以是指反射光束被接收单元接收的时刻与出射光束的出射时刻之间的时间差信息。
如图53所示,通过光束整形器件和第一光学元件能够对激光光束的FOV进行调整,能够在t0-t17时刻实现发出不同的扫描光束,通过对在t0-t17时刻发出光束的FOV进行拼接能够达到目标FOV,能够提高TOF深度传感模组的分辨率。
本申请实施例的TOF深度传感模组可以用于3D图像获取,本申请实施例的TOF深度传感模组可以设置在智能终端(例如,手机、平板、可穿戴设备等等)中,用于深度图像或者3D图像的获取,也可以为3D游戏或体感游戏提供手势和肢体识别。
下面结合图54对本申请实施例的TOF深度传感模组进行详细的介绍。
图54是本申请实施例的TOF深度传感模组的示意性框图。
图54所示的TOF深度传感模组300包括:激光光源310、偏振过滤器件320、光束整形器件330、第一光学元件340、第二光学元件350、接收单元360和控制单元370。如图54所示,TOF深度传感模组300的发射端包括激光光源310、偏振过滤器件320、光束整形器件330和第一光学元件340,TOF深度传感模组300的接收端包括第二光学元件350和接收单元360,第一光学元件340和第二光学元件350分别是位于TOF深度传感模组300的发射端和接收端的元件,其中,第一光学元件主要是发射端的光束的方向进行控制,以得到出射光束,第二光学元件主要是对反射光束的方向进行控制,使得反射光束偏转到接收单元。
下面对TOF深度传感模组300中的这几个模块或者单元进行详细介绍。
激光光源310:
激光光源310用于产生激光光束,具体地,激光光源310能够产生多种偏振态的光。
可选地,上述激光光源310发出的激光光束为单束准平行光,激光光源310发出的激光光束的发散角小于1°。
可选地,上述激光光源310是半导体激光光源。
上述激光光源可以是垂直腔面发射激光器(vertical cavity surface emittinglaser,VCSEL)。
可选地,上述激光光源310是法布里-珀罗激光器(可以简称为FP激光器)。
与单个VCSEL相比,单个FP激光器可以实现更大的功率,同时电光转换效率也较VCSEL高,能够提高扫描效果。
可选地,上述激光光源310发射的激光光束的波长大于900nm。
由于太阳光中大于900nm的光线的强度相对较弱,因此,当激光光束的波长大于900nm时有助于降低太阳光造成的干扰,可以提高TOF深度传感模组的扫描效果。
可选地,上述激光光源310发射的激光光束的波长为940nm或者1550nm。
由于太阳光中940nm或者1550nm附近的光线的强度相对较弱,因此,当激光光束的波长为940nm或者1550nm时能够大大降低太阳光造成的干扰,可以提高TOF深度传感模组的扫描效果。
上述激光光源310的发光面积小于或者等于5×5mm
由于上述激光光源的尺寸较小,因此,包含激光光源的TOF深度传感模组300比较容易被集成到终端设备中,能够在一定程度上减少在终端设备中占用的空间。
可选地,上述TOF深度传感模组的平均输出光功率小于800mw。
当TOF深度传感模组的平均输出光功率小于或者等于800mw时,TOF深度传感模组的功耗较小,便于设置在终端设备等对功耗比较敏感的设备中。
偏振过滤器件320:
偏振过滤器件320用于对激光光束进行过滤,得到单一偏振态的光束。
其中,偏振过滤器件320过滤得到的单一偏振态的光束是激光光源310产生的光束具有多种偏振态中的一种。
例如,激光光源310产生的激光光束包括线偏振光、左旋圆偏振光以及右旋圆偏振光,那么,偏振过滤器件320可以对将激光光束中的偏振态为左旋圆偏振光右旋圆偏振光左旋圆偏振光和右旋圆偏振光筛选掉,只保留特定方向的线偏振光,可选地,偏振过滤器件中还可以包括1/4波片,以使得筛选后的线偏振光转换为左旋圆偏振光(或右旋圆偏振光)。
光束整形器件330:
光束整形器件330用于对激光光束进行调整,以得到第一光束。
其中,第一光束的FOV的范围包括[5°×5°,20°×20°]。
应理解,上述第一光束的FOV的水平方向的FOV可以在5°至20°之间(包含5°和20°),第一光束的FOV的竖直方向的FOV可以在5°至20°之间(包含5°和20°)。
控制单元370:
控制单元370用于控制所述第一光学元件在M个不同时刻分别对所述第一光束的方向进行控制,以得到M个不同方向的出射光束。
其中,所述M个不同方向的出射光束覆盖的总FOV的范围包括[50°×50°,80°×80°]。
上述控制单元370还用于控制第二光学元件分别将目标物体对M个不同方向的出射光束反射得到的M个反射光束偏转到所述接收单元。
本申请实施例中,通过光束整形器件对光束的FOV进行调整,使得第一光束的具有较大的FOV,同时采用过分时复用的方式进行扫描(第一光学元件在不同的时刻出射不同方向的出射光束),能够提高最终得到的目标物体的深度图的空间分辨率。
图55是本申请实施例的TOF深度传感模组的示意性框图。
如图55所示,上述TOF深度传感模组还包括:准直镜头380,该准直镜头380位于激光光源310和偏振过滤器件320之间,该准直镜头380用于对激光光束进行准直处理;偏振过滤器件320用于对准直镜头380准直处理后的光束进行过滤,得到单一偏振态的光束。
图56是本申请实施例的TOF深度传感模组的示意性框图。在图56中,上述准直镜头380还可以位于偏振过滤器件320和光束整形器件330之间。该准直镜头380用于对单一偏振态的光束进行准直处理;光束整形器件330用于对准直镜头380准直处理后的FOV进行调整,得到第一光束。
上述通过准直镜头对光束进行准直处理,能够得到近似平行的光束,可以提高光束的功率密度,进而可以提高后续采用光束进行扫描的效果。
可选地,上述准直镜头的通光孔径小于或者等于5mm。
由于上述准直镜头的尺寸较小,因此,包含准直镜头的TOF深度传感模组比较容易被集成到终端设备中,能够在一定程度上减少在终端设备中占用的空间。
应理解,上述准直镜头还可以位于光学整形器件330和第一光学元件340之间,在这种情况下,准直镜头对光束整形器件330进行整形处理后的光束进行准直处理,准直处理后的光束再由第一光学元件进行处理。
另外,准直镜头380可以位于TOF深度传感模组300中任何可能的位置,并在任何可能的过程对光束进行准直镜头。
可选地,上述第一光学元件与第二光学元件的水平距离小于或者等于1cm。
可选地,上述第一光学元件和/或所述第二光学元件为转镜器件。
其中,转镜器件通过转动实现对出射光束的出射方向的控制。
上述转镜器件具体地可以是微电子机械系统振镜或者多面转镜。
上述第一光学元件可以是液晶偏振光栅、电光器件、声光器件、光学相控阵列器件等器件中的任意一种,上述第二光学元件也可以是液晶偏振光栅、电光器件、声光器件、光学相控阵列器件等器件中的任意一种。有关液晶偏振光栅、电光器件、声光器件、光学相控阵列器件等器件具体内容可以参见上文中在第一种情况至第四种情况的描述。
如图35所示,液晶偏振光栅包括不仅包括横向LCPG和纵向LCPG,还包括横向偏振控制片和纵向偏振控制片。在图35中,横向LCPG位于横向偏振控制片和纵向偏振控制片之间,纵向偏振控制片位于横向LCPG和纵向LCPG之间。
可选地,上述图35中所示的液晶偏振光栅中的各个组件的可以存在以下几种组合方式。
组合方式1:124;
组合方式2:342;
组合方式3:3412。
在上述组合方式1中,1可以表示紧贴的横向偏振控制片和纵向偏振控制片,在上述组合方式2中,3可以表示紧贴的横向偏振控制片和纵向偏振控制片。
其中,在将组合方式1或者组合方式2的第一光学元件340或者第二光学元件350放置在TOF深度传感模组时,横向偏振控制片或纵向偏振控制片均位于靠近激光光源的一侧,而横向LCPG和纵向LCPG均位于远离激光光源的一侧。
在将组合方式3的第一光学元件340或者第二光学元件350放置在TOF深度传感模组时,纵向偏振控制片、纵向LCPG、横向偏振控制片以及横向LCPG与激光光源的距离依次变大。
应理解,以上液晶偏振光栅的三种组合方式以及图35中的组合方式仅为示例,实际上,本申请中的光学元件中的各个部件还可以有不同的组合方式。只要保证横向偏振控制片与激光光源的距离小于横向LCPG与激光光源的距离,以及横向偏振控制片与激光光源的距离小于横向LCPG与激光光源的距离的即可。
可选地,上述第二光学元件包括:横向偏振控制片、横向液晶偏振光栅、纵向偏振控制片和纵向液晶偏振光栅与所述传感器的距离依次变大。
可选地,上述光束整形器件由扩散镜头和矩形孔阑构成。
上文结合图53至图56对本申请实施例的TOF深度传感模组进行了介绍,下面结合图57对本申请实施例的图像生成方法进行详细的介绍。
图57是本申请实施例的图像生成方法的示意性流程图。
图57所示的方法可以由TOF深度传感模组或者包含本申请实施例的TOF深度传感模组的终端设备来执行,具体地,图57所示的方法可以由图54所示的TOF深度传感模组或者包含图54所示的TOF深度传感模组的终端设备来执行。图57所示的方法包括步骤5001至5006,下面对这些步骤分别进行详细的介绍。
5001、控制激光光源产生激光光束;
5002、利用偏振过滤器件对所述激光光束进行过滤,得到单一偏振态的光束。
上述单一偏振态为所述多种偏振态中的一种。
例如,上述多种偏振态可以包括线偏振、左旋圆偏振以及右旋圆偏振,上述单一偏振态可以是线偏振、左旋圆偏振以及右旋圆偏振中的任意一种。
5003、利用光束整形器件对激光光束进行调整,得到第一光束。
可选地,上述步骤5003具体包括:利用光束整形器件对单一偏振态的光束的角空间强度分布进行调整,以得到第一光束。
其中,上述第一光束的FOV的范围包括[5°×5°,20°×20°];
5004、控制第一光学元件在M个不同时刻分别对来自光束整形器件的第一光束的方向进行控制,得到M个不同方向的出射光束。
其中,上述M个不同方向的出射光束覆盖的总FOV的范围包括[50°×50°,80°×80°]。
5005、控制第二光学元件分别将目标物体对M个不同方向的出射光束反射得到的M个反射光束偏转到接收单元。
5006、根据M个不同方向的出射光束分别对应的TOF,生成目标物体的深度图。
本申请实施例中,通过光束整形器件对光束的FOV进行调整,使得第一光束的具有较大的FOV,同时采用过分时复用的方式进行扫描(第一光学元件在不同的时刻出射不同方向的出射光束),能够提高最终得到的目标物体的深度图的空间分辨率。
可选地,上述步骤5006具体包括:根据目标物体的M个区域与TOF深度传感模组之间的距离,生成目标物体的M个区域的深度图;根据目标物体的M个区域的深度图合成目标物体的深度图。
可选地,上述步骤5004具体包括:控制单元生成第一电压信号,第一电压信号用于控制第一光学元件在M个不同时刻分别对第一光束的方向进行控制,以得到M个不同方向的出射光束;上述步骤5005包括:控制单元生成第二电压信号,第二电压信号用于控制第二光学元件分别将目标物体对M个不同方向的出射光束反射得到的M个反射光束偏转到接收单元。
其中,上述第一电压信号和第二电压信号在同一时刻的电压值相同。
在上述图54所示的TOF深度传感模组300中,发射端和接收端分别采用不同的光学元件实现对光束发射和接收的控制,可选地,在本申请实施例的TOF深度传感模组中,发射端和接收端也可以采用相同的光学元件实现对光束发射和接收的控制。
下面结合图58对发射端和接收端公用相同的光学元件实现对光束的反射和接收的情况进行详细描述。
图58是本申请实施例的TOF深度传感模组的示意性框图。
图58所示的TOF深度传感模组400包括:激光光源410、偏振过滤器件420、光束整形器件430、光学元件440、接收单元450和控制单元460。如图58所示,TOF深度传感模组400的发射端包括激光光源410、偏振过滤器件420、光束整形器件430、光学元件440,TOF深度传感模组400的接收端包括光学元件440和接收单元450,TOF深度传感模组400的发射端和接收端共用光学元件440。光学元件440既能够对发射端的光束进行控制,进而得到出射光束,也能够对反射光束进行控制,使得反射光束偏转到接收单元450。
下面对TOF深度传感模组400中的这几个模块或者单元进行详细介绍。
激光光源410:
激光光源410用于产生激光光束;
可选地,上述激光光源410发出的激光光束为单束准平行光,激光光源410发出的激光光束的发散角小于1°。
可选地,上述激光光源410是半导体激光光源。
上述激光光源410可以是垂直腔面发射激光器(vertical cavity surfaceemitting laser,VCSEL)。
可选地,上述激光光源410还可以是法布里-珀罗激光器(可以简称为FP激光器)。
与单个VCSEL相比,单个FP激光器可以实现更大的功率,同时电光转换效率也较VCSEL高,能够提高扫描效果。
可选地,上述激光光源410发射的激光光束的波长大于900nm。
由于太阳光中大于900nm的光线的强度相对较弱,因此,当激光光束的波长大于900nm时有助于降低太阳光造成的干扰,可以提高TOF深度传感模组的扫描效果。
可选地,上述激光光源410发射的激光光束的波长为940nm或者1550nm。
由于太阳光中940nm或者1550nm附近的光线的强度相对较弱,因此,当激光光束的波长为940nm或者1550nm时能够大大降低太阳光造成的干扰,可以提高TOF深度传感模组的扫描效果。
上述激光光源410的发光面积小于或者等于5×5mm
由于上述激光光源的尺寸较小,因此,包含激光光源的TOF深度传感模组400比较容易被集成到终端设备中,能够在一定程度上减少在终端设备中占用的空间。
可选地,上述TOF深度传感模组400的平均输出光功率小于800mw。
当TOF深度传感模组的平均输出光功率小于或者等于800mw时,TOF深度传感模组的功耗较小,便于设置在终端设备等对功耗比较敏感的设备中。
偏振过滤器件420用于对激光光束进行过滤,得到单一偏振态的光束;
光束整形器件430用于对单一偏振态的光束的FOV进行调整,得到第一光束;
控制单元460用于控制光学元件440在M个不同时刻分别对第一光束的方向进行控制,得到M个不同方向的出射光束;
控制单元460还用于控制光学元件440分别将目标物体对M个不同方向的出射光束反射得到的M个反射光束偏转到接收单元450。
其中,上述单一偏振态为多种偏振态中的一种;
例如,上述多种偏振态可以包括线偏振、左旋圆偏振以及右旋圆偏振,上述单一偏振态可以是线偏振、左旋圆偏振以及右旋圆偏振中的任意一种。
上述第一光束的FOV的范围包括[5°×5°,20°×20°];上述M个不同方向的出射光束覆盖的总FOV的范围包括[50°×50°,80°×80°]。
本申请实施例中,通过光束整形器件对光束的FOV进行调整,使得第一光束的具有较大的FOV,同时采用过分时复用的方式进行扫描(光学元件在不同的时刻出射不同方向的出射光束),能够提高最终得到的目标物体的深度图的空间分辨率。
可选地,上述控制单元460还用于:根据M个不同方向的出射光束分别对应的TOF,生成目标物体的深度图。
上述M个不同方向的出射光束对应的TOF具体可以是指上述M个不同方向的出射光束对应的反射光束被接收单元接收的时刻与上述M个不同方向的出射光束的出射时刻之间的时间差信息。
假设上述M个不同方向的出射光束包含出射光束1,那么,出射光束1对应的反射光束可以是指出射光束1到达目标物体,并经过目标物体后反射后产生的光束。
可选地,上文中对TOF深度传感模组300中的激光光源310、偏振过滤器件320、光束整形器件330的限定同样适用于TOF深度传感模组400中的激光光源410、偏振过滤器件420和光束整形器件430。
可选地,上述光学元件为转镜器件。
其中,上述转镜器件通过转动实现对出射光束的出射方向的控制。
可选地,上述转镜器件为微电子机械系统振镜或者多面转镜。
下面结合附图对光学元件为转镜器件的情况进行说明。
图59是本申请实施例的TOF深度传感模组的示意性框图。
如图59所示,上述TOF深度传感模组还包括:准直镜头470,该准直镜头470位于激光光源410和偏振过滤器件420之间,该准直镜头470用于对激光光束进行准直处理;偏振过滤器件420用于对准直镜头470准直处理后的光束进行过滤,得到单一偏振态的光束。
图60是本申请实施例的TOF深度传感模组的示意性框图。在图60中,上述准直镜头470还可以位于偏振过滤器件420和光束整形器件430之间。该准直镜头470用于对单一偏振态的光束进行准直处理;光束整形器件430用于对准直镜头470准直处理后的FOV进行调整,得到第一光束。
上述通过准直镜头对光束进行准直处理,能够得到近似平行的光束,可以提高光束的功率密度,进而可以提高后续采用光束进行扫描的效果。
可选地,上述准直镜头的通光孔径小于或者等于5mm。
由于上述准直镜头的尺寸较小,因此,包含准直镜头的TOF深度传感模组比较容易被集成到终端设备中,能够在一定程度上减少在终端设备中占用的空间。
应理解,上述准直镜头还可以位于光学整形器件430和光学元件440之间,在这种情况下,准直镜头对光束整形器件430进行整形处理后的光束进行准直处理,准直处理后的光束再由光学元件440进行处理。
另外,准直镜头470可以位于TOF深度传感模组400中任何可能的位置,并在任何可能的过程对光束进行准直镜头。
如图61所示,TOF深度传感模组包括激光光源、匀光器件、分束镜、微机电系统(microelectromechanical systems,MEMS)振镜、接收镜头和传感器。图中的MEMS包括静电振镜、电磁振镜和多面转镜等。由于转镜器件均以反射方式工作,TOF深度传感模组中的光路是反射式光路,并且发射和接收为共轴光路,通过分束镜可以共用偏光器件和镜头。在图61中,偏光器件具体为MEMS振镜。
可选地,上述光学元件440为液晶偏振元件。
可选地,上述光学元件440包括:横向偏振控制片、横向液晶偏振光栅、纵向偏振控制片和纵向液晶偏振光栅。
可选地,在上述光学元件440中,横向偏振控制片、横向液晶偏振光栅、纵向偏振控制片和纵向液晶偏振光栅与激光光源的距离依次变大,或者,纵向偏振控制片、纵向液晶偏振光栅、横向偏振控制片和横向液晶偏振光栅与激光光源的距离依次变大。
可选地,上述光束整形器件430由扩散镜头和矩形孔阑构成。
上述光学元件可以是液晶偏振光栅、电光器件、声光器件、光学相控阵列器件等器件中的任意一种。有关液晶偏振光栅、电光器件、声光器件、光学相控阵列器件等器件具体内容可以参见上文中在第一种情况至第四种情况的描述。
图62是本申请实施例的图像生成方法的示意性流程图。
图62所示的方法可以由TOF深度传感模组或者包含本申请实施例的TOF深度传感模组的终端设备来执行,具体地,图62所示的方法可以由图58所示的TOF深度传感模组或者包含图58所示的TOF深度传感模组的终端设备来执行。图62所示的方法包括步骤6001至6006,下面对这些步骤分别进行详细的介绍。
6001、控制激光光源产生激光光束。
6002、利用偏振过滤器件对激光光束进行过滤,得到单一偏振态的光束。
其中,上述单一偏振态为多种偏振态中的一种;
例如,上述多种偏振态可以包括线偏振、左旋圆偏振以及右旋圆偏振,上述单一偏振态可以是线偏振、左旋圆偏振以及右旋圆偏振中的任意一种。
6003、利用光束整形器件对单一偏振态的光束进行调整,得到第一光束。
上述第一光束的FOV的范围包括[5°×5°,20°×20°]。
6004、控制光学元件在M个不同时刻分别对来自光束整形器件的第一光束的方向进行控制,得到M个不同方向的出射光束。
上述M个不同方向的出射光束覆盖的总FOV的范围包括[50°×50°,80°×80°]。
6005、控制光学元件分别将目标物体对M个不同方向的出射光束反射得到的M个反射光束偏转到接收单元。
6006、根据M个不同方向的出射光束分别对应的TOF,生成目标物体的深度图。
本申请实施例中,通过光束整形器件对光束的FOV进行调整,使得第一光束的具有较大的FOV,同时采用过分时复用的方式进行扫描(光学元件在不同的时刻出射不同方向的出射光束),能够提高最终得到的目标物体的深度图的空间分辨率。
可选地,上述步骤6006具体包括:根据M个不同方向的出射光束分别对应的TOF,确定目标物体的M个区域与TOF深度传感模组之间的距离;根据目标物体的M个区域与TOF深度传感模组之间的距离,生成目标物体的M个区域的深度图;根据目标物体的M个区域的深度图合成目标物体的深度图。
可选地,上述步骤6003具体包括:利用光束整形器件对单一偏振态的光束的角空间强度分布进行调整,以得到第一光束。
下面结合图63对本申请实施例的TOF深度传感模组400的具体工作过程进行详细的介绍。
图63是本申请实施例的TOF深度传感模组的结构示意图。
图63所示的TOF深度传感模组的各个部件的具体实现和功能如下:
(1)激光光源为VCSEL阵列。
VCSEL光源是能够发射具有较好定向性的光束阵列。
(2)偏振片为偏振过滤器件,该偏振片可以位于匀光器件的前面(下面)或者后面(上面)。
(3)匀光器件可以为衍射光学元件(diffractive optical element,DOE)或者光学扩散片(可以称为Diffuser)。
光束阵列经过匀光器件处理之后被整理成基本均匀的光束块。
(3)光学元件为多层LCPG(液晶偏振光栅)。
应理解,在上述图63中,仅体现出了偏振片位于匀光器件下面的情况,实际上,偏振片也可以位于匀光器件的上面。
关于液晶偏振光栅对光束的方向进行控制的具体原理可以参见对图37和图38描述的相关内容。
在图63中,通过多层液晶偏振光栅和1/4波片的配合使得发射出的光经过目标的反射,回到偏光片的时候,恰好经过了1/2的额外光程,这种设计恰好使得偏光片对回光的偏转方向与发射光相反。在准共轴近似下,斜出射的光,反射后原路返回,偏回与发射光平行的方向,到达接收镜头。接收端利用光束偏转器件能够将被发射光选择照亮的目标分块,成像到整个接收器(SPAD阵列)上。当目标被分块照亮时,每个分块都被整个接收器所接收,将各个时刻的图像拼接即可得到完整图像。如此实现接收器的时分复用,达到分辨率倍增的目的。
(4)接收镜头由普通的透镜完成,将接收光成像在接收器上。
(5)接收器为SPAD阵列。
SPAD可以对单光子进行探测,而且其探测到的单光子脉冲的时间可以精确记录。每次VCSEL发射光的时候,SPAD启动。VCSEL周期性发射光束,而SPAD阵列可以统计每个像素在每个周期中接收到反射光的时刻。通过对反射信号的时间分布进行统计,可以拟合出反射信号脉冲,从而计算出延迟时间。
本实施例的关键器件是投射端和接收端共用的光束偏转器件,也就是液晶偏光器件,本实施例中光束偏转器件包含多层LCPG,又称为电控液晶偏光器件。
图64是本申请实施例的液晶偏光器件的结构示意图。
液晶偏光器件一种可选的具体结构如图64所示,在图64中,1表示横向单倍角LCPG,2表示横向二倍角LCPG,3表示纵向单倍角LCPG,4表示纵向二倍角LCPG,5为偏振控制片。其中,偏振控制片共有5个,分别位于图64所示的4个LCPG的左侧,编号分别为5.1、5.2、5.3和5.4。
采用控制单元可以对图64所示的液晶偏光器件进行控制,控制时序可以如图65所示(从t0时刻开始扫描,一直持续到t15时刻)。控制单元产生的驱动信号的时序图如图66所示。
图66示出了器件偏振控制片5.1、5.2、5.3和5.4在t0时刻至t15时刻的电压驱动信号,电压驱动信号共包含低电平和高电平两种信号,其中,低电平用0表示,高电平用1表示。那么,偏振控制片5.1、5.2、5.3和5.4在t0时刻至t15时刻的电压驱动信号具体如表1所示。
表1
例如,在表1中,在t0时间间隔内,偏振控制片5.1的电压驱动信号为低电平信号,偏振控制片5.2至5.4的电压驱动信号为高电平信号,因此,t0时刻对应的电压信号为0111。
如图64所示,电控液晶偏光器件由LCPG和偏振控制片构成。实现4*4扫描的电压驱动信号如图66所示,其中,5.1、5.2、5.3、5.4分别表示四个偏振控制片上施加的电压驱动信号,整个FOV分为4*4的分块,t0到t15分别为照亮每个分块的时间间隔。其中,在施加图66所示的电压驱动信号时,经过液晶偏转器件时,经过各个器件的光束的状态如表2所示。
表2
下面对表2中表示的含义进行说明,在表2中的各项中,括号内的值为电压信号,L表示左旋,R表示右旋,1和3等数值表示光束偏转的角度,其中,3表示的偏转的角度大于1表示的偏转角度。
例如,对于R1-1来说,R表示右旋,第一个1表示左边(第一个为-1的话则表示右边),第二个-1表示上边(第二个为1的话则表示下边)。
再如,对于L 3-3来说,L表示左旋,第一个3表示最右边(第一个为-3的话则表示最左边),第二个-3则表示最上边(第二个为3的话则表示最下边)。
当液晶偏光器件上施加图66所示的电压驱动信号时,TOF深度传感模组在不同时刻的扫描区域如图67所示。
下面结合附图对本申请实施例的得到的深度图进行描述,如图68所示,假设通过分时扫描能够得到目标物体t0时刻至t3时刻对应的深度图,其中,t0时刻至t3时刻对应的深度图的分辨率为160×120,通过对t0时刻至t3时刻对应的深度图进行拼接,可以得到如图69所示的目标物体的最终深度图,目标物体的最终深度图的分辨率为320×240。由图68和图69可知,通过将不同时刻得到的深度图进行拼接,能够提高最终得到的深度图的分辨率。
上文结合图53至图69对本申请实施例的一种TOF深度传感模组和图像生成方法进行了详细介绍。下面结合图70至图78对本申请实施例的另一种TOF深度传感模组和图像生成方法进行详细的介绍。
在TOF深度传感模组中,可以采用液晶器件对光束的方向进行调整,并且在TOF深度传感模组一般在发射端加入偏振片来实现偏振光的出射。但是在偏振光出射的过程中,由于偏振片的偏振选择作用,会导致在出射光束时损失一半的能量,损失的这部分能量会被偏振片吸收或者散射而转化为热量,造成TOF深度传感模组的温度升高,影响TOF深度传感模组的稳定性。因此,如何降低TOF深度传感模组的热损耗是一个需要解决的问题。
具体地,在本申请实施例的TOF深度传感模组中,可以通过将偏振片从发射端转移到接收端的方式来降低TOF深度传感模组的热损耗。下面结合附图对本申请实施例的TOF深度传感模组进行详细的介绍。
下面先结合图70对本申请实施例的TOF深度传感模组进行简单的介绍。
图70是用本申请实施例的TOF深度传感模组工作时的示意图。如图70所示,TOF深度传感模组可以包括发射端(也可以成为投射端)、接收端和控制单元,其中,发射端用于发射出出射光束,接收端用于接收目标物体的反射光束(该反射光束是目标物体对出射光束进行反射得到的光束),控制单元可以控制发射端和接收端分别进行光束的发射和接收。
在图70中,发射端一般可以包括激光光源、准直镜头(可选)、匀光器件、光学元件、投射镜头(可选);接收端一般包括:光束选择器件和接收单元,其中,接收单元具体可以包括接收镜头和传感器。
图70所示的TOF深度传感模组在同一时刻会投射出两种或以上的不同状态的投射光(状态A、状态B),两种不同状态的投射光经过反射到达接收端后,光束选择器件根据指令分时选择让某一状态的反射光进入到传感器,对特定状态的光进行深度成像,然后光束偏转器件可以扫描不同的方向,实现目标FOV的覆盖。
图70所示的TOF深度传感模组可以用于3D图像获取,本申请实施例的TOF深度传感模组可以设置在智能终端(例如,手机、平板、可穿戴设备等等)中,用于深度图像或者3D图像的获取,也可以为3D游戏或体感游戏提供手势和肢体识别。
下面结合图71对本申请实施例的TOF深度传感模组进行详细的介绍。
图71所示的TOF深度传感模组500包括:激光光源510、光学元件520、光束选择器件530、接收单元540和控制单元550。
下面对TOF深度传感模组500中的这几个模块或者单元进行详细介绍。
激光光源510:
激光光源510用于产生激光光束。
可选地,上述激光光源可以是半导体激光光源。
上述激光光源可以是垂直腔面发射激光器(vertical cavity surface emittinglaser,VCSEL)。
可选地,上述激光光源可以是法布里-珀罗激光器(可以简称为FP激光器)。
与单个VCSEL相比,单个FP激光器可以实现更大的功率,同时电光转换效率也较VCSEL高,能够提高扫描效果。
可选地,上述激光光源510发射的激光光束的波长大于900nm。
由于太阳光中大于900nm的光线的强度相对较弱,因此,当激光光束的波长大于900nm时有助于降低太阳光造成的干扰,可以提高TOF深度传感模组的扫描效果。
可选地,上述激光光源510发射的激光光束的波长为940nm或者1550nm。
由于太阳光中940nm或者1550nm附近的光线的强度相对较弱,因此,当激光光束的波长为940nm或者1550nm时能够大大降低太阳光造成的干扰,可以提高TOF深度传感模组的扫描效果。
可选地,上述激光光源510的发光面积小于或者等于5×5mm
由于上述激光光源的尺寸较小,因此,包含激光光源的TOF深度传感模组比较容易被集成到终端设备中,能够在一定程度上减少在终端设备中占用的空间。
可选地,上述TOF深度传感模组的平均输出光功率小于800mw。
当TOF深度传感模组的平均输出光功率小于或者等于800mw时,TOF深度传感模组的功耗较小,便于设置在终端设备等对功耗比较敏感的设备中。
光学元件520:
光学元件520设置在激光光束的出射方向,该光学元件520用于对激光光束的方向进行控制,以得到第一出射光束和第二出射光束,其中,第一出射光束的出射方向和第二出射光束的出射方向不同,第一出射光束的偏振方向和第二出射光束的偏振方向正交。
可选地,如图35,上述光学元件520可以包括:横向偏振控制片、横向液晶偏振光栅、纵向偏振控制片和纵向液晶偏振光栅,其中,横向偏振控制片、横向液晶偏振光栅、纵向偏振控制片和纵向液晶偏振光栅与激光光源的距离依次变大。
或者,在上述光学元件520中,纵向偏振控制片、纵向液晶偏振光栅、横向偏振控制片和横向液晶偏振光栅与激光光源的距离依次变大。
接收单元540:
其中,接收单元540可以包括接收镜头541和传感器542。
控制单元550和光束选择器件530:
控制单元550用于通过控制信号控制光束选择器件530的工作,具体地,控制单元550可以生成控制信号,该控制信号用于控制光束选择器件530在不同的时间间隔内分别将第三反射光束和第四反射光束传播到传感器,其中,第三反射光束是目标物体对第一出射光束反射得到的光束,第四反射光束是目标物体对第二出射光束反射得到的光束。
上述光束选择器件530能够在控制单元550的控制下,在不同的时间将不同偏振态的光束在不同时刻分别传播到接收单元。这里的光束选择器件530采用的的分时的模式将接收到的反射光束传播到接收单元540,与下文中的TOF深度传感模组600中的光束分束器630相比,能够更加充分的利用接收单元540的接收分辨率,最终得到的深度图的分辨率也相对较高。
可选地,上述控制单元550生成的控制信号用于控制光束选择器件530在不同的时间间隔内分别将第三反射光束和第四反射光束传播到传感器。
也就是说,在控制单元550生成的控制信号的控制下,上述光束选择器件可以在不同的时间分别将第三反射光束和第四反射光束传播到接收单元。
可选地,作为一个实施例,上述光束选择器件530由1/4波片+半波片+偏振片构成。
如图72所示,上述TOF深度传感模组500还可以包括:
准直镜头560,该准直镜头560设置在激光光束的出射方向,且准直镜头设置在激光光源和光学元件之间,准直镜头560用于对激光光束进行准直处理,以得到准直处理后的光束;光学元件520用于对准直处理后的光束的方向进行控制,以得到第一出射光束和第二出射光束。
上述通过准直镜头对光束进行准直处理,能够得到近似平行的光束,可以提高光束的功率密度,进而可以提高后续采用光束进行扫描的效果。
可选地,上述准直镜头的通光孔径小于或者等于5mm。
由于上述准直镜头的尺寸较小,因此,包含准直镜头的TOF深度传感模组比较容易被集成到终端设备中,能够在一定程度上减少在终端设备中占用的空间。
如图73所示,上述TOF深度传感模组500还可以包括:
匀光器件570,匀光器件570设置在激光光束的出射方向,且准直镜头设置在激光光源510和光学元件520之间,匀光器件570用于对激光光束的能量分布进行调整,以得到匀光后的光束;光学元件用于对匀光后的光束的方向进行控制,以得到第一出射光束和第二出射光束。
可选地,上述匀光器件为微透镜扩散片或衍射光学扩散片(DOE Diffuser)。
应理解,上述TOF深度传感模组500可以同时包括准直镜头560和匀光器件570,准直镜头560和匀光器件570均位于激光光源510和光学元件520之间,对于准直镜头560和匀光器件570来说,既可以是准直镜头560与激光光源的距离更近,也可以是匀光器件570与激光光源的距离更近。
如图74所示,准直镜头560与激光光源510之间的距离小于匀光器件570与激光光源510之间的距离。
在图74所示的TOF深度传感模组500中,激光光源510发出的激光光束先经过准直镜头560的准直处理,再经过匀光器件570的匀光处理后传播到光学元件520中进行处理。
本申请实施例中,通过匀光处理能够使激光光束的光功率在角度空间更均匀,或者按照特定规律分布,防止局部光功率太小,进而避免最终得到的目标物体深度图有盲点。
如图75所示,准直镜头560与激光光源510之间的距离大于匀光器件570与激光光源510之间的距离。
而在图74所示的TOF深度传感模组500中,激光光源510发出的激光光束先经过匀光器件570的匀光处理,然后再经过准直镜头560的准直处理后再传播到光学元件520中进行处理。
下面结合图76对上述TOF深度传感模组500的具体结构进行详细描述。
图76是本申请实施例的TOF深度传感模组500的具体结构示意图。
如图76所示,TOF深度传感模组500包括投射端、控制单元和接收端。其中,投射端包括激光光源、匀光器件、光束偏转器件;接收端包括光束偏转器件、光束(动态)选择器件、接收镜头、二维传感器;控制单元用于控制投射端和接收端,完成光束的扫描。此外,图76中的光束偏转器件对应图71中的光学元件,图76中的光束(动态)选择器件对应图71中的光束选择器件。
下面对各个模块或者单元具体采用的器件进行详细说明。
激光光源可以为垂直腔面发射激光器(VCSEL)阵列光源;
匀光器件可以为衍射光学扩散片;
光束偏转器件可以为多层LCPG和1/4波片;
电控LCPG包括电控水平方向的LCPG组件和电控竖直方向的LCPG组件。
其中,利用多层级联的电控LCPG可以实现水平方向和竖直方向的二维块扫描。1/4波片是用于将LCPG出来的圆偏振光转换为线偏振光,实现发射端和接收端准共轴的效果。
上述VCSEL阵列光源的波长可以大于900nm,具体地,上述VCSEL阵列光源的波长可以为940nm或者1550nm。
其中,940nm波段的太阳光谱强度相对较弱,有利于降低户外场景中太阳光引起的噪声。另外,上述VCSEL阵列光源发出的激光可以是连续光或者脉冲光。VCSEL阵列光源也可以分为几块,实现分时控制,让不同区域分时点亮。
衍射光学扩散片的功能是将VCSEL阵列光源发出的光束整形为具有一定FOV的均匀方形或者矩形光源(例如,5°x5°的FOV)。
多层LCPG和1/4波片的作用是实现光束的扫描。
接收端和发射端共用多层LCPG和1/4波片,接收端的光束选择器件由1/4波片+电控半波片+偏振片组成,接收端的接收镜头可以为单片镜头或者多片镜头的组合。接收端的传感器为单光子雪崩二极管(SPAD)阵列,因为SPAD具有单光子探测的灵敏度,可以提高Lidar系统的探测距离。
对于上述TOF深度传感模组500来说,通过将发射端的偏振选择器件移到了接收端。如图76所示,普通VCSEL阵列光源发出的激光没有固定的偏振态,可以分解为平行于纸面的线偏振激光和垂直于纸面的线偏振激光,而线偏振激光经过LCPG后会分为两束不同偏振态(左旋圆偏振和右旋圆偏振)的激光,分布具有不同的出射角度,而这两束激光经过1/4波片后相应的偏振态转换为平行于纸面的线偏光和垂直于纸面的线偏光。这两束不同偏振态的激光照射到目标区域的物体后产生的回射光束会被和发射端共用的1/4波片和LCPG接收后变为具有相同发散角但不同偏转态-左旋圆偏振光和右旋圆偏振光-的激光。接收端的光束选择器件由1/4波片+电控半波片+偏振片组成,接收光经过此1/4波片后偏振态转换为平行于纸面的线偏光和垂直于纸面的线偏光,这样通过分时控制电控半波片,让它实现将线偏振光的偏振态旋转90度或者不改变经过半波片的偏振态,实现对平行于纸面的线偏光和垂直于纸面的线偏光分时透过,同时,另一个偏振态的光被偏振片吸收或者散射掉了。
相比于偏振选择器件位于发射端的现有TOF深度传感模组,由于本申请的偏振选择器件位于接收端,被偏振片吸收或者散射的能量有明显的降低,假设探测距离为R米,目标物体的反射率为ρ,接收系统的入瞳直径为D,在相同的接收FOV情况下,那么本申请实施例的TOF深度传感模组500的偏振选择器件的入射能量P
其中,P为发射端发出的能量,在1m的距离下,能量能够减少约10
另外,假设本申请实施例的TOF深度传感模组500和传统的TOF深度传感模组专利采用同样功率的非偏光源,由于在本申请实施例的TOF深度传感模组500中户外的光是非偏振的,进入到接收探测器是会有一半的光被吸收或者散射掉,而传统方案中的TOF深度传感模组中的户外的光则全部进入到探测器,因而,本申请实施例的信噪比在相同的情况下会提升一倍左右。
在图76所示的TOF深度传感模组500的基础上,还可以将VCSEL阵列光源后的衍射光学扩散片(DOE Diffuser)改成微透镜扩散片(Diffuser)。由于微透镜扩散片是基于几何光学实现匀光,因而其透射效率较高可以达到80%以上,而传统衍射光学扩散片(DOEDiffuser)的透射效率只有70%左右。微透镜扩散片的形貌如图77所示,由一系列随机分布的微透镜组成,每个微透镜的位置与形貌都是经过仿真优化进行设计,使得整形后的光束尽量均匀同时透射效率较高。
图78是本申请实施例的图像生成方法的示意性流程图。
图78所示的方法可以由TOF深度传感模组或者包含本申请实施例的TOF深度传感模组的终端设备来执行,具体地,图78所示的方法可以由图71所示的TOF深度传感模组或者包含图71所示的TOF深度传感模组的终端设备来执行。图78所示的方法包括步骤7001至7006,下面对这些步骤分别进行详细的介绍。
7001、控制激光光源产生激光光束;
7002、控制光学元件对激光光束的方向进行控制,以得到第一出射光束和第二出射光束。
7003、控制光束选择器件将目标物体对第一出射光束反射得到的第三反射光束,以及目标物体对第二出射光束反射得到的第四反射光束传播到接收单元的不同区域。
7004、根据第一出射光束对应的TOF,生成目标物体的第一深度图;
7005、根据第二出射光束对应的TOF,生成目标物体的第二深度图。
其中,第一出射光束的出射方向和第二出射光束的出射方向不同,第一出射光束的偏振方向和第二出射光束的偏振方向正交。
本申请实施例中,由于发射端没有偏振过滤器件,因此,激光光源发出的光束可以几乎没有损耗的到达光学元件(偏振过滤器件一般会吸收较多的光能量,进而会产生一定的热损耗),能够降低终端设备的热损耗。
可选地,图78所示的方法还包括:对第一深度图和第二深度图进行拼接,得到目标物体的深度图。
应理解,在图78所示的方法中,还可以按照类似的方式生成第三深度图,第四深度图等等,接下来,可以将所有的深度图进行拼接或者组合,以得到目标物体的最终深度图。
可选地,上述终端设备还包括准直镜头,该准直镜头设置在激光光源和光学元件之间,图78所示的方法还包括:
7006、利用准直镜头对激光光束进行准直处理,得到准直处理后的光束;
上述步骤7002具体包括:控制光学元件对准直处理后的光束的方向进行控制,以得到第一出射光束和第二出射光束。
另外,上述通过准直镜头对光束进行准直处理,能够得到近似平行的光束,可以提高光束的功率密度,进而可以提高后续采用光束进行扫描的效果。
可选地,上述终端设备还包括匀光器件,该匀光器件设置在激光光源和光学元件之间,图78所示的方法还包括:
7007、利用匀光器件对激光光束的能量分布进行调整,得到匀光处理后的光束;
上述步骤7002具体包括:控制光学元件对匀光处理后的光束的方向进行控制,以得到第一出射光束和第二出射光束。
通过匀光处理能够使激光光束的光功率在角度空间更均匀,或者按照特定规律分布,防止局部光功率太小,进而避免最终得到的目标物体深度图有盲点。
在上述步骤7001至7005的基础上,图78所示的方法可以再包括步骤7006或者步骤7007。
或者,在上述步骤7001至7005的基础上,图78所示的方法可以再包括步骤7006和步骤7007。在这种情况下,当执行完步骤7001之后,可以先执行步骤7006,再执行步骤7007,然后再执行步骤7002,也可以先执行步骤7007,再执行步骤7006,然后再执行步骤7002。也就是说,在步骤7001中的激光光源产生激光光束之后,可以先对该激光光束先后进行准直处理和匀光处理(利用匀光器件对激光光束的能量分布进行调整),然后再控制光学元件对激光光束的方向进行控制。也可以在步骤7001中的激光光源产生激光光束之后,可以先对该激光光束先后进行匀光处理(利用匀光器件对激光光束的能量分布进行调整)和准直处理,然后再控制光学元件对激光光束的方向进行控制。
上文结合图70至图78对本申请实施例的一种TOF深度传感模组和图像生成方法进行了详细介绍。下面结合图79至图88对本申请实施例的另一种TOF深度传感模组和图像生成方法进行详细的介绍。
由于液晶器件具有出色的偏振和相位调节能力,其被广泛的应用于TOF深度传感模组中,以实现对光束的偏转。但是,由于液晶材料的双折射特性,现有的采用液晶器件的TOF深度传感模组一般都在发射端加入偏振片来实现偏振光的出射。在偏振光出射的过程中,由于偏振片的偏振选择作用,会导致在出射光束时损失一半的能量,损失的这部分能量会被偏振片吸收或者散射而转化为热量,造成TOF深度传感模组的温度升高,影响TOF深度传感模组的稳定性。因此,如何降低TOF深度传感模组的热损耗,提高TOF深度传感模组的信噪比是一个需要解决的问题。
本申请提供了一种新的TOF深度传感模组,通过将偏振片从发射端转移到接收端端的方式来降低系统的热损耗,同时提高了系统相对于背景杂光的信噪比。
下面先结合图79对本申请实施例的TOF深度传感模组进行简单的介绍。
图79所示的TOF深度传感模组600包括:激光光源610、光学元件620、光束分束器630、接收单元640和控制单元650。
下面对TOF深度传感模组600中的这几个模块或者单元进行详细介绍。
激光光源610:
激光光源610用于产生激光光束。
可选地,上述激光光源610为垂直腔面发射激光器(vertical cavity surfaceemitting laser,VCSEL)。
可选地,上述激光光源610为法布里-珀罗激光器(可以简称为FP激光器)。
与单个VCSEL相比,单个FP激光器可以实现更大的功率,同时电光转换效率也较VCSEL高,进而能够提高TOF深度传感模组的扫描效果。
可选地,上述激光光源610发射的激光光束的波长大于900nm。
由于太阳光中大于900nm的光线的强度相对较弱,因此,当激光光束的波长大于900nm时有助于降低太阳光造成的干扰,进而能够提高TOF深度传感模组的扫描效果。
可选地,上述激光光源610发射的激光光束的波长为940nm或者1550nm。
由于太阳光中940nm或者1550nm附近的光线的强度相对较弱,因此,当激光光束的波长为940nm或者1550nm时能够大大降低太阳光造成的干扰,进而能够提高TOF深度传感模组的扫描效果。
可选地,上述激光光源610的发光面积小于或者等于5×5mm
由于上述激光光源的尺寸较小,因此,包含激光光源的TOF深度传感模组比较容易被集成到终端设备中,能够在一定程度上减少在终端设备中占用的空间。
光学元件620:
光学元件620设置在激光光束的出射方向,该光学元件420用于对激光光束的方向进行控制,以得到第一出射光束和第二出射光束,其中,第一出射光束的出射方向和第二出射光束的出射方向不同,第一出射光束的偏振方向和第二出射光束的偏振方向正交。
可选地,如图35所示,上述光学元件620可以包括:横向偏振控制片、横向液晶偏振光栅、纵向偏振控制片和纵向液晶偏振光栅,其中,所述横向偏振控制片、所述横向液晶偏振光栅、所述纵向偏振控制片和所述纵向液晶偏振光栅与所述激光光源的距离依次变大。
或者,在上述光学元件620中,纵向偏振控制片、纵向液晶偏振光栅、横向偏振控制片和横向液晶偏振光栅与激光光源的距离依次变大。
接收单元640:
其中,接收单元640可以包括接收镜头641和传感器642。
光束分束器630:
光束分束器630,用于将目标物体对第一出射光束反射得到的第三反射光束,以及目标物体对第二出射光束反射得到的第四反射光束透射到传感器的不同区域。
上述光束分束器是被动选择器件,一般不受控制单元控制,能够将混合偏振态的光束中不同偏振态的光束分别传播到接收单元的不同区域。
可选地,上述光束分束器基于液晶偏振光栅LCPG、偏振分束棱镜PBS以及偏振滤光片中的任意一种实现的。
本申请中,通过将偏振片从发射端转移到接收端,能够降低系统的热损耗,另外,通过在接收端设置光束分束器,能够提高TOF深度传感模组的信噪比。
如图80所示,上述TOF深度传感模组600还可以包括:准直镜头660,该准直镜头660设置在激光光束的出射方向,且准直镜头660设置在激光光源610和光学元件620之间,准直镜头660用于对激光光束进行准直处理,以得到准直处理后的光束;当准直镜头660设置在激光光源610和光学元件620之间时,光学元件620用于对准直处理后的光束的方向进行控制,以得到第一出射光束和第二出射光束。
上述通过准直镜头对光束进行准直处理,能够得到近似平行的光束,可以提高光束的功率密度,进而可以提高后续采用光束进行扫描的效果。
可选地,上述准直镜头的通光孔径小于或者等于5mm。
由于上述准直镜头的尺寸较小,因此,包含准直镜头的TOF深度传感模组比较容易被集成到终端设备中,能够在一定程度上减少在终端设备中占用的空间。
如图81所示,上述TOF深度传感模组600还可以包括:
匀光器件670,匀光器件670设置在激光光束的出射方向,且匀光器件670设置在激光光源和光学元件之间,匀光器件670用于对激光光束的能量分布进行调整,以得到匀光后的光束;当匀光器件670设置在激光光源610和光学元件620之间时,光学元件620用于对匀光后的光束的方向进行控制,以得到第一出射光束和第二出射光束。
可选地,上述匀光器件可以为微透镜扩散片或衍射光学扩散片。
应理解,上述TOF深度传感模组600可以同时包括准直镜头660和匀光器件670,准直镜头660和匀光器件670可以都位于激光光源610和光学元件620之间,对于准直镜头660和匀光器件670来说,既可以是准直镜头660与激光光源的距离更近,也可以是匀光器件670与激光光源的距离更近。
如图82所示,准直镜头660与激光光源610之间的距离小于匀光器件670与激光光源610之间的距离。
在图82所示的TOF深度传感模组600中,激光光源610发出的激光光束先经过准直镜头660的准直处理,再经过匀光器件670的匀光处理后传播到光学元件620中进行处理。
如图83所示,准直镜头660与激光光源610之间的距离大于匀光器件670与激光光源610之间的距离。
而在图83所示的TOF深度传感模组600中,激光光源610发出的激光光束先经过匀光器件670的匀光处理,然后再经过准直镜头660的准直处理后再传播到光学元件620中进行处理。
下面结合附图下面结合图对上述TOF深度传感模组600的具体结构进行详细描述。
图84是本申请实施例的TOF深度传感模组600的结构示意图。
如图84所示,TOF深度传感模组600包括投射端和接收端,其中,投射端的激光光源为VCSEL光源,匀光器件为衍射光学扩散片(DOE Diffuser),光束元件为多层LCPG和1/4波片,其中,每层LCPG包括:电控水平方向的LCPG组件和电控竖直方向的LCPG组件。利用多层级联的LCPG可以实现水平方向和竖直方向的二维块扫描。
上述VCSEL阵列光源的波长可以大于900nm,具体地,上述VCSEL阵列光源的波长可以为940nm或者1650nm。
当VCSEL阵列光源的波长可以为940nm或者1650nm时,太阳光谱强度相对较弱,有利于降低户外场景中太阳光引起的噪声。
上述VCSEL阵列光源发出的激光可以是连续光或者脉冲光。VCSEL阵列光源也可以分为几块,实现分时控制,让不同区域分时点亮。
上述衍射光学扩散片的功能是将VCSEL阵列光源发出的光束整形为具有一定FOV的均匀方形或者矩形光源(例如,5°×5°的FOV)。
多层LCPG和1/4波片的作用是实现光束的扫描。
接收端和发射端共用多层LCPG和1/4波片。接收端的接收镜头可以为单片镜头或者多片镜头的组合。接收端的传感器为单光子雪崩二极管(SPAD)阵列,由于SPAD具有单光子探测的灵敏度,可以提高TOF深度传感模组600的探测距离。接收端包含光束分束器,光束分束器由单层LCPG实现。同一时刻,投射端会用两个偏振态的光投射到不同的FOV范围内,然后通过接收端多层LCPG后汇为同一束光,然后经过光束分束器后根据偏转态的不同分束为两个不同方向的光束,投射到SPAD阵列的不同位置。
图85是本申请实施例的TOF深度传感模组600的结构示意图。
图85所示的TOF深度传感模组600与图84所示的TOF深度传感模组600的区别在于,在图84中,光束分束器由单层LCPG实现,而在图85中,光束分束器由偏振分束器实现,偏振分束器通常是镀膜的棱角胶合而成。由于偏振分束器是现成的产品,因此,采用偏振分束器作为光束分束器具有一定的成本优势。
如图85所示,反射得到的光束的两个正交的偏振态,会在偏振分束器上分离,一个直透进入SPAD阵列传感器,另一个反射后,再经另一个反射镜反射进入SPAD阵列传感器。
图86是本申请实施例的TOF深度传感模组的结构示意图。
与图84所示的TOF深度传感模组600的区别在于,在图86中,光束分束器由偏振滤光片实现。例如在图86中,可以采用1/4波片实现。
偏振滤光片做类似像素画处理,相邻像素上可透过的偏振状态不同,并对应每一个SPAD像素上。这样SPAD传感器可同时接收到两个偏振态信息。
图87是偏振滤光片的接收偏振光束的示意图。
如图87所示,偏振过滤片的不同区域可以透过H偏振或者V偏振,其中,H偏振表示水平方向的偏振,V偏振表示竖直方向的偏振。在图87中,偏振过滤片上不同的区域只允许对应的偏振态的光束到达传感器的相应位置。例如,H偏振只允许竖直水平偏振的光束到达传感器的相应位置,V偏振只允许竖直偏振的光束到达传感器的相应位置。
当光束分束器采用偏振滤光片时,由于偏振滤光片的比较薄,体积比较小,便于集成到体积较小的终端设备中。
图88是本申请实施例的图像生成方法的示意性流程图。
图88所示的方法可以由TOF深度传感模组或者包含本申请实施例的TOF深度传感模组的终端设备来执行,具体地,图88所示的方法可以由图79所示的TOF深度传感模组或者包含图79所示的TOF深度传感模组的终端设备来执行。图88所示的方法包括步骤8001至8006,下面对这些步骤分别进行详细的介绍。
8001、控制激光光源产生激光光束。
8002、控制光学元件对激光光束的方向进行控制,以得到第一出射光束和第二出射光束。
其中,第一出射光束的出射方向和第二出射光束的出射方向不同,第一出射光束的偏振方向和第二出射光束的偏振方向正交。
8003、控制光束分束器将目标物体对第一出射光束反射得到的第三反射光束,以及目标物体对第二出射光束反射得到的第四反射光束传播到接收单元的不同区域。
8004、根据第一出射光束对应的TOF,生成目标物体的第一深度图。
8005、根据第二出射光束对应的TOF,生成目标物体的第二深度图。
上述图88所示的方法的过程与图78所示的方法的基本过程相同,主要区别在于,在图78所示的方法的步骤7003中是通过光束选择器件将第三反射光束和第四反射光束传播到接收单元的不同区域。而在图88所示的方法的步骤8003中是通过光束分束器将第三反射光束和第四反射光束传播到接收单元的不同区域。
本申请实施例中,由于发射端没有偏振过滤器件,因此,激光光源发出的光束可以几乎没有损耗的到达光学元件(偏振过滤器件一般会吸收较多的光能量,进而会产生一定的热损耗),能够降低终端设备的热损耗。
可选地,图88所示的方法还包括:对第一深度图和第二深度图进行拼接,得到目标物体的深度图。
应理解,在图88所示的方法中,还可以按照类似的方式生成第三深度图,第四深度图等等,接下来,可以将所有的深度图进行拼接或者组合,以得到目标物体的最终深度图。
可选地,上述终端设备还包括准直镜头,该准直镜头设置在激光光源和光学元件之间,图88所示的方法还包括:
8006、利用准直镜头对激光光束进行准直处理,得到准直处理后的光束;
上述步骤8002具体包括括:控制光学元件对准直处理后的光束的方向进行控制,以得到第一出射光束和第二出射光束。
另外,上述通过准直镜头对光束进行准直处理,能够得到近似平行的光束,可以提高光束的功率密度,进而可以提高后续采用光束进行扫描的效果。
可选地,上述终端设备还包括匀光器件,该匀光器件设置在激光光源和光学元件之间,图88所示的方法还包括:
8007、利用匀光器件对激光光束的能量分布进行调整,得到匀光处理后的光束;
上述步骤8002具体包括括:控制光学元件对激光光束的方向进行控制,得到第一出射光束和第二出射光束,包括:控制光学元件对匀光处理后的光束的方向进行控制,以得到第一出射光束和第二出射光束。
通过匀光处理能够使激光光束的光功率在角度空间更均匀,或者按照特定规律分布,防止局部光功率太小,进而避免最终得到的目标物体深度图有盲点。
在上述步骤8001至8005的基础上,图88所示的方法可以再包括步骤8006或者步骤8007。
或者,在上述步骤8001至8005的基础上,图88所示的方法可以再包括步骤8006和步骤8007。在这种情况下,当执行完步骤8001之后,可以先执行步骤8006,再执行步骤8007,然后再执行步骤8002,也可以先执行步骤8007,再执行步骤8006,然后再执行步骤8002。也就是说,在步骤8001中的激光光源产生激光光束之后,可以先对该激光光束先后进行准直处理和匀光处理(利用匀光器件对激光光束的能量分布进行调整),然后再控制光学元件对激光光束的方向进行控制。也可以在步骤8001中的激光光源产生激光光束之后,可以先对该激光光束先后进行匀光处理(利用匀光器件对激光光束的能量分布进行调整)和准直处理,然后再控制光学元件对激光光束的方向进行控制。
上文结合图79至图88对本申请实施例的一种TOF深度传感模组和图像生成方法进行了详细介绍。下面结合图89至图101对本申请实施例的另一种TOF深度传感模组和图像生成方法进行详细的介绍。
由于液晶器件出色的偏振和相位调节能力,TOF深度传感模组中常采用液晶器件对光束进行控制,但是由于液晶材料本身的限制,其响应时间有一定的极限,通常为毫秒量级,因而使得采用液晶器件的TOF深度传感模组的扫描频率比较低(通常小于1khz)。
本申请提供了一种新的TOF深度传感模组,通过控制发射端和接收端的电控液晶的驱动信号的时序错开一定的时间(例如,半个周期)来实现系统扫描频率的提升。
下面先结合图89对本申请实施例的TOF深度传感模组进行简单的介绍。
图89所示的TOF深度传感模组700包括:激光光源710、光学元件720、光束选择器件730、接收单元740和控制单元750。
上述TOF深度传感模组中的各个模块或者单元的功能具体如下:
激光光源710:
激光光源710用于产生激光光束。
可选地,上述激光光源710为垂直腔面发射激光器(vertical cavity surfaceemitting laser,VCSEL)。
可选地,上述激光光源710为法布里-珀罗激光器(可以简称为FP激光器)。
与单个VCSEL相比,单个FP激光器可以实现更大的功率,同时电光转换效率也较VCSEL高,进而能够提高TOF深度传感模组的扫描效果。
可选地,上述激光光源710发射的激光光束的波长大于900nm。
由于太阳光中大于900nm的光线的强度相对较弱,因此,当激光光束的波长大于900nm时有助于降低太阳光造成的干扰,进而能够提高TOF深度传感模组的扫描效果。
可选地,上述激光光源710发射的激光光束的波长为940nm或者1550nm。
由于太阳光中940nm或者1550nm附近的光线的强度相对较弱,因此,当激光光束的波长为940nm或者1550nm时能够大大降低太阳光造成的干扰,进而能够提高TOF深度传感模组的扫描效果。
可选地,上述激光光源710的发光面积小于或者等于5×5mm
由于上述激光光源的尺寸较小,因此,包含激光光源的TOF深度传感模组比较容易被集成到终端设备中,能够在一定程度上减少在终端设备中占用的空间。
可选地,上述TOF深度传感模组700的平均输出光功率小于800mw。
当TOF深度传感模组的平均输出光功率小于或者等于800mw时,TOF深度传感模组的功耗较小,便于设置在终端设备等对功耗比较敏感的设备中。
光学元件720:
光学元件720设置在激光光源发出光束的方向,光学元件720用于在控制单元750的控制下对激光光束进行偏转,得到出射光束。
光束选择器件730:
光束选择器件730用于在控制单元750的控制下从目标物体的反射光束中的每个周期内的光束中选择具有至少两种偏振态的光束,得到接收光束,并将接收光束透射到接收单元740。
其中,上述出射光束是周期性变化的光束,出射光束的变化周期的大小为第一时间间隔,在出射光束中,位于相邻周期的光束的倾斜角不同,位于同一周期的光束存在至少两种偏振状态,位于同一周期内的光束的倾斜角相同并且方位角不同。
本申请实施例中,通过光学元件和光束选择器件对激光光源发出的光束的方向和偏振态进行调整,使得相邻周期的出射光束的倾斜角不同,位于同一周期的光束存在至少两种偏振状态,从而提高了TOF深度传感模组的扫描频率。
本申请中,通过控制单元控制发射端与接收端的控制信号时序错开一定的时间,能够提高TOF深度传感模组的扫描频率。
可选地,如图35所示,上述光学元件720包括:横向偏振控制片、横向液晶偏振光栅、纵向偏振控制片和纵向液晶偏振光栅。其中,所述横向偏振控制片、所述横向液晶偏振光栅、所述纵向偏振控制片和所述纵向液晶偏振光栅与所述激光光源的距离依次变大。
或者,在上述光学元件720中,纵向偏振控制片、纵向液晶偏振光栅、横向偏振控制片和横向液晶偏振光栅与激光光源的距离依次变大。
可选地,上述光束选择器件由1/4波片+电控半波片+偏振片构成。
如图90所示,上述TOF深度传感模组还可以包括:准直镜头760,准直镜头760设置在激光光源710和光学元件720之间,准直镜头760用于对激光光束进行准直处理;上述光学元件720用于在控制单元750的控制下对准直镜头准直处理后的光束进行偏转,得到出射光束。
当TOF深度传感模组包括准直镜头时,能够利用准直镜头对激光光源发出的光柱先进行准直处理,能够得到近似平行的光束,可以提高光束的功率密度,进而可以提高后续采用光束进行扫描的效果。
可选地,上述准直镜头的通光孔径小于或者等于5mm。
由于上述准直镜头的尺寸较小,因此,包含准直镜头的TOF深度传感模组比较容易被集成到终端设备中,能够在一定程度上减少在终端设备中占用的空间。
如图91所示,上述TOF深度传感模组700还包括:匀光器件770,该匀光器件770设置在激光光源710和光学元件720之间,匀光器件770用于对激光光束的角空间强度分布进行调整;光学元件720用于在控制单元750的控制下对匀光器件720匀光处理后的光束的方向进行控制,得到出射光束。
可选地,上述匀光器件770为微透镜扩散片或衍射光学扩散片。
通过匀光处理能够使激光光束的光功率在角度空间更均匀,或者按照特定规律分布,防止局部光功率太小,进而避免最终得到的目标物体深度图有盲点。
应理解,上述TOF深度传感模组700可以同时包括准直镜头760和匀光器件770,准直镜头760和匀光器件770可以都位于激光光源710和光学元件720之间,对于准直镜头760和匀光器件770来说,既可以是准直镜头760与激光光源的距离更近,也可以是匀光器件770与激光光源的距离更近。
图92是本申请实施例的TOF深度传感模组的具体结构示意图。
如图92所示,准直镜头760与激光光源710之间的距离小于匀光器件770与激光光源710之间的距离。
在图92所示的TOF深度传感模组700中,激光光源710发出的激光光束先经过准直镜头760的准直处理,再经过匀光器件770的匀光处理后传播到光学元件720中进行处理。
图93是本申请实施例的TOF深度传感模组的具体结构示意图。
如图93所示,准直镜头760与激光光源710之间的距离大于匀光器件770与激光光源710之间的距离。
而在图93所示的TOF深度传感模组700中,激光光源710发出的激光光束先经过匀光器件770的匀光处理,然后再经过准直镜头760的准直处理后再传播到光学元件720中进行处理。
下面结合图94和图95对上述TOF深度传感模组700的工作过程进行描述。
图94所示,假设TOF深度传感模组700的发射端和接收端的电控器件的最高频率均为1/T,那么通过控制单元将发射端与接收端的控制时序错开半个周期(0.5T),那么每隔0.5T的时间,接收端传感器都可以接收到不同空间位置的光束。
如图95所示,在0~0.5T的时间内,接收端传感器接收角度1状态A的光束;在0.5T~T的时间内,接收端传感器接收角度1状态B的光束;在T~1.5T的时间内,接收端传感器接收角度2状态A的光束;在1.5T~2T的时间内,接收端传感器接收角度2状态B的光束,这样系统的扫描频率从1/T提升到了2/T,提升了一倍。
下面结合附图对TOF深度传感模组700的具体结构进行详细描述。
图96是本申请实施例的TOF深度传感模组700的结构示意图。
如图96所示,TOF深度传感模组700包括投射端、接收端和控制单元。投射端包括:光源、匀光器件、光学元件;接收端包括:光学元件、光束选择器件、接收镜头、二维传感器;控制单元用于控制投射端和接收端,完成光束的扫描。
其中,投射端的激光光源为VCSEL光源,匀光器件为衍射光学扩散片(DOEDiffuser),光束元件为多层LCPG和1/4波片,其中,每层LCPG包括:电控水平方向的LCPG组件和电控竖直方向的LCPG组件。利用多层级联的LCPG可以实现水平方向和竖直方向的二维块扫描。
上述VCSEL阵列光源的波长可以大于900nm,具体地,上述VCSEL阵列光源的波长可以为940nm或者1650nm。
当VCSEL阵列光源的波长可以为940nm或者1650nm时,太阳光谱强度相对较弱,有利于降低户外场景中太阳光引起的噪声。
上述VCSEL阵列光源发出的激光可以是连续光或者脉冲光。VCSEL阵列光源也可以分为几块,实现分时控制,让不同区域分时点亮。
上述衍射光学扩散片的功能是将VCSEL阵列光源发出的光束整形为具有一定FOV的均匀方形或者矩形光源(例如,5°×5°的FOV)。
多层LCPG和1/4波片的作用是实现光束的扫描。
本申请可以通过发射端和接收端的分时控制实现动态选择不同角度和不同状态的光进入到传感器。如图96所示,普通VCSEL阵列光源发出的激光没有固定的偏振态,可以分解为平行于纸面的线偏振激光和垂直于纸面的线偏振激光,而线偏振激光经过LCPG后会分为两束不同偏振态(左旋圆偏振和右旋圆偏振)的激光,分布具有不同的出射角度,而这两束激光经过1/4波片后相应的偏振态转换为平行于纸面的线偏光和垂直于纸面的线偏光。这两束不同偏振态的激光照射到目标区域的物体后产生的回射光束会被和发射端共用的1/4波片和LCPG接收后变为具有相同发散角但不同偏转态-左旋圆偏振光和右旋圆偏振光-的激光。接收端的光束选择器件由1/4波片+电控半波片+偏振片组成,接收光经过此1/4波片后偏振态转换为平行于纸面的线偏光和垂直于纸面的线偏光,这样通过分时控制电控半波片,让它实现将线偏振光的偏振态旋转90度或者不改变经过半波片的偏振态,实现对平行于纸面的线偏光和垂直于纸面的线偏光分时透过,同时,另一个偏振态的光被偏振片吸收或者散射掉了。
在图96中,发射端和接收端的分时控制信号可以如图94所示,通过将发射端的电控LCPG与接收端的电控半波片的控制时序错开半个周期(0.5T),可以实现系统扫描频率的提升1倍。
图97是本申请实施例的TOF深度传感模组700的结构示意图。
如图97所示,在图96所示的TOF深度传感模组的基础上,VCSEL阵列光源后的衍射光学扩散片(DOE Diffuser)改为了微透镜扩散片(Diffuser)。由于微透镜扩散片是基于几何光学实现匀光,因而其透射效率较高可以达到80%以上,而传统衍射光学扩散片(DOEDiffuser)的透射效率只有70%左右。微透镜扩散片的形貌如图77所示,由一系列随机分布的微透镜组成,每个微透镜的位置与形貌都是经过仿真优化进行设计,使得整形后的光束尽量均匀同时透射效率较高。
图97所示的TOF深度传感模组与图96所示的TOF深度传感模组的驱动原理相同,只是将图96所示的TOF深度传感模组中的衍射光学扩散片(DOE Diffuser)替换为光学扩散片以提高发射端的透射效率,其他不在赘述。
对于图97所示的TOF深度传感模组来说,发射端和接收端的分时控制信号可以如图94所示,通过将发射端的电控LCPG与接收端的电控半波片的控制时序错开半个周期(0.5T),可以实现系统扫描频率的提升1倍。
图98是本申请实施例的TOF深度传感模组700的结构示意图。
在图96或者图97所示的TOF深度传感模组的基础上,可以将光学元件由多层LCPG加1/4波片改为多层平板液晶盒,如图98所示。利用多层的平板液晶盒实现多个角度以及水平和竖直方向的光束偏转。接收端的光束选择器件由电控半波片和偏振片构成。
平板液晶盒的光束偏转原理如图99和图100所示,利用一个楔形聚合物(Polymer)的界面来实现光束偏转。楔形聚合物材料的折射率要和液晶的寻常光折射率n
同样的原理,通过控制发射端平板液晶盒的驱动电压和接收端电控半波片的驱动电压,使二者的控制时序错开半个周期(0.5T),可以实现液晶扫描频率的提升。
图101是本申请实施例的图像生成方法的示意性流程图。
图101所示的方法可以由TOF深度传感模组或者包含本申请实施例的TOF深度传感模组的终端设备来执行,具体地,图101所示的方法可以由图89所示的TOF深度传感模组或者包含图89所示的TOF深度传感模组的终端设备来执行。图101所示的方法包括步骤9001至9004,下面对这些步骤分别进行详细的介绍。
9001、控制激光光源产生激光光束。
9002、控制光学元件对激光光束进行偏转,得到出射光束。
9003、控制光束选择器件从目标物体的反射光束中的每个周期内的光束中选择具有至少两种偏振态的光束,得到接收光束,并将接收光束透射到接收单元。
9004、根据出射光束对应的TOF,生成目标物体的深度图。
其中,上述出射光束是周期性变化的光束,出射光束的变化周期的大小为第一时间间隔,在出射光束中,位于相邻周期的光束的倾斜角不同,位于同一周期的光束存在至少两种偏振状态,位于同一周期内的光束的倾斜角相同并且方位角不同。
上述出射光束对应的TOF具体可以是指出射光束对应的反射光束被接收单元接收的时刻与出射光源的出射时刻之间的时间差信息。其中,出射光束对应的反射光束具体可以是指出射光束经过光学元件、光束选择器件的处理后到达目标物体,并经过目标物体后反射后产生的光束。
本申请实施例中,通过光学元件和光束选择器件对激光光源发出的光束的方向和偏振态进行调整,使得相邻周期的出射光束的倾斜角不同,位于同一周期的光束存在至少两种偏振状态,从而提高了TOF深度传感模组的扫描频率。
可选地,上述终端设备还包括准直镜头,该准直镜头设置在激光光源和光学元件之间,在这种情况下,图101所示的方法还包括:
9005、利用准直镜头对激光光束进行准直处理,得到准直处理后的光束;
上述步骤9002中对所述激光光束进行偏转,得到出射光束,具体包括:控制光学元件对准直处理后的光束的方向进行控制,以得到出射光束。
上述通过准直镜头对光束进行准直处理,能够得到近似平行的光束,可以提高光束的功率密度,进而可以提高后续采用光束进行扫描的效果。
可选地,上述终端设备还包括匀光器件,匀光器件设置在激光光源和光学元件之间,在这种情况下,图101所示的方法还包括:
9006、利用匀光器件对激光光束的能量分布进行调整,得到匀光处理后的光束;
上述步骤9002中对所述激光光束进行偏转,得到出射光束,具体包括:控制光学元件对匀光处理后的光束的方向进行控制,以得到出射光束。
通过匀光处理能够使激光光束的光功率在角度空间更均匀,或者按照特定规律分布,防止局部光功率太小,进而避免最终得到的目标物体深度图有盲点。
下面结合图102和图103对上述TOF深度传感模组300中的光束整形器件处理得到的光束的FOV进行介绍。
TOF深度传感模组300中的光束整形器件330对激光光束进行调整后得到第一光束,该第一光束的FOV的范围包括[5°×5°,20°×20°]。
图102是第一光束的FOV的示意图。
如图102所示,第一光束从O点出射,该第一光束在竖直方向的FOV为角度A,在水平方向上的FOV为角度B,矩形E为第一光束在目标物体上投射的区域(第一光束投射到目标物体上可以是一个矩形区域,当然也可以是其他的形状)。其中,角度A的取值范围在5°和20°之间(可以包括5°和20°),同样,角度B的取值范围也在5°和20°之间(可以包括5°和20°)。
在上述TOF深度传感模组300中,控制单元370可以用于控制所述第一光学元件在M个不同时刻分别对所述第一光束的方向进行控制,以得到M个不同方向的出射光束,该M个不同方向的出射光束覆盖的总FOV的范围包括[50°×50°,80°×80°]。
图103是M个不同方向的出射光束覆盖的FOV的示意图。
具体地,如图103所示,M个不同方向的出射光束从O点出射,在目标物体上覆盖的区域为矩形F,其中,角度C为M个不同方向的出射光束在竖直方向的FOV的叠加值,角度D为M个不同方向的出射光束在水平方向的FOV的叠加值。角度C的取值范围在50°和80°之间(可以包括50°和80°),同样,角度D的取值范围也在50°和80°之间(可以包括50°和80°)。
上述结合图102和图103对TOF深度传感模组300产生的第一光束,以及M个不同方向的出射光束的FOV的解释同样适用于TOF深度传感模组400产生的第一光束,以及M个不同方向的出射光束,这里不再重复描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
- 一种TOF深度传感模组和图像生成方法
- 一种TOF深度传感模组和图像生成方法