掌桥专利:专业的专利平台
掌桥专利
首页

一种TOF模组、电子设备以及深度信息获取方法

文献发布时间:2024-04-18 20:01:23


一种TOF模组、电子设备以及深度信息获取方法

技术领域

本发明涉及TOF技术领域,特别是涉及一种TOF模组、电子设备以及深度信息获取方法。

背景技术

TOF(Time Of Flight,时间飞行法)技术作为一种通过光线的发射与接收以探测周围环境的深度信息的技术,已经被广泛应用于AR/VR、移动机器人或身份识别等多种领域,并发挥着重要的作用。而在手势识别、障碍物识别、人体识别或人机交互等应用场景中,由于现有的TOF相机的视场角通常在60°至90°之间,因此这些应用在使用时会存在较大的探测盲区,导致定位建图效率较低,进而直接影响了用户的使用体验。例如,移动机器人在通过现有的TOF相机探测前方是否有障碍物以进行避障行走的过程中,因现有的TOF相机视野范围较小而对超出视野范围外的物体无法识别,容易导致移动机器人发生撞击,影响使用体验。与此同时,该移动机器人在进行定位建图的过程中,还需要多次转向、行走,才能够完成建图,导致定位建图效率极差。

然而,现有技术虽然能够通过多个TOF相机的叠加来扩大视野范围,但这无疑将导致成本大幅增加。此外,多个TOF相机之间也难以精准同步,导致深度探测出现较大误差。

发明内容

本发明的一个优势在于提供一种TOF模组、电子设备以及深度信息获取方法,其能够在低成本的情况下实现超大广角的视场角识别范围,便于TOF模组的推广和普及。

本发明的另一个优势在于提供一种TOF模组、电子设备以及深度信息获取方法,其中,在本发明的一个实施例中,所述TOF模组的视场角识别范围能够远超现有TOF相机的视场角识别范围,以便大幅地提高建图效率和避障范围。

本发明的另一个优势在于提供一种TOF模组、电子设备以及深度信息获取方法,其中,在本发明的一个实施例中,所述TOF模组能够提高识别像素,使得感光芯片能够兼容更多的识别内容,有助于提高感光芯片的利用率。

本发明的另一个优势在于提供一种TOF模组、电子设备以及深度信息获取方法,其中,在本发明的一个实施例中,所述TOF模组能够实现360°全视场角环视识别的效果,识别无死角,解决了现有TOF相机无法识别四周环境而导致碰撞物体的问题。

本发明的另一个优势在于提供一种TOF模组、电子设备以及深度信息获取方法,其中为了达到上述目的,在本发明中不需要采用复杂的系统。因此,本发明成功和有效地提供一种解决方案,不只提供一种简单的TOF模组、电子设备以及深度信息获取方法,同时还增加了所述TOF模组、电子设备以及深度信息获取方法的实用性和可靠性。

为了实现本发明的上述至少一个优势或其他优点和目的,本发明提供了一种TOF模组,包括:

投射器,所述投射器用于投射探测光束;和

接收器,所述接收器与所述投射器被对应地布置,且所述接收器的主接收方向与所述投射器的主投射方向之间的夹角在0°至180°之间,用于接收被目标反射回的探测光束以获取目标的深度信息。

根据本申请的一个实施例,所述接收器的该主接收方向垂直于所述投射器的该主投射方向。

根据本申请的一个实施例,所述接收器的接收视场角大于180°。

根据本申请的一个实施例,所述接收器的接收视场范围覆盖所述投射器的投射视场范围。

根据本申请的一个实施例,所述TOF模组进一步包括电路板,该投射器和该接收器被组装于该电路板,且该投射器和该接收器可通电地连接于该电路板。

根据本申请的一个实施例,所述接收器包括图像传感器和被设置于所述图像传感器的感光侧的成像镜头,所述成像镜头为鱼眼镜头。

根据本申请的一个实施例,所述投射器包括发光光源和被设置于所述发光光源的发光侧的光整形元件,所述光整形元件用于将经由所述发光光源发射的光束整形成沿该主投射方向出射的探测光束。

根据本申请的一个实施例,所述TOF模组包括两个或两个以上的所述投射器,两个或两个以上的所述投射器被错向地布置于所述接收器的周围,并且相邻的两个所述投射器的投射视场范围部分重叠。

根据本申请的一个实施例,每个所述投射器的所述发光光源的发光面均垂直于所述接收器的所述图像传感器的感光面。

根据本申请的一个实施例,所述光整形元件为匀光元件或扩散元件。

根据本申请的一个实施例,所述光整形元件为锥形反射元件,所述锥形反射元件的锥头朝向所述图像传感器的感光面,用于对经由所述发光光源发射的光束进行反射整形,以形成向四周出射的探测光束。

根据本申请的另一方面,本申请进一步提供了一种电子设备,包括:

设备主体;和

上述任一项所述的TOF模组,所述TOF模组被设置于所述设备主体,用于为所述设备主体提供深度信息。

根据本申请的另一方面,本申请进一步提供了一种深度信息获取方法,包括步骤:

通过投射器,投射探测光束;

通过接收器,接收被反射回的探测光束,其中该接收器的主接收方向不平行于该投射器的主投射方向;以及

根据投射的探测光束和接收的探测光束,通过飞行时间法计算目标的深度信息,以获得环形深度图像。

附图说明

图1是根据本申请的一个实施例的TOF模组的立体示意图;

图2示出了根据本申请的上述实施例的TOF模组的俯视示意图;

图3示出了根据本申请的上述实施例的TOF模组的侧视示意图;

图4示出了根据本申请的上述实施例的TOF模组中投射器的第一示例;

图5示出了根据本申请的上述实施例的TOF模组中接收器的感光面采集经由如图4所示的投射器所投射光斑的示意图;

图6示出了根据本申请的上述实施例的TOF模组中投射器的第二示例;

图7示出了根据本申请的上述实施例的TOF模组中投射器的第三示例;

图8示出了根据本申请的上述实施例的TOF模组中投射器的第四示例;

图9示出了根据本申请的上述实施例的TOF模组中接收器的感光面采集经由如图8所示的投射器所投射光斑的示意图;

图10是根据本申请的一个实施例的电子设备的结构示意图;

图11是根据本申请的一个实施例的深度信息获取方法的流程示意图。

主要元件符号说明:1、TOF模组;10、投射器;11、发光光源;100、发光面;110、垂直腔面发射激光器;12、光整形元件;121、匀光元件;122、扩散元件;1220、柱面镜;123、微透镜阵列;124、锥形反射元件;1240、锥形反射棱镜;20、接收器;21、图像传感器;200、感光面;22、成像镜头;220、鱼眼镜头;30、电路板;2、设备主体。

以上主要元件符号说明结合附图及具体实施方式对本发明作进一步详细的说明。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例,本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是,在本发明的揭露中,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系,其仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此上述术语不能理解为对本发明的限制。

在本发明中,权利要求和说明书中术语“一”应理解为“一个或多个”,即在一个实施例,一个元件的数量可以为一个,而在另外的实施例中,该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个,否则术语“一”并不能理解为唯一或单一,术语“一”不能理解为对数量的限制。

在本发明的描述中,需要理解的是,属于“第一”、“第二”等仅用于描述目的,而不能理解为指示或者暗示相对重要性。本发明的描述中,需要说明的是,除非另有明确的规定和限定,属于“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接或者一体地连接;可以是机械连接,也可以是电连接;可以是直接连接,也可以是通过媒介间接连结。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

考虑到单个TOF相机的视场角通常在60°至90°之间,存在较大的探测盲区;而多个TOF相机叠加方案虽然能够扩大视野范围,但却在导致成本大幅增加的同时,难以精准同步,容易出现较大的探测误差。因此,本申请提供了一种TOF模组、电子设备以及深度信息获取方法,其能够在低成本的情况下实现超大广角的视场角识别范围,便于TOF模组的推广和普及。

具体地,参考本申请的说明书附图之图1至图9,根据本申请的一个实施例提供了一种TOF模组1,用于探测目标深度。该TOF模组1可以包括被对应布置的投射器10和接收器20。该投射器10用于投射探测光束。该接收器20的主接收方向与该投射器10的主投射方向之间的夹角θ大于0°且小于180°,即0°<θ<180°,该接收器20用于接收被目标反射回的探测光束以获取目标的深度信息。可以理解的是,本申请所提及的主投射方向指的是该投射器10所投射光束中主光线的出射方向;本申请所提及的主接收方向指的是该接收器20所接收光束中主光线的入射方向。

值得注意的是,现有的TOF相机中的主接收方向与主投射方向通常是相反的,即现有的TOF相机中的主接收光轴与主投射光轴相互平行,使得该现有TOF相机中接收器的感光面上与投射光斑对应的区域为矩形区域,导致现有的TOF相机在实现超广角效果时不得不大幅地增加感光面尺寸,造成成本大幅提升。而本申请的该TOF模组1中的主接收方向与主投射方向之间的夹角θ大于0°且小于180°,即该TOF模组1中的主接收光轴与主投射光轴不平行,使得该TOF模组1中该接收器20的感光面200上与投射光斑对应的区域为环形区域,以获得环形深度图像,有助于在得到超广角效果的同时,控制感光面200的尺寸,避免成本大幅提升。可以理解的是本申请所提及的环形区域可以但不限于被实施为圆环形区域、椭环形区域、缺口环区域或弧形区域等弯曲的区域,本申请对此不再赘述。

更具体地,该接收器20的接收视场范围覆盖该投射器10的投射视场范围,且该接收器20的主接收方向与该投射器10的主投射方向之间的夹角θ大于等于45°且小于等于135°,即45°<θ<135°,以便在充分识别该投射器10的投射视野的同时,提高该接收器20的感光面200的利用率。

优选地,该接收器20的主接收方向与该投射器10的主投射方向之间的夹角θ等于90°,即θ=90°,也就是说,该接收器20的主接收方向垂直于该投射器10的主投射方向,使得该TOF模组1中该接收器20的感光面200上与投射光斑对应的区域为圆环形区域或圆弧形区域,以便从该接收器20的感光面200上划分出用于探测目标深度信息的区域,且减少所需感光面的面积,进而利用该接收器20的感光面200上的其他区域采集图像信息,用于进行定位和建图、物体识别或手势识别等应用,从而进一步提高该接收器20的感光面200的利用率。

更优选地,如图3所示,该接收器20的接收视场角大于180°,以便保证该接收器20的接收视场范围能够覆盖该投射器10的投射视场范围。

最优选地,该投射器10位于该接收器20的接收视场范围之外,以防该投射器10遮挡该接收器20的视野。

根据本申请的上述实施例,如图1和图3所示,该TOF模组1可以进一步包括电路板30,该投射器10和该接收器20均被组装于该电路板30,且该投射器10和该接收器20均可通电地连接于该电路板30,以通过该电路板30控制该投射器10和该接收器20进行深度探测。

可选地,如图1和图3所示,该TOF模组1中的该接收器20可以包括图像传感器21和被设置于该图像传感器21的感光侧的成像镜头22,使得光线先通过该成像镜头22再被该图像传感器21接收以获取图像信息,进而结合该投射器10的投射信息得到目标的深度信息。可以理解的是,本申请的该接收器20的主接收方向指的是沿着该成像镜头22的光轴且朝向该图像传感器21的感光面200的方向。

可选地,如图2和图3所示,本申请的该接收器20的该成像镜头22被实施为鱼眼镜头220,以使该接收器20形成鱼眼摄像头,便于获得大于180°的视场角,进而360°环视覆盖该投射器10的投射视野。可以理解的是,本申请的该图像传感器21可以被实施为I-TOF(Indirect TOF,间接飞行时间法)芯片或D-TOF(Direct TOF,直接飞行时间法)芯片。

可选地,如图4所示,该TOF模组1中的该投射器10可以包括发光光源11和被设置于该发光光源11的发光侧的光整形元件12,该光整形元件12用于将经由该发光光源11发射的光束整形成沿该主投射方向出射的探测光束。

示例性地,在本申请的第一示例中,如图4所示,该发光光源11可以被实施为垂直腔面发射激光器110(英文:Vertical Cavity Surface Emitting Laser;简称VCSEL)。该光整形元件12可以被实施为匀光元件121,用于对经由该发光光源11发射的光束进行匀光整形,以形成沿该主投射方向出射的探测光束。可以理解的是,本申请的该匀光元件121可以但不限于被实施为匀光板或者衍射光学元件(DOE)等,只要能够将光束整形成所需的探测光束即可。

可选地,如图3和图4所示,该投射器10和该接收器20被组装于同一个电路板30。该投射器10的该发光光源11的发光面100与该接收器20的该图像传感器21的感光面200相互不平行,以使该TOF模组1中的主接收方向与主投射方向之间的夹角θ大于0°且小于180°。

优选地,该投射器10的该发光光源11的发光面100垂直于该接收器20的该图像传感器21的感光面200,以使该TOF模组1中的主接收方向与主投射方向之间的夹角θ等于90°。

值得注意的是,由于该垂直腔面发射激光器110所发射光束的发散角较小,使得该投射器10的投射视场角通常在120°以内,导致单个投射器无法满足该TOF模组1的超广角需求,因此在本申请的上述示例中,该TOF模组1可以包括两个或两个以上的该投射器10,两个或两个以上的该投射器10被错向地布置于该接收器20的周围,且相邻的两个该投射器10的投射视场范围部分重叠,以增大该TOF模组1的整体投射视场角,从而实现该TOF模组1的超广角要求,便于减少视野盲区。例如,如图2所示,两个水平投射视场角为120°的该投射器10按一定角度背靠背地放置,以使感光面100分别朝向左前方和右前方,而分别向左前方和右前方投射光束,使得该TOF模组1的水平投射视场角可以达到220°以上。

此外,在组装该TOF模组1的过程中,先将两个或两个以上的投射器10组装在一起进行校准,再将组装在一起的投射器10和接收器20一起被组装在同一块电路板30上,并校准投射器10和接收器20之间的组装精度,有助于降低整体组装的难度。

优选地,该接收器20的该图像传感器21的感光面200垂直于所有的该投射器10的该发光光源11的发光面100,以使该TOF模组1中的主接收方向与每个主投射方向之间的夹角θ均等于90°。

示例性地,本申请的上述第一示例的该TOF模组1的该接收器20的感光面200上采集投射光斑的区域可以如图5所示的圆弧形区域,以获得圆弧形图像,其经过图像算法处理后,图像横向大小可以增大1.9倍,使得本申请的该TOF模组1在不增大感光面200的同时将图像的横向像素增多了,也就是说,假设现有的TOF相机识别一个物体需要占用13个像素,而本申请的该TOF模组1仅需要占用10个像素,使得相同大小的物体像素被缩小了1.9倍,相对来说就是对同一个物体像素提升了1.9倍。

值得注意的是,如图5所示的该圆弧形图像的中心和该感光面200的成像中心之间的间距d满足以下关系:d=Y/2-X/2*sin70°,其中该感光面200的大小为X*Y,且该TOF模组1的视场角为220°。

此外,该感光面200上的该圆弧形区域可以采集该投射器10的投射视场范围以内的光线信息(即经由该投射器10发射并被环境反射回的光线),以获取第一图像信息,如深度图像(利用TOF原理计算的深度信息);与此同时,该感光面200上该圆弧形区域之外的区域可以采集该投射器10的投射视场范围以外的光线信息,以获取第二图像信息,如灰度图像,可用于SLAM、物体识别或手势识别等应用,有助于提高该图像传感器21的利用率。

值得一提的是,为了在满足超广角要求的同时进一步降低该TOF模组1的成本,该投射器10的该光整形元件12还可以被实施为具有扩散功能的整形元件,使得单个投射器10的投射视场角能够达到120°以上,从而使该TOF模组1只需要配置一个投射器10,就能够实现超广角需求。

示例性地,在本申请的第二示例中,如图6所示,该投射器10的该光整形元件12可以被实施为扩散元件122,用于对经由该发光光源11发射的光束进行扩散整形,以形成沿该主投射方向出射的探测光束。

可选地,如图6所示,该扩散元件122可以被实施为柱面镜1220,以在水平方向上扩散经由该发光光源11发射的光束,使得该投射器10的水平视场角变大,而该投射器10的竖直视场角可以保持不变,便于满足扫地机器人的避障需求。可以理解的是,在本申请的其他示例中,该扩散元件122还可以但不限于被实施为扩散片(Diffuser)或鱼眼透镜等,只要能够将经由该发光光源11发射的光束扩散整形成具有较大发散角的探测光束即可。

值得注意的是,在本申请的第三示例中,如图7所示,该投射器10的该光整形元件12还可以被实施为微透镜阵列123,用于对经由该发光光源11发射的光束进行匀光扩散,以形成沿该主投射方向出射的探测光束。可以理解的是,该微透镜阵列123仅具有光束扩散的作用,又具有光束匀光的作用,以便在获得超广角的同时,改善该TOF模组1的探测性能。

此外,虽然上述示例中通过该扩散元件122和该微透镜阵列123能够实现光束扩散,但其只能在一定角度范围内增大该TOF模组1的视场角,难以做到大于180°的视场角,更无法做到360°的全视场角。因此,为了更进一步地增大视场角,本申请的该投射器10的该光整形元件12还可以被实施为具有反射功能的整形元件,以通过反射将经由该发光光源11发射的光束扩散整形成具有较大发散角的探测光束。

示例性地,在本申请的第四示例中,如图8所示,该投射器10的该光整形元件12可以被实施为锥形反射元件124,该锥形反射元件124的锥头朝向该发光光源11,用于对经由该发光光源11发射的光束进行反射整形,以形成向四周出射的探测光束。可以理解的是,由于该锥形反射元件124能够将光束向四周反射,因此该投射器10通过该锥形反射元件124能够达到360°的视场角,从而最大限度地增加该TOF模组1的视场角。

可选地,在本申请的上述第四示例中,如图8所示,该投射器10的该光整形元件12还可以进一步包括该扩散元件122,该扩散元件122被设置于该发光光源11和该锥形反射元件124之间的光路中,使得经由该发光光源11发射的光束先经由该扩散元件122扩散之后,再经由该锥形反射元件124反射转向以形成沿该主投射方向出射的探测光束,有助于提高该投射器10的投射效果。

可选地,如图8所示,本申请的该锥形反射元件124可以但不限于被实施为锥形反射棱镜1240。当然,在本申请的其他示例中,该锥形反射元件124还可以被实施为圆锥体反射镜或圆锥面反射镜等,本申请对此不再赘述。

示例性地,本申请的上述第四示例的该TOF模组1的该接收器20的感光面200上采集投射光斑的区域可以如图9所示的圆环形区域,以获得圆环形图像,其经过图像算法处理后,图像横向大小可以增大3.14倍,以便实现360°环视,识别无死角。可以理解的是,为了实现360°环视,本申请的该接收器20适于被设置于该锥形反射棱镜1240的正上方,以防该投射器10遮挡该接收器20的接收视野,本申请对此不再赘述。

值得一提的是,附图10示出了根据本申请的一个实施例的电子设备,其可以包括上述TOF模组1和设备主体2,该TOF模组1被设置于该设备主体2,用于为该设备主体2提供深度信息。

值得注意的是,当该TOF模组1的视场角小于360°时,该TOF模组1仍可以被内嵌于该设备主体2,有助于实现电子设备的轻薄化。而当该TOF模组1的视场角等于360°时,该TOF模组1却需要稍微突出于该设备主体2,以保证光线的投射和接收,便于实现360°全视场角环视探测,识别无死角,解决了现有的TOF相机无法同时识别四周而导致诸如扫地器等电子设备碰撞物体的问题,有助于全面提高识别精度,提高建图效率。

值得一提的是,附图11示出了根据本申请的一个实施例的深度信息获取方法,其可以包括步骤:

S100:通过投射器,投射探测光束;

S200:通过接收器,接收被反射回的探测光束,其中该接收器的主接收方向不平行于该投射器的主投射方向;以及

S300:根据投射的探测光束和接收的探测光束,通过飞行时间法计算目标的深度信息,以获得环形深度图像。

优选地,该投射器的该主投射方向垂直于该接收器的该主接收方向,以使所获得的环形深度图像为圆环形深度图像。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

技术分类

06120116550892