一种双目摄像头及机器人
文献发布时间:2023-06-19 11:27:38
技术领域
本申请涉及机器视觉技术领域,具体而言,涉及一种双目摄像头及机器人。
背景技术
双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。
现有技术中,双目立体视觉多采用主动双目结构光方案进行空间三维的重建。在现有的主动双目结构光摄像头中,受制于点阵投射器透射的视场角,导致可视角度较小,而可视角度小,必然导致可操作空间小,无法实现大范围立体障碍物的检测,影响机器人避障、即时定位与地图构建(simultaneous localization and mapping,SLAM)或导航等功能。
发明内容
本申请的目的在于提供一种双目摄像头及机器人,能够提升视场角,进而提升空间三维重建能力。
本申请的实施例是这样实现的:
本申请实施例的一方面,提供一种双目摄像头,包括基板,以及设置在所述基板上的固定架,所述固定架上间隔设置有点阵投射模组,两所述点阵投射模组的出射光路呈预设夹角,且两所述点阵投射模组与所述基板的垂直距离相等;所述双目摄像头还包括设置在所述基板上的第一光接收模组和第二光接收模组,所述第一光接收模组和所述第二光接收模组用于分别采集两所述点阵投射模组的光反射信息。
可选地,所述固定架呈等腰三角形结构,两所述点阵投射模组分别位于所述等腰三角形相对的两腰上。
可选地,所述双目摄像头还包括封闭壳体,以及设置在壳体一侧的透明盖板,所述基板、所述固定架、所述点阵投射模组、所述第一光接收模组和所述第二光接收模组均位于所述封闭壳体内,且所述基板与所述透明盖板平行设置。
可选地,两所述点阵投射模组之间的距离为
可选地,所述点阵投射模组包括至少一个点阵投射器;当所述点阵投射器大于或等于两个时,每个所述点阵投射模组的所述点阵投射器在同一直线上,且两直线之间相互平行。
可选地,所述点阵投射器包括光源,以及位于所述光源出射光路上的准直透镜和衍射光学元件。
可选地,所述固定架包括间隔设置的定位座,两所述点阵投射模组分别位于所述定位座的定位面上,且两所述定位面分别与等腰三角形的两腰重合。
可选地,所述第一光接收模组和所述第二光接收模组分别位于两所述点阵投射模组的相对两侧。
可选地,所述固定架为导热材料制备。
本申请实施例的另一方面,提供一种机器人,包括如上所述任意一项所述的双目摄像头。
本申请实施例的有益效果包括:
本申请实施例提供的双目摄像头,通过基板,以及设置在基板上的固定架,以便于对点阵投射模组、第一光接收模组和第二光接收模组提供稳定的支撑,以保证点阵投射模组、第一光接收模组和第二光接收模组之间相对位置的稳定性。通过将设置在固定架上的两点阵投射模组的出射光路呈预设夹角设置,与采用单个投射器相比,有利于提升双目摄像头的视场角。在双目摄像头的视场角增大的情况下,有利于使第一光接收模组和第二光接收模组接收更大范围的散斑图案信息,扩大双目摄像头的深度重建范围,进而提升空间三维重建能力。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的双目摄像头的结构示意图之一;
图2为本申请实施例提供的双目摄像头的结构示意图之二;
图3为本申请实施例提供的点阵投射模组与透明盖板之间的位置关系图;
图4为本申请实施例提供的固定架与点阵投射器连接的结构示意图;
图5为本申请实施例提供的定位座与点阵投射模组连接的结构示意图。
图标:100-双目摄像头;120-固定架;122-定位座;1222-定位面;130-点阵投射模组;132-点阵投射器;140-第一光接收模组;150-第二光接收模组;160-封闭壳体;170-透明盖板。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。此外,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
随着人们生活水平的提高,基于智能导航方案的室内机器人逐步进入人们的生活中,而3D感知系统是其最为核心的部分,以实现SLAM、避障等功能。目前,双目立体视觉多采用主动双目结构光方案进行空间三维的重建。但在实际使用时,其效果差强人意,主要问题体现在避障能力差,其主要传感器多位于机器人顶部,可视角度较小,而视觉范围小,必然导致可操作空间小,无法实现大范围立体障碍物的检测。
而主动双目结构光的深度视场角,取决于摄像头的视场角。受制于微纳光学的技术,在保证光学性能的前提下,现有的视场角最大约为60×80,只能在一些特定的场景如门禁,门锁等进行应用。而在机器人智能导航的应用场景中,所需的深度重建视场角度可达120×80,现有的摄像头明显达不到如此大的视场角,限制了实际应用中三维重建能力。基于此,本申请实施例特提出以下方案,以提升视场角,进而提升空间三维重建能力。
请参照图1,本实施例提供一种双目摄像头100,包括基板,以及设置在基板上的固定架120,固定架120上间隔设置有点阵投射模组130,两点阵投射模组130的出射光路呈预设夹角,且两点阵投射模组130与基板的垂直距离相等;双目摄像头100还包括设置在基板上的第一光接收模组140和第二光接收模组150,第一光接收模组140和第二光接收模组150用于分别采集两点阵投射模组130的光反射信息。
具体的,固定架120上间隔设置的两点阵投射模组130的参数相同,而且两点阵投射模组130与基板的垂直距离相等。这样一来,使得两点阵投射模组130位于同一安装高度,在使用时,通过点阵投射模组130投射出去的散斑图案在同样距离的位置大小相等,有利于保证两点阵投射模组130所投射图案的一致性,以便于减小计算难度。在实际应用中,也可以根据需要设置不同参数信息的点阵投射模组130,以满足多样化的需求。
本申请的双目摄像头100,基于主动双目结构光三维视觉的光学三角法测量原理实现。在使用时,两点阵投射模组130将一定模式的结构光投射于物体表面,以在物体表面上形成由被测物体表面形状所调制的光条三维图像。该三维图像由处于第一光接收模组140和第二光接收模组150采集,从而获得光条二维畸变图像。光条的畸变程度取决于点阵投射模组130分别与第一光接收模组140和第二光接收模组150之间的相对位置和物体表面形廓(高度)。当点阵投射模组130、第一光接收模组140和第二光接收模组150之间的相对位置一定时,由畸变的二维光条图像坐标便可重现物体表面三维形廓,以达到空间三维重建的目的。
需要说明的是,采用主动双目结构光进行空间三维重建时,受制于双目摄像头100散斑图案的投射范围,也就是视场角,在没有投射散斑图案的区域,则无法计算深度信息。本申请实施例中,通过将两点阵投射模组130的出射光路呈预设夹角,能够提升双目摄像头100的视场角,再通过第一光接收模组140和第二光接收模组150采集的光反射信息(图像信息),计算出同名点的视差偏移,最后进行深度计算和深度补偿,生成高分辨率,高精度的图像深度信息。其中,第一光接收模组140和第二光接收模组150可采用接收相机,其感光芯片为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)或者电荷耦合器件(Charge Coupled Device,CCD),以采集待测空间的散斑图案。
本申请实施例提供的双目摄像头100,通过基板,以及设置在基板上的固定架120,以便于对点阵投射模组130、第一光接收模组140和第二光接收模组150提供稳定的支撑,以保证点阵投射模组130、第一光接收模组140和第二光接收模组150之间相对位置的稳定性。通过将设置在固定架120上的两点阵投射模组130的出射光路呈预设夹角设置,与采用单个投射器相比,有利于提升双目摄像头100的视场角。在双目摄像头100的视场角增大的情况下,有利于使第一光接收模组140和第二光接收模组150接收更大范围的散斑图案信息,扩大双目摄像头100的深度重建范围,进而提升空间三维重建能力。
如图1所示,固定架120呈等腰三角形结构,两点阵投射模组130分别位于等腰三角形相对的两腰上。
具体的,固定架120呈等腰三角形结构,即固定架120采用等腰三角形支架,使固定架120的结构更加稳定可靠。另外,通过将两点阵投射模组130分别位于等腰三角形相对的两腰上,可以使点阵投射模组130与固定架120之间稳定的连接,在安装固定时,可以使点阵投射模组130的出射光路与等腰三角形的腰垂直,这样一来,等腰三角形的底角度数决定了两点阵投射模组130的出射光路呈预设夹角的大小,在对不同型号的双目摄像头100进行组装时,通过更换不同的固定架120即可实现所需出射光路角度的调节,有利于简化装配结构,降低操作难度,提升装配效率。
如图2所示,双目摄像头100还包括封闭壳体160,以及设置在壳体一侧的透明盖板170,基板、固定架120、点阵投射模组130、第一光接收模组140和第二光接收模组150均位于封闭壳体160内,且基板与透明盖板170平行设置。
具体的,采用上述形式,有利于通过透明盖板170和封闭壳体160对点阵投射模组130、第一光接收模组140和第二光接收模组150等元器件进行保护,从而保证双目摄像头100使用时的稳定性,例如密封,防止灰尘或者水汽的进入,从而避免受外部环境的干扰。需要说明的是,本申请实施例对封闭壳体160的设置形式不做具体限制,示例的,封闭壳体160可采用圆柱形,也可以采用圆台形或其他形状,只要能够保证不会影响双目摄像头100的视场角,且不会对第一光接收模组140和第二光接收模组150造成视线遮挡即可。
如图2和图3所示,两点阵投射模组130之间的距离为
具体的,图3是图2中点阵投射模组130和固定架120简化的几何模型,假定两点阵投射模组130分别为图3中的B点和E点。直线GN所在平面在为透明盖板170所在平面,固定架120为△JCI的等腰三角形。其中,∠GBF,∠NEF分别为两点阵投射器132的视场角,设为2β,直线BP和直线EM分别为∠GBF和∠NEF的角平分线,在点阵投射模组130的出射光路与等腰三角形的腰垂直时,直线BP和直线EM垂直于CJ和IJ。延长直线GB和直线NE,两者相较于A点,由几何关系可知,交点F,J,A处于同一直线,∠GAN为最终所需拼接出来的视场角,设为2θ。两个点阵投射器132的边缘光线BF和EF将在F点相交,意味着产品的最小应用距离为FJ,设为h,否则存在没有散斑点的区域(如图中所示的FBJE围成的区域),导致无法进行深度重建。
在已知单个点阵投射器132视场角2β,最终拼接视场角2θ和最小应用距离h的前提下,即可得到等腰三角形角度ɑ(图3中的∠JCI)和两个点阵投射模组130之间的距离BE。
由三角形的几何关系可知:
∠PBJ=∠PBF+∠FBJ (1)
∠BJF=∠BDJ+∠DBJ (2)
∠ABE+∠EBJ+∠PBJ+∠GBP=180 (3)
∠JCI=∠JBE (4)
∠FBJ+∠BJF+∠BFJ=180 (5)
将∠PBJ=90代入上述式子可得:
∠BFJ=2β-θ,∠FBJ=90-β,∠JCI=α=θ-β
在ΔBFJ中,由三角形正弦定理有:
由公式(6)可知:
在ΔBDJ中,有恒等式:
由公式(7)和公式(8)可知,两点阵投射模组130之间的距离d为:
由上述公式可知,只要确定单个点阵投射模组130视场角2β,期望拼接的视场角2θ和期望的最小应用距离h,便可以按照上述公式设计出等腰三角形的固定架120和左右两个点阵投射模组130之间的相对距离。其中,期望的最小应用距离h可根据产品的安装应用环境确定。
如图1和图4所示,点阵投射模组130包括至少一个点阵投射器132;当点阵投射器132大于或等于两个时,每个点阵投射模组130的点阵投射器132在同一直线上,且两直线之间相互平行。
具体的,每个点阵投射模组130可以仅包括一个点阵投射器132,也可以根据事物的复杂程度,以使每个点阵投射模组130具有两个或者更多的点阵投射器132,这样一来,有利于提升单位面积内的散斑图案的密度,进而提升三维重建能力。可以理解的,点阵投射器132所投射的区域一般为矩形,当每个点阵投射模组130的点阵投射器132在同一直线上,且两直线之间相互平行时,可以使得两点阵投射模组130之间的投射区域更好的分布,以提升投射光束的利用率,并能够避免双目摄像头100出光处没有光束投射区域。
在本申请的可选实施例中,点阵投射器132包括光源,以及位于光源出射光路上的准直透镜和衍射光学元件。
具体的,光源可采用发光二极管(light emitting diode,LED)、半导体激光器(Laser diode,LD)、垂直腔面发射激光器(Vertical Cavity Surface Emitting Laser,VCSEL)中的任意一种。光源出射的光束经准直透镜的准直作用,使光束平行射出,再经过衍射光学元件的整形衍射作用,形成特定的散斑图案。
如图5所示,固定架120包括间隔设置的定位座122,两点阵投射模组130分别位于定位座122的定位面1222上,且两定位面1222分别与等腰三角形的两腰重合。
具体的,采用上述形式,可以认为是将等腰三角形不是很必要的位置切除,只保留了三角形的两个角,以降低成本。可以理解的,定位座122也可以采用直角梯形的形式,以便于根据实际需要对点阵投射模组130的设置位置进行加高处理等。
如图1所示,第一光接收模组140和第二光接收模组150分别位于两点阵投射模组130的相对两侧。这样一来,以便于第一光接收模组140和第二光接收模组150分别采集信息,通过不同维度的信息进行整合来测算深度信息。
可选地,固定架120为导热材料制备。示例的,固定架120可采用铜或铝,也可以采用导热硅积或陶瓷等,具体可根据实际使用环境灵活设置。
本申请实施例还公开了一种机器人,包括前述实施例中的双目摄像头100。该机器人包含与前述实施例中的双目摄像头100相同的结构和有益效果。双目摄像头100的结构和有益效果已经在前述实施例中进行了详细描述,在此不再赘述。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
- 摄像头模组、双目摄像头模组及移动机器人
- 一种基于双目摄像头和人形机器人的增强现实方法