掌桥专利:专业的专利平台
掌桥专利
首页

产生全景深度图像的图像装置及相关图像装置

文献发布时间:2023-06-19 11:32:36


产生全景深度图像的图像装置及相关图像装置

原申请案的申请日为2018年2月23日,申请号为201810155153.1,以及发明名称为“产生全景深度图像的图像装置”。

技术领域

本发明涉及一种产生全景深度图像的图像装置、相关方法及相关图像装置,尤其涉及一种可减轻机构上矛盾的产生全景深度图像的图像装置、相关方法及相关图像装置。

背景技术

请参照图1-3,图1、2是说明深度相机(depth camera)102的示意图,和图3是说明全景相机(panorama camera)104的示意图。如第1图所示,深度相机102是一利用三角定位原理的深度相机,其中深度相机102所包含的两图像获取器1022、1024之间必须存在一预定距离BL(也就是一基线)才能产生一深度图,且预定距离BL越大,则所述深度图越精确。另外,深度相机102的另一种实现方式是深度相机102的图像获取器1024由一结构光产生单元1026取代(如第2图所示)。

如图3所示,全景相机104具有4个相机1042-1048,其中4个相机1042-1048的视野(field of view,FOV)FOV1、FOV2、FOV3、FOV4的角度和大于360°,且全景相机104所包含的相机的数量是由个别相机的视野决定。当全景相机104产生一全景图像时,全景相机104的特性是希望4个相机1042-1048的每一相机的光学中心都维持在相同位置。然而全景相机104无法在物理上实现上述全景相机104的特性,也就是说全景相机104仅能尽量缩短所述每一相机的光学中心与相邻相机的光学中心之间的距离以减少4个相机1042-1048之间的视差。

因为上述深度相机102的特性(深度相机102的特性是希望预定距离BL越大)以及上述全景相机104的特性(全景相机104的特性是希望4个相机1042-1048的每一相机的光学中心都维持在相同位置),所以当现有技术将深度相机102和全景相机104结合在一起产生一全景深度图像时,现有技术会产生机构上矛盾的问题。因此,如何解决现有技术所产生的机构上矛盾的问题将是本发明的重要课题。

发明内容

本发明的一实施例公开一种用于产生全景深度图像的图像装置。所述图像装置包含至少二图像获取组。所述至少二图像获取组中的每一图像获取组包含至少三图像获取器,所述至少三图像获取器中的相邻两个图像获取器之间的距离为一第一长度,所述至少二图像获取器中的每一图像获取器和所述至少二图像获取组中其余图像获取组所包含的至少一相对应图像获取器之间的距离为一第二长度,所述第二长度与所述第一长度的比值不小于1。所述至少二图像获取组所对应的至少三深度图的深度是应用于一全景深度图像。

本发明的另一实施例公开一种用于产生全景深度图像的图像装置。所述图像装置包含至少二图像获取组。所述至少二图像获取组中的每一图像获取组包含至少二图像获取器,所述至少二图像获取器中的相邻两个图像获取器之间的距离为一第一长度,所述至少二图像获取器中的每一图像获取器和所述至少二图像获取组中其余图像获取组所包含的至少一相对应图像获取器之间的距离为一第二长度,以及所述第二长度与所述第一长度的比值不小于1。所述至少二图像获取组所对应的至少二深度图的深度是应用于一全景深度图像。

本发明的另一实施例公开一种用于产生全景深度图像的图像装置。所述图像装置包含至少一图像获取组和至少一光源。所述至少一图像获取组中的每一图像获取组包含至少一图像获取器。所述至少一光源是用于发出一发射光,其中所述每一图像获取组所获取包含所述发射光的图像是用于产生对应所述每一图像获取组的深度图,或对应所述发射光从所述至少一光源经由每一对象反射至所述每一图像获取组的飞行时间是用于产生对应所述每一图像获取组的深度图。所述深度图的深度是应用于一全景深度图像。

本发明的另一实施例公开一种用于产生全景图像的图像装置。所述图像装置包含一全景图像产生器。所述全景图像产生器是用于接收多个深度图,并根据所述多个深度图产生一对应所述多个深度图的一全景图像,其中对应所述多个深度图的视角的总和不小于360°。

本发明的另一实施例公开一种用于产生深度图像的图像装置。所述图像装置包含一深度图像产生器。所述深度图像产生器是用于接收一第一全景图像与一相对应的第二全景图像,根据多个视角分别分割所述第一全景图像与所述第二全景图像为多个第一分割图像与多个第二分割图像,投影所述多个第一分割图像的每一第一分割图像与一对应的第二分割图像至一对应的投影平面以产生一第一投影图像与一第二投影图像,以及根据所述第一投影图像与所述第二投影图像产生一对应所述每一第一分割图像的深度图。所述多个视角的总和不小于360°。

本发明的另一实施例公开一种用于产生图像的图像装置。所述图像装置包含一图像产生器。所述图像产生器是用于接收一全景深度图像,根据多个视角分别分割所述全景深度图像为多个分割图像,投影所述多个分割图像的每一分割图像至一对应的投影平面以产生对应所述每一分割图像的一投影图像,以及转换所述投影图像的每一深度值为一转换深度值,其中所述每一分割图像对应所述多个视角中的一视角,所述视角对应一光学中心平面,所述每一深度值对应所述光学中心平面上的一光学中心,以及所述对应的投影平面平行所述光学中心平面;其中所述多个视角的总和不小于360°。

本发明公开一种用于产生全景深度图像的图像装置。所述图像装置的每一图像获取组中的每一图像获取器的光学中心与所述每一图像获取组中相邻的图像获取器的光学中心之间的距离远小于所述每一图像获取器的光学中心与所述图像装置的其余图像获取组的至少一相对应图像获取器的光学中心之间的距离,所以相较于现有技术,本发明所公开的图像装置不仅可提供一全景深度图像,也可解决现有技术所产生的机构上的矛盾的问题。

附图说明

图1、2是说明深度相机的示意图。

图3是说明全景相机的示意图。

图4A是本发明的第一实施例所公开的一种用于产生全景深度图像的图像装置的示意图。

图4B是说明图像获取组所在的平面之间不互相平行的示意图。

图5A是说明图像装置的俯视图的示意图。

图5B-5E是说明图像装置的不同实施例的示意图。

图6是本发明的另一实施例所公开的图像装置的俯视图的示意图。

图7是说明图像装置的爆炸示意图。

图8是说明原始深度与转换深度的关系示意图。

图9是本发明的第二实施例所公开的图像装置的爆炸示意图。

图10是本发明的第三实施例所公开的图像装置的爆炸示意图。

图11是说明第一预定视角、第一成像平面、第二成像平面、第一极点、第二极点、第一全景图像的光学中心和第二全景图像的光学中心的示意图。

图12是说明第一极点的第一核线的示意图。

图13是说明第二预定视角、第三成像平面、第四成像平面、第三极点、第四极点、第一全景图像的光学中心和第二全景图像的光学中心的示意图。

图14A是本发明的第四实施例所公开的一种用于产生全景深度图像的图像装置的侧视示意图。

图14B-14D是本发明的另一实施例所公开的一种用于产生全景深度图像的图像装置的侧视示意图。

图14E-14J是说明光源组利用至少一激光束和至少二镜子在所述前方的方向与所述后方的方向产生具有180°发光角度的结构光的示意图。

图14K是本发明的另一实施例所公开的一种用于产生全景深度图像的图像装置的示意图。

图15是说明全景深度图像的图像装置的前视示意图。

图16、17是说明图像装置应用在无人机的示意图。

其中,附图标记说明如下:

102 深度相机

104 全景相机

1022、1024、IC11-IC14、 图像获取器

IC21-IC24、IC31、IC32

1026、502-508 结构光产生单元

1042-1048 相机

400、500、600、1400、1500、 图像装置

1600、1700、1800

402-410 支撑单元

412、414 固定单元

702 深度产生器

704、1004 全景深度图像产生器

1002 全景图像产生器

1006 显示屏

1600 无人机

1102 吊臂

1702、1802 光源组

17022、17023 准直器

17024-17026 激光束

17028-17030 镜子

17032-17034 分光绕射光学组件

A、B、PL 平面

BL 预定距离

B1 第一基线

B2 第二基线

C1、C2、C3、FPIC、SPIC 光学中心

D1、D2、r 距离

DPE、DPS、DPW、DPN 深度图

EP1 第一极点

EP2 第二极点

EPL1 第一核线

EPL2 第二核线

EPL3 第三核线

EPL4 第四核线

FOV1、FOV2、FOV3、FOV4 视角

FPVA 第一预定视角

FPPL 第一成像平面

FOPPL 第四成像平面

f 焦距

FPI 第一全景图像

ICG1、ICG2、ICG3 图像获取组

IM11-IM14 第一图像

IM21-IM24 第二图像

OZ 原始深度

PDI 全景深度图像

PPL 成像平面

P 点

SPI 第二全景图像

SPVA 第二预定视角

SPPL 第二成像平面

TPPL 第三成像平面

Z 转换深度

θ 夹角

具体实施方式

请参照图4A,图4A是本发明的第一实施例所公开的一种用于产生全景深度图像的图像装置400的示意图,其中图像装置400包含二图像获取组ICG1、ICG2和4个支撑单元402、404、406、408,图像获取组ICG1、ICG2中的每一图像获取组包含四个图像获取器,以及所述四个图像获取器中的每一图像获取器是一非鱼眼图像获取器。但在本发明的另一实施例中,所述四个图像获取器中的每一图像获取器是一鱼眼图像获取器。另外,图4A仅显示图像获取组ICG1中的图像获取器IC11、IC12,以及图像获取组ICG2中的图像获取器IC21、IC22。但本发明并不受限于图像装置400仅包含二图像获取组ICG1、ICG2和4个支撑单元402、404、406、408,以及图像获取组ICG1、ICG2中的每一图像获取组包含四个图像获取器。如图4A所示,图像获取组ICG1所包含的四个图像获取器所在的平面A和图像获取组ICG2所包含的四个图像获取器所在的平面B可互相平行。然而在本发明的另一实施例中,如图4B所示,平面A和平面B可因为图像装置400的机构设计因素而不互相平行。

请再参照图4A,图像获取组ICG1所包含的四个图像获取器的每一图像获取器是设置在一相对应支撑单元上(例如图像获取器IC11是设置在支撑单元402上);同理,图像获取组ICG2所包含的四个图像获取器的每一图像获取器也是设置在一相对应支撑单元上(例如图像获取器IC21是设置在支撑单元402上)。另外,图像获取器IC11的光学中心C1与相邻的图像获取器IC12的光学中心C2之间的距离D1远小于图像获取器IC11的光学中心C1与图像获取器IC21的光学中心C3之间的距离D2,也就是说距离D2和距离D1的比值不小于1。另外,在本发明的一实施例中,图像获取器IC11的尺寸为一第一长度,图像获取器IC11的光学中心C1与相邻的图像获取器IC12的光学中心C2之间的距离为一第二长度(也就是距离D1),以及所述第二长度与所述第一长度的比值不小于1,其中图像获取器IC11的尺寸可为图像获取器IC11的镜头的尺寸或是支持图像获取器IC11的支撑物的尺寸。当图像装置400是安装在一手持式装置(例如一智能型手机)时,因为所述手持式装置是应用于产生一具有较短距离(例如有关于一用户的脸部辨识)的深度图,所以所述比值具有一第一数值;当图像装置400是安装在一交互式游戏设备时,因为所述交互式游戏设备是应用于产生一具有较长距离(例如有关于所述用户的手势或肢体动作)的深度图,所以所述比值具有一第二数值,其中所述第一数值小于所述第二数值(例如所述第一数值为12以及所述第二数值为18)。另外,当图像装置400具有多个并肩设置的图像获取器时,所述比值将趋近于1。

在图5A的实施例中,支撑单元402、404、406、408的俯视图可形成一封闭凸4边形,其中图5A仅显示图像获取组ICG1所包含的图像获取器IC11-IC14,以及支撑单元402、404、406、408),且如图5A所示,图像获取器IC11-IC14中的相邻两个图像获取器并肩设置时,所述第二长度(图像获取器IC11的光学中心C1与相邻的图像获取器IC12的光学中心C2之间的距离)将会有一最小值。而在图5B的实施例中,图像装置400则可通过一机构固定而使支撑单元402、404、406、408不互相接触,所述机构并未绘示于图5B,且所述机构对于本发明领域的技术人员是显而易见的。另外,在图5C的实施例中,支撑单元402、404、406、408是通过每一支撑单元的一端与另两其他支撑单元的一端互相接触。而在本发明的其他实施例中,图像装置400也可不包含4个支撑单元402、404、406、408,而是通过如图5D所示的至少一支撑单元410使得图像获取组ICG1和图像获取组ICG2连接。或者,又如图5E所示,图像获取组ICG1和图像获取组ICG2也可通过至少二固定单元412、414固定。上述各图像获取组中的所有图像获取器的视野的角度和会大于360°。例如,如图5A所示,图像获取器IC11-IC14的视野FOV1、FOV2、FOV3、FOV4的角度和大于360°。

另外,图6是本发明的另一实施例所公开的图像装置400的俯视图的示意图。在本实施例中,图像装置400可包含3个支撑单元402、404、406,图像获取组ICG1、ICG2中的每一图像获取组包含三个图像获取器,以及支撑单元402、404、406的俯视图形成一三角形。为便于理解,图6仅显示图像获取组ICG1所包含的图像获取器IC11-IC13,以及支撑单元402、404、406。

请参照图7,图7是说明图像装置400的爆炸示意图。如图7所示,图像获取组ICG1所包含的图像获取器IC11-IC14,以及图像获取组ICG2所包含的图像获取器IC21-IC24耦接于图像装置400另包含的一深度产生器702,以及图像获取组ICG1所包含的图像获取器IC11-IC14另耦接于图像装置400另包含的一全景深度图像产生器704。如图7所示,深度产生器702可根据图像获取器IC11所获取的一第一图像IM11以及与图像获取组ICG2内一相对应图像获取器(也就是图像获取器IC21)所获取的一第二图像IM21,产生一面向东方的深度图DPE(其中所述东方的方向可参考图4A);深度产生器702可根据图像获取器IC12所获取的一第一图像IM12以及与图像获取组ICG2内一相对应图像获取器(也就是图像获取器IC22)所获取的一第二图像IM22,产生一面向南方的深度图DPS(其中所述南方的方向可参考图4A);深度产生器702可根据图像获取器IC13所获取的一第一图像IM13以及与图像获取组ICG2内一相对应图像获取器(也就是图像获取器IC23)所获取的一第二图像IM23,产生一面向西方的深度图DPW(其中所述西方的方向可参考图4A);深度产生器702可根据图像获取器IC14所获取的一第一图像IM14以及与图像获取组ICG2内一相对应图像获取器(也就是图像获取器IC24)所获取的一第二图像IM24,产生一面向北方的深度图DPN(其中所述北方的方向可参考图4A)。

另外,上述各深度图中的深度信息还可经由转换而有不同的表示方式。图8是说明原始深度与转换深度的关系示意图。深度图DPE内一点P对应于图像获取器IC11的光学中心C1所在的平面PL的一原始深度OZ(如图8所示)可通过式(1)转换成以图像获取器IC11的光学中心C1为原点的一转换深度Z(也就是说对应深度图DPE内的所有转换深度的原点是图像获取器IC11的光学中心C1),其中如图8所示,f为图像获取器IC11的焦距,PPL为图像获取器IC11的成像平面,θ为一夹角,以及距离r可通过图像获取器IC11的像素宽度表示:

另外,本发明领域的技术人员可轻易地通过图像获取器IC11的内部参数得到焦距f和距离r之间的关系,所以在此不在赘述。另外,在本发明的另一实施例中,深度图DPE内点P对应于图像获取器IC11的光学中心C1所在的平面PL的原始深度OZ(如图8所示)可转换成以空间中任意一点为一参考原点的另一转换深度。

但在本发明的另一实施例中,对应深度图DPE内的所有转换深度的原点是图像获取器IC21的光学中心C3。另外,深度图DPS、DPW、DPN内的所有原始深度都可通过上述原理转换,在此不再赘述。另外,在深度图DPE、DPS、DPW、DPN内的所有原始深度通过上述原理转换成转换深度后,深度图DPE、DPS、DPW、DPN内的所有转换深度可应用于全景深度图像产生器704所产生的一全景深度图像PDI,也就是全景深度图像PDI是由全景深度图像产生器704根据第一图像IM11-IM14所产生的一全景图像与深度图DPE、DPS、DPW、DPN内的所有转换深度所组成,其中全景深度图像PDI可为一灰阶全景深度图像或一彩色全景深度图像。另外,在本发明的另一实施例中,一全景图像产生器可用于接收深度图DPE、DPS、DPW、DPN,并根据深度图DPE、DPS、DPW、DPN产生对应深度图DPE的第一图像IM11和第二图像IM21,对应深度图DPS的第一图像IM12和第二图像IM22,对应深度图DPW的第一图像IM13和第二图像IM23,以及对应深度图DPN的第一图像IM14和第二图像IM24,其中对应深度图DPE、DPS、DPW、DPN的视角的总和等于360°。然后所述全景图像产生器可根据第一图像IM11-IM14产生所述全景图像,或根据第二图像IM21-IM24产生另一全景图像。

因为全景深度图像PDI是由全景深度图像产生器704根据第一图像IM11-IM14所产生的全景图像与深度图DPE、DPS、DPW、DPN内的所有转换深度所组成,所以全景深度图像PDI具有全景深度图像产生器704根据第一图像IM11-IM14所产生的全景图像的色彩信息以及深度图DPE、DPS、DPW、DPN内的所有转换深度的信息。如图4A所示,因为图像获取器IC11的光学中心C1与相邻的图像获取器IC12的光学中心C2之间的距离D1远小于图像获取器IC11的光学中心C1与图像获取器IC21的光学中心C3之间的距离D2,所以图像装置400所产生的全景深度图像PDI可解决现有技术所产生的机构上的矛盾的问题。另外,深度产生器702和全景深度图像产生器704可以是具有上述深度产生器702和全景深度图像产生器704的功能的现场可编程门阵列(Field Programmable Gate Array,FPGA),或是具有上述深度产生器702和全景深度图像产生器704的功能的专用集成电路(Application-specificintegrated circuit,ASIC)或是具有上述深度产生器702和全景深度图像产生器704的功能的软件模块。

请参照图9,图9是本发明的第二实施例所公开的图像装置500的爆炸示意图。如图9所示,图像装置500与图像装置400的差别在于图像装置500利用结构光产生单元502-508取代图像获取器IC21-IC24。另外,图像装置500的其余操作原理都和图像装置400,在此不再赘述。

请参照图10,图10是本发明的第三实施例所公开的图像装置600的爆炸示意图。如图10所示,图像获取组ICG1所包含的图像获取器IC11-IC14以及图像获取组ICG2所包含的图像获取器IC21-IC24耦接于图像装置600另包含的一全景图像产生器1002,图像装置600另包含的一全景深度图像产生器1004耦接于全景图像产生器1002,以及图像装置600另包含的一显示屏1006耦接于全景深度图像产生器1004,其中显示屏1006是用于显示全景深度图像PDI。如图10所示,全景图像产生器1002可根据图像获取器IC11所获取的第一图像IM11、图像获取器IC12所获取的第一图像IM12、图像获取器IC13所获取的第一图像IM13以及图像获取器IC14所获取的第一图像IM14,产生一第一全景图像FPI,以及全景图像产生器1002可根据图像获取器IC21所获取的第二图像IM21、图像获取器IC22所获取的第二图像IM22、图像获取器IC23所获取的第二图像IM23以及图像获取器IC24所获取的第二图像IM24,产生一第二全景图像SPI,其中如图11所示,第一全景图像FPI的光学中心FPIC和第二全景图像SPI的光学中心SPIC之间的距离为D2,且光学中心FPIC和光学中心SPIC是位于一基线BL上。在全景深度图像产生器1004接收第一全景图像FPI和第二全景图像SPI后,全景深度图像产生器1004可将对应光学中心FPIC所在平面的360°视角分成4个预定视角,其中每个预定视角的角度等于90°。但本发明并不受限于全景深度图像产生器1004将对应光学中心FPIC所在平面的360°视角分成4个预定视角,也就是说全景深度图像产生器1004可将360°视角分成多个预定视角。另外,所述多个预定视角的角度可相同或不同。在全景深度图像产生器1004将360°视角分成4个预定视角后,全景深度图像产生器1004可根据所述4个预定视角中的一第一预定视角FPVA(如图11所示)分别将第一全景图像FPI与第二全景图像SPI投影至一第一成像平面FPPL与一第二成像平面SPPL以产生一第一投影图像与一第二投影图像,其中第一成像平面FPPL和第二成像平面SPPL是平行于显示屏1006的成像平面(未绘示于图11)。在所述第一投影图像与所述第二投影图像产生后,全景深度图像产生器1004可根据第一预定视角FPVA和光学中心FPIC计算出对应第一预定视角FPVA的第一极点(epipole)EP1,以及根据第一预定视角FPVA和光学中心SPIC求出对应第一预定视角FPVA的第二极点EP2。在全景深度图像产生器1004计算出第一极点EP1、第二极点EP2后,全景深度图像产生器1004即可根据第一极点EP1的第一核线EPL1(也对应第一预定视角FPVA)和第二极点EP2的相对应的第二核线EPL2(也对应第一预定视角FPVA),决定全景深度图像产生器1004在所述第一投影图像与所述第二投影图像的搜寻方向,其中第一极点EP1的第一核线EPL1的样式可参照图12。如图12所示,第一核线EPL1是以第一极点EP1为中心向外散射。另外,第二极点EP2的第二核线EPL2的样式也可参照图12,在此不再赘述。如此,全景深度图像产生器1004即可根据所述第一投影图像与所述第二投影图像产生对应第一预定视角FPVA的深度图DPF。另外,全景深度图像产生器1004计算出第一极点EP1、第二极点EP2、第一核线EPL1和第二核线EPL2的方式是本发明领域的技术人员所熟知,在此也不再赘述。

如图13所示,全景深度图像产生器1004可根据所述4个预定视角中的一第二预定视角SPVA分别将第一全景图像FPI与第二全景图像SPI投影至一第三成像平面TPPL与一第四成像平面FOPPL以产生一第三投影图像与一第四投影图像,其中第三成像平面TPPL与一第四成像平面FOPPL是平行于显示屏1006的成像平面(未绘示于图13)。在所述第三投影图像与所述第四投影图像产生后,全景深度图像产生器1004可根据第二预定视角SPVA和光学中心FPIC计算出对应第二预定视角SPVA的第三极点(位于无穷远处),以及根据第二预定视角SPVA和光学中心SPIC求出对应第二预定视角SPVA的第四极点(位于无穷远处)。在全景深度图像产生器1004计算出第三极点和第四极点后,全景深度图像产生器1004即可根据所述第三极点的第三核线EPL3(也对应第二预定视角SPVA)和所述第四极点的相对应的第四核线EPL4(也对应第二预定视角SPVA),决定全景深度图像产生器1004在所述第三投影图像与所述第四投影图像的搜寻方向,其中第三核线EPL3和第四核线EPL4互相平行。如此,全景深度图像产生器1004即可根据所述第三投影图像与所述第四投影图像产生对应第二预定视角SPVA的深度图DPS。

另外,可通过上述产生对应第二预定视角SPVA的深度图DPS或产生对应第一预定视角FPVA的深度图DPF的方式,产生对应所述4个预定视角中的第三预定视角的深度图DPT与第四预定视角的深度图DPFO,以及对应图像装置600上方的第五预定视角的深度图DPFI与对应图像装置600下方的第六预定视角的深度图DPSI,其中深度图DPF、DPS、DPT、DPFO、DPFI、DPSI内的所有原始深度都可通过上述图8的原理转换成转换深度,在此不再赘述。在全景深度图像产生器1004将深度图DPF、DPS、DPT、DPFO、DPFI、DPSI内的所有原始深度转换成转换深度后,全景深度图像产生器1004可根据深度图DPF、DPS、DPT、DPFO、DPFI、DPSI内的所有转换深度和第一全景图像FPI,产生对应于第一全景图像FPI的全景深度图像PDI,或根据深度图DPF、DPS、DPT、DPFO、DPFI、DPSI内的所有转换深度和第二全景图像SPI,产生对应于第二全景图像SPI的全景深度图像PDI。另外,图像装置600的其余操作原理都和图像装置400,在此不再赘述。

另外,全景深度图像产生器1004可以是具有上述全景深度图像产生器1004的功能的现场可编程门阵列,或是具有上述全景深度图像产生器1004的功能的专用集成电路或是具有上述全景深度图像产生器1004的功能的软件模块。

另外,在本发明的另一实施例中,一深度图像产生器可用于接收一第一全景图像与一第二全景图像(对应所述第一全景图像),根据多个视角分别分割所述第一全景图像与所述第二全景图像为多个第一分割图像与多个第二分割图像,利用图11-13所示的方法投影所述多个第一分割图像的每一第一分割图像与一对应的第二分割图像至一对应的投影平面以产生一第一投影图像与一第二投影图像,以及根据所述第一投影图像与所述第二投影图像产生一对应所述每一第一分割图像的深度图,其中所述多个视角的总和不小于360°。因此,所述深度图像产生器可根据所述第一全景图像与所述第二全景图像,产生对应所述多个视角的多个深度图。

另外,在本发明的另一实施例中,一图像产生器可用于接收全景深度图像PDI,根据所述多个视角分割全景深度图像PDI为多个分割图像,利用图11-13所示的方法投影所述多个分割图像的每一分割图像至一对应的投影平面以产生对应所述每一分割图像的一投影图像,以及转换所述投影图像的每一深度值为一转换深度值,其中所述每一分割图像对应所述多个视角中的一视角,所述视角对应一光学中心平面(可参照图8所示的平面PL),所述每一深度值(可参照图8所示的转换深度Z)对应所述光学中心平面上的一光学中心(可参照图8所示的光学中心C1),所述对应的投影平面平行所述光学中心平面,以及所述多个视角的总和不小于360°。因此,在所述图像产生器转换所述投影图像的每一深度值(可参照图8所示的转换深度Z)为所述转换深度值(可参照图8所示的原始深度OZ)后,所述转换深度值对应所述光学中心平面(可参照图8所示的平面PL)。

另外,请参照图14A、15,图14A是本发明的第四实施例所公开的一种用于产生全景深度图像的图像装置1400的侧视示意图,和图15是说明用于产生全景深度图像的图像装置1400的前视示意图,其中图像装置1400包含二图像获取组ICG1、ICG2、1个支撑单元402、深度产生器702和全景深度图像产生器704,图像获取组ICG1、ICG2中的每一图像获取组包含二个图像获取器,以及所述二个图像获取器中的每一图像获取器是一鱼眼图像获取器。如图14A所示,图像获取组ICG1包含图像获取器IC11、IC12,以及图像获取组ICG2包含图像获取器IC21、IC22。但本发明并不受限于图像装置1400仅包含二图像获取组ICG1、ICG2和1个支撑单元402,以及图像获取组ICG1、ICG2中的每一图像获取组包含二个图像获取器。如图14A所示,图像获取器IC11、IC21是设置在支撑单元402的一边,以及图像获取器IC12、IC22是设置在支撑单元402的另一边。另外,图15仅显示图像获取组ICG1中的图像获取器IC11以及图像获取组ICG2中的图像获取器IC21。

如图14A所示,深度产生器702可根据图像获取器IC11所获取的第一图像IM11以及与图像获取组ICG2内的一相对应图像获取器(也就是图像获取器IC21)所获取的第二图像IM21,产生一面向前方的深度图DPF(其中所述前方的方向可参考图14A);深度产生器702可根据图像获取器IC12所获取的第一图像IM12以及与图像获取组ICG2内一相对应图像获取器(也就是图像获取器IC22)所获取的第二图像IM22,产生一面向后方的深度图DPR(其中所述后方的方向可参考图14A),其中深度图DPF、DPR内的所有原始深度都可通过上述图8的原理转换成转换深度,在此不再赘述。

另外,在深度图DPF、DPR内的所有原始深度通过上述原理转换成转换深度后,深度图DPF、DPR内的所有转换深度可应用于全景深度图像产生器704所产生的全景深度图像PDI,也就是全景深度图像PDI是由全景深度图像产生器704根据第一图像IM11、IM12所产生的一全景图像与深度图DPF、DPR内的所有转换深度所组成。另外,如图14A所示,因为图像获取器IC11的光学中心C1与相邻的图像获取器IC12的光学中心C2之间的距离D1远小于图像获取器IC11的光学中心C1与图像获取器IC21的光学中心C3之间的距离D2,所以图像装置1400所产生的全景深度图像PDI可解决现有技术所产生的机构上的矛盾的问题。

另外,在本发明的另一实施例中,如图14B所示,一全景深度图像的图像装置1500和图像装置1400的差别在于图像装置1500包含三图像获取组ICG1、ICG2、ICG3、1个支撑单元402,其中为了简化图14B,图14B并未绘示出深度产生器702和全景深度图像产生器704。但在本发明的另一实施例中,全景深度图像的图像装置1500可包含至少三图像获取组。如图14B所示,图像获取组ICG1、ICG2、ICG3中的每一图像获取组包含二个图像获取器,以及所述二个图像获取器中的每一图像获取器是一鱼眼图像获取器。如图14B所示,图像获取组ICG1包含图像获取器IC11、IC12,图像获取组ICG2包含图像获取器IC21、IC22,以及图像获取组ICG3包含图像获取器IC31、IC32。如图14B所示,图像获取器IC11、IC21、IC31是设置在支撑单元402的一边,以及图像获取器IC12、IC22、IC32是设置在支撑单元402的另一边,其中图像获取器IC11、IC21之间具有一第一基线B1,以及图像获取器IC11、IC31之间具有一第二基线B2。

如图14B所示,深度产生器702可根据图像获取器IC11所获取的第一图像IM11以及与图像获取组ICG2内的一相对应图像获取器(也就是图像获取器IC21)所获取的第二图像IM21,产生一面向前方的第一深度图(其中所述前方的方向可参考图14A);同理深度产生器702也可根据图像获取器IC11所获取的第一图像IM11以及与图像获取组ICG3内的一相对应图像获取器(也就是图像获取器IC31)所获取的第三图像,产生另一面向前方的第二深度图。深度产生器702可根据图像获取器IC12所获取的第一图像IM12以及与图像获取组ICG2内一相对应图像获取器(也就是图像获取器IC22)所获取的第二图像IM22,产生一面向后方的第三深度图(其中所述后方的方向可参考图14A);同理深度产生器702可根据图像获取器IC12所获取的第一图像IM12以及与图像获取组ICG3内一相对应图像获取器(也就是图像获取器IC32)所获取的第四图像IM22,产生一面向后方的第四深度图。然后全景深度图像产生器704可根据所述第一深度图、所述第二深度图、所述第三深度图和所述第四深度图产生全景深度图像PDI。另外,图像装置1500的其余操作原理和图像装置1400的操作原理相同,在此不再赘述。另外,图像装置1500的概念也可应用于图像装置400,在此也不再赘述。

另外,在本发明的另一实施例中,如图14C所示,一全景深度图像的图像装置1600和图像装置1400的差别在于图像装置1600包含一第一图像获取器IC1和一第二图像获取器IC2,其中为了简化图14C,图14C并未绘示出深度产生器702和全景深度图像产生器704。另外,如图14C所示,第一图像获取器IC1的视角和第二图像获取器IC2的视角有重迭即可,例如第一图像获取器IC1的视角大于180°和第二图像获取器IC2的视角也大于180°。另外,图像装置1600的其余操作原理和图像装置1400的操作原理相同,在此不再赘述。

另外,在本发明的另一实施例中,如图14D所示,一全景深度图像的图像装置1700和图像装置1400的差别在于图像装置1700利用一光源组1702取代图像获取组ICG1(或用光源组1702取代图像获取组ICG2),其中为了简化图14D,图14D并未绘示出深度产生器702和全景深度图像产生器704,且光源组1702是用于发出一结构光。但在本发明的另一实施例中,图像装置1700可包含至少一光源组和至少一图像获取组。另外,在本发明的另一实施例中,图像获取组ICG2可被如图14C所示的第一图像获取器IC1取代。如图14D所示,深度产生器702可根据图像获取器IC21所获取的包含所述结构光的第一图像IM21,产生面向前方的深度图DPF(其中所述前方的方向可参考图14A);深度产生器702可根据图像获取器IC22所获取的包含所述结构光的第二图像IM22,产生面向后方的深度图DPR(其中所述后方的方向可参考图14A)。另外,图像装置1700的其余操作原理和图像装置1400的操作原理相同,在此不再赘述。另外,图像装置1700的光源组1702也可应用于图像装置400,在此也不再赘述。

另外,光源组1702可利用至少一激光束(例如至少一红外线激光束)和至少一反射组件(例如至少二镜子)在所述前方的方向与所述后方的方向(其中所述前方的方向与所述后方的方向可参考图14A)产生至少两不同角度光束,然后使所述至少两不同角度光束经过一光学组件(例如一绕射组件)后以形成在所述前方的方向与所述后方的方向都具有180°发光角度的光源。另外,在本发明的另一实施例中,光源组1702可利用至少一激光束和至少一折射组件形成在所述前方的方向与所述后方的方向都具有180°发光角度的光源。如图14E所示,光源组1702利用一准直器(collimator)17022,激光束17024、17026,镜子17028、17030和分光绕射光学组件(Diffraction Optical Element,DOE)17032、17034产生具有180°发光角度的结构光;如图14F所示,光源组1702利用准直器17022,激光束17024、17025、17026,镜子17028、17029、17030和分光绕射光学组件17032、17033、17034产生具有180°发光角度的结构光;如图14G所示,光源组1702利用准直器17022,激光束17024,镜子17028、17030和分光绕射光学组件17032、17034产生具有180°发光角度的结构光;如图14H所示,光源组1702利用准直器17022,激光束17024,镜子17028、17029、17030和分光绕射光学组件17032、17033、17034产生具有180°发光角度的结构光;如图14I所示,光源组1702利用准直器17022、17023,激光束17024、17026,镜子17028、17030和分光绕射光学组件17032、17034产生具有180°发光角度的结构光;如图14J所示,光源组1702利用准直器17022,激光束17024、17026,镜子17028和分光绕射光学组件17032、17034产生具有180°发光角度的结构光。另外,在图14E-14J中,准直器17022和分光绕射光学组件17032、17033、17034并非必须。另外,180°发光角度的结构光不能朝向图像获取器IC21和图像获取器IC22,因为会影响图像获取器IC21和图像获取器IC22的图像获取功能。另外,在本发明的另一实施例中,所述光学组件可替换为一扩散器(diffuser)以形成具有180°发光角度的均匀光源。

另外,在本发明的另一实施例中,如图14K所示,一全景深度图像的图像装置1800和图像装置1400的差别在于图像装置1800利用一光源组1802取代图像获取组ICG1(或用光源组1802取代图像获取组ICG2),其中为了简化图14K,图14K并未绘示出深度产生器702和全景深度图像产生器704。另外,在本发明的另一实施例中,图像获取组ICG2可被如图14C所示的第一图像获取器IC1取代。如图14K所示,图像获取组ICG2可接收光源组1802所发出的光经过在图像获取组ICG2的接收范围内的每一对象反射后的反射光,以及深度产生器702可根据光源组1802所发出的光经过所述每一对象反射后的总飞行时间,计算出所述每一对象与图像装置1800的距离。然后深度产生器702可根据所述每一对象与图像装置1800的距离,产生面向前方的深度图和面向后方的深度图。另外,图像装置1800的其余操作原理和图像装置1400的操作原理相同,在此不再赘述。

请参照图16、17,图16、17是说明图像装置400应用在一无人机1600的示意图。如图16所示,图像装置400通过一吊臂1602悬吊在无人机1600的下方,而当无人机1600起飞后,吊臂1602可降下图像装置400以使图像装置400获取更多上方视野的图像(如图17所示)。另外,图像装置500、600、1400也可应用在无人机1600,所以在此不再赘述。

综上所述,因为本发明所公开的图像装置的每一图像获取组中的每一图像获取器的光学中心与所述每一图像获取组中相邻的图像获取器的光学中心之间的距离远小于所述每一图像获取器的光学中心与所述图像装置的其余图像获取组的至少一相对应图像获取器的光学中心之间的距离,所以相较于现有技术,本发明所公开的图像装置不仅可提供一全景深度图像,也可解决现有技术所产生的机构上的矛盾的问题。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

相关技术
  • 产生全景深度图像的图像装置及相关图像装置
  • 产生全景深度图像的图像装置
技术分类

06120112961696