4D摄像装置及电子设备

技术领域

本发明涉及深度传感设备技术领域，具体地，涉及一种4D摄像装置及电子设备。

背景技术

近年来，随着消费电子产业的不断发展，具有深度传感功能的3D摄像头日渐受到消费电子界的重视。目前比较成熟的深度测量方法是结构光方案，即将特定的结构光图案投影在物体上，然后通过图案的形变或位移计算物体不同位置的深度。

结构光三维视觉是基于光学三角法测量原理。光学投射器将一定模式的结构光投射于物体表面，在表面上形成由被测物体表面形状所调制的光条三维图像。该三维图像被另一位置的摄像机探测，从而获得光条二维畸变图像。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和物体表面形廓(高度)。直观上，沿光条显示出的位移或偏移与物体表面高度成比例，扭结表示了平面的变化，不连续显示了表面的物理间隙。当光学投射器与摄像机之间的相对位置一定时，由畸变的二维光条图像坐标便可重现物体表面三维形廓。

ToF(time of flight)技术是一种从投射器发射测量光，并使测量光经过目标物体反射回到接收器，从而能够根据测量光在此传播路程中的传播时间来获取物体到传感器的空间距离的3D成像技术。常用的ToF技术包括单点扫描投射方法和面光投射方法。

光谱仪是将成分复杂的光分解为光谱线的科学仪器，由棱镜或衍射光栅等构成，利用光谱仪可测量物体表面反射的光线。阳光中的七色光是肉眼能分的部分(可见光)，但若通过光谱仪将阳光分解，按波长排列，可见光只占光谱中很小的范围，其余都是肉眼无法分辨的光谱，如红外线、微波、紫外线、X射线等等。通过光谱仪对光信息的抓取、以照相底片显影，或电脑化自动显示数值仪器显示和分析，从而测知物品中含有何种元素。这种技术被广泛地应用于空气污染、水污染、食品卫生、金属工业等的检测中。

但是经过对现有技术的检索，现有技术中并没有将光谱仪和3D摄像头结合的装置。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种4D摄像装置及电子设备。

根据本发明提供的4D摄像装置，包括光谱仪、3D摄像头以及处理器模块；

所述3D摄像头包括光投射器、第一成像模块以及第二成像模块；

所述光投射器，用于向目标物体投射光；

所述第一成像模块，用于接收所述目标物体的反射光，并根据所述反射光获得所述目标物体表面的深度图像；

所述第二成像模块，用于采集所述目标物体的2D图像；

所述光谱仪，用于接收目标物体反射光，并生成所述目标物体反射光的光谱信息；

所述处理器模块，用于根据所述目标物体表面的深度图像以及2D图像生成所述目标物体的3D图像，进而根据所述光谱信息对所述3D图像进行色彩处理。

优选地，所述第一成像模块包括第一滤光片和第一图像传感器；

所述光谱仪包括色散元件，所述色散元件，用于对所述反射光进行色散分光以在所述第一图像传感器上形成波长依次排列的色散条纹；

所述色散元件设置在所述第一滤光片的入光侧面上、出光侧面上或所述第一图像传感器的光敏感表面上。

优选地，所述第二成像模块包括第二滤光片和第二图像传感器；

所述光谱仪包括色散元件，所述色散元件，用于对所述目标物体反射光进行色散分光以在所述第二图像传感器上形成波长依次排列的色散条纹；

所述色散元件设置在所述第二滤光片的入光侧面上、出光侧面上或所述第二图像传感器的光敏感表面上。

优选地，所述色散元件采用如下任一种光学器件；

-平面衍射光栅；

-棱镜；

-光波导器件。

优选地，所述图像传感器设置有色散探测器；所述色散探测器，用于所述色散条纹探测；

所述色散探测器为所述图像传感器的部分区域或一独立的探测器。

优选地，所述光谱仪设置在所述3D摄像头的内侧；

或，所述光谱仪设置在所述3D摄像头的一端或一侧面上，且使得所述光谱仪的入光口与所述第一成像模块、所述第二成像模块的入光口朝向相同。

优选地，所述光投射器采用离散光束投射器，用于向目标物体投射多束离散准直光束；

所述第二成像模块，用于接收所述目标物体反射的所述散准直光束，并根据多束所述散准直光束形成的光斑图案获得所述目标物体表面的所述深度图像。

优选地，所述光投射器采用面光源投射器，用于向所述目标物体投射泛光；

所述第一成像模块，用于接收所述目标物体反射后的泛光，并根据所述泛光的传播时间获得所述目标物体表面的深度图像。

优选地，所述离散光束投射器包括设置在一光路上的边缘发射激光器和光束投射器；

所述边缘发射激光器，用于向所述光束投射器投射激光；

所述光束投射器，用于将入射的所述激光投射出多束所述离散准直光束。

优选地，所述离散光束投射器包括设置在一光路上的激光器阵列、准直镜头和分束器件；

所述激光器阵列，用于向所述准直镜头投射第一数量级的激光；

所述准直镜头，用于将入射的所述多束激光准直后出射第一数量级的准直光束；

所述分束器件，用于将入射的第一数量级的准直光束分束后出射第二数量级的准直光束；

所述第二数量级大于所述第一数量级。

优选地，所述3D摄像头包括与所述光投射器和所述第二成像模块相连的驱动电路；

所述驱动电路，用于控制所述光投射器和所述第二成像模块同时开启或关闭，并能够通过控制所述光投射器的驱动电流控制所述光投射器的输出光功率。

根据本发明提供的电子设备，包括所述的4D摄像装置。

与现有技术相比，本发明具有如下的有益效果：

本发明通过将光谱仪和3D摄像头集成在一起，能够通过光谱仪获取到所述目标物体反射光的光谱信息，进而根据所述光谱信息对所述3D图像进行色彩处理，使得所述3D图像的色彩更为真实；此外本发明还可以将集成后的光谱仪和3D摄像头装载到电子设备上，使得用户能够便捷的对光谱仪和3D摄像头进行调用，扩大了电子设备的应用场景；本发明通过将色散元件设置在滤光片的入光侧面上、出光侧面上或图像传感器的光敏感表面上，实现光谱仪和3D摄像头的集成，降低了本发明的集成成本；本发明中不仅可以进行光谱仪和3D摄像头的结合运用，还可以单独调用光谱仪和3D摄像头，如单独调用光谱仪进行食品安全监测、水果成分的检测、牛奶中的各成分含量，健身饮料中蛋白质含量甚至人体的脂肪含量等。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中4D摄像装置的结构示意图；

图2为本发明第一变形例中4D摄像装置的结构示意图；

图3为本发明变形例中光谱仪的工作原理图；

图4为本发明第二变形例中4D摄像装置的结构示意图；

图5为本发明第三变形例中4D摄像装置的结构示意图；

图6为本发明第四变形例中4D摄像装置的结构示意图；

图7为本发明第五变形例中4D摄像装置的结构示意图；

图8为本发明第六变形例中4D摄像装置的结构示意图；

图9为本发明实施例中图像传感器的结构示意图。

图中：

1为3D摄像头的镜头；101为光投射器；102为第二成像模块；103为第一成像模块；104为驱动电路；105为处理器模块；1031为第一滤光片；1032为第一图像传感器；1033为色散探测器；2为光谱仪；201为色散元件；3为RGB摄像头的镜头；301为第二滤波片；302为第二图像传感器。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接即可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明实施例中，本发明提供的4D摄像装置，包括光谱仪、3D摄像头以及处理器模块105；

所述3D摄像头包括光投射器101、第一成像模块103以及第二成像模块102；

所述光投射器101，用于向目标物体投射光；

所述第一成像模块103，用于接收所述目标物体的反射光，并根据所述反射光获得所述目标物体表面的深度图像；

所述第二成像模块102，用于采集所述目标物体的2D图像；

所述光谱仪2，用于接收目标物体反射光，并生成所述目标物体反射光的光谱信息；

所述处理器模块105，用于根据所述目标物体表面的深度图像以及2D图像生成所述目标物体的3D图像，进而根据所述光谱信息对所述3D图像进行色彩处理。

以上是本发明的核心思想，为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例中4D摄像装置的结构示意图，如图1所示，本发明提供的4D摄像装置，包括光谱仪2、3D摄像头1以及处理器模块105；

所述3D摄像头1包括光投射器101、第一成像模块103以及第二成像模块102；

所述光投射器101，用于向目标物体投射光；

所述第一成像模块103，用于接收所述目标物体的反射光，并根据所述反射光获得所述目标物体表面的深度图像；

所述第二成像模块102，用于采集所述目标物体的2D图像；

所述光谱仪2，用于接收目标物体反射光，并生成所述目标物体反射光的光谱信息；

所述处理器模块105，用于根据所述目标物体表面的深度图像以及2D图像生成所述目标物体的3D图像，进而根据所述光谱信息对所述3D图像进行色彩处理。

在本发明实施例中，所述色彩处理的具体过程可以为根据所述光谱信息确定色温，根据所述色温进行所述3D图像进行处理，如提高或降低所述3D图像的色温使得所述3D图像更加逼真；还可以根据所述光谱信息各个波段光的分布，准确度进行数字滤光，如红光较多时，可以降低红光的比例。

所述光谱仪2设置在所述3D摄像头1的一端或一侧面上；

所述光谱仪2的入光口与所述第一成像模块103、所述第二成像模块102的入光口朝向相同。

在本发明实施例中，所述光谱仪2设置在所述3D摄像头1的下端，且所述光谱仪2和所述3D摄像头1呈一体结构。所述光谱仪2可以采用主动式光谱仪，如所述光谱仪具有一光投射器，向目标物体投射光束后接收目标物体反射回的光生成光谱信息，也可以采用被动式光谱仪，接收环境光照射到所述目标物体后反射回的光生成光谱信息。

所述目标物体反射光包括所述目标物体对环境光的反射和/或所述目标物体对所述光投射器101的投射光的反射。

在本发明一实施例中，所述光投射器101采用离散光束投射器，用于向目标物体投射多束离散准直光束；

所述第一成像模块103，用于接收所述目标物体反射的所述散准直光束，并根据多束所述散准直光束形成的光斑图案获得所述目标物体表面的所述深度图像。

所述第一成像模块103采用红外摄像头，当光投射器101会将边缘发射激光器发射的激光分成多束所述离散准直光束，多束所述离散准直光束照射在目标物体上时，会形成一光斑图像，当多束所述离散准直光束照射到目标物体表面上时，光斑图案会有形变或位移，第一成像模块103采集得到目标物体表面的光斑图案后，会根据光斑图案的形变或位移，得到目标物体表面的深度图像，即得到目标物体表面的凹凸不平的深度信息。

在本发明一实施例中，所述离散光束投射器包括设置在一光路上的边缘发射激光器和光束投射器；

所述边缘发射激光器，用于向所述光束投射器投射激光；

所述光束投射器，用于将入射的所述激光投射出多束所述离散准直光束。

所述多束离散准直光束的数量在两束和几万束之间，如2束至10万束。

在本发明一实施例中，所述离散光束投射器包括设置在一光路上的激光器阵列、准直镜头和分束器件；

所述激光器阵列，用于向所述准直镜头投射第一数量级的激光；

所述准直镜头，用于将入射的所述多束激光准直后出射第一数量级的准直光束；

所述分束器件，用于将入射的第一数量级的准直光束分束后出射第二数量级的准直光束；

所述第二数量级大于所述第一数量级。

在本发明一实施例中，所述第二数量级是所述第一数量级的一至两倍。

在本发明实施例中，所述激光器阵列可以采用多个垂直腔面发射激光器(Vertical Cavity Surface Emitting Laser，VCSEL)或者多个边发光激光器(EdgeEmitting Laser，EEL)组成。多束激光经过准直镜头后可以成为高度平行的准直光束。根据实际应用中可以根据离散光束数量的需求，可以采用分束器件实现更多的准直光束。所述分束器件可以采用衍射光栅(DOE)和空间光调制器(SLM)等。

在本发明实施例中，所述光投射器101采用面光源投射器，用于向所述目标物体投射泛光；所述面光源投射器采用LED光源。在变形例中，还可以采用其他光源，如红外光源。

所述第一成像模块，用于接收所述目标物体反射后的泛光，并根据所述泛光的传播时间获得所述目标物体表面的深度图像。

在本发明一实施例中，所述面光源投射器投射的泛光经过目标物体反射，部分反射后被第一成像模块103接收，第一成像模块103中的每个光探测器都能够获得对应光束的从发射到接收的飞行时间t，从而通过光速c来获得准直光束的飞行距离s＝ct，从而能够测量出目标物体表面位置的深度信息。这些位置的深度数据点构建了可以复现物体3D形态的点云数据，从而实现对于目标物体的3D成像。

在本发明实施例中，所述3D摄像头1包括与所述光投射器101和所述第二成像模块102相连的驱动电路104；

所述驱动电路104用于控制所述光投射器101和所述第二成像模块102同时开启或关闭，并能够通过控制所述光投射器101的驱动电流控制所述光投射器101的输出光功率。

所述驱动电路104可以是独立的专用电路，比如专用SOC芯片、FPGA芯片、ASIC芯片等等，也可以包含通用处理器，比如当该深度相机被集成到如手机、电视、电脑等智能终端中去，终端中的处理器可以作为该处理电路的至少一部分。

在本发明变形例中，还可以将所述光谱仪2设置在所述3D摄像头1的内侧，如图2所示，图2为本发明第一变形例中4D摄像装置的结构示意图，本领域技术人员可以将该第一变形例为理解为图1所示实施例的一个变化例，所述第一成像模块103包括第一滤光片1031和第一图像传感器1032；

所述光谱仪2包括色散元件201，所述色散元件201，用于对所述反射光进行色散分光以在所述第一图像传感器上形成波长依次排列的色散条纹；

所述色散元件201设置在所述第一滤光片1031的入光侧面上。

所述色散元件201采用如下任一种光学器件；

-平面衍射光栅；

-棱镜；

-光波导器件。

图3为本发明变形例中光谱仪的工作原理图，如图3所示，入射光经过所述色散元件201后被色散分光形成波长依次排列的色散条纹，所述图像传感器1032的部分区域探测到所述色散条纹，然后处理器模块105根据所述图像传感器1032的部分区域探测到的光信号绘制出光谱曲线。

图4为本发明第二变形例中4D摄像装置的结构示意图；本领域技术人员可以将该第二变形例理解为图2所示实施例的一个变化例，如图4所示，所述第一成像模块103包括第一滤光片1031和第一图像传感器1032；

所述光谱仪2包括色散元件201，所述色散元件201，用于对所述反射光进行色散分光以在所述第一图像传感器上形成波长依次排列的色散条纹；

所述色散元件201设置在所述第一滤光片1031的出光侧面上。

图5为本发明第三变形例中4D摄像装置的结构示意图，本领域技术人员可以将该第三变形例理解为图2所示实施例的一个变化例，如图5所示，所述第一成像模块103包括第一滤光片1031和第一图像传感器1032；

所述光谱仪2包括色散元件201，所述色散元件201，用于对所述反射光进行色散分光以在所述第一图像传感器上形成波长依次排列的色散条纹；

所述色散元件201设置在所述第一图像传感器1032的光敏感表面上。

图6为本发明第四变形例中4D摄像装置的结构示意图；本领域技术人员可以将该第四变形例理解为图2所示实施例的一个变化例，如图6所示，所述第二成像模块102包括第二滤光片301和第二图像传感器302；

所述光谱仪2包括色散元件201，所述色散元件201，用于对所述目标物体反射光进行色散分光以在所述第二图像传感器上形成波长依次排列的色散条纹；

所述色散元件201设置在所述第二滤光片301的入光侧面上。

在本发明第四变形例中，所述第二成像模块102采用RGB摄像头。

图7为本发明第五变形例中4D摄像装置的结构示意图；本领域技术人员可以将该第四变形例理解为图2所示实施例的一个变化例，如图7所示，所述第二成像模块102包括第二滤光片301和第二图像传感器302；

所述光谱仪2包括色散元件201，所述色散元件201，用于对所述目标物体反射光进行色散分光以在所述第二图像传感器上形成波长依次排列的色散条纹；

所述色散元件201设置在所述第二滤光片301的出光侧面上。

在本发明第五变形例中，所述第二成像模块102采用RGB摄像头。

图8为本发明第六变形例中4D摄像装置的结构示意图；本领域技术人员可以将该第四变形例理解为图8所示实施例的一个变化例，如图6所示，所述第二成像模块102包括第二滤光片301和第二图像传感器302；

所述光谱仪2包括色散元件201，所述色散元件201，用于对所述目标物体反射光进行色散分光以在所述第二图像传感器上形成波长依次排列的色散条纹；

所述色散元件201设置在所述第二图像传感器302的光敏感表面上。

在本发明第六变形例中，所述第二成像模块102采用RGB摄像头。

图9为本发明实施例中图像传感器的结构示意图，如图9所示，所述第一图像传感器1032设置有色散探测器1033；所述色散探测器1033，用于所述色散条纹探测。所述色散探测器1033可以为所述第一图像传感器1032的一部分，也可以为单独的探测器，所述单独的探测器设置在所述第一图像传感器1032的入光侧面上。在本发明实施例中，所述第一图像传感器1032采用接触式图像传感器，也可以采用CDD或CMOS图像传感器。所述第二图像传感器302与所述第一图像传感器1032具有相同的结构。

当使用本发明提供的4D摄像装置时，可以将所述光谱仪和所述3D摄像头一起使用，从而你能够根据所述光谱仪获取的光谱信息对所述3D摄像头采集的3D图像进行色彩处理，使得所述3D图像的色彩更为真实；本发明中不仅可以进行光谱仪和3D摄像头的结合运用，还可以单独调用光谱仪和3D摄像头，如单独调用光谱仪进行食品安全监测、水果成分的检测、牛奶中的各成分含量，健身饮料中蛋白质含量甚至人体的脂肪含量等。本发明通过将色散元件设置在滤光片的入光侧面上、出光侧面上或图像传感器的光敏感表面上，实现光谱仪和3D摄像头的集成，降低了本发明的集成成本。

在本发明实施例中，本发明提供的电子设备，包括所述的4D摄像装置。即能够将所述4D摄像装置到电子设备上，所述电子设备可以为手机、平板电脑和数码相机等。

在本发明实施例中，本发明通过将光谱仪和3D摄像头集成在一起，能够通过光谱仪获取到所述目标物体反射光的光谱信息，进而根据所述光谱信息对所述3D图像进行色彩处理，使得所述3D图像的色彩更为真实；此外本发明还可以将集成后的光谱仪和3D摄像头装载到电子设备上，使得用户能够便捷的对光谱仪和3D摄像头进行调用，扩大了电子设备的应用场景。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。