一种结构光数据与TOF数据深度融合的深度相机

技术领域

本发明涉及图像数据处理领域，具体地，涉及一种结构光数据与TOF数据深度融合的深度相机。

背景技术

随着“懒人经济”的发展，家用扫地机的市场规模越来越大，其智能程度也一直在提高，自动导航、自动避障，自动清洁，这些功能越来越常见。其中自动避障功能主要依赖3D视觉传感器，主流的如线结构光传感器、双目立体相机、ToF相机、单目散斑结构光深度传感器。

这些传感器各有优缺点，线结构光可以完整的重建出激光亮条纹处的场景深度，但其深度视场小；双目立体相机在弱纹理处容易匹配失败导致深度重建失败，且计算量大；ToF相机会有多径效应，导致墙角等场景容易深度失真，影响测距结果，且飞点较多，干扰障碍物分割；单目散斑结构光在细小障碍物处容易深度缺失。

为了能够使得扫地机避障效果能够尽可能的满足家庭各种常见场景，提高用户的使用体验，需要解决上述单一视觉传感器带来的各种弊端，为此，我们发明了一种深度融合算法，能够很好的将单目散斑结构光深度数据与ToF深度数据进行融合，发挥各自的长处，规避各自的缺点。

发明内容

为此，本发明将结构光技术与TOF技术结合使用，获取同一场景的两种深度数据，通过对点云数据的处理，获得高精度、完整、准确的深度数据，使得三维重建效果更好。

第一方面，本发明提供一种结构光数据与TOF数据深度融合的深度相机，其特征在于，包括：

激光投射器，用于向目标物体周期性投射激光光束；其中，所述激光光束具有结构光图案；

光束接收器，用于接收经所述目标物体反射的所述激光光束；

处理器，用于根据所述激光光束发射信号与接收信号的相位差获得TOF深度数据，根据所述结构光图案的形变获得结构光深度数据，并分别对所述TOF深度数据和所述结构光深度数据重建得到TOF3D点云和结构光3D点云，再根据所述结构光3D点云对所述TOF3D点云进行校正,将所述结构光深度数据与所述TOF深度数据融合得到高精度深度数据。

可选地，所述的一种结构光数据与TOF数据深度融合的深度相机，其特征在于，所述处理器包括：

获取模块，用于获取同一场景的结构光深度数据和TOF深度数据，并分别生成结构光3D点云和TOF3D点云；

结构光模块，用于在所述结构光3D点云中识别出平面，并进行平面拟合；

TOF模块，用于在所述TOF3D点云中识别出地面附近部分与地面附近以上部分，并依据所述地面附近部分表面的法向量信息，分割出障碍物；其中，所述地面附近部分是指距离地面在第一阈值内的点云部分；

校正模块，用于利用所述结构光深度数据校正所述TOF深度数据中所述障碍物的深度值；

融合模块，用于融合所述结构光深度数据与校正后的所述TOF深度数据，得到高精度深度数据。

可选地，所述的一种结构光数据与TOF数据深度融合的深度相机，其特征在于，所述结构光模块包括：

中心点单元，用于在所述结构光3D点云中识别出地面，并识别出相邻地面的分割线；

分割单元，用于根据所述分割线将所述地面划分为第一部分和第二部分；

拟合单元，用于对所述第一部分和所述第二部分分别进行平面拟合。

可选地，所述的一种结构光数据与TOF数据深度融合的深度相机，其特征在于，所述结构光模块包括：

继承单元，用于获取前一图像中分割线位置；

微调单元，用于在当前图像上，根据所述分割线位置向外扩展得到扩展区域，并在所述扩展区域内通过法向量方向确定当前图像分割线位置；

分割单元，用于根据所述分割线将所述地面划分为第一部分和第二部分；

拟合单元，用于对所述第一部分和所述第二部分分别进行平面拟合。

可选地，所述的一种结构光数据与TOF数据深度融合的深度相机，其特征在于，所述TOF模块包括：

对齐单元，用于将所述结构光深度数据与所述TOF深度数据对齐；

第一标记单元，用于在所述TOF3D点云中将距离所述平面的距离不大于所述第一阈值的像素点标记为地面附近部分，并将距离所述平面的距离大于所述第一阈值的像素点标记为地面附近以上部分；

法向量单元，用于计算所述地面附近部分中的每个像素点的法向量，并计算其与地面法向量的夹角a；

第二标记单元，用于当夹角a大于第二阈值时，将该像素点标记为第一像素；

第三标记单元，用于当相邻的所述第一像素的数量大于第三阈值时，将所述第一像素所属的物体标记为障碍物。

可选地，所述的一种结构光数据与TOF数据深度融合的深度相机，其特征在于，所述校正模块包括：

对齐单元，用于将所述结构光深度数据和所述TOF深度数据对齐；

第一校正单元，用于所述结构光深度数据，对所述障碍物的对应的所述TOF深度数据进行校正；

第二校正单元，用于根据校正过的所述TOF深度数据，对未校正的所述TOF深度数据进行校正。

可选地，所述的一种结构光数据与TOF数据深度融合的深度相机，其特征在于，所述激光投射器与所述光束接收器的数量比为1：1。

可选地，所述的一种结构光数据与TOF数据深度融合的深度相机，其特征在于，所述激光投射器与所述光束接收器的数量比为1：2。

第二方面，本发明提供一种机器人，其特征在于，包含上述任一项所述的一种长距离测量深度相机。

第三方面，本发明提供一种车辆，其特征在于，包含上述任一项所述的一种长距离测量深度相机。

与现有技术相比，本发明具有如下的有益效果：

本发明同时采用结构光技术和TOF技术，利用了两种技术各自的特点，互相取长补短，使得最终的深度数据质量优于单一技术的质量，可以获得更准确、全面的三维重建效果，从而使得避障、导航等应用更加准确。

本发明通过将3D点云划分为地面附近部分和地面附近以上部分，可以更好地对障碍物进行辨别，尤其对于小体积、小高度的障碍物具有较好的识别效果，从而使得对目标的判断更加准确，从而使得如扫地机器人等设备对于目标对象的判断更加准确。

本发明利用结构光技术与TOF技术结合，使得三维重建中存在的噪点、不连续等问题得到非常好的解决，提升了数据的连续性与一致性，从而使得数据与真实场景更加一致，可以用于更加精确的探测、检测业务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例中一种结构光深度数据和TOF深度数据对比示意图；

图2为本发明实施例中一种结构光数据与TOF数据深度融合的深度相机的结构示意图；

图3为本发明实施例中一种处理器结构示意图；

图4为本发明实施例中一种结构光模块结构示意图；

图5为本发明实施例中另一种结构光模块结构示意图；

图6为本发明实施例中一种TOF模块结构示意图；

图7为本发明实施例中一种校正模块结构示意图；

图8为本发明实施例中一种机器人结构示意图；

图9为本发明实施例中一种车辆结构示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

本发明实施例提供的一种结构光数据与TOF数据深度融合的深度相机，旨在解决现有技术中存在的问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图1为本发明实施例中一种结构光深度数据和TOF深度数据对比示意图。本实施例采用扫地机器人的单目散斑结构光深度数据和TOF深度数据对比说明。单目散斑结构光更加适合在扫地机器人等小体积设备中应用，但其在细小障碍物处的数据容易缺失。而TOF技术在采用泛光照射时，获得的数据是全面的，因此三维重建时可以获得完整目标区域的深度数据，但是会存在多径干扰等因素，导致其部分数据失真。

如图1所示，在结构光深度数据中，距离相机较近的位置，接收到的数据密度更高，而距离相机越远的位置，接收到的数据的密度越低，在图中表现为近距离的点云数据多，而远距离的点云密度低。在TOF深度数据中，数据相对更加均匀，但是噪点较多，同时，相比于结构光深度数据，发现其地面的深度数据则表现为“异常”，即部分目标对象位于地面以下，这主要是由于多径干扰导致的。

本发明结合结构光技术与ToF技术各自的优点，并对TOF的测量结果进行校正，使得最终的深度数据更加准确，可靠。

图2为本发明实施例中一种结构光数据与TOF数据深度融合的深度相机的结构示意图。如图2所示，本实施例提供的一种结构光数据与TOF数据深度融合的深度相机包括：

激光投射器1，用于向目标物体周期性投射激光光束；其中，所述激光光束具有结构光图案；

光束接收器2，用于接收经所述目标物体反射的所述激光光束；

处理器3，用于根据所述激光光束发射信号与接收信号的相位差获得TOF深度数据，根据所述结构光图案的形变获得结构光深度数据，并分别对所述TOF深度数据和所述结构光深度数据重建得到TOF3D点云和结构光3D点云，再根据所述结构光3D点云对所述TOF3D点云进行校正,将所述结构光深度数据与所述TOF深度数据融合得到高精度深度数据。

具体地说，激光投射器1采用激光阵列投射器发出激光，并采用准直镜头对光束进行准直，再通过DOE形成结构光图案。激光投射器1既可以采用边激光发射器，也可以采用垂直腔表面发射激光器(VCSEL)，或其他任何激光发射器。所述激光光束具有结构光图案。所述多束激光光束为周期性投射。所述结构光图案为可以用于结构光技术的各种图案，如固定光斑、随机光斑等。多束激光光束为激光，在近距离和远距离内都能够接收到较好的返回信号。多束激光光束可以保持在传输过程中的准直状态，在较远的距离处依然保持着一定的图案，因此可以保证精度。

光束接收器2可以是一个接收器，也可以有两个或更多个接收器构成。激光投射器1与光束接收器2的数量比可以为1：1,也可以为1：2或2：1等其他比例。当激光投射器1与光束接收器2的数量比不了1：1时，可以根据多个激光投射器1与多个光束接收器2相互配合使用状态进行调整。

处理器3通过对信号的处理获得TOF深度数据和结构光深度数据。处理器3通过激光光束的信号相位差获得TOF深度数据，根据结构光图案的形变获得结构光深度数据。

当接收到返回信号后，利用iToF技术获得TOF深度数据，即通过在不同时间窗口采集到能量值的比例关系，解析出信号相位，间接测量发射信号和接收信号的时间差，进而得到TOF深度数据。TOF深度数据是依靠iToF技术获得的深度数据，其数据与现有技术中iToF的测量效果相同。当接收到返回信号后，利用结构光技术获得结构光深度数据，即通过结构光图案的形变获得结构光深度数据。结构光深度数据是依靠结构光技术获得的深度数据，其数据与现有技术中结构光技术的测量效果相同。结构光深度数据具有较高的精度，虽然其数据并不是连续的，但可用于校正TOF深度数据。

处理器3对于对光束接收器2的数据进行处理，并且输出高精度深度数据。处理器3分别对所述TOF深度数据和所述结构光深度数据重建得到TOF3D点云和结构光3D点云，再根据所述结构光3D点云对所述TOF3D点云进行校正,将所述结构光深度数据与所述TOF深度数据融合得到高精度深度数据。

本实施例结构简单，通过发射多束激光光束，将iToF技术和结构光技术集成，在一次投射同时获取两种深度数据，从而使得本实施例集合了iToF和结构光技术的优点，在较近距离和较远距离可以选择相应的深度数据，从而使本实施例具有较广的应用。进一步地，本实施例在更远的距离内通过结构光技术获得的结构光深度数据对iToF技术获得的TOF深度数据进行校正，解决了相位卷绕问题，从而使得本实施例可以在更远的范围内获得精确的测量结果，提升了测量距离，并且可以减小不同像素间的干扰。

图3为本发明实施例中一种处理器结构示意图。如图3所示，本发明实施例中处理器包括：

获取模块100，用于获取同一场景的结构光深度数据和TOF深度数据，并分别生成结构光3D点云和TOF3D点云。

具体地说，同一场景的结构光深度数据和TOF深度数据通常拍摄视角不超过10度，方便后期的对齐等各种操作。当然，对齐操作既可以在本模块中进行，也可以在后续任何一个模块中进行，对此，本实施例不做限制。通过结构光深度数据重建得到结构光3D点云，通过TOF深度数据重建得到TOF3D点云。3D点云是对三维空间的再现，其依赖于数据的准确性。越准确的深度数据重建后的三维空间越准确。在对深度数据进行校准时，通常对其设备进行校准，但无法克服技术特点带来的偏差。而本实施例可以利用3D点云中的数据可以交叉验证，以获得高精度的深度数据。本实施例中的TOF既可以是iToF，又可以是dToF。

结构光模块200，用于在所述结构光3D点云中识别出平面，并进行平面拟合。

具体地说，单目散斑结构光精度高，但在细小障碍物处的深度容易缺失，因此是最适合本实施例的结构光技术。但本实施例也可以应用于其他结构光技术。在3D点云中，由于地面是固定不变的，因此可以成为校正的重要参考。本实施例在三维空间中将数据划分为地面数据及障碍物数据。地面数据是获取到的地面的数据，表现为连续的一个平面，因此可以对地面进行拟合。这里的平面是指地面所在的平面，而非相机视角的平面。这是因为相机的视角通常与地面存在一定的角度偏差。同时，以地面为平面也克服了实现拍摄过程中存在的各种扰动因素导致的数据不一致问题，使得三维重建后的地面数据具有更好的一致性。

结构光模块200可以通过对地地面的平面拟合从而可以实现数据的校正，尤其是在地面数据占比较高的场景，比如扫地机器人等各类低速运动机器人。

TOF模块300，用于在所述TOF3D点云中识别出地面附近部分与地面附近以上部分，并依据所述地面附近部分表面的法向量信息，分割出障碍物。

具体地说，所述地面附近部分是指距离地面在第一阈值内的点云部分，区别于在结构光3D点云中将三维数据区分为地面和障碍物，将TOF3D点云中将三维数据区分为地面附近部分与地面附近以上部分。由于TOF技术的特点，其获取的地面的数据精度不高，因此地面附近部分均需要利用结构光数据进行校正。第一阈值通常是固定的值，但可以根据不同的TOF技术及应用场景进行调整。

地面的法向量是垂直地面向上的，而障碍物的法向量与地面的法向量夹角通常较大，甚至可以是90度或其他角度。因此，可以以所述地面附近部分表面的法向量信息，识别出障碍物。当法向量与地面的夹角小于一定的角度时，判定其是障碍物。

校正模块400，用于利用所述结构光深度数据校正所述TOF深度数据中所述障碍物的深度值。

具体地说，由于结构光深度数据在地面以上部分比TOF深度数据更加准确，所以可以用结构光的深度数据对TOF中的障碍物的深度数据进行校正。结构光深度数据与TOF深度数据是已经对齐的。由于TOF多径效应的存在，其在墙角等交界处容易失真，而这些失真对于细小障碍物的影响非常大，因此必须通过结构光深度数据对其进行校正。校正模块400校正的深度值既包括细小障碍物，又包括较大障碍物。

融合模块500，用于融合所述结构光深度数据与校正后的所述TOF深度数据，得到高精度深度数据。

具体地说，校正后的TOF深度数据具有较高的精度并且是连续的，而结构光深度数据具有更好的精度。融合模块500将所结构光深度数据与校正后的所述TOF深度数据进行融合，从而得到集结构光技术与TOF技术优点的高精度深度数据。在对结构光深度数据与校正后的所述TOF深度数据融合时，可以根据具体技术特点及应用场景选择合适的融合方法。

比如，将所述结构光深度数据中的地面数据与校正后的所述TOF深度数据中的障碍物数据结合，生成高精度深度数据。对于地面采用结构光的深度数据，而对于障碍物则采用校正后的TOF深度数据，从而得到高精度深度数据。由于TOF数据中存在的多径干扰待，使得其地面数据与结构光深度数据中的地面数据不同，因而与地面相邻的障碍物的数据也存在误差。在进行校正与融合时，需要将TOF深度数据中无法确认、飞点等异常数据进行处理。对于飞点可以认为是噪声直接删除。对于TOF深度数据中的障碍物低于结构光3D点云中的地面的部分，则将该部分同样删除，并将相应部分进行重新校正处理。

比如，将所述结构光深度数据中的地面数据与所述TOF深度数据中的地面数据根据距离给予不同的权重生成最终地面数据，再与校正后的所述TOF深度数据中的障碍物数据结合，生成高精度深度数据。权重值在【0,1】内取值，并且0和1均为可取值。由于结构光技术与TOF技术的使用范围不完全重叠，因此可以在不同的距离内采用不同的值。权重值随距离的变化不是线性的。

比如，根据距离障碍物的距离，对所述结构光深度数据与所述TOF深度数据分别赋予不同的权重值，从而生成最终地面数据，再与校正后的所述TOF深度数据中的障碍物数据结合，生成高精度深度数据。在障碍物附近赋予结构光深度数据中的地面数据较高的权重值，而在距离障碍物较远处赋予TOF深度数据较高的权重值。权重值在【0,1】内取值，并且0和1均为可取值。权重值随距离的变化不是线性的。

本实施例通过将深度数据进行三维重建，并在三维空间内进行校准，使得数据之间关联性强的数据得到很好的印证与关联，并结合结构光技术与TOF技术特点，取长补短，获得更加准确的点云数据和深度数据，克服了单一技术的缺陷，使得数据校正效果更好，得到高精度的深度数据。

图4为本发明实施例中一种结构光模块结构示意图。如图4所示，本发明实施例中结构光模块包括：

中心点单元210，用于在所述结构光3D点云中识别出地面，并识别出相邻地面的分割线。

具体地说，在结构光3D点云建立XYZ坐标系，并根据法向量与Z轴平角识别出地面。地面通常是连续的区域，故可以取该区域内像素法向量的均值作为该区域的法向量。当区域的选取不超过地面总面积的1/10。相邻区域法向量不同表示地面的方向不同。法向量方向变化的地方就是分割线所在的方，即通过法向量的角度变化可以识别出相邻地面的分割线。

分割单元220，用于根据所述分割线将所述地面划分为第一部分和第二部分。

具体地说，第一部分是距离拍摄位较近的部分。第二部分是距离拍摄位较远的部分。比如采用深度相机拍摄时，第一部分就是距离相机最近的地部，而较远的部分为第二部分。第二部分可以包含一个平面，也可以包含两个或更多个平面。比如，当地面包含三个不同坡度时，拍摄位所处的平面为第一部分，另外两个平面为第二部分。

拟合单元230，用于对所述第一部分和所述第二部分分别进行平面拟合。

具体地说，对第一部分进行平面拟合。如果第二部分仅有一个平面，则对其进行平面拟合。如果第二部分有两个或更多个平面，则对每个平面进行拟合。

本实施例将地面划分为不同的部分并分别进行拟合，从而使得对于地面的平面拟合效果更好，从而使得后续的导航、路径规划、障碍物识别等动作更加准确，使得本发明可适用于更多的应用场景。

图5为本发明实施例中另一种结构光模块结构示意图。不同于上一实施例，如图5所示，本发明实施例中结构光模块包括：

继承单元240，用于获取前一图像中分割线位置。

具体地说，获取前一图像中所有的分割线位置。如果前一图像中仅有一个分割线，则获取一个分割线；如果前一图像有两个分割线，则获取两个分割线。

微调单元250，用于在当前图像上，根据所述分割线位置向外扩展得到扩展区域，并在所述扩展区域内通过法向量方向确定当前图像分割线位置。

具体地说，所述扩展区域的范围是根据视角变化速度而定的。比如在扫地机器人上拍摄时，根据扫地机器人移动的速度可以选用不同的范围，当速度大时，范围也大，当速度小时，范围也小。通过所述分割线位置可以大体上定位当前图像中分割线的位置，再采取与上一实施例中识别分割线相同的方法，即通过法向量方向确定当前图像中分割线的位置。

分割单元220，用于根据所述分割线将所述地面划分为第一部分和第二部分；

拟合单元230，用于对所述第一部分和所述第二部分分别进行平面拟合。

本实施例利用前一图像的识别结果，大幅减少数据处理量，并且依然可以精准地获得分割线的信息，从而使得连续拍摄中可以实时获取信息，提升了数据处理能力与及时响应能力。

图6为本发明实施例中一种TOF模块结构示意图。如图6所示，本发明实施例中一种TOF模块包括：

对齐单元310，用于将所述结构光深度数据与所述TOF深度数据对齐。

具体地说，结构光深度数据与TOF深度数据对齐是后续操作的基础。如果在前述模块中已经对齐，则本单元可以不配置。

第一标记单元320，用于在所述TOF3D点云中将距离所述平面的距离不大于所述第一阈值的像素点标记为地面附近部分，并将距离所述平面的距离大于所述第一阈值的像素点标记为地面附近以上部分。

具体地说，对TOF3D点云中的数据根据距离平面的距离分别进行标记。其中地面附近部分的数据需要根据结构光深度数据进行校正，并识别障碍物，而地面附近以上部分数据则无需再进行校正。

法向量单元330，用于计算所述地面附近部分中的每个像素点的法向量，并计算其与地面法向量的夹角a。

具体地说，以像素点为单位计算法向量。这里的地面是指与所述像素点最接近的地面区域，故可取该地面区域的像素点法向量均值作为地面法向量。需要说明的是，所述区域不是所有地面像素的集合，而是所有地面像素中的部分。

第二标记单元340，用于当夹角a大于第二阈值时，将该像素点标记为第一像素。

具体地说，当夹角a大于第二阈值时，可知其与地面的角度较大，可能是障碍物的一部分。第二阈值的取值可以根据不同的应用场景选择。比如，装有磁砖的地面较为光滑，夹角a可以较小，以提高对于细小障碍物的识别能力。破旧路面较为粗糙，夹角a可以较大，以提高识别的稳定性。通常，夹角a可以是15、20、25、30、35、40度或其他的角度。

第三标记单元350，用于当相邻的所述第一像素的数量大于第三阈值时，将所述第一像素所属的物体标记为障碍物。

具体地说，单个像素点可能为飞点。数量过少的相邻像素点可能是地面不平整导致的，因此需要设置第三阈值，以过滤掉上述两种情况。在识别第一像素时，还需要同时对于物体进行识别，获得可能为同一物体的部分，比如根据像素法向量的突变进行判断。

本实施例根据法向量信息识别出障碍物，能够识别细小障碍物，同时又过滤掉飞点及表面缺陷的影响，取得识别度与稳定性的平衡，可以在各种应用场所中取得较好的识别效果。

图7为本发明实施例中一种校正模块结构示意图。如图7所示，本发明实施例中一种校正模块包括：

对齐单元310，用于将所述结构光深度数据和所述TOF深度数据对齐。

具体地说，结构光深度数据与TOF深度数据对齐是后续操作的基础。如果在前述模块中已经对齐，则本单元可以不配置。

第一校正单元420，用于所述结构光深度数据，对所述障碍物的对应的所述TOF深度数据进行校正。

具体地说，由于结构光深度数据精度更高，所以利用结构光深度数据对对应的TOF深度数据进行校正，以使得TOF数据更加准确。由于结构光采用光斑等技术，其获得的精确数据并不是连续的，因此只能对TOF深度数据中的部分数据进行校正。第一校正单元420运行完成后，还需要运行第二校正单元430。

第二校正单元430，用于根据校正过的所述TOF深度数据，对未校正的所述TOF深度数据进行校正。

具体地说，在3D点云中，利用校正后的TOF深度数据对相邻的、未校正的TOF深度数据进行校正。由于校正后的TOF深度数据是相互独立的，并且之间存在着未校正的数据，因而存在着数据突变等情况。利用算法可以对未校正的TOF深度数据拉回，比如线性回归、局部加权回归等算法。

本实施例通过结构光深度数据对TOF深度数据进行校正，并在TOF深度数据中利用校正后的数据对未校正的数据进行回归，从而使得TOF深度数据更加准确全面，从而可以获得高精度深度数据。

图8为本发明实施例中一种机器人结构示意图。图8以一种消防机器人示意进行说明，本领域技术人员可以理解的是，本实施例依然适用于其他各类机器人，如人形机器人、送餐机器人、交通指挥机器人、无人机等各类其他机器人。

如图8所示，机器人包括本体600和深度相机。深度相机包括第一接收器601、投射器602和第二接收器603。第一接收器601、投射器602和第二接收器603相邻布置于机器人前方侧面，并且投射器602位于第一接收器601与第二接收器603中央位置处，以使得第一接收器601与第二接收器603接收到的信号具有对称性，对于后期处理更加方便。由于机器人的工作环境复杂，深度相机设置在保护罩内，从而可以起到防护作用。保护罩一方面使得深度相机免受外力损伤，另一方面还起到一定的防水作用，使得深度相机免于受到过量水的浸泡。

图9为本发明实施例中一种车辆结构示意图。图9以一种轿车示意进行说明，本领域技术人员可以理解的是，本实施例依然适用于其他各类车辆，如货车、卡车、火车、公交车等各类车辆。

如图9所示，车辆包括车辆本体700和深度相机。深度相机包括第一接收器710、投射器720和第二接收器730。第一接收器710、投射器720和第二接收器730相邻布置于车辆正前方。投射器720位于第一接收器710与第二接收器730中央位置处，并且投射器720位于车辆正中位置，以使得第一接收器710与第二接收器730接收到的信号具有对称性，对于后期处理更加方便。由于车辆的特点，其在行驶中需要识别出远距离的目标，并且在车速较慢时，也需要识别出较近距离的目标，而目前的车辆中搭载的深度相机无法做到如此广度范围内距离的测量。而由于车辆美观及成本考虑，又无法安装数量过多的探头，因此本发明中的方案可以较好地应用于车辆中。当车辆行驶在高速公路等较长距离场景时，可以利用ToF获得更远距离的数据，并且比现有技术中获得更远的测量距离。当车辆行驶在拥堵路段时，可以利用双目系统获得近距离的数据，并且可以获得对方车牌等详细数据，是现有技术中dToF或距离传感器无法达到的技术效果。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。