深度估计方法、装置及机器人

技术领域

本申请涉及人机交互技术领域，更具体的说，是涉及一种深度估计方法、装置及机器人。

背景技术

随着传感器的发展和AI的赋能，越来越多的智能机器人广泛应用于生产、生活中，常见的机器人如清洁机器人、搬运机器人、陪伴类机器人等。

以清洁机器人为例，现有的清洁机器人已经不局限于单纯的清洁功能，其还可以通过设置的传感器来采集周围环境影像，进而实现避障等功能。对于常见的清洁机器人，基本都具备非接触式的避障功能，而为了完成这种功能，需要借助深度传感器来获取前方物体的深度信息。当前主流的清洁机器人一般选择采用基于TOF原理的深度传感器。该类传感器由于原理所致（主动发射出来的光束数量是有限的），所提供的信息（点云）密度会随着距离的变远，而逐渐变得稀疏，导致测量得到的深度信息不全，进而影响后续依赖于深度信息的功能（如避障、检测等）的性能与效果的提升。

发明内容

鉴于上述问题，提出了本申请以便提供一种深度估计方法、装置及机器人，以得到更加全面的深度信息。具体方案如下：

第一方面，提供了一种深度估计方法，应用于机器人，所述机器人本体前面板上设置有第一摄像模块和深度传感器，所述机器人本体上方设置有角度可调节的第二摄像模块，所述方法包括：

获取所述第一摄像模块采集的第一图像，以及获取所述第二摄像模块采集的第二图像；

基于所述第一图像和所述第二图像，计算得到第一深度信息；

获取所述深度传感器采集的第二深度信息，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息。

第二方面，提供了一种深度估计装置，应用于机器人，所述机器人本体前面板上设置有第一摄像模块和深度传感器，所述机器人本体上方设置有角度可调节的第二摄像模块，装置包括：

图像获取单元，用于获取所述第一摄像模块采集的第一图像，以及获取所述第二摄像模块采集的第二图像；

第一深度信息计算单元，用于基于所述第一图像和所述第二图像，计算得到第一深度信息；

深度信息融合单元，用于获取所述深度传感器所采集的第二深度信息，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息。

第三方面，提供了一种机器人，包括：

机器人本体；

设置在所述机器人本体前面板上的第一摄像模块和深度传感器，设置在所述机器人本体上方的第二摄像模块，所述第二摄像模块的角度可调节；

处理器，用于获取所述第一摄像模块采集的第一图像，以及获取所述第二摄像模块采集的第二图像，并基于所述第一图像和所述第二图像，计算得到第一深度信息，获取所述深度传感器所采集的第二深度信息，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息。

借由上述技术方案，本申请的深度估计方法应用于机器人，机器人本体前面板上设置有第一摄像模块和深度传感器，机器人本体上方设置有角度可调节的第二摄像模块，本申请获取第一摄像模块采集的第一图像，第二摄像模块采集的第二图像，基于第一图像和第二图像可以采用双目深度估计方法计算得到第一深度信息，并与深度传感器采集的第二深度信息进行融合，得到融合后的深度信息。显然，本申请通过在机器人本体上方额外增设一个角度可调节的第二摄像模块采集第二图像，配合前面板的第一摄像模块所采集的第一图像，可以计算得到第一深度信息，以实现对深度传感器采集的第二深度信息进行补充，提升了深度信息的完整度，可以得到更加密集的点云信息，有助于提升后续依赖于深度信息的相应功能的性能。

除此之外，本申请的机器人通过在本体上方设置角度可调节的第二摄像模块，可以大大提升摄像模块的扫描视野，配合前面板上设置的第一摄像模块可以增加人脸识别、家庭监控时的视野，使得人脸识别、家庭监控等功能的性能与效果更加优异。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请示例的一种机器人侧视图；

图2为本申请示例的一种机器人正视图；

图3为本申请实施例提供的一种深度估计方法流程示意图；

图4示例了第一、第二摄像模块各自视场角的示意图；

图5为本申请实施例提供的一种扫描式深度估计方法流程示意图；

图6示例了一种双目视觉系统的原理图；

图7为本申请实施例提供的一种深度估计装置结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供了一种深度估计方法，应用于机器人，能够实现对机器人所处环境进行深度信息估计，进而有助于提升后续依赖于深度信息的相应功能的性能。

机器人包括但不限于：清洁机器人、搬运机器人、陪伴机器人等。以清洁机器人为例，通过获取深度信息，可以实现诸如建图、避障、检测等功能。

为了弥补现有的机器人仅依靠TOF类深度传感器来获取前方物体的深度信息，TOF类深度传感器所提供的信息（点云）密度会随着距离的变远，而逐渐变得稀疏，导致测量得到的深度信息不全。本申请实施例提供了一种机器人设置方式，在机器人本体100前面板上可以设置第一摄像模块101和深度传感器102。在机器人本体100上方设置有角度（即安装角度，也可以理解为倾角，为了便于表述，下文简称角度）可调节的第二摄像模块103。图1和图2中以清洁机器人为例，对于其它类型的机器人也同样可以适用。

其中，第一摄像模块101和第二摄像模块103可以是RGB摄像头，第一摄像模块101可以是固定设置，第二摄像模块103可以是角度可调节的设置，由于该第二摄像模块103设置在机器人本体上方，其可以设置为仰视摄像头，其视场角可以小于第一摄像模块101的视场角。

深度传感器102可以是TOF类深度传感器，如ITOF深度传感器。除此之外，还可以是结构光、激光深度传感器等其它类型的深度传感器。而为了平衡性能和价格，本申请实施例中可以优选地使用ITOF深度传感器。

基于上述提供的机器人结构，本申请提供了一种深度估计方法，可以应用于机器人的控制器，该控制器可以是设置于机器人本体上，也可以是与机器人通信的其它终端设备、云端、服务器等。接下来，对本申请的深度估计方法进行介绍，结合图3所述，深度估计方法可以包括如下步骤：

步骤S100、获取所述第一摄像模块采集的第一图像，以及获取所述第二摄像模块采集的第二图像。

具体地，第一摄像模块和第二摄像模块的视场角可以不同，二者拍摄的第一图像和第二图像至少包含部分相同视野内的物体，以便于下述步骤中基于第一、第二图像，采用双目深度估计方法计算得到第一深度信息。

步骤S110、基于所述第一图像和所述第二图像，计算得到第一深度信息。

具体地，可以采用双目深度估计方法，通过第一图像和第二图像之间的视场差来进行像素点的深度估计，得到第一深度信息。

步骤S120、获取所述深度传感器采集的第二深度信息，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息。

具体地，深度传感器可以采集得到深度点云图像，作为第二深度信息。考虑到单个深度传感器容易受到环境及算法的影响，导致第二深度信息不全，示例如对于ITOF类深度传感器，其所提供的信息（点云）密度会随着距离的变远，而逐渐变得稀疏，导致测量得到的深度信息不全。本步骤中，将第二深度信息和上一步骤中计算得到的第一深度信息进行融合，得到融合后的深度信息，作为最终的深度信息估计结果。

可以理解的是，本实施例中获取深度传感器采集的第二深度信息的过程，并不局限于图3所示例的执行顺序，其可以在对第一深度信息和第二深度信息进行融合之前的任何时间执行。

本申请实施例提供的深度估计方法应用于机器人，机器人本体前面板上设置有第一摄像模块和深度传感器，机器人本体上方设置有角度可调节的第二摄像模块，本申请获取第一摄像模块采集的第一图像，第二摄像模块采集的第二图像，基于第一图像和第二图像可以采用双目深度估计方法计算得到第一深度信息，并与深度传感器采集的第二深度信息进行融合，得到融合后的深度信息。显然，本申请通过在机器人本体上方额外增设一个角度可调节的第二摄像模块采集第二图像，配合前面板的第一摄像模块所采集的第一图像，可以计算得到第一深度信息，以实现对深度传感器采集的第二深度信息进行补充，提升了深度信息的丰富度，可以得到更加密集的点云信息，有助于提升后续依赖于深度信息的相应功能的性能。

除此之外，本申请的机器人通过在本体上方设置角度可调节的第二摄像模块103，可以大大提升第二摄像模块103的扫描视野，配合前面板上设置的第一摄像模块101可以增加人脸识别、家庭监控时的视野，使得人脸识别、家庭监控等功能的性能与效果更加优异。

基于本申请实施例提供的深度估计方法，在得到融合后的深度信息之后，可以实现依赖于深度信息的其它功能，示例如建图、避障、识别检测等。

对于建图过程，可以基于前述步骤得到的融合后的深度信息，确定机器人所处场所的地图信息，以实现建图功能。

对于避障过程，可以基于前述步骤得到的融合后的深度信息，识别机器人周围的障碍物，并控制机器人行进过程规避该障碍物，以实现避障功能。

对于识别检测过程，可以基于前述步骤得到的融合后的深度信息，识别用户的手势或姿势，并按照所述手势或姿势，控制机器人的行进或工作方式。示例如，识别用户手势所指的目标地面区域，并控制机器人向目标地面区域行进或躲避目标地面区域。

可选的，考虑到在某些暗光环境下，第一、第二摄像模块所采集的图像可能存在不清晰等问题，导致无法基于第一、第二图像计算得到第一深度信息。因此，在步骤S100获取到第一图像和第二图像之后，可以进一步增加对图像的有效性进行检验的过程，如检验第一、第二图像的清晰度等是否满足设定要求，只有在图像满足要求时才执行步骤S110的过程，否则，直接将深度传感器采集的第二深度信息作为最终的深度信息。

基于上述机器人结构设置可知，第二摄像模块103的角度可调节，因此可以控制调整第二摄像模块103的角度，实现扫描式的图像拍摄，得到多个不同角度下的第二图像。

具体地，本申请可以预先设定第二摄像模块的角度调整步长，进而按照设定步长调整第二摄像模块的角度，并在每一次调整角度后，获取第二摄像模块采集的第二图像，从而可以得到多个不同角度下的第二图像。

第二摄像模块存在一个可调角度范围，示例如45°至0°。因此，上述按照设定步长调整第二摄像模块的角度过程，可以是在第二摄像模块的可调角度范围内，按照设定步长调整第二摄像模块的角度。初始启动时，可以首先将第二摄像模块调整至设定角度值，如调整至最大或最小可调角度值，进一步按照设定步长在可调角度范围内逐步调整第二摄像模块的角度。

一种可选的示例，假设第二摄像模块的可调角度范围为45°至0°，则初始时刻可以将第二摄像模块的角度调整至45°，进一步按照设定步长2°，逐次减少第二摄像模块的角度，直至角度调整为0°，完成一遍扫描采集第二图像的过程。结合图4所示：

图4示例的第二摄像模块用C表示，第一摄像模块用B表示。第二摄像模块C的视场角小于第一摄像模块B的视场角。

第二摄像模块C的角度可调节，第一摄像模块B的角度固定，视场角也固定。初始时刻，可以将第二摄像模块C的角度调整到最大值，随后，按照设定调整步长逐步减小第二摄像模块C的角度，直至达到最小角度位置，从而实现了第二摄像模块C的扫描式图像采集的过程。

通过设置角度可调节的第二摄像模块，可以保证能够获取准确的第二摄像模块的角度值，避免摄像头结构松动导致的无法估计第二摄像模块和第一摄像模块间的相对外参变化（外参是描述第一、第二摄像模块的相对位姿的参数，在计算第一深度信息时需要用到该外参）。此外，角度可调节的设计，能够进一步丰富第二摄像模块的使用场景，如增加人脸识别、家庭监控时的视野。

在上述基础上，步骤S110，基于所述第一图像和所述第二图像，计算得到第一深度信息的过程，可以包括：

基于所述第一图像，以及每一次调整角度后获取的所述第二图像，计算得到第一深度信息。

由于第二图像的数量有多个，则计算得到的第一深度信息也可以有多个，上述步骤S120中，可以将各个第一深度信息与第二深度信息进行融合，得到融合后的深度信息。

参照图5，其示例了一种扫描式的深度估计方法流程图，包括如下步骤：

步骤S200、获取第一摄像模块采集的第一图像。

步骤S210、调整第二摄像模块的角度。

具体地，可以在第二摄像模块的可调角度范围内，以扫描的方式，按照设定步长逐步调整角度。其中，一轮扫描过程可以理解为，调整后的角度覆盖了第二摄像模块的所有可调角度范围。

步骤S220、获取第二摄像模块采集的第二图像。

具体地，在每次调整第二摄像模块的角度之后，获取第二摄像模块在当前角度下采集的第二图像。

步骤S230、判断图像是否有效，若有效，执行步骤S240，若无效，执行步骤S270。

具体地，在某些暗光环境下，第一、第二摄像模块所采集的图像可能存在不清晰等问题，导致后续无法计算得到第一深度信息。因此，本步骤中可以对第一图像、第二图像进行有效性判断，若第一图像和第二图像中任意一个图像未通过有效性检测，则可以直接跳转至步骤S270，此时，步骤S270中由于无法获取到第一深度信息，则可以直接将第二深度信息作为融合后的最终深度信息。若第一图像和第二图像通过有效性判断，则可以进入步骤S240。

步骤S240、基于所述第一图像和所述第二图像，计算得到第一深度信息。

步骤S250、判断第二摄像模块是否扫描完毕，若是，执行步骤S270，若否，返回执行步骤S210。

具体地，第二摄像模块存在可调角度范围，前述步骤S210中按照设定步长逐步调整第二摄像模块的角度。本步骤中判断第二摄像模块所有调整后的角度是否覆盖了所有可调角度范围，也即是否完成了一轮扫描过程，若是，则可以进入下一步骤S270进行深度信息融合的过程，否则，可以返回步骤S210继续进行角度的调整。

步骤S260、获取深度传感器采集的第二深度信息。

可以理解的是，步骤S260的执行顺序并非仅限定为图4所示，其可以在步骤S270之前的任意时刻执行。

步骤S270、将第一深度信息和第二深度信息融合，得到融合后的深度信息。

具体地，可以将前述第二摄像模块一轮扫描过程中各次循环计算得到的第一深度信息，和第二深度信息进行融合，得到融合后的深度信息。

一种可选的方式下，可以将一轮扫描过程中各次循环计算得到的第一深度信息先进行融合，得到融合后第一深度信息，再与第二深度信息进行二次融合，得到最终的深度信息。

另一种可选的方式下，在首次计算得到第一深度信息后，可以直接与第二深度信息进行融合，融合结果再与之后各次循环计算得到的第一深度信息依次进行融合，直至与最后一次循环计算得到的第一深度信息进行融合后，得到最终的深度信息。

本申请实施例提供的扫描式深度信息估计方法，通过角度可调节的第二摄像模块来获取不同角度下的第二图像，分别与第一摄像模块采集的第一图像进行计算，得到第一深度信息，进而与深度传感器采集的第二深度信息进行融合，可以提升最终得到的深度信息的信息量，补全深度信息。

在本申请的一些实施例中，进一步对前述实施例中步骤S110，基于所述第一图像和所述第二图像，计算得到第一深度信息的过程进行介绍。

本实施例中可以基于双目视觉估计算法，来利用第一图像和第二图像，计算得到第一深度信息，具体过程可以包括：

S1、通过特征点匹配方式，确定相同的特征点在所述第一图像和所述第二图像上的视差。

S2、根据所述视差、所述第一摄像模块的内外参、采集所述第二图像时所述第二摄像模块的内外参，计算得到所述相同的特征点的第一深度信息。

接下来，结合图6示例的双目视觉系统的原理图，对上述步骤S1-S2的具体计算过程进行说明。

如图6所示：

左右两个相机的投影中心分别为O

则点P在左右相机的视差可以定义为d：

d=∣X

两个成像点P

P

根据相似三角形理论可以得出：

则可以得到点P到基线的距离Z：

由上式可知，在已知同一特征点在两个图像上的视差d、基线长度b和相机焦距f时，可以计算得到特征点的深度信息。

当然，上述图6示例的是理想模型，未考虑两个相机光轴不平行的情况。当两个相机相对姿态变化后，可以基于视差、两个相机的内外参，计算得到特征点的深度信息。该过程可以基于数学三角形原理知识推导得出，本文不再赘述。

在本申请的一些实施例中，对上述步骤S120中，将第一深度信息和第二深度信息融合，得到融合后的深度信息的过程进行说明。

第一深度信息和第二深度信息为通过不同的方式获取的深度信息，鉴于第一深度信息为基于第一图像和第二图像采用双目视觉估计算法计算得出，当在暗光环境下采集的第一图像和第二图像可能会受到影响，导致计算出的第一深度信息存在误差，因此本实施例中可以以第二深度信息为主，以第一深度信息为辅，通过二者融合得到最终的深度信息。

本实施例中介绍了一种融合方式，具体过程如下：

对于第二深度信息中，缺失深度值的空值坐标点：

基于第二深度信息中所述空值坐标点周围坐标点的深度值，以及第一深度信息中所述空值坐标点对应的深度值，确定所述空值坐标点的目标深度值。

进一步地，利用所述空值坐标点的目标深度值补充第二深度信息，得到融合后的深度信息。

也即，对于第二深度信息中存在深度值的坐标点，其融合后的深度信息保持不变，仍使用第二深度信息中的深度值。对于第二深度信息中不存在深度值的空值坐标点（也可以叫空洞），可以使用第二深度信息中空值坐标点周围坐标点的深度值，以及第一深度信息中该空值坐标点对应的深度值，通过加权确定空值坐标点的目标深度值。

对于上述空值坐标点的目标深度值的加权计算过程，可以参考如下步骤：

S1、对于第二深度信息中所述空值坐标点周围设定范围内的每一邻居坐标点，计算所述邻居坐标点的深度值与所述邻居坐标点至所述空值坐标点的距离的比值。

具体地，定义第二深度信息中空值坐标点周围设定范围内的邻居坐标点的数量为N，第i个邻居坐标点的深度值为D

S2、将各所述邻居坐标点对应的比值相加，得到所述空值坐标点的参考深度值

S3、利用第一权值对所述第一深度信息中所述空值坐标点对应的深度值加权，得到第一加权结果，利用第二权值对所述空值坐标点的参考深度值加权，得到第二加权结果，由所述第一加权结果和所述第二加权结果相加得到所述空值坐标点的目标深度值。

具体地，定义第一深度信息中所述空值坐标点对应的深度值表示为

其中，

一般情况下，第一权值

当然，上述实施例仅示例了第一深度信息和第二深度信息的一种可选融合方式，除此之外还可以选择使用其他融合方式，示例如直接将第一深度信息和第二深度信息中相同坐标点的深度信息相加，或者其他融合方式，本实施例不再一一列举。

通过将第一、第二深度信息进行融合，可以得到更加完整的融合后深度信息。

本申请上述各实施例中介绍了机器人的深度估计方法，可以借助机器人本体上方设置的角度可调的第二摄像模块，配合第一摄像模块计算得到第一深度信息，进而与深度传感器采集的第二深度信息进行融合，提升融合后深度信息的完整度。

在此基础上，通过在机器人本体上方设置角度可调的第二摄像模块，可以配合前面板上设置的第一摄像模块，实现更多的功能。

一种可选的场景下，可以借助第二摄像模块的可调角度设置，对机器人上方的人脸进行识别。具体地，在检查到人脸识别指令时，可以调整第二摄像模块的角度以使得第二摄像模块的视场角对准用户头部，并基于第二摄像模块采集的第二图像，进行人脸识别处理。

相比于设置在前面板上角度固定的第一摄像模块，第二摄像模块通过调节其角度，可以采集到机器人上方更大视野内的图像，从而提升人脸识别的准确率。

另一种可选的场景下，对于场所监控这类的任务，可以同时基于第一摄像模块、第二摄像模块采集的图像，来完成场所监控。具体地，在检测到场所监控指令后，将第一摄像模块采集的第一图像，以及第二摄像模块采集的第二图像组合为监控图像集合。

由于第一摄像模块和第二摄像模块的设置位置及视场角均不同，因此二者采集图像的视野也不完全相同，通过汇总第一图像和第二图像作为监控图像集合，可以提升场所监控的视野，使得用户可以看到更多视野内的监控图像。

可以理解的是，本实施例中仅以人脸识别和场所监控两种场景为例进行的说明，对于其它场景，也可以通过选用第一摄像模块和/或第二摄像模块，来更好的适配不同场景任务。

下面对本申请实施例提供的深度估计装置进行描述，下文描述的深度估计装置与上文描述的深度估计方法可相互对应参照。

本实施例的深度估计装置可以应用于机器人，该机器人的结构参照前文介绍。参见图7，图7为本申请实施例公开的一种深度估计装置结构示意图。

如图7所示，该装置可以包括：

图像获取单元11，用于获取所述第一摄像模块采集的第一图像，以及获取所述第二摄像模块采集的第二图像；

第一深度信息计算单元12，用于基于所述第一图像和所述第二图像，计算得到第一深度信息；

深度信息融合单元13，用于获取所述深度传感器所采集的第二深度信息，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息。

可选的，上述图像获取单元获取所述第二摄像模块采集的第二图像的过程，可以包括：

按照设定步长调整所述第二摄像模块的角度，并在每一次调整角度后，获取所述第二摄像模块采集的第二图像，得到多个不同角度下的第二图像。在此基础上，第一深度信息计算单元基于所述第一图像和所述第二图像，计算得到第一深度信息的过程，可以包括：

基于所述第一图像，以及每一次调整角度后获取的所述第二图像，计算得到第一深度信息。

可选的，上述图像获取单元按照设定步长调整所述第二摄像模块的角度的过程，可以包括：

在所述第二摄像模块的可调角度范围内，按照设定步长调整所述第二摄像模块的角度。

可选的，上述第一深度信息计算单元基于所述第一图像和所述第二图像，计算得到第一深度信息的过程，可以包括：

通过特征点匹配方式，确定相同的特征点在所述第一图像和所述第二图像上的视差；

根据所述视差、所述第一摄像模块的内外参、采集所述第二图像时所述第二摄像模块的内外参，计算得到所述相同的特征点的第一深度信息。

可选的，上述深度信息融合单元将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息的过程，可以包括：

对于所述第二深度信息中，缺失深度值的空值坐标点：

基于所述第二深度信息中所述空值坐标点周围坐标点的深度值，以及所述第一深度信息中所述空值坐标点对应的深度值，确定所述空值坐标点的目标深度值；

利用所述空值坐标点的目标深度值补充所述第二深度信息，得到融合后的深度信息。

可选的，上述深度信息融合单元基于所述第二深度信息中所述空值坐标点周围坐标点的深度值，以及所述第一深度信息中所述空值坐标点对应的深度值，确定所述空值坐标点的目标深度值的过程，可以包括：

对于所述第二深度信息中所述空值坐标点周围设定范围内的每一邻居坐标点，计算所述邻居坐标点的深度值与所述邻居坐标点至所述空值坐标点的距离的比值；

将各所述邻居坐标点对应的比值相加，得到所述空值坐标点的参考深度值；

利用第一权值对所述第一深度信息中所述空值坐标点对应的深度值加权，得到第一加权结果，利用第二权值对所述空值坐标点的参考深度值加权，得到第二加权结果，由所述第一加权结果和所述第二加权结果相加得到所述空值坐标点的目标深度值。

可选的，本申请的装置还可以包括：人脸识别单元，用于在检测到人脸识别指令后，调整所述第二摄像模块的角度以使得第二摄像模块的视场角对准用户头部，并基于所述第二摄像模块采集的第二图像，进行人脸识别处理。

可选的，本申请的装置还可以包括：场所监控单元，用于在检测到场所监控指令后，将所述第一摄像模块采集的第一图像，以及所述第二摄像模块采集的第二图像组合为监控图像集合。

本申请的一些实施例中，还提供了一种机器人，其可以是清洁机器人、搬运机器人或陪伴机器人等多种不同类型的智能机器人。

结合图1和图2所示，机器人包括：

机器人本体100；设置在所述机器人本体100前面板上的第一摄像模块101和深度传感器102，设置在所述机器人本体100上方的第二摄像模块103，所述第二摄像模块103的角度可调节；

处理器（图中未示出），用于获取所述第一摄像模块101采集的第一图像，以及获取所述第二摄像模块103采集的第二图像，并基于所述第一图像和所述第二图像，计算得到第一深度信息，获取所述深度传感器102所采集的第二深度信息，将所述第一深度信息和所述第二深度信息融合，得到融合后的深度信息。

本申请实施例提供的机器人，通过在机器人本体上方额外增设一个角度可调节的第二摄像模块采集第二图像，配合前面板的第一摄像模块所采集的第一图像，可以计算得到第一深度信息，以实现对深度传感器采集的第二深度信息进行补充，提升了深度信息的丰富度，可以得到更加密集的点云信息，有助于提升后续依赖于深度信息的相应功能的性能。

其中，处理器的上述处理过程可以参照前文方法部分的介绍，此处不再赘述。

可选的，第一摄像模块101和第二摄像模块103可以是RGB摄像头。

深度传感器102可以是TOF类深度传感器，示例如ITOF深度传感器。

进一步可选的，处理器还用于：在检测到人脸识别指令后，调整所述第二摄像模块的角度以使得第二摄像模块的视场角对准用户头部，并基于所述第二摄像模块采集的第二图像，进行人脸识别处理。

进一步可选的，处理器还用于：在检测到场所监控指令后，将所述第一摄像模块采集的第一图像，以及所述第二摄像模块采集的第二图像组合为监控图像集合。

本申请实施例的机器人通过在本体上方设置角度可调节的第二摄像模块，可以大大提升摄像模块的扫描视野，配合前面板上设置的第一摄像模块可以增加人脸识别、家庭监控时的视野，使得人脸识别、家庭监控等功能的性能与效果更加优异。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。