一种基于主动双目视觉的感知系统及机器人

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种基于主动双目视觉的感知系统及机器人。

背景技术

地面移动机器人的感知系统是其最为核心的构成部分，主要实现自身定位，障碍物深度感知以及环境地图构建，其为地面移动机器人的“眼睛”，因此，地面移动机器人的感知系统是影响其智能程度的关键因素。

目前普遍使用感知系统包括基于单线激光雷达的感知系统和基于单目视觉摄像头的感知系统。在基于单线激光雷达的感知系统中，单线激光雷达主要用来实现地面移动机器人的定位和构建环境地图，而障碍物信息由单线激光雷达和外部传感器共同输出，例如红外接近传感器，单点TOF传感器或者碰撞板等。基于单线激光雷达的感知系统中，单目视觉摄像头主要用来实现地面移动机器人的定位信息，而障碍物信息需要外部传感器输出，例如，红外接近传感器，单点TOF传感器，碰撞板等。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种基于主动双目视觉的感知系统及机器人。

为了解决上述技术问题，本发明实施例第一方面提供了一种基于主动双目视觉的感知系统，所述感知系统包括：

双目摄像组件，用于采集拍摄场景的双目视图；

纹理投射组件，用于发射可被双目摄像组件感测的投射纹理；

惯性测量组件，用于采集装配有该感知系统的设备的状态信息；

微处理器，所述微处理器分别与所述双目摄像组件、纹理投射组件以及所述惯性测量组件通讯连接；所述微处理器用于控制所述纹理投射组件间隔启动，以使得所述双目摄像组件交替采集到第一双目视图和第二双目视图，并基于所述第二双目视图以及所述状态信息，确定所述设备的定位信息，其中，所述第一双目视图包含所述投射纹理，所述第二双目视图未包含所述投射纹理。

所述的基于主动双目视觉的感知系统，其中，所述状态信息包括加速度和角速度；所述微处理基于所述第二双目视图以及所述状态信息，确定所述设备的定位信息具体包括：

基于所述第二双目视图以及预设三维特征点地图，确定所述设备对应第一定位信息；

基于所述状态信息确定所述设备的第二定位信息；

基于所述第一定位信息以及所述第二定位信息，确定所述设备的定位信息。

所述的基于主动双目视觉的感知系统，其中，所述基于所述第二双目视图以及预设三维特征点地图，确定所述第二双目视图相对于所述三维特征图的第一定位信息具体包括：

对于预设三维特征点地图中的每个像素点，确定该像素点在第二双目视图中左视图上的第一图像块和右视图上的第二图像块；

基于获取到的所有第一图像块和所有第二图像块，确定所述设备对应第一定位信息。

所述的基于主动双目视觉的感知系统，其中，所述基于所述状态信息确定所述设备的候选定位信息具体包括：

根据所述状态信息，确定所述设备对应的定位变化信息；

基于所述定位变化信息以及所述状态信息对应的参考定位信息，确定所述候选定位信息，其中，所述参考定位信息为参考第二目标图像对应的定位信息，所述参考第二目标图像按照时间顺序与所述第二目标图像相邻且位于所述第二目标图像之前。

所述的基于主动双目视觉的感知系统，其中，所述微处理器还用于基于所述第一双目视图确定深度图，并基于所述深度图对应的第二双目视图以及所述深度图，确定所述拍摄场景中的对象对应的第三定位信息。

所述的基于主动双目视觉的感知系统，其中，所述微处理器还用于：

获取深度图中各像素点在预设三维特征点地图所在坐标下的目标点；

根据各目标点各自对应的高度信息，将各目标点投影至各自对应的子空间对应的栅格地图，以得到环境地图。

所述的基于主动双目视觉的感知系统，其中，所述感知系统包括：

红外补光组件，用于发送红外光以对所述双目摄像组件进行补光。

所述的基于主动双目视觉的感知系统，其中，当所述纹理投射组件处于启动状态时，所述红外补光组件处于关闭状态。

所述的基于主动双目视觉的感知系统，其中，所述双目摄像组件包括第一图像采集器和第二图像采集器，所述第一图像采集器和所述第二图像采集器间隔布置，所述纹理投射组件布置于所述第一图像采集器和所述第二图像采集器之间。

本发明实施例第二方面提供一种机器人，所述机器人装载有如上任一所述的基于主动双目视觉的感知系统。

有益效果：与现有技术相比，本发明提供了一种基于主动双目视觉的感知系统，所述感知系统包括：双目摄像组件，纹理投射组件，惯性测量组件及微处理器，微处理器分别与所述双目摄像组件、纹理投射组件及惯性测量组件通讯连接；微处理器控制所述纹理投射组件间隔启动，以使得所述双目摄像组件交替采集到第一双目视图和第二双目视图，基于所述第二双目视图以及所述状态信息确定所述设备的定位信息。这样使用间隔式纹理投射方式，可同时实现视觉定位以及3D深度测量，使得机器人系统仅需要装置一个感知系统，降低了机器人的硬件成本。同时还可以构建用于表达三维障碍物信息的环境地图，使得地面移动机器人可以基于该环境地图在复杂环境下进行导航与路径规划。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于主动双目视觉的感知系统的一个示例图。

图2为本发明提供的投射纹理的示例图。

图3为本发明提供的基于主动双目视觉的感知系统中的微处理器的工作流程示例图。

图4为本发明提供的基于主动双目视觉的感知系统中的左视图和右视图的匹配示例图。

图5为本发明提供的基于主动双目视觉的感知系统中的视觉定位投影关系的示例图。

图6为本发明提供的基于主动双目视觉的感知系统在地面机器人中的安装方式的示例图。

具体实施方式

本发明提供一种基于主动双目视觉的感知系统及机器人，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

发明人经过研究发现，地面移动机器人的感知系统是地面移动机器人最为核心的构成部分，主要实现其自身定位、障碍物深度感知以及环境地图构建，其是地面移动机器人的“眼睛”。障碍物深度感知输出的是周边的障碍物信息，自身定位输出的是地面移动机器人的实时位置信息。利用感知的障碍物和定位信息，环境地图记录区域的完整结构和障碍物信息。地面移动机器人的自主移动，规划式作业，自动回充等导航逻辑都依赖于感知系统输出的障碍物深度信息，定位信息，环境地图。因此，地面移动机器人的感知系统是影响其智能程度的关键因素。

目前普遍使用感知系统包括基于单线激光雷达的感知系统和基于单目视觉摄像头的感知系统。在基于单线激光雷达的感知系统中，单线激光雷达主要用来实现地面移动机器人的定位和构建环境地图，而障碍物信息由单线激光雷达和外部传感器共同输出，例如红外接近传感器，单点TOF传感器或者碰撞板等。基于单线激光雷达的感知系统中，单目视觉摄像头主要用来实现地面移动机器人的定位信息，而障碍物信息需要外部传感器输出，例如，红外接近传感器，单点TOF传感器，碰撞板等。然而，红外接近传感器，单点TOF传感器，碰撞板对障碍物的感知都是单点的，无法获取高精度的障碍物信息。

此外，虽然在基于单线激光雷达的感知系统中，单线激光雷达具有可基本的环境深度感知以及定位能力，但是，由于单线激光雷达单线平面扫描的局限，它仅仅能感知扫描平面内的障碍物，不具备完整的3D障碍物感知能力，例如，无法感知较为低矮的障碍物。针对单线激光雷达方案的探测障碍物能力的不足，一些地面移动机器人系统增加了3D深度传感器，主要用于探测障碍物信息，例如双目感知系统。但双目感知系统很容易受到光照，弱纹理的影响，极大的影响了地面移动机器人避障和构建环境地图的稳定性、可靠性。

与此同时，近年来随着各类3D结构光传感器以及3DTOF传感器在手机端的广泛使用，部分地面移动机器人厂商开始研发这类传感器在地面移动机器人感知系统上的应用，但是，3D结构光传感器和3DTOF传感器均存在以下两方面的明显不足：

1、硬件成本昂贵；

2，3D结构光传感器和3DTOF传感器只具备探测环境障碍物的功能，对于构建环境地图，需要搭配另外的定位传感器，因此需要精确的标定多个传感器之间的时间偏差，相对的位置关系，使得系统设计复杂度大幅增加。

与此同时，虽然各类3D传感器越来越多的用于地面移动机器人，但是目前地面移动机器人的主流环境地图构建都是以2D的方式来表达，例如2D栅格地图，这种表达方式无法准确的表达三维空间的障碍物信息，严重影响了机器人系统的安全性。

为了解决上述问题，在本发明实施例中，所述感知系统包括双目摄像组件、纹理投射组件以及微处理器，所述微处理器分别与所述双目摄像组件以及纹理投射组件通讯连接；所述微处理器用于控制所述纹理投射组件间隔启动，以使得所述双目摄像组件交替采集包含所述投射纹理的第一双目视图和未包含所述投射纹理的第二双目视图，这样使用间隔式纹理投射方式，可同时实现视觉定位以及3D深度测量，使得机器人系统仅需要装置一个感知系统，降低了机器人的硬件成本。同时，还可以第二双目图像和状态信息构建用于表达三维障碍物信息的环境地图，使得地面移动机器人可以基于该环境地图在复杂环境下进行导航与路径规划。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。

本实施提供了一种基于主动双目视觉的感知系统，如图1所示，所述感知系统包括双目摄像组件10、纹理投射组件20、惯性测量组件40以及微处理器，所述微处理器分别与所述双目摄像组件10、纹理投射组件20以及惯性测量组件40通讯连接。所述双目摄像组件10用于采集位于其拍摄范围内的双目图像。所述纹理投射组件20用于发射投射纹理，所述投射纹理可被双目摄像组件10感测。惯性测量组件用于采集装配有该感知系统的设备的状态信息。所述微处理器用于控制所述纹理投射组件20间隔启动，以使得所述双目摄像组件10交替采集包含所述投射纹理的第一双目视图和未包含所述投射纹理的第二双目视图，这样通过控制纹理投射组件20采用间隔方式进行纹理投射，使得双目摄像组件10可以获取包含投射纹理的双目图像以进行3D深度测量，又可以获取到未包含投射纹理的双目图像以及状态信息确定设备自身的定位信息，从而机器人系统在需要障碍物信息检测以及机器人实时位置定位的情况下也可以仅需要装置一个感知系统，降低了机器人的硬件成本。同时，还可以第二双目图像和状态信息构建用于表达三维障碍物信息的环境地图，使得地面移动机器人可以基于该环境地图在复杂环境下进行导航与路径规划。

进一步，所述双目摄像组件10包括第一图像采集器和第二图像采集器；所述双目图像包括第一图像采集器采集的第一图像和第二图像采集器采集的第二图像。在本实施例的一个实现方式中，将双目摄像组件的拍摄方向作为前向；所述第一图像采集器和第二图像采集器按照左右方向间隔布置，例如，第一图像采集器位于第二图像采集器的左侧，或者是，第一图像采集器位于第二图像采集器的右侧。这里以第一图像采集器位于第二图像采集器左侧为例，相应的，第一图像为双目图像中的左视图，第二图像为双目图像中的右视图，并且所述左视图和所述右视图构成所述双目摄像组件对应的拍摄场景的双目视图。

进一步，所述纹理投射组件20用于发射投射纹理，其中，所述纹理投射组件发射的投射纹理可以被第一图像采集器和第二图像采集器感测。可以理解的是，所述纹理投射组件将投射纹理投射至双目摄像组件的拍摄场景内，并覆盖双目摄像组件的拍摄场景，以使得双目摄像组件中的第一图像采集器拍摄的左视图和第二图像采集器拍摄的右视图均包括投射纹理。其中，投射纹理为激光光束打到拍摄场景中的对象表面后在对象表面呈现出的纹理图像，该纹理图像覆盖对象表面并可被双目摄像组件识别和记录。例如，所述投射纹理为如图2所示的纹理图像。此外，在本实施例的一个实现方式中，所述纹理投射组件位于所述第一图像采集器和所述第二图像采集器之间。当然，在实际应用中，所述纹理投射组件也可以设置于其他位置，只要纹理投射组件发射的投射纹理可以投射至拍摄场景中的对象表面，使得双目摄像组件可以拍摄到投射纹理即可。

在本实施例的一个实现方式中，所述纹理投射组件20被所述微处理器控制间隔发射投射纹理，并在所述纹理投射组件20发射投射纹理期间，所述双目摄像组件10被所述微控制器控制拍摄一张双目图像；以及在所述纹理投射组件20未发射投射纹理期间，所述双目摄像组件10被所述微控制器控制拍摄一张双目图像。可以理解的是，在双目摄像组件10相邻两次采集拍摄场景的双目图像的两个采集时刻，纹理投射组件20一次发射投射纹理，一次不发射投射纹理，以使得双目摄像组件10采集到的相邻两组双目图像中，一组双目图像包含投射纹理，一组双目图像不包含投射纹理。也就是说，所述双目摄像组件10交替采集到包含所述投射纹理的第一双目视图和未包含所述投射纹理的第二双目视图。例如，双目摄像组件10按照时限采集到双目图像A、双目图像B、双目图像C以及双目图像D，假设双目图像A为第二双目图像，那么双目图像B为第一双目图像，双目图像C为第二双目图像，双目图像D为第一双目图像。

所述惯性测量组件用于将装配有该感知系统的设备的状态信息，其中，所述状态信息包括加速度和角速度。当微处理器控制纹理投射组件关闭，以使得双目摄像组件拍摄未携带投射纹理的第二双目图像时，微处理器获取惯性测量组件采集到的状态信息，并将所述状态信息与所述第二双目图像相关联，以得到双目摄像组件采集到每个第二双目图像均对应有一个状态信息，并且各第二双目图像与各状态信息一一对应。

进一步，所述加速度为根据惯性测量组件在获取相邻两张第二双目图像中前一第二双目图像到后一第二双目图像之间采集到的加速度信息积分得到，所述角速度为根据惯性测量组件在获取相邻两张第二双目图像中前一第二双目图像到后一第二双目图像之间惯性测量组件采集到的角速度信息积分得到的，其中，相邻两张第二双目图像指的是两张第二双目图像各自对应的拍摄时间之间存在一张第一双目图像，不存在第二双目图像。例如，双目摄像组件按照时间顺序依次拍摄到第一双目图像A、第二双目图像a、第一双目图像B、第二双目图像b、第一双目图像C以及第二双目图像c，那么第二双目图像a和第二双目图像b为相邻两张第二双目图像；第二双目图像b和第二双目图像c为相邻两张第二双目图像。在本实施例的一个实现方式中，所述惯性测量组件可以采用陀螺仪等。

所述第二双目图像用于与状态信息结合确定装配该感知系统的设备的定位信息，也就是说，所述微处理器还用于基于所述第二双目视图以及所述状态信息，确定所述设备的定位信息。其中，所述状态信息为该第二双目图像对应的状态信息，换句话说，所述状态信息为微控制器在双目摄像组件拍摄该第二双目图像时获取到的惯性测量组件采集的状态信息，其中，所述惯性测量组件采集的状态信息为惯性测量组件在获取相邻两张第二双目图像中前一第二双目图像到后一第二双目图像之间采集到的加速度的积分以及角速度的积分。

在本实施例的一个实现方式中，所述微处理基于所述第二双目视图以及所述状态信息，确定所述设备的定位信息具体包括：

基于所述第二双目视图以及预设三维特征点地图，确定所述设备对应第一定位信息；

基于所述状态信息确定所述设备的第二定位信息；

基于所述第一定位信息以及所述第二定位信息，确定所述设备的定位信息。

具体地，所述预设三维特征点地图为预先设置，并且所述预设三维特征点地图对应的坐标系在配置有该感知系统的设备运动过程中不变。可以理解的是，所述预设三维特征点地图包括若干三维空间点，若干三维空间点中的部分空间点可以配置有障碍物信息，部分三维空间点可以未配置有障碍物信息，并且预设三维特征点地图中的障碍物信息会在设备运动过程中不断更新。例如，预设建立的三维特征点地图中的每个三维空间点均为配置有障碍物信息，在设备运行过程中定位到障碍物时，会将该障碍物的定位信息配置于该三维特征点地图中，以使得三维特征点地图包括该障碍物对应的障碍物信息。

所述第一定位信息用于反映设备相对于三维特征点地图所对应的坐标系的定位信息，所述第二定位信息为基于该第二双目图像和该第二双目图像对应的前一第二双目图像的定位信息，其中，所述第一所述定位信息和第二位置信息均包括位置信息以及姿态信息。在本实施例的一个实现方式中，所述基于所述第二双目视图以及预设三维特征点地图，确定所述设备对应第一定位信息具体包括：

对于预设三维特征点地图中的每个像素点，确定该像素点在第二双目视图中左视图上的第一图像块和右视图上的第二图像块；

基于获取到的所有第一图像块和所有第二图像块，确定所述设备对应第一定位信息。

具体地，所述像素点为所述预设三维特征点地图中一个3D空间点，记为点P(X，Y，Z)，并且如图5所示，该空间点P(X，Y，Z)可以在左视图上对应一个投影点，在右视图上对应一个投影点，这里将左视图上的投影点记为第一投影点Q0(X0,Y0)，将右视图上的投影点记为第二投影点Q1(X1,Y1)。其中，第一投影点Q0(X0,Y0)和第二投影点Q1(X1,Y1)可以根据第二双目图像相对与三维特征点地图的定位信息以及该空间点P确定。

进一步，第二双目图像相对与三维特征点地图的定位信息(包括位置信息以及姿态信息)为：

其中，当双目摄像组件经过标定校正后，左视图的定位信息和右视图的定位信息满足以下关系：

R

T

其中，▽H为双目摄像组件中第一图像采集器和第二图像采集器之间的距离，根据双目摄像组件标定确定。

基于此，空间点P在左视图上对应的投影点对应的第一图像块和空间点P在右视图上对应的投影点对应的第二图像块为相似的，其中，所述第一图像块和第二图像块的选取方式相同，例如，均以各自对应的像素点为中心，与预设长度为边长的正方形图像区域。从而，可以在左视图上选取第一投影点对应的第一图像块，在右视图上选取第二投影点对应的第二图像块，并基于所述第一图像块和第二图像块确定空间点P对应的图像块差值。此外，在获取到深度图中各像素点对应的图像块差值后，基于获取到的所有图像块差值可以确定第一定位信息，其中，所述第一定位信息包括位置信息和姿态信息，并且所述第一定位信息为使得所有图像块差值之和最小的定位信息。

在本实施例的一个实现方式中，所述基于所述状态信息确定所述设备的第二定位信息具体包括：

根据所述状态信息，确定所述设备对应的定位变化信息；

基于所述定位变化信息以及所述状态信息对应的参考定位信息，确定所述候选定位信息。

具体地，所述定位变化信息指的是所述第二双目图像对应的采集时刻对应的定位信息与参考双目图像对应的采集时刻对应定位信息，其中，所述定位信息均为配置有该感知系统的设备自身的定位信息。此外，所述参考定位信息为参考第二目标图像对应的定位信息，所述参考第二目标图像按照时间顺序与所述第二目标图像相邻且位于所述第二目标图像之前。在本实施例的一个实现方式中，所述定位变化信息可以为通过对所述状态信息中的加速度与角速度进行积分等。此外，在获取到定位变化信息后，获取所述参考定位信息，将所述定位变化信息累加到所述参考定位信息上，即得到所述第二双目图像对应的采集时刻对应的定位信息。当然，值得说明，所述参考定位信息在双目摄像组件拍摄参考第二目标图像时，微处理器基于该参考第二双目图像以及该参考目标图像对应的状态信息确定，该参考定位信息的确定过程与该第二双目图像对应的第二定位信息的确定过程相同，并且在该第二双目图像的采集时刻，所述参考定位信息为已知的。

在本实施例的一个实现方式中，由于惯性测量单元的测量噪声，由积分得到的位置与姿态有较大的误差，因此只能作为先验信息使用。由此，可以综合利用三维特征点地图和第二双目图像确定第一定位信息以及基于状态信息确定第二定位信息，确定设备对应的定位信息。由于基于所有图像块差值确定第一定位信息可以转为最优解的优化问题，相应的，所述定位信息可以转换为优化问题。所述优化问题可以为：

其中，(R

在本实施例的一个实现方式中，所述微处理器还用于基于所述第一双目视图确定深度图。可以理解的是，所述第一双目视图还用于确定深度图，其中，所述深度图的确定过程可以为：以左边相机(第一图像采集器)采集的左视图为基准图像，以右边相机(第二图像采集器)采集的左视图为待匹配图像；首先，在基准图像上选取以像素点(x,y)为中心的图像块Q，其次，在待匹配图像上进行线扫描，确定待匹配图像中每一个待匹配位置与图像块Q的相关度，并选取相关度最高的待匹配位置为图像块Q对应的匹配位置(例如，如图4所示的匹配位置(xa，ya)等)；最后，在获取到匹配位置后，根据利用左视图中的图像块和右视图中的匹配位置确定像素点(x,y)的深度值，其中，深度值h的计算公式可以为：

其中，f为第一图像采集器的焦距/第二图像采集器的焦距，B为第一图像采集器的焦距/第二图像采集器的焦距，d

当然，在实际应用中，为了进行线扫描，获取到基准图像和待匹配图像后，分别对基准图像和待匹配图像基于各自对应的标定参数进行校正，以使得对于基准图像中的每个图像块，该图像块在待匹配图像中对应的匹配位置和图像块在一条线行，从而可以在线上对图像块进行匹配。

在本实施例的一个实现方式，所述微处理器还可以用于基于所述深度图对应的第二双目视图以及所述深度图，确定所述拍摄场景中的对象对应的第三定位信息。可以理解的是，所述第二双目图像还可以用于结合深度图确定深度图对应的定位信息，其中，对于每个深度图，辅助确定该深度图对应的定位信息的第二双目图像为按照时序位于该深度图之前的第二双目图像，并且该第二双目图像对应的采集时刻与该深度图对应的第一双目图像的采集时刻相邻。例如，感知系统按照采集时序采集到第二双目图像A、第一双目图像A、第二双目图像B以及第一双目图像B，那么第二双目图像A用于确定第二双目图像A对应的定位信息，第一双目图像A用于确定深度图A，并第二双目图像A用于辅助深度图A确定第一双目图像A对应的定位信息。当然，值得说明的是，所述第三定位信息的确定过程可以与第一定位信息的确定过程相似，其区别在于将第一定位信息获取过程中的预设三维特征点地图换位深度图，以便于将第三定位信息的确定过程转换为优化问题，所述优化问题可以为：

其中，初始值为上一次求解得到的定位信息，N为深度图中像素点的数量，I

基于此，所述微处理器还用于基于所述第一双目视图确定深度图，并基于所述深度图对应的第二双目视图以及所述深度图，确定所述深度图对应的定位信息。相应的，如图3所示，所述微处理器的工作过程可以为：微处理器控制双目拍摄组件采集拍摄场景的双目图像，并检测该双目图像是否包括投射纹理，若双目图像包含投射纹理，则基于该双目图像计算深度信息以得到深度图，并基于该深度图以及该双目图像的前一采集时刻采集得到的前一双目图像确定该深度图对应的定位信息，以及进入下一帧图像；若双目图像未包含投射纹理，则直接输出双目图像并进入下一帧图像；此外，当进入下一帧图像时，检测纹理投射组件的工作状态，若纹理投射组件处于启动状态，则控制所述纹理投射组件关闭，并在所述纹理投射组件关闭后继续执行控制双目拍摄组件采集拍摄场景的双目图像的步骤；若纹理投射组件处于关闭状态，则控制所述纹理投射组件启动，并在所述纹理投射组件启动后继续执行控制双目拍摄组件采集拍摄场景的双目图像的步骤，直至采集完毕。

在本实施例的一个实现方式中，所述基于所述第一双目视图确定深度图的过程可以为：以左边相机(第一图像采集器)采集的左视图为基准图像，以右边相机(第二图像采集器)采集的左视图为待匹配图像；首先，在基准图像上选取以像素点(x,y)为中心的图像块Q，其次，在待匹配图像上进行线扫描，确定待匹配图像中每一个待匹配位置与图像块Q的相关度，并选取相关度最高的待匹配位置为图像块Q对应的匹配位置(例如，如图4所示的匹配位置(xa，ya)等)；最后，在获取到匹配位置后，根据利用左视图中的图像块和右视图中的匹配位置确定像素点(x,y)的深度值，其中，深度值h的计算公式可以为：

其中，f为第一图像采集器的焦距/第二图像采集器的焦距，B为第一图像采集器的焦距/第二图像采集器的焦距，d

当然，在实际应用中，为了进行线扫描，获取到基准图像和待匹配图像后，分别对基准图像和待匹配图像基于各自对应的标定参数进行校正，以使得对于基准图像中的每个图像块，该图像块在待匹配图像中对应的匹配位置和图像块在一条线行，从而可以在线上对图像块进行匹配。

在本实施例的一个实现方式中，所述基于所述深度图对应的第二双目视图以及所述深度图，确定所述深度图对应的定位信息具体包括：

对于所述深度图中的每个像素点，确定该像素点在第二双目视图中左视图上的第一投影点和右视图上的第二投影点；

确定第一投影点对应的第一图像块与第二投影点对应的第二图像块，以得到该像素点对应的图像块差值；

基于深度图中的各像素点各自对应的图像块差值，确定所述深度图对应的定位信息。

具体地，所述第二双目视图为按照时序该深度图对应的第一双目图像的相邻双目视图，并且该第二双目视图的采集时刻位于该第一双目图像的采集时刻之前。所述像素点为所述深度图中一个3D空间点，记为点P(X，Y，Z)，并且如图5所示，该空间点P(X，Y，Z)可以在左视图上对应一个投影点，在右视图上对应一个投影点，这里将左视图上的投影点记为第一投影点Q0(X0,Y0)，将右视图上的投影点记为第二投影点Q1(X1,Y1)。其中，第一投影点Q0(X0,Y0)和第二投影点Q1(X1,Y1)可以根据深度图对应的双目摄像组件的定位信息与第二双目图像对应的双目摄像组件的定位信息的对应关系以及该空间点P确定。

进一步，假设深度图对应的双目摄像组件的定位信息与第二双目图像对应的双目摄像组件的定位信息(包括位置信息以及姿态信息)的对应关系为：

其中，当双目摄像组件经过标定校正后，左视图和右视图的定位信息满足以下关系：

R

T

其中，▽T为双目摄像组件中第一图像采集器和第二图像采集器之间的距离，根据双目摄像组件标定确定。

基于此，空间点P在左视图上对应的投影点对应的第一图像块和空间点P在右视图上对应的投影点对应的第二图像块为相似。从而，可以在左视图上选取第一投影点对应的第一图像块，在右视图上选取第二投影点对应的第二图像块，并基于所述第一图像块和第二图像块确定空间点P对应的图像块差值。此外，在获取到深度图中各像素点对应的图像块差值后，基于获取到的所有图像块差值可以确定深度图对应的定位信息，其中，所述定位信息包括位置信息和姿态信息。其中，所述定位信息的计算可以转换为一优化问题，其中，优化问题可以为：

其中，初始值为上一次求解得到的定位信息，N为深度图中像素点的数量。

此外，在获取到深度图对应的第三定位信息以及设备对应的定位信息后，可以基于所述定位信息将所述第三定位信息转换为三维特征点地图对应的坐标系下，以将所述第二双目图像中的对象插入该三维特征点地图内。

在本实施例的一个实现方式中，所述微处理器还用于：获取深度图中各像素点在预设三维特征点地图所在坐标下的目标点；根据各目标点各自对应的高度信息，将各目标点投影至各自对应的子空间对应的栅格地图，以得到环境地图。

具体地，所述子空间为通过对三维空间进行划分得到，每个子空间对应一高度区域，其中，所述高度区域指的是重力方向的区域。可以理解的是，将三维空间沿重力方向划分为若干子空间，每个子空间沿重力方向依次堆叠构成所述三维空间，并且各子空间中按照堆叠方向相邻的两个子空间的交集为空。若干子空间中的每个子空间配置有栅格地图，该栅格地图中的每一个栅格记录的是落在该格子内的最大或者最小障碍物高度，这样可以完整记录不同高度的障碍物信息，更便于地面移动机器人在复杂环境下的导航与路径规划。

进一步，对于将深度图中的每个像素点，基于设备对应的定位信息可以将该像素点转换为三维特征点地图对应的坐标系下的目标点，其中，所述转换公式可以为：

其中，所述R

基于此，如图3所示，所述微处理器的工作过程可以为：微处理器控制双目拍摄组件采集拍摄场景的双目图像，并检测该双目图像是否包括投射纹理，若双目图像包含投射纹理，则基于该双目图像计算深度信息以得到深度图，并基于该深度图以及该双目图像的前一采集时刻采集得到的前一双目图像确定该设备对应的定位信息构建环境地图后进入下一帧图像；若双目图像未包含投射纹理，则获取惯性测量组件采集的状态信息，并基于该双目图像以及状态信息确定设备对应的定位信息；此外，当进入下一帧图像时，检测激光投射组件的工作状态，若激光投射组件处于启动状态，则控制所述激光投射组件关闭，并在所述激光投射组件关闭后继续执行控制双目拍摄组件采集拍摄场景的双目图像的步骤；若激光投射组件处于关闭状态，则控制所述激光投射组件启动，并在所述激光投射组件启动后继续执行控制双目拍摄组件采集拍摄场景的双目图像的步骤，直至采集完毕。

在本实施例的一个实现方式中，如图1所示，所述感知系统还可以包括红外补光组件30，所述红外补光组件30与所述微处理相连接，用于发送红外光以对所述双目拍摄组件10进行补光。其中，所述红外补光组件30可以设置于所述第一图像采集器和第二图像采集器中，以使得红外补光组件可以同时为第一图像采集器和第二图像采集器补光，并且可以使得为第一图像采集器补光的强度与为第二图像采集器补光的强度的差异小，使得第一图像采集器采集到的第一图像的图像质量和第二图像采集器采集到的第二图像的图像质量相近。当然，在实际应用中，所述红外补光组件可以设置于其他位置，只要可以为双目摄像组件补光即可。

此外，所述红外补光组件30用于在纹理投射组件20处于关闭状态时，为双目摄像组件10补光，以免红外补光组件30产生的红外光对纹理投射组件20发生的激光产生影响，提高了基于纹理投射组件20投影的投射纹理确定深度信息的准确性。在本实施例的一个实现方式中，当所述纹理投射组件处于启动状态时，所述红外补光组件30处于关闭状态。此外，所述红外补光组件30用于在环境光不满足预设条件时，为双目拍摄组件10进行补光，其中，预设条件为环境光强度低于预设亮度阈值等。

基于此，所述微处理器还可以用于获取环境光强度，并基于环境光强度控制红外补光组件开启或者关闭。其中，所述微处理器控制红外补光组件开启或者关闭的具体过程可以为：所述微处理器获取环境光强度，并检测环境光强度是否满足预设条件，若环境光强度满足预设条件，则控制红外补光组件处于常闭状态；若环境光强度未满足预设条件，则监听纹理投射组件的工作状态；当纹理投射组件处于关闭状态时，启动红外补光组件以为双目摄像组件补光；当纹理投射组件处于开启状态时，关闭红外补光组件。可以理解的是，当环境光强度未满足预设条件时，微处理器控制所述红外补光组件交替开启和关闭，并且红外补光组件的工作状态与纹理投射组件的工作状态相反，即当纹理投射组件处于关闭状态时，红外补光组件处于开启状态，反之，当纹理投射组件处于开启状态时，红外补光组件处于关闭状态。

综上所述，本实施例提供了一种基于主动双目视觉的感知系统，所述感知系统包括：双目摄像组件，纹理投射组件，惯性测量组件以及微处理器，所述微处理器分别与所述双目摄像组件、纹理投射组件以及所述惯性测量组件通讯连接；所述微处理器用于控制所述纹理投射组件间隔启动，以使得所述双目摄像组件交替采集到第一双目视图和第二双目视图，并基于所述第二双目视图以及所述状态信息，确定所述设备的定位信息，并可基于第一双目视图确定深度信息，这样所述感知系统可以同时获取到障碍物信息以及装配该感知系统的设备的定位信息。同时，还可以第二双目图像和状态信息构建用于表达三维障碍物信息的环境地图，使得地面移动机器人可以基于该环境地图在复杂环境下进行导航与路径规划。

基于上述基于主动双目视觉的感知系统，本发明还提供了一种机器人，所述机器人装载有如上实施例所述的基于主动双目视觉的感知系统，其中，感知系统在地面移动机器人上的安装于机器人的侧边(或者斜向上方)，保持相机的视野可以覆盖地面，例如，如图6所示。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。