一种基于深度数据的障碍物碰撞警告方法及视觉芯片

技术领域

本发明涉及智能机器人预警碰撞的技术领域，特别是一种基于深度数据的障碍物碰撞警告方法及视觉芯片。

背景技术

目前基于惯性导航、视觉、激光的SLAM机器人越来越普及，代表性比较强的是家庭扫地清洁机器人，结合视觉、激光、陀螺仪、加速度跟轮子里程计的数据，实现室内环境即时定位跟建图，再根据建立的地图实现定位导航。但是目前的痛点是，机器人在复杂的障碍物环境中，地面上经常存在玩具、电线等可以移动的障碍物，等机器人碰撞到这种类型的障碍物的时候，要么会推着障碍物，要么被电线类型的障碍物缠绕住。因此在执行避障动作之前，有必要给予机器人碰撞警告信号，但是现有技术中国专利CN110622085A是在减速接近目标障碍物的过程中依靠物理碰撞传感器反馈获得警告信号，容易让机器人与目标障碍物发生物理碰撞，进而影响机器人的正常工作。

发明内容

为了解决上述技术问题，本发明公开的一种基于深度数据的障碍物碰撞警告方法，简单有效地提前预警机器人会发生碰撞，具体的技术方案如下：

一种基于深度数据的障碍物碰撞警告方法，包括：根据TOF摄像头当前采集获取的目标障碍物的轮廓的深度图像、目标障碍物的深度信息以及TOF摄像头的内外参数，计算获取目标障碍物的实际物理尺寸，并在此基础上设置出用于包围该目标障碍物的虚拟矩形框，其中，这个虚拟矩形框是位于机器人的行进平面上；当机器人行走至这个虚拟矩形框的内部且检测到机器人的当前行走方向是趋向于碰撞目标障碍物时，控制机器人触发碰撞警告信号。

与现有技术相比，该技术方案在目标障碍物的实际物理尺寸的基础上设置出具有碰撞预警意义的矩形框，并在这个矩形框内触发机器人的碰撞警告信号，让机器人在必要的位置区域内提前避开碰撞障碍物，将目标障碍物对机器人正常工作的影响降低。

进一步地，所述机器人行走至这个虚拟矩形框的内部的判断步骤包括：判断是否存在所述虚拟矩形框的三个不同端点相对于机器人当前行走方向形成的夹角都是锐角，是则确定机器人没有行走至所述虚拟矩形框的内部，否则确定机器人已经行走至所述虚拟矩形框的内部；其中，所述目标障碍物的实际物理尺寸包括所述虚拟矩形框的四个不同端点的坐标信息，即四个不同端点相对于机器人的机体中心的坐标；其中，所述虚拟矩形框的一个端点相对于机器人当前行走方向形成的夹角是：所述虚拟矩形框的这个端点与机器人的机体中心的连线相对于机器人当前行走方向所成的偏转角。

该技术方案利用所述虚拟矩形框的不同端点与机器人的实时位姿的相对角度位置关系，判断机器人行走至所述虚拟矩形框的内部，与现有技术相比，在机器人距离目标障碍物足够近时，利用包围目标障碍物的所述虚拟矩形框触发机器人检测到障碍物的信号，但没有通过设置安全门限值去限定机器人的行为。

进一步地，所述机器人在所述虚拟矩形框的内部后，机器人的当前行走方向是趋向于碰撞目标障碍物的判断步骤包括：判断机器人的机体中心与所述虚拟矩形框的中心的连线与机器人的当前行走方向所成的夹角是否为锐角，是则确定机器人的当前行走方向是趋向于碰撞所述目标障碍物，否则确定机器人的当前行走方向不是趋向于碰撞所述目标障碍物。该技术方案利用所述虚拟矩形框的中心与机器人的实时位姿的相对角度关系，判断位于所述虚拟矩形框的内部的机器人的运动趋势是否会碰撞上目标障碍物，没有设置安全门限值去限定机器人的运动，与现有技术相比，避免在靠近目标障碍物的条件下使用碰撞传感器去检测预警，同时在确定机器人的运动趋势不会碰撞上目标障碍物之后，也推出机器人的运动趋势是偏离目标障碍物的。

进一步地，基于所述目标障碍物的最左侧与机器人的机体中心的水平距离、所述目标障碍物的最右侧与机器人的机体中心的水平距离，设置出用于包围所述目标障碍物的轮廓的深度图像的虚拟矩形框，并确定这个虚拟矩形框的四个不同端点相对于机器人的机体中心的坐标，以使得所述虚拟矩形框的中心是所述目标障碍物的中心。

进一步地，所述目标障碍物的轮廓的深度图像是对TOF摄像头采集的深度图像数据滤波处理和连通域分析以分割出来的图像轮廓坐标信息；其中，TOF摄像头采集的深度图像数据是同时处于TOF摄像头的有效测距范围和TOF摄像头的视角范围的目标障碍物的深度图像数据。从而分析出目标障碍物的形状与水平地面覆盖范围。

进一步地，在获取所述目标障碍物的轮廓的深度图像、所述目标障碍物的深度信息以及TOF摄像头的内外参数的基础上，利用三角原理，将所述目标障碍物的图像轮廓坐标信息由TOF摄像头的成像平面换算为世界坐标系下；其中，换算的结果包括：在TOF摄像头的视角范围和有效测距范围的重叠区域内，目标障碍物的最左侧与机器人的机体中心的水平距离、目标障碍物的最右侧与机器人的机体中心的水平距离、目标障碍物的纵向高度信息。该技术方案还原出所述目标障碍物的三维轮廓特征，有利于探测出目标障碍物周围的3维坐标信息，从而可以定位到机器人前方的障碍物情况。

进一步地，若所述目标障碍物的轮廓不是全部处于TOF摄像头的视角范围内和/或TOF摄像头的有效测距范围内，机器人设置出的所述虚拟矩形框的中心仍然是所述目标障碍物的中心。在该技术方案中，若所述目标障碍物过大，导致所述目标障碍物的部分区域在TOF摄像头的视角范围之外和/或TOF摄像头的有效测距范围之外，这部分区域的深度信息不被TOF摄像头采集，但仍保证设置出的所述虚拟矩形框的中心仍然是所述目标障碍物的中心，提高位于所述虚拟矩形框的内部的机器人的碰撞预警的健壮性。

一种视觉芯片，该视觉芯片存储前述的基于深度数据的障碍物碰撞警告方法对应的程序，用于控制机器人在触碰TOF摄像头的视角范围和TOF摄像头的有效测距范围的重叠区域内的目标障碍物之前，触发碰撞警告信号。该技术方案通过采集TOF摄像头输出的轮廓深度信息基础上分析出障碍物的形状跟范围，在机器人距离障碍物足够近，触发碰撞警告信号。

附图说明

图1是本发明实施例一公开的机器人采集获取的目标障碍物（中心点O）的轮廓的深度图像并设置出用于包围该目标障碍物的虚拟矩形框abcd的示意图，其中，图1的机器人的实时位置R不在虚拟矩形框abcd之内。

图2是本发明实施例二公开的机器人的实时位置R1处于虚拟矩形框abcd内且机器人的当前行走方向P1趋向于碰撞目标障碍物的示意图。

图3是本发明实施例三公开的机器人的实时位置R2处于虚拟矩形框abcd内且机器人的当前行走方向P2没有趋向于碰撞目标障碍物的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细描述。需要说明的是，本申请将中国专利CN111624997A的全文引入本申请的文本中，基于CN111624997A的三角原理计算方法，利用TOF摄像头的内外参数完成从TOF摄像头采集的深度信息计算出TOF摄像头的视场范围内的目标障碍物的相对坐标位置、目标障碍物所占空间的纵向高度信息、目标障碍物的最左侧与目标障碍物的最右侧的水平距离（轮廓宽度）。

本发明实施例公开一种基于深度数据的障碍物碰撞警告方法，包括：根据TOF摄像头当前采集获取的目标障碍物的轮廓的深度图像、目标障碍物的深度信息以及TOF摄像头的内外参数，计算获取目标障碍物的实际物理尺寸，并在此基础上设置出用于包围该目标障碍物的虚拟矩形框，其中，这个虚拟矩形框是位于机器人的行进平面上；然后，当机器人行走至这个虚拟矩形框的内部且检测到机器人的当前行走方向是存在碰撞目标障碍物的趋势时，控制机器人触发碰撞警告信号。与现有技术相比，本实施例在目标障碍物的实际物理尺寸的基础上设置出具有碰撞预警意义的矩形框，并在这个矩形框内触发机器人的碰撞警告信号，让机器人在必要的位置区域内提前避开碰撞障碍物，将目标障碍物对机器人正常工作的影响降低。并且提醒机器人重新规划工作路径。

具体地，所述机器人行走至这个虚拟矩形框的内部的判断步骤包括：判断所述虚拟矩形框的其中三个不同端点相对于机器人当前行走方向形成的夹角的角度和小于90度，是则确定机器人没有行走至所述虚拟矩形框的内部，否则确定机器人已经行走至所述虚拟矩形框的内部，即所述虚拟矩形框存在其中三个不同端点相对于机器人当前行走方向形成的夹角的角度和大于或等于90度时，确定机器人已经进入所述虚拟矩形框的内部，需要注意的是，所述目标障碍物的实际物理尺寸包括所述虚拟矩形框的四个不同端点的坐标信息。判断所述机器人是否行走至这个虚拟矩形框的内部的理论依据是来源于圆周角定理，其中，所述虚拟矩形框存在一个外接圆，当所述虚拟矩形框存在其中三个不同端点相对于机器人当前行走方向形成的夹角的角度和等于90度时，机器人开始进入所述虚拟矩形框内。其中，所述虚拟矩形框的一个端点相对于机器人当前行走方向形成的夹角是：这个端点与机器人的机体中心的连线相对于机器人当前行走方向所形成的偏转角。本实施例利用所述虚拟矩形框的不同端点与机器人的实时位姿的相对角度位置关系，判断机器人行走至所述虚拟矩形框的内部，与现有技术相比，在机器人距离目标障碍物足够近时，利用包围目标障碍物的所述虚拟矩形框触发机器人检测到障碍物的信号，但没有通过设置安全门限值去限定机器人的行为。

具体地，所述机器人在所述虚拟矩形框的内部后（包括位于虚拟矩形框的矩形边上），机器人的当前行走方向是趋向于碰撞目标障碍物的判断步骤包括：判断机器人的机体中心与所述虚拟矩形框的中心的连线与机器人的当前行走方向所成的夹角是否为锐角，是则确定机器人的当前行走方向是趋向于碰撞所述目标障碍物，否则确定机器人的当前行走方向不是趋向于碰撞所述目标障碍物。本实施例利用所述虚拟矩形框的中心与机器人的实时位姿的相对角度关系，判断位于所述虚拟矩形框的内部的机器人的运动趋势是否会碰撞上目标障碍物，与现有技术相比，没有设置安全门限值去限定机器人的运动，也避免在靠近目标障碍物的条件下使用碰撞传感器去检测预警，同时在确定机器人的运动趋势不会碰撞上目标障碍物之后，也推出机器人的运动趋势是偏离目标障碍物的。

需要说明的是，所述深度图像也被称为距离影像，是指深度图像的各像素点到所拍摄的对应障碍物实际测量点之间的距离作为像素值的图像。其中，各像素点与对应测量点的偏角基于摄像装置的设定参数而确定。所述深度图像直接反映所拍摄的物理场景中各障碍物的可见表面的几何形状轮廓，所述深度图像经过坐标转换可以转换为空间点云数据。其中，所述深度图像中利用深度数据描述的各障碍物均可作为待识别的障碍物的图像，以供后续步骤处理。其中，所述障碍物应被为泛指包含临时放置在行进平面上的物体和不易移动的物体。根据实际应用环境，机器人的行进平面包括但不限于以下几类:水泥地面、涂漆的地面、铺设复合地板的地面、铺设实木地板的地面、铺设地毯的地面、桌面、玻璃面等。临时放置在行进平面上的物体举例包括: 门槛（可以跨越）、玩具（禁止碰撞）、电线（禁止跨越）等物体；不易移动的物体举例包括: 沙发（沙发底的高度低于机器的高度的时候，就控制机器不能进去）、墙壁等。

实施例一：

如图1所示，机器人行走至位置R处，图1的目标障碍物正处于机器人的前端设置的TOF摄像头的视场区域内，即同时处于TOF摄像头的有效测距范围和TOF摄像头的视角范围的重叠区域内，TOF摄像头采集到所述目标障碍物的轮廓的深度图像，其中，所述目标障碍物的轮廓的深度图像是对TOF摄像头采集的目标障碍物的深度图像数据滤波处理和连通域分析以分割出来的图像轮廓，包括目标障碍物的图像轮廓坐标信息；结合TOF摄像头的内外参数，控制这些图像轮廓坐标信息计算出所述目标障碍物的轮廓宽度，包括最左侧与机器人的机体中心的水平距离L_L、所述目标障碍物的最右侧与机器人的机体中心的水平距离R_L、所述目标障碍物的纵向高度H。本实施例基于所述目标障碍物的最左侧与机器人的机体中心的水平距离L_L、所述目标障碍物的最右侧与机器人的机体中心的水平距离R_L，限制端点a的坐标范围、端点b的坐标范围、端点c的坐标范围、端点d的坐标范围，进而确定出虚拟矩形框abcd的位置范围，框定获得一个能够包围所述目标障碍物在机器人的行进平面上的轮廓的虚拟矩形框abcd，并能够确定这个虚拟矩形框的四个不同端点相对于机器人的机体中心的坐标，可以计算出虚拟矩形框abcd的中心点O的坐标，以使得所述虚拟矩形框的中心O是所述目标障碍物的中心O；其中，端点a的坐标范围、端点b的坐标范围、端点c的坐标范围、端点d的坐标范围都处于TOF摄像头的视场区域内的所述目标障碍物的两端外侧。从而分析出目标障碍物的形状与水平地面覆盖范围，进而还原出所述目标障碍物的三维轮廓特征，有利于探测出目标障碍物周围的3维坐标信息，从而可以定位到机器人前方的障碍物情况。

需要说明的是，在获取所述目标障碍物的轮廓的深度图像、所述目标障碍物的深度信息以及TOF摄像头的内外参数的基础上，利用三角原理，将所述目标障碍物的图像轮廓坐标信息由TOF摄像头的成像平面换算为世界坐标系下；其中，换算的结果包括：在TOF摄像头的视角范围和有效测距范围的重叠区域内，目标障碍物的最左侧与机器人的机体中心的水平距离、目标障碍物的最右侧与机器人的机体中心的水平距离、目标障碍物的纵向高度信息。本实施例还原出所述目标障碍物的三维轮廓特征，有利于探测出目标障碍物周围的3维坐标信息，从而可以定位到机器人前方的障碍物情况。

如图1所示，机器人的当前行走方向是P，即对应图1的射线RP，朝向机器人的机体前方的目标障碍物；对于位置R处的机器人的TOF摄像头的当前视场区域内，所述虚拟矩形框abcd的端点a相对于机器人当前行走方向P形成的夹角（线段Ra与线段RP的夹角）是第一锐角，所述虚拟矩形框abcd的端点b相对于机器人当前行走方向P形成的夹角（线段Rb与线段RP的夹角）是第二锐角，所述虚拟矩形框abcd的端点c相对于机器人当前行走方向P形成的夹角（线段Rc与线段RP的夹角）是第三锐角，这三个锐角的角度和值是小于90度的，确定位置R处于所述虚拟矩形框abcd之外，不触发碰撞警告信号，更不需执行避障动作。

实施例二：

如图2所示，机器人行走至位置R1处，所述虚拟矩形框abcd已经框定好并与实施例一一样，是用于框定同一目标障碍物的轮廓；；机器人的当前行走方向是P1，即对应图2的射线R1P1，朝向机器人的机体前方的视场区域内的目标障碍物；对于位置R1处的机器人的TOF摄像头的当前视场区域内，所述虚拟矩形框abcd的端点a相对于机器人当前行走方向P1形成的夹角（线段R1a与线段R1P1的夹角）是直角，所述虚拟矩形框abcd的端点b相对于机器人当前行走方向P1形成的夹角（线段R1b与线段R1P1的夹角）是锐角，所述虚拟矩形框abcd的端点c相对于机器人当前行走方向P1形成的夹角（线段R1c与线段R1P1的夹角）是锐角，这三个夹角的角度和值是大于90度，确定位置R1处于所述虚拟矩形框abcd内部。然后判断到机器人的机体中心R1与所述虚拟矩形框abcd的中心O的连线R1O与机器人的当前行走方向P1（射线R1P1）所成的夹角是锐角（小于90角），则确定机器人的当前行走方向是趋向于碰撞所述目标障碍物，机器人继续沿着当前行走方向P1行走是避不开所述目标障碍物，如图2所示的机器人的运动趋势所示，则位置R1处的机器人触发碰撞警告信号，并指示机器人开始执行避障动作或绕障动作。

实施例三：

如图3所示，机器人按照预设的工作模式行走至位置R2处，所述虚拟矩形框abcd已经框定好并与实施例一一样，是用于框定同一目标障碍物的轮廓；机器人的当前行走方向是P2，即对应图3的射线R2P2，机器人的机体前方没有朝向目标障碍物；对于位置R2处的机器人的TOF摄像头的当前视场区域内，所述虚拟矩形框abcd的端点a相对于机器人当前行走方向P2形成的夹角（线段R2a与线段R2P2的夹角）是钝角，所述虚拟矩形框abcd的端点b相对于机器人当前行走方向P2形成的夹角（线段R2b与线段R2P2的夹角）是钝角，所述虚拟矩形框abcd的端点c相对于机器人当前行走方向P2形成的夹角（线段R2c与线段R2P2的夹角）是钝角，这三个钝角的角度和值是大于90度，确定位置R2处于所述虚拟矩形框abcd内部。然后判断到机器人的机体中心R2与所述虚拟矩形框abcd的中心O的连线R2O与机器人的当前行走方向P2（射线R2P2）所成的夹角是钝角（大于90度），则确定机器人的当前行走方向是没有趋向于碰撞所述目标障碍物，而是朝着远离所述目标障碍物的中心O的方向前进，如图3所示的机器人的运动趋势所示，则位置R2处的机器人不用触发碰撞警告信号。

此外，若所述目标障碍物的轮廓不是全部处于TOF摄像头的视角范围内和/或TOF摄像头的有效测距范围内，特别是，若所述目标障碍物过大，导致所述目标障碍物的部分区域在TOF摄像头的视角范围之外和/或TOF摄像头的有效测距范围之外，这部分区域的深度信息不被TOF摄像头采集。但是，本实施例确保机器人设置出的所述虚拟矩形框的中心仍然是所述目标障碍物的中心。从而提高位于所述虚拟矩形框的内部的机器人的碰撞预警的健壮性。

一种视觉芯片，该视觉芯片存储前述的基于深度数据的障碍物碰撞警告方法对应的程序，用于控制机器人在触碰TOF摄像头的视角范围和TOF摄像头的有效测距范围的重叠区域内的目标障碍物之前，触发碰撞警告信号。该技术方案通过采集TOF摄像头输出的轮廓深度信息基础上分析出障碍物的形状跟范围，在机器人距离障碍物足够近，触发碰撞警告信号。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。