使用概率占用栅格控制移动工业机器人的系统和方法

技术领域

本公开涉及机器人导航领域，并且特别地，涉及用于基于表示机器人能够在其上移动的基板的概率占用栅格来控制移动工业机器人的方法和设备。

背景技术

对于开发用于支持移动工业机器人中的控制系统的感知机制的问题，已经进行了并还在进行着大量的研究。令人满意的感知机制应该使得机器人能够在受限和有人的环境中有效地导航，同时避免破坏性的碰撞。与不同高程的其它对象、具有小尺寸的对象、透明或反射的对象、暗或黑的对象混合的对象，已知地都会给试图发现和正确评估它们的感知机制造成困难。

所谓的占用栅格或概率图，是用于对移动机器人的可导航环境建模的常用工具。占用栅格的单元利用中性概率值初始化，随后基于所获取的传感器数据进行改进。在Chr.Robbiano等人的预印本(Bayesian Learning of Occupancy Grid，从arxiv.org/abs/1911.07915检索)中讨论了基于从移动平台进行的传感器测量序列来更新这种概率图的问题。

特别针对可导航环境寻址由二维占用栅格建模的室内移动机器人应用，本公开旨在改进现有技术。

发明内容

一个目的是提供用于提供占用栅格以支持移动工业机器人的控制的可用的方法和设备。另一个目的是基于颜色深度传感器(特别是机器人安装的颜色深度传感器)的连续测量来使得能够进行这种占用栅格的维护和连续改进。一个特别的目的是提出适用于RGB-D(红-绿-蓝加深度，即，彩色图像和深度图)测量是可用的使用情形的有效数据处理技术。

这些和其它的目的是通过根据由独立权利要求限定的本发明的方法和机器人控制器来实现。从属权利要求针对本发明的实施例。

在第一方面，一种控制在基板上可移动的工业机器人的方法包括：初始化单元的占用栅格，每个单元表示基板的一部分并且与一些物理对象存在于单元中的占用概率相关联；以及获取基板的高程图和色度图。基于高程图，计算每个单元的平均高程，并且以使得较高的第一部分占用概率对应于较大的平均高程的方式，从平均高程导出第一部分占用概率。基于色度图，估计色度的分布并且标识主要值(dominant value)，并且基于关于单元的色度、以使得如果单元的色度是主色度值之一则计算分配较低的第二部分占用概率的方式计算第二占用概率。针对每个单元，合并第一部分概率和第二部分概率，并且该结果构成分配给占用栅格中的单元的占用概率。因此，提供的占用栅格可以用作控制工业机器人的基础。

本发明人已经认识到，为了判断单元是空闲的还是被占用的，有利的是识别全局主色度值并且搜索以下单元：单元中单元的色度值同时属于全局主色度值并且高程值相对较小。基于该组合的准则因此是用于构建在合理时间内收敛、产生高度精确的占用栅格、或两者，的算法的有用工具。因此，减少了机器人等待生成新占用栅格(或用于现有的占用栅格的更新)所花费的潜在的生产时钟时间。同样，机器人导航可以变得更安全和更精确。

在第二方面，提供了一种用于控制至少一个移动工业机器人的机器人控制器。该机器人控制器包括输入接口、处理电路装置和输出接口，并且它被配置为执行上述方法。

本发明还涉及包含指令的计算机程序，所述指令用于使计算机或特别是机器人控制器执行上述方法。计算机程序可以存储或分布在数据载体上。如这里所使用的，“数据载体”可以是诸如调制的电磁或光波的暂态数据载体，或非暂态数据载体。非暂态数据载体包括易失性和非易失性存储器，例如磁、光或固态类型的永久和非永久存储器。仍然在“数据载体”的范围内，这种的存储器可以是固定安装的或便携式的。

通常，权利要求中使用的所有术语将根据其在技术领域中的普通含义来解释，除非在此另外明确定义。所有对“一/一种/所述元件、装置、组件、部件、步骤等”的引用。除非另外明确说明，否则将被开放地解释为涉及元件、装置、组件、部件、步骤等的至少一个实例。除非明确说明，本文公开的任何方法的步骤不必以所公开的确切顺序执行。

附图说明

现在参照附图通过示例的方式描述方面和实施例，在附图中：

图1是根据实施例的方法的流程图；

图2是适于在基板上移动的工业机器人的透视图，基板被建模为二维占用栅格，并且基板上的对象表示机器人移动的潜在障碍；

图3是根据实施例的机器人控制器的框图；

图4示出了根据颜色模型通过像素强度值的归一化(强度归一化)绿色和红色分量参数化的二维颜色空间；

图5和图6示出了划分成图4的颜色空间的编号筐的示例；以及

图7是参考根据图6的分区的示例色度图的直方图。

具体实施方式

现在将在下文中参考附图更全面地描述本公开的方面，在附图上示出了本发明的某些实施例。然而，这些方面可以以许多不同的形式来实施，并且不应当被解释为限制；相反，通过示例的方式提供实施例，从而本公开将是全面和完整的，并且将本发明的所有方面的范围完全传达给本领域技术人员。在整个说明书中，相同的附图标记表示相同的元件。

图2描述了可以应用本发明的环境。在此，工业机器人210可通过轮214、带、爪、可移动吸盘或其它推进和/或附接装置在基板220上移动。基板220可以是具有水平、倾斜或竖直取向的平面或曲面；它可以可选地配备有适合于与机器人210协作的轨道或其它移动引导件。示例基板220包括室内地面、室外地面、被预处理以促进行驶的表面等。此外，还存在物理对象，其可以充当机器人210在基板220上的移动的不同严重程度的障碍。作为示例，图2示出了与机器人210的高度相当的箱形对象240、液体池241和中等尺寸的粉状材料堆242。在这些中，液体池241通常不会妨碍机器人210的运动，因此目的是将其视为下面将描述的算法的非障碍。

障碍物的簿记依赖于占用栅格230，即，将栅格的多个单元231中的每一个与占用概率p相关联的数据结构。处于栅格索引(x，y)的单元的占用概率可以表示为p(x，y)。栅格的分辨率可以表示为单元尺寸参数w

本公开将依赖于普通术语和占用栅格的通常包含的理论基础。特别地，单元的占用概率可以被理解为物理对象存在于单元中的后验概率。物理对象存在的最高可能性对应于该值p＝1。具有(0.5，1.0]范围内的占用概率值的单元可以被视为被占用的单元，并且具有在[0.0，0.5)范围内的值的单元可以被认为是空闲的。剩余值0.5表示未知的占用状态。占用栅格230是超出被占用/空闲的二元区别的概率表示，从而允许传感器融合和单个传感器的多个测量的虚构组合。在一些实施例中，使用备选占用栅格，其中每个单元与该单元空闲(即，不存在物理对象)的概率p′(“非占用概率”)相关联。这意味着存在物理对象的最高可能性对应于该值p′＝0。

所示的机器人210配备有活动臂213、末端执行器212和传感器211。传感器可以被升高，即位于基板220的水平面上方一定距离Z

图3是适于控制图2的机器人210的机器人控制器300的示意图。机器人控制器300可以与机器人210集成，或者可以实现为分离的、固定的或移动的单元。它包括：输入接口310，被配置为接收由机器人上的传感器211获取的占用相关测量；处理电路装置320，被配置为基于所接收的占用相关测量来分配占用概率；输出接口330，用于向机器人210提供命令；以及操作员接口340。接口320、340和处理电路装置320可以是本地资源或联网(或云)资源；特别地，处理电路装置320可以包括一个处理器或多个处理器。操作员接口340可以是基于文本的、图形的、听觉的、和/或触觉的接口，通过该接口，机器人控制器300可以接收指令，该指令在高级别上指示要馈送给机器人210的命令，并且通过该接口，它可以输出指示机器人210的状态或状况的人可理解的信息。图3还示出了机器人控制器300的内部功能组件310、320、330、340之间的一组示例性通信连接(数据连接)。备选地，这些连接可以实现为提供多点连接的中央总线。

为了建立和维护占用栅格，机器人控制器300可以执行图1所示的方法100。

在第一步骤110中，初始化占用栅格。它可以考虑基板220的几何形状和单元尺寸w

在第二步骤120中，获取基板220的高程图和色度图。

如这里所使用的，高程图将基板220的每个点与高于参考水平Z＝Z

色度图将基板220的点与相应的色度值相关联。类似于高程图，色度图具有占用栅格230的每个单元231一个色度值就足够了。色度可以指任何合适的颜色模型，例如RGB、HSL、HSV、Munsell、NCS等。出于说明而非限制的目的，在本说明书中将使用RGB表示。如果一个单元231内的多个点携带色度值，则它们的平均值或通过全局平滑(例如，拟合与下面讨论的函数h相似的函数)获取的值可以被应用为该单元的色度值。备选地，多个色度值保持不变，针对每个色度值评估主要标准，并且将单元中的这些评估的所有结果合并成一个。

两个图的数据源可以是传感器211，如所指出的，传感器211可以是RGB-D传感器。传感器211的输出可以是(或可转换成)三种像素强度分量分开的形式(X

-离散化操作，其中将水平坐标(X

-高程提取，其中高程Z

-色度提取，其中色度数据(R

高程提取可以可选地包括预处理操作130，其消除与传感器相比位于远程区域中的点云点和/或物理上不可达到的点。在这种意义上，从传感器211很难看见的远程区域可以对应于满足以下标准的这些点(X

C1：|(X

其中|·|表示欧几里得距离，(X

预处理操作130还可以包括消除表示高程的离群值的点云点。高程值与其它观察结果显著不同的事实可能表明其正确性是可疑的，因此可以将其视为异常值。再次，可以参考可从点云库(https：//pointclouds.org)获得的软件例程。

色度提取可以可选地包括强度归一化，其中像素强度三元组(R，G，B)被映射成一对(r，g)，使得

R、G、B中的每一个可以是与该颜色分量的对应强度成线性关系的范围[0，255]内的数。图4是所得到的二维颜色空间的图形表示。参考色绿色、蓝色和红色与白色一起指示，其对应于其中R＝G＝B的平坦光谱。强度归一化可以帮助消除与基板220的不同区域的不均匀照明相关的测量伪影。

在第四步骤140中，计算每个单元的平均高程Z

其中N(x，y)是落在(x，y)处的栅格单元中的传感器值(X

Z

计算平均高程的这种替代方式可以使数据精度更均匀，因为它减少了舍入/量化到传感器数据的栅格单元中的随机影响。

根据平均高程，第一部分概率可以计算如下：

其中Z

方法100的后续步骤150包括多个子步骤152、154，其中以确定占用栅格230的至少一些单元231的第二部分占用概率p2的最终目标来处理色度数据。

在第一子步骤152中，估计色度的分布以识别主色度值。估计可以包括形成关于一组预定义的筐或颜色类别的直方图。图5示出了将颜色空间(r，g)划分(网格化)成近似均匀大小的矩形的示例，这些矩形已经被顺序地编号或者已经被提供有其它标识符。分区的定义等效于将一对归一化像素强度值(r，g)映射到筐的顺序编号的函数c(r，g)。图6示出了反映所感知的色度在拐角(0，0)，(1，0)，(0，1)附近变化相对较慢的事实的替代分区，并且因此可以由较少数目的筐可靠地捕获。

在图5中示出的分区以及在某种程度上在图6中示出的分区可以被说成表示世界不可知的分区，更确切地说，在颜色空间上筐的密度近似均匀的意义上。在已知或期望某些色度值不存在或非常不寻常的使用情况下，可以利用这种先验知识来形成具有局部降低和/或局部增加的密度的颜色空间分区。图7示出了针对示例性色度图的参考图6的十一筐分区的直方图。竖直轴线表示相应的筐的色度频率f。频率f可以是发生率，诸如落在每个筐中的观测的数目或归一化数目。例如，可以定义

f(c)＝Card{i：C(r

其中Card表示集合中元素的数目，并且c

作为使用直方图的替换，第一子步骤152可以从概率密度函数(ansatz)的参数化开始，并且改变其参数，使得其匹配传感器数据。

在图7中绘制的直方图中，主色度值对应于筐2的色度值。第二层主色度值可以包括筐1和10。

第二子步骤154利用从色度分布获取的知识，如可以以直方图的形式可视化。如所解释的，本发明人已经认识到，与主色度值(参考全局色度图)相等或接近并且出现在相同栅格单元中作为非显著的高程值的关于单元的色度值可以表明该单元未被占用，即没有物理对象。因此，对于在与色度(r，g)＝(r(x，y)，g(x，y))相关联的栅格坐标(x，y)处的单元，第二部分占用概率可以按如下分配：

这里，该单元所属的色度筐的相对优势被量化为填充最多的色度筐的一部分。如果色度值属于填充最多的(占优的)筐，那么p

对于某些常数0＜k＜1，以及

在下一步骤160中，合并栅格坐标(x，y)处的单元的第一部分占用概率p

其中系数α

两个部分占用概率中的每一个贡献的事实反映了发明人的这样的认识：主色度值和低高程的组合对于表明单元可能是空闲的，即，要分配低占用概率是重要的。从图2的示例中可以回想到，液体池241具有与基板220不同的颜色，单独来看，这表明它是一个障碍，但同时高程h

在一些实施例中，第一部分占用概率p

作为方法100的最后步骤170，机器人控制器300可以基于占用栅格来控制工业机器人310的移动。这种控制可以包括局部运动规划、战术路线规划、碰撞避免、速度调节、和类似任务。

以上主要参考几个实施例来描述了本公开的方面。然而，如本领域技术人员容易理解的，在由所附的专利权利要求限定的本发明的范围内，除以上公开的实施例之外的其它实施例同样是可能的。