一种基于RGB-D的托盘位姿估计方法、系统及装置

技术领域

本发明涉及图像识别托盘领域，尤其涉及一种基于RGB-D的托盘位姿估计方法、系统及装置。

背景技术

随着计算机与机器人技术的快速发展，智能叉车在物流行业中的广泛应用，标志着仓储物流向着自动化和智能化发展。但在非结构化仓库的复杂环境中，受到作业流程、设备精度、人工作业等因素影响，托盘码放的位置和姿态存在着较大的不确定性。不准确的目标位置和姿态信息，对智能叉车的托盘柔性拾取能力提出较高的技术要求，在图像识别托盘的方面，研究者们多将问题集中在单一托盘识别问题上，缺少对托盘与环境的空间关系的考虑，并对多托盘识别问题研究较少。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于RGB-D的托盘位姿估计方法、系统及装置，保证在复杂环境下托盘识别，并计算出托盘位姿参数。

本发明所采用的第一技术方案是：一种基于RGB-D的托盘位姿估计方法，包括以下步骤：

S1、基于RGB-D传感器采集图像并在判断到托盘距离在可探测范围内，计算压缩网格尺寸；

S2、对图像的像素进行分类，获得类别矩阵；

S3、基于压缩网格尺寸对类别矩阵和预构建的模板进行压缩和模板匹配处理，得到匹配度；

S4、判断到匹配度大于预设阈值，得到托盘感兴趣区域；

S5、基于托盘感兴趣区域提取托盘支架坐标，并计算得到托盘位姿参数。

进一步，还包括：

获取多帧图像并分别计算多帧图像的托盘位姿参数，基于滑动均值窗口对多帧图像的托盘位姿参数进行滤波，得到精确的托盘位姿参数。

进一步，所述基于RGB-D传感器采集图像并在判断到托盘距离在可探测范围内，计算压缩网格尺寸这一步骤，其具体包括：

基于RGB-D传感器采集图像并根据图像得到托盘距离和托盘尺寸；

判断到托盘距离在可探测范围内，基于托盘距离、托盘尺寸和预设的小孔成像模型，计算压缩网格尺寸。

进一步，所述对图像的像素进行分类，获得类别矩阵这一步骤，其具体包括：

基于分类器对图像中的每个像素进行分类，得到每个像素的类别信息；

基于每个像素的类别信息建立类别矩阵。

进一步，所述预构建的模板的构建步骤具体包括：

根据仓库码放要求和托盘形状尺寸，建立类别模板；

所述类别模板包括托盘信息、货物信息和地面信息和托盘孔信息。

进一步，所述基于压缩网格尺寸对类别矩阵和预构建的模板进行压缩和模板匹配处理，得到匹配度这一步骤，其具体包括：

基于压缩网格尺寸对类别矩阵和预构建的类别模板进行压缩，得到压缩后的类别矩阵和压缩后的类别模板；

通过滑动窗口方法确定托盘的准确位置；

将压缩后的类别模板与窗口内压缩后的类别矩阵进行点积运算，得到匹配度。

进一步，所述托盘支架坐标的表达式如下：

上式中，

进一步，所述托盘位姿参数的计算公式如下：

上式中，θ

本发明所采用的第二技术方案是：一种基于RGB-D的托盘位姿估计系统，包括：

图像采集模块，基于RGB-D传感器采集图像并在判断到托盘距离在可探测范围内，计算压缩网格尺寸；

分类模块，用于对图像的像素进行分类，获得类别矩阵；

匹配模块，用于基于压缩网格尺寸对类别矩阵和预构建的模板进行压缩和模板匹配处理，得到匹配度；

判断模块，用于判断到匹配度大于预设阈值，得到托盘感兴趣区域；

托盘位姿估计模块，基于托盘感兴趣区域提取托盘支架坐标，并计算得到托盘位姿参数。

本发明所采用的第三技术方案是：一种基于RGB-D的托盘位姿估计装置，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于RGB-D的托盘位姿估计方法。

本发明方法、系统及装置的有益效果是：本发明种基于类别模板匹配，在模板中用尺寸和类别表示托盘形状和空间信息，提高了模板匹配的鲁棒性，通过网格压缩匹配对类别矩阵和类别模板进行压缩和匹配，减少噪声对匹配的干扰，从而实现保证该方法的运行速度，在复杂环境下计算出托盘位姿参数。

附图说明

图1是本发明一种基于RGB-D的托盘位姿估计方法的步骤流程图；

图2是本发明一种基于RGB-D的托盘位姿估计系统的结构框图；

图3是本发明具体实施例的类别模板；

图4是本发明具体实施例的步骤流程图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

本发明的位姿估计方法首先提出一种基于类别模板托盘识别方法，在模板中添加货物、货架、地面和托盘等的信息，增加目标的信息，保证在复杂环境下托盘识别，增强识别系统的鲁棒性。同时提出一种基于压缩的模板匹配方法，提高算法抗干扰能力，加快匹配速度。

参照图1和图4，本发明提供了一种基于RGB-D的托盘位姿估计方法，该方法包括以下步骤：

S1、基于RGB-D传感器采集图像并在判断到托盘距离在可探测范围内，计算压缩网格尺寸；

S2、对图像的像素进行分类，获得类别矩阵；

S3、基于压缩网格尺寸对类别矩阵和预构建的模板进行压缩和模板匹配处理，得到匹配度；

S4、判断到匹配度大于预设阈值，得到托盘感兴趣区域；

S5、基于托盘感兴趣区域提取托盘支架坐标，并计算得到托盘位姿参数。

进一步作为本方法的优选实施例，还包括：

获取多帧图像并分别计算多帧图像的托盘位姿参数，基于滑动均值窗口对多帧图像的托盘位姿参数进行滤波，得到精确的托盘位姿参数。

进一步作为本方法的优选实施例，所述基于RGB-D传感器采集图像并在判断到托盘距离在可探测范围内，计算压缩网格尺寸这一步骤，其具体包括：

基于RGB-D传感器采集图像并根据图像得到托盘距离和托盘尺寸；

判断到托盘距离在可探测范围内，基于托盘距离、托盘尺寸和预设的小孔成像模型，计算压缩网格尺寸。

进一步作为本方法优选实施例，所述对图像的像素进行分类，获得类别矩阵这一步骤，其具体包括：

基于分类器对图像中的每个像素进行分类，得到每个像素的类别信息；

基于每个像素的类别信息建立类别矩阵。

具体地，选择SVM算法作为系统的分类算法。

进一步作为本方法优选实施例，所述预构建的模板的构建步骤具体包括：

根据仓库码放要求和托盘形状尺寸，建立类别模板；

所述类别模板包括托盘信息、货物信息和地面信息和托盘孔信息。

具体地，参照图3，用尺寸和类别表示托盘形状和空间信息。模板中包含货物、托盘和地面或货架信息，且货物在托盘上方，托盘放置于地面(货架)上方。根据小孔成像原理计算，图像中托盘尺寸计算式为(1)，(2)。设定模板中货物及地面类别的尺寸高度与托盘相同，模板尺寸计算式子为(3)，(4)。

其中

进一步作为本方法优选实施例，所述基于压缩网格尺寸对类别矩阵和预构建的模板进行压缩和模板匹配处理，得到匹配度这一步骤，其具体包括：

为了减少运算次数，基于压缩网格尺寸对类别矩阵和预构建的类别模板进行压缩，得到压缩后的类别矩阵和压缩后的类别模板；

具体地，建立若干个正方形的压缩单元，单元尺寸为s

其中T、T

通过滑动窗口方法确定托盘的准确位置；

将压缩后的类别模板与窗口内压缩后的类别矩阵进行点积运算，得到匹配度。

具体地，匹配度越大，则该窗口为托盘所在位置的概率越大，当匹配度大于预设阈值时，判断此处为托盘的候选位置，阈值的选择根据仓库环境的复杂程度确定。

进一步作为本方法优选实施例，所述托盘支架坐标的表达式如下：

上式中，

进一步作为本方法优选实施例，所述托盘位姿参数的计算公式如下，对点云数据进行处理：

上式中，θ

另外，多帧的计算结果通过一个均值滑动窗口滤波，提高结果的准确度，计算式为(10)，(111)表示：

上式中，

如图2所示，一种基于RGB-D的托盘位姿估计系统，包括：

图像采集模块，基于RGB-D传感器采集图像并在判断到托盘距离在可探测范围内，计算压缩网格尺寸；

分类模块，用于对图像的像素进行分类，获得类别矩阵；

匹配模块，用于基于压缩网格尺寸对类别矩阵和预构建的模板进行压缩和模板匹配处理，得到匹配度；

判断模块，用于判断到匹配度大于预设阈值，得到托盘感兴趣区域；

托盘位姿估计模块，基于托盘感兴趣区域提取托盘支架坐标，并计算得到托盘位姿参数。

进一步作为本系统的优选实施例，所述基于RGB-D的托盘位姿估计装置：

一种基于RGB-D的托盘位姿估计装置：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述一种基于RGB-D的托盘位姿估计方法。

上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。