一种结合自监督学习的机械臂抓取规划方法和系统

技术领域

本发明属于机器人应用技术领域，更具体地，涉及一种结合自监督学习的机械臂抓取规划方法和系统。

背景技术

随着工业自动化进程的推进，机器人自动化技术随之加速发展，工业机器人现已广泛应用于工业生产制造过程中。当前，机器人正逐步由传统工业生产环境走向家庭服务、仓储物流等非结构化环境，智能化成为了机器人技术新的发展方向。机器人的智能化要求其能够感知环境并与环境中的物体进行交互，其中抓取是机器人与物体进行交互的一种典型方式，机器人的智能化抓取对提升生产工作效率和提升人机交互体验具有重要意义。

现有研究表明，深度学习技术的确能够在一定程度上帮助我们解决机器人的视觉抓取问题，然而抓取策略、算法模型及数据质量等诸多因素，均会对机器人的抓取效率及成功率产生不同程度的影响。因而深入研究基于视觉的机器人抓取规划方法，设计合理的抓取策略、鲁棒的算法模型及高效的数据采集和处理方法，对于推进非结构化环境中机器人抓取的智能化进程具有重要意义。

由此可见，现有技术存在抓取策略不合理、算法鲁棒性差、抓取成功率低的技术问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种结合自监督学习的机械臂抓取规划方法和系统，由此解决现有技术存在抓取策略不合理、算法鲁棒性差、抓取成功率低的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种结合自监督学习的机械臂抓取规划方法，包括：

利用待抓取物体完整点云生成多个候选抓取姿态，通过抓取质量分类模型对候选抓取姿态进行打分和分类，将得分最高的候选抓取姿态及其类别作为机械臂最优抓取规划；

所述抓取质量分类模型通过如下步骤训练得到：

利用物体完整点云生成多个抓取姿态，获取抓取姿态与物体完整点云的一对接触点，比较一对接触点指向物体内部的法向量与单位向量之间的夹角，将较大夹角的正切值作为抓取姿态的质量系数，通过抓取姿态的质量系数为抓取姿态生成类别标签；

将带有类别标签的多个抓取姿态作为训练数据，训练分类神经网络至收敛，得到抓取质量分类模型。

进一步地，所述物体完整点云通过如下方式得到：

获取多个视角下待抓取物体的深度图像，建立一个包围物体的包围盒，根据各视角下的深度图像对应的相机位姿计算包围盒的每个点在相机坐标系下的映射点，将映射点反投影后进行融合，得到物体完整点云。

进一步地，所述融合的具体实现方式为：

将映射点反投影得到深度图像中的对应像素点，将像素点的深度值与映射点到相机坐标系原点的距离之差作为包围盒的点的符号距离函数值sdf(p)，将相机的投射光线与包围盒的表面法向量的夹角除以映射点到相机坐标系原点的距离，得到包围盒的点的权重w(p)；

设置截断距离u，利用截断距离与sdf(p)之比构建截断符号距离函数tsdf(p)，在连续的多个视角下，为当前视角的截断符号距离函数tsdf(p)赋予权重w(p)，然后与前一视角的融合结果再次融合，得到融合后各点的截断符号距离函数，将融合后各点的截断符号距离函数小于距离阈值的融合点作为物体完整点云。

进一步地，所述符号距离函数值sdf(p)＞0，则截断符号距离函数tsdf(p)＝min(1，sdf(p)/u)，否则tsdf(p)＝max(-1，sdf(p)/u)。

进一步地，所述融合后各点的截断符号距离函数为：

其中，TSDF

进一步地，所述包围盒的处理方式还包括：

建立一个包围物体的包围盒，将包围盒划分为多个等分，每个等分为一个体素，在物体完整点云重建过程中并行遍历各体素中的点。

进一步地，所述抓取姿态的质量系数通过如下方式计算：

获取抓取姿态与物体完整点云的一对接触点p

获取p

计算p

计算n

若α

进一步地，所述抓取姿态的质量系数小于0.45，则此抓取姿态的类别标签为可行抓取；若抓取姿态的质量系数大于0.75，则此抓取姿态的类别标签为不可行抓取。

进一步地，所述候选抓取姿态的具体生成方式为：

计算待抓取物体完整点云的表面法线，对点云依次进行滤波、聚类、分割，在预处理后的点云中随机采样多个点；

根据各采样点的空间坐标以及表面法线创建局部坐标系，将局部坐标系作为抓取姿态初始坐标系，通过对抓取姿态初始坐标系进行随机的空间变换，得到多个抓取姿态；

根据机械臂抓取物体的夹持器的几何形状信息进行碰撞检测，滤除与物体完整点云接触的抓取姿态，得到候选抓取姿态。

按照本发明的另一个方面，提供了一种结合自监督学习的机械臂抓取规划系统，包括：

训练集构建模块，用于利用物体完整点云生成多个抓取姿态，获取抓取姿态与物体完整点云的一对接触点，比较一对接触点指向物体内部的法向量与单位向量之间的夹角，将较大夹角的正切值作为抓取姿态的质量系数，通过抓取姿态的质量系数为抓取姿态生成类别标签；

训练模块，用于将带有类别标签的多个抓取姿态作为训练数据，训练分类神经网络至收敛，得到训练好的抓取质量分类模型；

抓取规划模块，用于利用待抓取物体完整点云生成多个候选抓取姿态，通过抓取质量分类模型对候选抓取姿态进行打分和分类，将得分最高的候选抓取姿态及其类别作为机械臂最优抓取规划。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)本发明通过抓取姿态的质量系数自动为抓取姿态生成类别标签，将带有类别标签的多个抓取姿态作为训练数据，可摆脱机械臂抓取规划方法对现有物体数据集的依赖，实现了自监督学习的数据采集，使得抓取质量分类模型提供的抓取策略更加合理，可以指导机械臂进行非结构化环境中未知物体的鲁棒抓取，提高机械臂的抓取成功率。

(2)本发明建立包围物体的包围盒，然后对包围盒的点进行重建，省去了传统大范围三维重建算法中点云匹配过程的运算耗时，并且能够提高相机位姿估计的精度，进而提高重建所得点云的尺寸精度，使重建所得完整点云能够更加准确地表达场景中物体的几何信息。能够获取较高质量的抓取数据，并且能够提高机械臂的抓取成功率。在重建过程中将包围盒划分为多个等分，并行遍历各等分中的点，这样是为了减小计算复杂度，加快重建过程。

(3)本发明通过对比两个接触点指向物体内部的法向量与单位向量的夹角，得到抓取姿态的质量系数，借助力闭合分析算法实现抓取姿态的自动标注，可在真实抓取场景中自动采集并标注数据，赋予机械臂自主学习的能力，正常情况按照大于0.5和小于0.5进行分类标注，而本发明采用小于0.45和大于0.75进行类别区分，这样处理是为了明显区分两种类别的抓取数据，提高训练数据的质量，进而使抓取质量分类模型提供的抓取策略更加合理，由此提高机械臂的抓取成功率。

附图说明

图1是本发明实施例提供的一种结合自监督学习的机械臂抓取规划方法的流程图；

图2是本发明实施例提供的三维重建的流程图；

图3是本发明实施例提供的基于自监督学习的抓取数据采集方法的流程图；

图4(a)是本发明实施例提供的单物品场景下的抓取规划效果图；

图4(b)是本发明实施例提供的多物品场景下的抓取规划效果图；

图4(c)是本发明实施例提供的堆叠物品场景下的抓取规划效果图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，一种结合自监督学习的机械臂抓取规划方法，包括：

利用待抓取物体完整点云生成多个候选抓取姿态，通过抓取质量分类模型对候选抓取姿态进行打分和分类，将得分最高的候选抓取姿态及其类别作为机械臂最优抓取规划；

所述抓取质量分类模型通过如下步骤训练得到：

利用物体完整点云生成多个抓取姿态，获取抓取姿态与物体完整点云的一对接触点，比较一对接触点指向物体内部的法向量与单位向量之间的夹角，将较大夹角的正切值作为抓取姿态的质量系数，通过抓取姿态的质量系数为抓取姿态生成类别标签；

将带有类别标签的多个抓取姿态作为训练数据，训练分类神经网络至收敛，得到抓取质量分类模型。

如图2所示，物体完整点云通过如下方式重建：

采用眼在手上的方式将深度相机安装于机械臂末端，控制机械臂自动从多个视角获取待抓取物体的深度图像{img

建立一个包围桌面上物体的包围盒，根据各视角下的深度图像对应的相机位姿计算包围盒的每个点在相机坐标系下的映射点，将映射点反投影后进行融合，得到物体完整点云。

使用Marching Cube算法计算物体完整点云PC的三角面，进一步根据三角面计算各顶点处的表面法线，根据桌面高度分割物体完整点云及其表面法线。

如图3所示，机械臂移动到多个位姿并采集图像数据，进行当前场景的三维重建，从而得到场景中物体的完整点云，然后利用物体完整点云生成抓取姿态并进行自动标注，标注完成后，机械臂自主推动桌面上的物体，并继续进行下一场景的三维重建和自动标注。

融合包括：

(1)给定输入数据：深度图像集合{img

(2)建立长方体包围盒，使其能够包围所要重建的物体，即桌面和桌面上的物品。

(3)将包围盒划分为n等分，每个等分称之为一个体素，再将整个空间的所有体素放入GPU中进行运算，GPU的每个线程负责处理一条直线上的体素，即对于三维的(x，y，z)体素坐标，每个线程处理一个(x，y)坐标下的连续体素。

(4)根据体素的大小及数目，将划分的每个体素g转化为世界坐标系下的三维空间点p。

(5)接下来遍历各体素g，根据深度图像img

(6)像素点x的深度值为val(x)，定义点v到相机坐标原点的距离为dis(v)，则点p的sdf(符号距离函数)值为sdf(p)＝val(x)-dis(v)。

(7)设置截断距离为u，若sdf(p)＞0则截断符号距离函数tsdf(p)＝min(1，sdf(p)/u)，否则tsdf(p)＝max(-1，sdf(p)/u)。

(8)根据公式w(p)＝cos(θ)/dis(v)计算p点的权重，其中θ为投射光线与表面法向量的夹角。

(9)将当前帧与全局融合结果再次进行融合，定义TSDF(p)为全局融合的截断符号距离函数值，W(p)为全局融合的权重值，tsdf(p)为当前帧的截断符号距离函数值，w(p)为当前帧的权重值。融合公式为

TSDF

(10)将融合后各点的截断符号距离函数TSDF(p)小于距离阈值th的融合点作为物体完整点云PC。

自动标注包括：

搜索抓取姿态与物体完整点云的一对接触点p

若无法搜索到一对接触点，则将此抓取姿态的质量系数λ定义为正无穷大，然后输出质量系数λ。若搜索到一对接触点，定义两接触点的坐标为p

获取p

计算p

计算n

若α

为各抓取姿态添加分类标签，标签的添加方式如下：

若抓取姿态的质量系数小于0.45，则视此抓取姿态为可行抓取，添加标签1；若抓取姿态的质量系数大于0.75，则视此抓取姿态为不可行抓取，添加标签0。

所述分类神经网络模型基于PointNet网络模型构建，模型使用Sigmoid函数将网络输出转化为抓取质量分类得分。

下面对采用本发明方法进行机械臂抓取规划的效果进行说明：

如图4(a)、4(b)和4(c)所示，本发明提出的抓取规划方法在单物品、多物品和堆叠物品场景中均可有效工作，鲁棒性较高。此外，还可以看出本发明方法能够根据场景中的物体分布，有效滤除物体拥挤的区域，优先寻找较为独立的、利于抓取的物体，从而为机械臂末端执行器留出抓取作业空间，符合人类的抓取习惯。

为验证本发明提出的抓取规划方法的有效性及先进性，在真实的单物品和多物品堆叠场景中进行了抓取实验。实验中选取了生活中常见的水果、盒状物和柱状物3类物品作为抓取目标。抓取成功的判定条件为：机械臂抓取并抬起物体保持2s不掉落。

单物品场景中进行了5组抓取实验，每组实验分别对3个种类的共9个物品进行36次抓取。水果、盒状物和柱状物的抓取成功率分别为85.0％、90.0％93.3％，平均值为89.4％。

多物品堆叠场景中进行了20组抓取实验，每次选取6个物品作为抓取目标，每组实验尝试抓取10次，并记录时间。最终抓取成功率为86.2％，桌面清空率为92.5％，平均准备时间为1.37s。其中抓取成功率指的是桌面已清空或者已尝试10次时成功抓取的次数占总抓取次数的比例，桌面清空率指的是10次抓取尝试后被移除物品数占总物品数的比例，平均准备时间指从开始采集图像到确定最优抓取的时间长度。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。