一种基于抓取生成卷积神经网络的机械臂抓取方法

技术领域

本发明涉及机械臂无序抓取的领域，其中涉及一种基于抓取生成卷积神经网络的机械臂抓取方法。

背景技术

现有的机械臂抓取控制研究工作中，大部分采用深度学习技术来实现抓取检测，检测的精度和实时性是评价系统性能的主要因素。此前大部分工作都将研究重心放在提升对静态物体的抓取精度上，相对忽视对于检测时延的要求。考虑到抓取移动物体的实用价值，如何设计出一种兼顾精度与实时性的机械臂抓取方法，成为了机械臂抓取研究领域的热点问题。

因此，为了在一定程度上解决上述问题，需要结合神经网络的二实现的机械臂抓取方法，能在保证抓取检测精度的同时，降低实时抓取检测时延。

发明内容

鉴于现有技术的不足，本发明旨在于提供一种基于抓取生成卷积神经网络的机械臂抓取方法，采用的神经网络参数量少、训练耗时低、实际应用中预测输出时延低，同时引入先验知识补充方法，提高训练所得到的神经网络模型的预测精度。

为了实现上述目的，本发明采用的技术方案如下：

一种基于抓取生成卷积神经网络的机械臂抓取方法，所述方法包括

建立神经网络模型：基于标准数据集，根据抓取配置参数组构建神经网络模型的网络层，并对数据集中图片样本及其真实标注框进行预处理，以及使用先验知识改进数据集标签处理，训练得到神经网络模型；

获取场景深度信息：根据位于抓手上的深度传感器获取深度图片，得到场景深度信息；

预测得到抓取配置：将采集后的场景深度信息输入至训练得到的神经网络模型，根据神经网络的预测图谱得到预测的机械臂抓手抓取配置参数。

网络输出坐标变换处理：对得到的预测机械臂抓手抓取配置参数信息进行坐标变换处理，即可获得机械臂可执行的抓取配置。

机械臂执行抓取：机械臂获取到可执行的抓取配置后，机械臂控制器规划并执行抓取运动。

需要说明的是，还包括计算标准抓取框与预测抓取框之间的交并比和角度误差。即两边框的交集与并集面积之比，用于衡量抓取预测的有效性；并且加入预测抓取框与标准抓取框在倾斜角度上的误差标准。

需要说明的是，预测机械臂抓手抓取配置参数组的公式表示如下：

(x,y,θ,w,h)；

其中，(x,y)表示深度图片中抓取中心点的坐标，θ表示抓手旋转角度，w表示抓手张开宽度，h表示抓手本身宽度。

需要说明的是，所述坐标为根据置信度预测图谱得到置信度最大点，所述抓手旋转角度是据抓取旋转角度预测图谱得到，所述抓手张开宽度是根据抓手张开宽度预测图谱中该坐标点对应的值得到。

需要说明的是，所述抓手旋转角度包括：

根据网络输出的抓手旋转角度二倍角正弦图谱及二倍角余弦图谱中对应像素点的值，融合得到抓手旋转角度：

其中，θ

需要说明的是，所述预测机械臂抓手抓取配置参数信息进行坐标变换处理的公式如下：

其中，

需要说明的是，所述先验知识改进数据集标签处理中的公式如下：

Q＝1-3·d/W；

其中，d为像素点到中轴线的距离，W为标准抓取框中抓手张开角度边的长度；所述中轴线为标准抓取框中抓手张开角度边的中轴线。

本发明还提供一种具有基于抓取生成卷积神经网络的机械臂抓取方法的机械臂抓取控制系统，所述系统包括：

深度传感器节点，用于采集实时场景深度信息；

关节状态节点，用于发布机械臂各个关节的状态信息；

神经网络预测节点，基于标准数据集训练神经网络模型，并用于接受上述消息，对深度图片进行抓取预测，得到最优抓取配置方案；

关节控制器节点，用于执行抓取规划运动，随后更新当前关节状态。

本发明有益效果在于：通过训练获得的神经网络模型，可用于实际抓取场景中预测抓取参数图谱，并通过深度传感器获取场景信息，输入至网络，得到抓取配置输出，经过坐标变换得到机械臂抓手端可执行的抓取配置，从而能够通过机械臂控制器规划并执行机械臂各个关节的运动。同时通过先验知识补充方法，提高了抓取精度，能够广泛应用于机械臂抓取的技术领域。

附图说明

图1为本发明中机械臂抓取方法的一具体实施例的实现流程图；

图2为本发明中神经网络的网络结构的示意图；

图3为本发明中机械臂抓取场景的一具体实施例的示意图；

图4为本发明中待抓取物体上抓取框的一具体实施例的示意图；

图5为本发明中神经网络预测图谱的一具体实施例的示意图；

图6为本发明中物体上抓取配置表示的一具体实施例的示意图；

图7为本发明中先验知识补充方法的一具体实施例的示意图。；

图8为本发明中抓取控制系统的一具体实施例的示意图。

具体实施方式

下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

本发明为一种基于抓取生成卷积神经网络的机械臂抓取方法，所述方法包括

建立神经网络模型：基于标准数据集，根据抓取配置参数组构建神经网络模型的网络层，并对数据集中图片样本及其真实标注框进行预处理，以及使用先验知识改进数据集标签处理，训练得到神经网络模型；

获取场景深度信息：根据位于抓手上的深度传感器获取深度图片，得到场景深度信息；

预测得到抓取配置：将采集后的场景深度信息输入至训练得到的神经网络模型，根据神经网络的预测图谱得到预测的机械臂抓手抓取配置参数。

网络输出坐标变换处理：对得到的预测机械臂抓手抓取配置参数信息进行坐标变换处理，即可获得机械臂可执行的抓取配置。

机械臂执行抓取：机械臂获取到可执行的抓取配置后，机械臂控制器规划并执行抓取运动。

需要说明的是，还包括计算标准抓取框与预测抓取框之间的交并比和角度误差。即两边框的交集与并集面积之比，用于衡量抓取预测的有效性；并且加入预测抓取框与标准抓取框在倾斜角度上的误差标准。

需要说明的是，预测机械臂抓手抓取配置参数组的公式表示如下：

(x,y,θ,w,h)；

其中，(x,y)表示深度图片中抓取中心点的坐标，θ表示抓手旋转角度，w表示抓手张开宽度，h表示抓手本身宽度。

需要说明的是，所述坐标为根据置信度预测图谱得到置信度最大点，所述抓手旋转角度是据抓取旋转角度预测图谱得到，所述抓手张开宽度是根据抓手张开宽度预测图谱中该坐标点对应的值得到。

需要说明的是，所述抓手旋转角度包括：

根据网络输出的抓手旋转角度二倍角正弦图谱及二倍角余弦图谱中对应像素点的值，融合得到抓手旋转角度：

其中，θ

需要说明的是，所述预测机械臂抓手抓取配置参数信息进行坐标变换处理的公式如下：

其中，

需要说明的是，所述先验知识改进数据集标签处理中的公式如下：

Q＝1-3·d/W；

其中，d为像素点到中轴线的距离，W为标准抓取框中抓手张开角度边的长度；所述中轴线为标准抓取框中抓手张开角度边的中轴线。

本发明还提供一种具有基于抓取生成卷积神经网络的机械臂抓取方法的机械臂抓取控制系统，所述系统包括：

深度传感器节点，用于采集实时场景深度信息；

关节状态节点，用于发布机械臂各个关节的状态信息；

神经网络预测节点，基于标准数据集训练神经网络模型，并用于接受上述消息，对深度图片进行抓取预测，得到最优抓取配置方案；

关节控制器节点，用于执行抓取规划运动，随后更新当前关节状态。

实施例

如图1所示，本发明的一种基于抓取生成卷积神经网络的机械臂抓取方法包括以下步骤：

S1：基于标准数据集，训练神经网络模型：根据所需抓取配置参数构建神经网络模型，并选取标准数据集，并采用数据增强方法对数据集的丰富度进行改善。同时，对数据集中图片样本及其真实标注框进行预处理，以及在训练时，使用先验知识补充优化方法，提高训练后模型的准确度。

S2：获取场景深度信息：使用深度传感器作为信息采集工具，获取场景中实时的深度信息。深度传感器位于机械臂末端关节处，以恒定的频率获取实时深度场景信息。

S3：将采集后的场景深度信息输入至训练得到的神经网络模型，预测得到抓取配置：根据网络输入要求，对实时深度场景图片调整为固定大小以满足网络接受统一大小输入的要求。神经网络的架构如图2所示，通过该神经网络，对获取到的深度图片中每一个像素点的抓取配置参数进行直接预测，网络输出四张分别携带抓取置信度、抓取旋转角度二倍角正弦值、抓取旋转角度二倍角余弦值、抓手张开宽度信息的预测图谱，根据该四张预测图谱得到当前深度场景下的抓取最优配置参数组，采用五元组表示为(x,y,θ,w,h)，作为交付给机械臂运动规划系统的配置信息。

S4：网络输出坐标变换处理：机械臂一实际抓取场景如如图3所示，神经网络预测得到最优抓取配置参数为相机坐标系下的参数，机械臂规划控制器可执行的抓取配置参数基于世界坐标系。根据神经网络得到的最优抓取配置参数获取相机坐标系下抓手末端目标点的三维坐标，并根据坐标系变换使深度图像上的抓取配置G

其中，

进一步地，作为本方法的优选实验例，所述基于标准数据集训练神经网络模型这一步骤，还包括：

计算预测抓取框与标准抓取框之间的交并比，即两边框的交集与并集面积之比，用于衡量抓取预测的有效性。并且加入预测抓取框与标准抓取框在倾斜角度上的误差标准，如图4所示，计算公式如下：

Ori＝|θ

其中，Jac表示预测抓取框与标准抓取框的交并比，g

步骤S1中标准数据集数据增强的具体过程为：标准数据集的场景较为固定，物体大多放置在场景中间，在训练神经网络前对数据集进行数据增强，处理方法包括旋转、裁剪、翻转等，以增加最终模型的鲁棒性，防止模型过拟合。

步骤S3中神经网络预测得到抓取配置参数的具体过程如下所述。

神经网络对获取到的深度图片中每一个像素点的抓取配置参数进行直接预测，如图5所示，一张深度图片输入至神经网络模型后，最终得到四张分别携带抓取置信度Q、抓取旋转角度二倍角正弦值sin(2θ)、抓取旋转角度二倍角余弦值cos(2θ)、抓手张开宽度W信息的预测图谱。其中，抓取置信度、抓手旋转角度二倍角正弦值、抓手旋转角度二倍角余弦值、抓手张开宽度和深度图片的每个像素点具有一一对应关系，从而得到神经网络预测的最优抓取配置参数。如图8所示，获取最优预测抓取配置参数的步骤如下：

根据抓取置信度预测图谱得到具有最大置信度的像素点的坐标及(x,y)对应的最大置信度Q

根据抓取旋转角度预测图谱上对应坐标像素点的值获取抓手旋转角度θ

根据抓手宽度预测图谱上对应坐标像素点的值获取抓手宽度W

根据以上步骤获取神经网络预测的最优抓取配置，采用五元组表示为(x,y,θ,w,h)。其中，(x,y)表示具有最大置信度像素点的坐标，θ表示最优抓手旋转角度，即为θ

步骤S4中获取相机坐标系下抓手末端目标点三维坐标的具体过程如下所述。

在深度图像上使用三元组(x,y,z)代替二维的坐标(x,y)，用于表示相机坐标系下抓取框中心的空间位置。根据深度传感器的成像原理，深度图像上某点(x,y)的z坐标的绝对值|z|由该点的灰度值gray计算得到。三元组(x,y,z)的物理意义为，图像上坐标为(x,y)的点所对应的z值表示在真实世界物体表面上，该点同深度传感器之间的距离。深度图像为2.5维数据，需要经过坐标变换T

(x,y,z)

其中T

实施例二

在本发明的方法中还包括了一种神经网络参数训练的先验知识补充优化方法。具体的说，对于机械臂抓取检测任务，通常希望抓取中心能尽可能接近物体的中心轴线。因此，如图7所示，在训练模型时，对于标准抓取框中间三分之一部分的像素点，依据它们距离抓取框中心对称轴的距离，对它们的抓取置信度按线性函数分布进行赋初值操作——以抓取框的抓手张开边W上的对称轴为中心轴线，轴线上的抓取置信度赋值为1(即最高的置信度)，距离对称轴最远的(即位于原抓取框中部三分之一边缘的像素)的抓取置信度赋值为0.5，其余抓取框中部的像素点则按照它们到对称轴的距离进行赋值，某点初始的抓取置信度Q与点到抓取框中轴线位置的关系为：

Q＝1-3·d/W (6)

其中，d为像素点到中轴线的距离，范围为

实施例三

最后，基本本发明方法的实现，本实施例提供了一种抓取控制系统，该系统由多个节点构成，如图8所示，节点包含深度传感器、关节状态、神经网络预测、关节控制器节点。深度传感器节点采集实时场景深度信息，同时，关节状态节点发布关节状态信息，神经网络预测节点接收到以上两个节点的消息，对深度图片进行抓取预测，得到最优抓取配置方案，并进行坐标变换处理，得到机器人可执行的抓取配置方案，交由关节控制器节点，关节控制器节点接收到消息后，进行各个关节的规划运动，规划运动后，关节控制器节点将更新后的关节状态发布给关节状态节点。通过循环上述过程，夹具将趋近目标抓取点，当夹具距离物体小于某个阈值之后，神经网络预测节点不再进行预测，转而跟踪之前锁定的全局最优点。

对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。