基于卷积神经网络可微分结构搜寻的机器人智能抓取方法

技术领域

本发明涉及机器人抓取算法领域，具体涉及一种基于卷积神经网络可微分结构搜寻的机器人智能抓取方法。

背景技术

机器人智能抓取多采用一个手眼机器人系统自动抓取未知不同形状和颜色的物体，并放置到指定区域。实现机器人智能抓取的核心是从包含物体颜色形状信息的图像或者数字模型中得到有效的抓取姿态。

现有的机器人智能抓取方法可以分为物理分析和经验模型两种。物理分析方法通过力学分析方法直接从物体的三维模型中获取合适的抓取姿态，这类方法计算量较大，而且简化了很多现实世界中存在的约束，存在泛化效果较差、计算时间较长的问题。而经验模型方法则主要基于深度学习的方法通过数据集学习特定物体的抓取方式，其中主要是使用卷积神经网络处理物体的深度图像来预测抓取姿态。

但机器人智能抓取对卷积神经网络提出了更高的识别精度和更快的运算速度要求，目前大多数应用于机器人抓取的神经网络都是通过深度学习领域的专家依据专业知识和经验人工设计，耗费了大量的计算资源和时间成本。

发明内容

针对现有技术的不足，本发明公开一种基于卷积神经网络可微分结构搜寻的机器人智能抓取方法，具体技术方案如下：

一种基于卷积神经网络可微分结构搜寻的机器人智能抓取方法，该方法包括如下步骤：

(1)构建抓取姿态生成网络的训练集和验证集，所述训练集和验证集均包括网络输入和输出，所述网络输入为RGB-D图像，输出为每个像素点对应的抓取质量Q、抓取角度

(2)构造由多个节点组成的链式搜索空间，确定节点之间的候选卷积计算操作；

(3)松弛化离散的链式搜索空间至连续；

(4)将神经网络计算速度和精度同时作为优化目标，建立基于梯度的神经网络双层优化模型，所述双层优化模型包括内层优化和外层优化，其中，所述内层优化为采用训练集训练神经网络所有权重系数w；所述外层优化为根据训练后的神经网络所有权重系数w

然后挑选操作变量α组成卷积神经网络，并用训练集重新训练权重系数，得到具有最优参数的抓取姿态生成网络；

(5)将由位于机器人末端的深度相机拍摄的RGB-D图像输入具有最优参数的抓取姿态生成网络，输出与输入图像长宽一致的每一个像素点所对应的包含抓取质量Q、抓取角度

(6)从步骤(5)得到的图像中选取抓取质量Q最大的像素点，把该像素点的位置作为抓取框的中心位置，再由上位机控制机器人和机械爪完成对物体的抓取。

进一步地，所述步骤(1)中的训练集和验证集的获得是基于现有的机器人智能抓取数据集给出的RGB-D图像和成功进行物体抓取的抓取框，生成每个像素点的抓取质量Q、抓取角度

将每个抓取框沿着抓取宽度方向平均分为三部分，将位于中心的一部分填充抓取质量q为1，填充每个抓取框相对于图片的转动角度φ，填充抓取开度w；其中，φ取值在

进一步地，所述链式搜索空间由多个节点组成，每个节点表示经过计算操作后的中间结果，节点之间通过有向箭头线进行连接，有向箭头线表示所有可能的候选神经网络计算操作；所述神经网络计算操作指两个节点之间采用不同尺寸的卷积核和不同数目的卷积层进行计算的操作；节点之间都采用链式连接方式，从而最大化地利用计算资源加快优化算法收敛速度。

进一步地，所述的步骤(3)松弛化离散的链式搜索空间至连续通过如下的步骤来实现：

将原先节点之间的操作都赋予归一化的连续变量α，使离散操作用连续变量α来表示；具体计算方法是将节点之间每个有向箭头线都乘以对应的变量α，然后将得到的结果求和作为最终的计算结果，计算公式为：

其中，e为自然对数，x

进一步地，所述内层优化为在所有神经网络节点之间操作变量α确定的情况下，采用训练集计算损失函数来训练神经网络所有权重系数w；

所述外层优化为基于训练后的神经网络所有权重系数w

具体计算如公式(2)和(3)，其中，公式(3)是内层优化函数，公式(2)是外层优化函数：为了将计算精度与时间同时作为优化目标，在外层优化函数中引入了延迟因子，延时因子通过计算当前神经网络浮点计算数与目标神经网络浮点计算数的商来调整损失函数

其中，

进一步地，所述的步骤(4)中，为了使外层函数更快确定正确的收敛梯度，将内层函数计算迭代至接近收敛再更新外层函数；同时，通过观测多次内层函数迭代所得损失集来判断是否收敛，从而避免优化过程停止在局部最优解；内层函数的收敛标准定义如下：

其中，

其中，N为每组中的内层函数计算次数，G

进一步地，所述的步骤(4)中，在优化完成后，对神经网络的操作变量α进行排序，挑选拥有最高α值的唯一操作或者挑选α值较高的前几个操作组成复合的卷积神经网络，并用训练集重新训练权重系数w，得到训练后的神经网络。

进一步地，所述机器人所在的物理抓取环境包括物理机器人、二指平行自适应夹爪、深度相机以及待抓取物体集合；所述二指平行自适应夹爪和深度相机均固定在所述物理机器人的末端，且运动过程中，两者的相对位置不变；所述二指平行自适应夹爪垂直于抓取平面。

本发明的有益效果如下：

(1)相比于其他智能抓取方法，本发明提出的抓取姿态生成网络避免了在颜色-深度图片中进行候选姿态采样以及候选抓取评估，通过全卷积神经网络完成抓取质量判断和抓取姿态生成，快速地提高了神经网络计算效率。

(2)本发明采用链式搜索框架，通过赋予网络节点之间操作变量，将离散网络结构寻优转化为连续变量寻优，建立了先训练网络权重后优化网络结构的神经网络双层优化模型，解决了优化过程中计算量过大的问题。

(3)本发明通过在外层优化函数中引入延迟因子，使得神经网络的计算速度也纳入优化目标中，实现精度和速度的同时优化，使得最优抓取更贴近实际工业场景。

附图说明

图1为本发明的机器人智能抓取示意图；

图2为物理抓取环境的示意图；

图3为抓取决策网络工作流程图；

图4为抓取生成网络训练数据处理方式示意图；

图5为抓取生成网络输入和输出示意图。

具体实施方式

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的智能抓取所需要的物理环境为手眼机器人、二指平行自适应夹爪、深度相机以及待抓取物体集合；手眼机器人和二指平行自适应夹爪是抓取的主要执行机构，并且负责向上位机传输位置和姿态信息；深度相机负责上上位机传输被抓物体的点云信息。在该实施例中，机器人为6轴协作机器人，深度相机为可以采集彩色图片和2.5D深度点云图片的相机，待抓取物体集合为一个或者多个在机器人工作空间中一水平平面上随机摆放的物体。深度相机摆放方式是眼在手上，即相机相对于机器人末端是固定的。通过机器人可以获取工具坐标系的相关姿态，通过相机坐标系到工具坐标系的手眼标定，可以获取深度相机的位置和姿态，从而确定当前物理环境中主要硬件的姿态和工作状态，并得到待抓取物体摆放的相关点云信息。

如图2和3所示，本发明的基于卷积神经网络可微分结构搜寻的机器人智能抓取方法运行在上位机中，通过构建抓取姿态神经网络，并通过基于梯度的神经网络双层优化模型对该神经网络进行优化，并将计算精度与时间均作为优化目标。

抓取姿态生成网络的任务是，输入由同一个深度相机产生的RGB图像P

用g＝(p，φ，w，q)来定义图片空间中，垂直于水平面的一次抓取。其中，p＝(u，v)决定抓取的像素位置，φ定义抓取时机械爪绕竖直方向的旋转角度，w定义抓取时夹爪的开度，q定义抓取质量。q的值越大，说明在该抓取位置进行抓取成功的可能性就越大。

抓取姿态生成网络对输入图片的每一个像素点，都进行抓取的预测，并给出在这个像素点进行抓取时需要的抓取角度、抓取宽度，以及这个像素点抓取成功的概率。在图5抓取生成网络输出的三张特征图像G＝{Φ，W，Q}∈R

为了达到这样的目的，需要处理数据集来训练抓取生成网络。在Cornellgraspingdataset开源数据集中，给出了抓取颜色-深度图像，并且给出了一些可以成功进行物体抓取的抓取框。如图4所示，对开源数据集进行预处理，即对于抓取质量Q，每个抓取框沿着抓取宽度，中心的1/3部分，是适宜于抓取的位置，对这一部分，填充抓取质量q为1，填充每个抓取框相对于图片的转动角度φ，取值在

神经网络结构优化算法是一种基于梯度的神经网络结构优化算法，将计算精度与时间同时作为优化目标，从而得到一个兼具精度和速度的神经网络结构。

神经网络结构优化算法主要涉及搜索空间和搜索算法两方面。搜索空间是由多个节点以链式结构连接组成，每个节点表示经过计算操作后的中间结果，节点之间通过有向箭头线进行连接，有向箭头线表示所有可能的候选神经网络计算操作。为了最大的利用卷积的特性，所述神经网络计算操作指两个节点之间采用不同尺寸的卷积核和不同数目的卷积层进行计算的操作；节点之间都采用链式连接方式，从而最大化地利用计算资源加快优化算法收敛速度。

在确定了节点个数以及节点之间的候选操作后，通过将原先节点之间的操作都赋予归一化的变量α，使离散操作用连续变量α来表示，实现了离散搜索空间的松弛化和连续化，从而可以建立基于梯度的神经网络结构双层优化模型。具体计算方法是将节点之间每个有向箭头线都乘以对应的变量α，然后将得到的结果求和作为最终的计算结果，计算公式为：

其中，e为自然对数，x

所述双层优化模型包括内层优化和外层优化，其中，所述内层优化为采用训练集训练神经网络所有权重系数w；所述外层优化为根据训练后的神经网络所有权重系数w

所述内层优化为在所有神经网络节点之间操作变量α确定的情况下，采用训练集计算损失函数来训练神经网络所有权重系数w；所述外层优化为基于训练后的神经网络所有权重系数w

其中，

另外，为了使外层函数更快确定正确的收敛梯度，将内层函数计算迭代至接近收敛再更新外层函数；同时，通过观测多次内层函数迭代所得损失集来判断是否收敛，从而避免优化过程停止在局部最优解；内层函数的收敛标准定义如下：

其中，

其中，N为每组中的内层函数计算次数，G

在优化完成后，对神经网络的操作变量α进行排序，挑选拥有最高α值的唯一操作或者挑选α值较高的前几个操作组成复合的卷积神经网络，并用训练集重新训练权重系数w，得到训练后的神经网络。

然后再将由位于机器人末端的深度相机拍摄的RGB-D图像输入具有最优参数的抓取姿态生成网络，输出与输入图像长宽一致的每一个像素点所对应的包含抓取质量Q、抓取角度

为了验证本发明的优越性，分别采用本发明的方法和现有的基于进化算法的神经网络结构优化算法(GA-RG)进行抓取来对比。进化算法是典型的离散优化算法，需要大量的优化时间，但是可以更加随机的进行神经网络结构优化。表1显示DARTS-RG与GA-RG在机器人智能抓取中的对比，可以看出，在没有引入延迟因子和引入延迟因子两种情况下，本发明的优化时间都远远小于GA-RG算法。且在没有引入延迟因子时，本发明的方法的抓取精度也大于GA-RG算法。

表1 GA-RG与DARTS-RG的性能对比

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。