基于多约束条件的机器人抓取模式选择方法及系统

技术领域

本公开涉及机器人抓取控制技术领域，特别涉及一种基于多约束条件的机器人抓取模式选择方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

机器人抓取是机器人与外界交互的重要操作能力，一直是机器人领域的重要研究方向。机器人抓取主要涉及检测、决策和控制三个方面。随着视觉图像、触觉信息、自然语言处理等方式的流行与成熟，处理抓取物体检测技术的研究较为广泛，提出了如基于抓取物体模型或基于数据信息的抓取检测模型。而研究抓取决策是实现最终成功抓取的重要组成部分。随着复杂生产和生活环境对机器人操作能力提出更高的需求，制定合理的抓取决策规则越来越成为实现满意抓取的前提。

有研究人员通过深度卷积网络提出了基于触觉的抓取质量控制策略，通过虚拟搜索可改善抓握质量的触觉测量值的局部转换来确定重新采取的动作。有研究人员提出了基于强化学习的机器人在杂乱环境中推动物体再抓取的方法，自监督学习以某种方式移动或推动对象等预抓取操作。有研究人员通过提出一种GDQN进行的偏离政策的学习，实现机器人抓取规则形状的所有刚性物体，最终结果优于改良的MVGG16。有研究人员提出一种三级串联卷积神经网络用于未知物体抓取框学习，并在Youbot机器人上实现高准确度的抓取操作。有研究人员通过提取工件上特征点进行形状匹配的方法来实现对超视场工件的抓取策略学习。有研究人员使用深度学习方法进行目标物体姿态与抓取位置的学习，在UR5上实现有效的抓取。

上述现有方法中针对的问题是固定操作下的物体抓取，且大多采用了灵巧度较低的传统二指夹持器实现物体抓取，但在生产与生活等非结构化场景中，抓取物体特征不尽相同，因而使用普通机械结构的夹持器较难实现多种物体的灵巧抓取。

与夹持器相比，灵巧手具有更高的自由度，可根据结构的不同实现多种抓取模式，所以利用灵巧手的灵巧特性解决抓取决策问题逐渐成重要研究方向。有研究人员采用主成分分析法对手指抓取运动学降维,对不同直径及质量的圆柱抓握模式进行了研究。有研究人员利用提出了一种基于物体自然语言描述的拟人手抓取分类的确定方法。在国内，有研究人员利用神经网络建立了手部特征及物体特征与拇指-食指抓握模式的非线性映射关系,对两指抓握模式进行了预测。有研究人员采用模糊控制的方法对机器人灵巧手的抓取决策进行控制。有研究人员通过处理目标物体几何点云信息，提出一种基于多重几何约束的未知物体抓取决策方法。

发明人发现，上述关于抓取决策的方法研究中，抓取的约束条件大多为尺寸、重量、摩擦系数、接触力等抓取物体特征与抓取本身，而通常情况下，抓取是一种有目的的行为，在执行某项任务时，机器人不仅需要稳定地握住工具，同时要正确使用工具，以便完成后续的任务，而现有的抓取决策方法并没有对任务约束进行限定，从而使得选择得到的抓取策略往往不是最优的。

发明内容

为了解决现有技术的不足，本公开提供了一种基于多约束条件的机器人抓取模式选择方法及系统，以基于目标物体包围盒的刚性物体抓取任务的三面映射方法，并按照人类自然抓取习惯，建立了多约束抓取决策的映射关系，采用减聚类优化后的径向基函数网络模型进行最优模式选取，极大的提高了最优模式选择的准确性。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种基于多约束条件的机器人抓取模式选择方法。

一种基于多约束条件的机器人抓取模式选择方法，包括以下步骤：

获取抓取物体属性数据和抓取任务属性数据；

将获取的数据输入到预设神经网络模型中，得到最优的抓取模式；

其中，预设神经网络模型采用减聚类优化后的径向基函数网络模型。

作为可能的一些实现方式，径向基函数网络模型中，采用自组织学习法选取中心点。

作为进一步的限定，径向基函数网络模型中，利用减聚类算法以样本为候选集，根据数据集密度确定中心点。

作为可能的一些实现方式，采用减聚类优化径向基函数网络模型，包括：

计算各个样本数据点的密度，由密度计算公式计算各点指标值，选择密度指标最大的点为首个聚类中心点；

对剩余数据点密度指标进行修正后，得到下一个聚类中心点，当满足预设聚类判别条件时聚类终止，得到中心点个数；

通过预设的参数初始化网络，并通过监督学习训练得到模型权值，直到训练回合结束。

作为可能的一些实现方式，抓取物体属性数据，包括：形状以及根据目标物体包围盒的尺寸坐标系得到的目标物体长、中、短三轴线长度。

作为可能的一些实现方式，抓取任务属性数据，定义包围盒面的法向量为任务向量，那么对于任务向量，总是沿该物体包围盒坐标系某一坐标轴方向，规定任务向量指向目标物体。

作为可能的一些实现方式，抓取模式包括：三指平行抓取、三指包络抓取、二指平行抓取、三指指端平行抓取、三指指端包络抓取和二指指端平行抓取。

本公开第二方面提供了一种基于多约束条件的机器人抓取模式选择系统。

一种基于多约束条件的机器人抓取模式选择系统，包括：

数据获取模块，被配置为：获取抓取物体属性数据和抓取任务属性数据；

模式选择模块，被配置为：将获取的数据输入到预设神经网络模型中，得到最优的抓取模式；

其中，预设神经网络模型采用减聚类优化后的径向基函数网络模型。

本公开第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于多约束条件的机器人抓取模式选择方法中的步骤。

本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于多约束条件的机器人抓取模式选择方法中的步骤。

与现有技术相比，本公开的有益效果是：

1、本公开所述的方法、系统、介质或电子设备，以基于目标物体包围盒的刚性物体抓取任务的三面映射方法，并按照人类自然抓取习惯，建立了多约束抓取决策的映射关系，采用减聚类优化后的径向基函数网络模型进行最优模式选取，极大的提高了最优模式选择的准确性。

2、本公开所述的方法、系统、介质或电子设备，利用包围盒方式描述待完成的抓取任务，将物体特性和任务属性作为约束条件，通过映射人类的抓取习惯实现抓取模型的建立，采取SCM优化RBF网络学习抓取决策模型，实现了多类型物体不同任务的最优抓取决策。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例1提供的抓取物体坐标系示意图。

图2为本公开实施例1提供的物体包围盒特征示意图。

图3为本公开实施例1提供的事物操作面热力图。

图4为本公开实施例1提供的三指平行抓取示意图。

图5为本公开实施例1提供的三指包络抓取示意图。

图6为本公开实施例1提供的二指平行抓取示意图。

图7为本公开实施例1提供的RBF网络抓取决策模型拓扑结构示意图。

图8为本公开实施例1提供的抓取决策实验平台示意图。

图9为本公开实施例1提供的模型训练对比结果示意图。

图10为本公开实施例1提供的抓取物体集合示意图。

图11为本公开实施例1提供的抓取实验过程示意图。

图12为本公开实施例1提供的同任务下积木抓取结果示意图。

图13为本公开实施例1提供的不同任务下积木抓取结果示意图。

图14为本公开实施例1提供的多约束条件生活物品抓取结果示意图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

实施例1：

如图1所示，本公开实施例1提供了一种基于多约束条件的机器人抓取模式选择方法，包括以下步骤：

获取抓取物体属性数据和抓取任务属性数据；

将获取的数据输入到预设神经网络模型中，得到最优的抓取模式。

具体的，包括以下步骤：

S1：抓取策略约束条件(Grasping strategy constraints)

按照人类抓取习惯，抓取策略受到抓取物体外观、物体尺寸、完成抓取之后的任务动作等因素的影响，在本实施例中重点考虑抓取对象特征和抓取任务属性的影响结果。

S1.1：抓取对象特征约束

在为抓取对象数据集选择特征时，计划性地选择对抓取决策有显著影响的对象的物理属性。根据目标特征如尺寸、重量、几何外形等来选择不同抓握方式。由于可压缩和柔性物体的抓取考虑因素较为复杂，本实施例只针对常见刚性物体的抓取。表1中所示的一系列特征对人类的抓握刚性物体时选择影响最大，各个要素是人类在分析信息时在对象描述中寻找的主要特性。

建立图1表示的目标物体包围盒(OBB)的尺寸坐标系，规定L，W，H为目标物体长、中、短三轴线长度。

依据表1中的尺寸、形状和重量建立数据集，因此定义4维向量抓取目标属性特征集F为：

F＝[L,W,H,S]，(L,W,H∈R,S∈Ω) (1)

表1：目标物体特征集

根据不同种类，图2给出了各类物体特征示意图。

S1.2：抓取任务属性约束

人的抓取动作是有目的性的。人对目标物体实施抓握动作时，会通过关联下一任务需求决策抓取动作。对于常见物体，不考虑手内运动情况，人抓取的目的可分为放置、使用、递交等。

本实施例研究的抓取目标在被抓取前处于静置状态。为便于模型建立，以物体包围盒为基础，将目标物体所在静置平面称为放置面(Place side，s

表2：一般事物抓取目的

对于同一目标物体，根据任务要求会产生相应任务面和抓取面。表2列举了七种常见事物的抓取目的，若定义任务面为0，放置面为2，抓取面为3，则可将各事物操作面属性绘制热力图，如图3所示。

观察图3可发现对于多数抓取目的中，任务面和抓取面总垂直于目标物体某一轴线，而不同事物间可抓取面取决于该事物的抓取任务，因此三个平面关系能够在一定程度上描述抓取任务要求。

定义包围盒面的法向量q为任务向量，那么对于q有总沿该物体包围盒坐标系某一坐标轴方向，规定任务向量指向目标物体，因此任务向量为：

定义α为任务空间，表示三个平面位置关系，则有：

S2：机器人抓取模型(Robot grasping model)

S2.1：抓取规划

根据被抓取目标物的抓取面大小，通过关联人类抓取的方式习惯，将三指灵巧手的抓取模式规划采用三指平行抓取、三指包络抓取和二指平行抓取三种典型的抓取方式(GTD)。三种抓取方式又分为指端抓取和强力抓取。

(1)三指平行抓取

手掌直径为P

(2)三指包络抓取

对于抓取面非方正且物体体积较大时采用三指包络抓取。灵巧手三指均与目标物体接触，且指1和指2旋转至与指3形成包络状态，以实现如球状物体的抓取，如图5所示。

(3)二指平行抓取

对于抓取面小于手掌宽度P

因此对于抓取模式h

其中，T

S2.2：抓取规则建立

为方便抓取决策模型的计算，对形状描述的抓取物体属性值进行数字化处理，得到表3。

表3：物体特征描述

对于抓取任务属性，根据每个平面法向量方向，将其变为数值形式，如表4 所示。

表4：抓取任务描述

同样对由灵巧手的六种抓取模式组成的抓取决策空间D进行数字化处理，得到表5。

表5：抓取决策空间

S2.3：抓取模型

抓握姿态由手指的关节角度决定，本实施例使用的Reflex 1型灵巧手具有5 自由度，因此，每个抓握姿态D是关节角度的5维向量，定义为：

D＝[θ

根据抓取模式分类结果，每一种抓取模式h

D

则有完整抓取约束特征集的描述为：

P＝[F,α] (7)

抓取约束描述和抓取模式之间的映射关系，即为抓取决策模型，因此本实施例抓取模型表示为：

D＝f(F,α) (8)

其中f为决策函数。

S3：抓取策略学习方法

抓取模型中决策函数f的分类效果极大程度上决定了模型的准确性。为保证模型的结果准确性，本实施例使用减聚类(Subtrative clustering method，SCM) 优化后的径向基函数(Radial Basis Function，RBF)网络，RBF网络被广泛用于解决分类决策问题，同时通过减聚类(Subtrative clustering method，SCM)能够提高网络的收敛速度与模型鲁棒性。

S3.1：RBF网络模型

RBF模型拓扑结构包括输入层、径向基函数层和输出层，如图7所示。

本实施例中径向基函数使用的是高斯核函数，其函数表达形式如下：

式中，x为样本数据，

设w

一般情况下RBF模型径向基函数空间参数的选取采用随机选取、监督学习、自组织学习等策略，由于隐含层节点数对神经网络性能有较强影响，因此本实施例采用自组织学习法选取中心点。一般情况下K-means聚类等学习模型确定中心点参数，但是K-means初始化点的随机选取导致网络具有很强的不确定性，聚类结果不稳定。本实施例采用的减聚类算法是以样本为候选集，根据数据集密度确定中心点，能够较好的实现中心点的选取，避免了聚类结果的随机性。

首先计算各点密度，设N个样本数据点{x

其中，γ

通常情况下，γ

通过减聚类算法，得到聚类中心个数为k。

因而本实施例中，先通过减聚类算法求得中心点个数，再通过上一步中的参数初始化网络，并通过监督学习训练得到模型权值，直到训练回合结束。

S4：实验结果及分析

S4.1：实验设置

为验证算法有效性，本实施例中使用装有Reflex 1三指灵巧手的AUBO六自由度机械臂为抓取决策实验平台，在Ubuntu16.04操作系统中Kinetic版ROS环境下，实现平台的运动控制。在进行实验时，将待抓取物体放置于工作台固定位置，灵巧手距离待抓取物体的距离不大于200mm，设置灵巧手手掌轴线总沿物体包围盒一轴，实验平台如图8所示。

对于网络模型参数设置和训练具体步骤如下：

Step 1：确定RBF网络模型结构。根据拓扑图7，输入层节点数为7，输出层节点数为1，利用减聚类算法计算750个样本的聚类中心，领域半径为0.7，利用SCM可得到最优聚类中心为34个，则中间层径向基函数空间节点数为34个。

Step 2：数据归一化处理。为避免量纲不同而影响分析的结果，采用规范化的方式来处理抓取属性数据以避免量纲产生的影响。

本实施例采用Z-score规范化，其转换函数如下：

Step 3：模型函数选取。对于神经网络中的神经元计算过程，本实施例采用Sigmoid激活函数和交叉熵损失函数组合形式，并引入正则化项可提高模型的泛化能力，本实施例使用L2范数罚方法，λ值选取0.01，其形式如下：

Step 4：模型训练。RBF网络模型学习率选取0.015，训练次数为1500次，分别利用Kmean聚类法和梯度下降算法训练径向基函数中心点参数。

S4.2：抓取样本库建立与模型训练

根据式(7)中建立的抓取约束特征集P，建立样本空间U，将其用于算法的训练与测试。该数据集中包含了750个样本对象，包括简单方体、简单柱体、简单球体，以及水杯、眼镜盒、螺丝刀等生活常用物品，对每个样本在多个任务模式下进行数据采集，每个对象抓取属性为定义为P

表6：实验样本数据

利用BPNN、Kmean RBFNN和SCM-RBFNN三种不同模型对样本进行训练，训练集样本600个，测试集样本150个，三种网络均训练准确率、测试准确率和误差值效果对比如图9所示。

由图9可知，利用SCM算法优化的RBF网络训练效果较好，训练准确率达到 96.0％，测试准确率达到92％，但训练误差值稍高于BP网络。Kmeans RBF网络表现效果较前二者较差，表明经过SCM优化后的RBF网络能够进行较为准确的抓取决策，且成功率较高。

S5.3：实物抓取实验

为进一步验证本实施例算法的有效性，本实施例设置了真实场景下的抓取实验对算法准确率进行测试。如图10所示，本实施例在灵巧手可抓握范围内，设置了23种物体的抓取实验，其中包括了13个不同形状积木类物体，以及10种至少有一轴长度小于200mm的生活常见物品。

将待抓取的23种物体单独放置在工作台上进行实验，考虑到物体姿态问题，规定物体坐标系与桌面坐标系一致。每个待抓取物体均设置两组任务，每组任务设置10次实验。任务一为将物体放置到指定位置，任务二为根据待抓取物体的特性各自设置特定任务，部分物体任务描述如表7所示。

表7：抓取物体任务

在本实施例抓取实验中，首先利用网络模型进行物体抓取决策，然后通过灵巧手执行抓取动作，抓取成功的评判标准为：机械臂抓取物体垂直离开工作台，并保持5s以上不掉落。抓取过程手指不与工作台发生接触，物体被抓取后不与桌面发生碰撞。部分抓取过程如图11所示。

(1)任务一下不同物体抓取

以图12所示积木抓取为例，在任务一的放置指定位置中，5号球和3号圆柱决策结果为三指包络抓取(W

表8中所示数据为23种物体均在任务一下的抓取结果。

表8：任务一抓取结果

任务一下不同物体抓取的结果表明，根据被抓取物体的形状与尺寸，对比得出模型在物体特征的约束下能够决策出符合人类抓取习惯的抓取策略。

(2)不同任务下同一物体抓取

以积木抓取为例，在任务一与任务二的抓取中，根据任务约束的不同，决策结果如图13所示。如在9号球的决策中，由于包络抓取能够更加稳定的移动被抓取物体，所以任务一的决策结果为三指指端包络抓取(W

表9中所示数据为23种物体均在任务二下的抓取结果。

表9：任务二抓取结果

不同任务下同一物体抓取的抓取结果表明，该模型能够在不同任务的约束下，对相应的物体决策出合适的抓取策略，实现成功抓取。

(3)多约束条件下不同物体抓取

以生活类物品为例，在物体特征和任务属性的多约束条件下，抓取结果如图14所示。如水杯的抓取中，为了平稳放置水杯，模型决策结果为三指包络抓取(W

表10中所示数据为13种积木和10种生活类在多约束条件下的抓取成功率，其中包括260次积木抓取和200次生活类物体抓取。

表10：多约束条件下抓取结果

以上抓取结果表明本实施例研究的多约束条件下机器人抓取决策的方法具备以下特性：

1)针对不同任务下不同物体的抓取决策，学习算法根据抓取习惯，实现最优抓取模式的决策，表明该方法具有一定的智能抓取特性；

2)对于实验中未学习过的生活物品样本数据，该算法仍能做出较好决策，表面该学习模型具有较好的鲁棒性，在抓取新目标时可以实现最优决策。

机器人在对部分物体抓取时会遇到抓取失败的情况，如物体较重、抓取面光滑、重量分布不均、抓取面法向尺寸过长等情况，在后续工作中将加入物体抓取力约束、重量预测等研究内容，进一步提升抓取适应性。

本实施例针对机器人在抓取待具有执行任务属性物体时的抓取决策问题，给出了一种基于多约束条件下抓取策略学习方法，利用包围盒方式描述待完成的抓取任务，将物体特性和任务属性作为约束条件，通过映射人类的抓取习惯实现抓取模型的建立，采取SCM优化RBF网络学习抓取决策模型，试验表明该决策模型具有良好的精确性，实现了多类型物体不同任务的抓取决策，验证了该模型的实用性。

实施例2：

本公开实施例2提供了一种基于多约束条件的机器人抓取模式选择系统，包括：

数据获取模块，被配置为：获取抓取物体属性数据和抓取任务属性数据；

模式选择模块，被配置为：将获取的数据输入到预设神经网络模型中，得到最优的抓取模式；

其中，预设神经网络模型采用减聚类优化后的径向基函数网络模型。

所述系统的工作方法与实施例1提供的基于多约束条件的机器人抓取模式选择方法相同，这里不再赘述。

实施例3：

本公开实施例3提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于多约束条件的机器人抓取模式选择方法中的步骤。

实施例4：

本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于多约束条件的机器人抓取模式选择方法中的步骤。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory， ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。