目标提取方法、系统、机器人及存储介质

技术领域

本申请涉及机器人控制技术领域，特别涉及一种目标提取方法、系统、机器 人及存储介质。

背景技术

随着人工智能和机器人技术的快速发展，机器人抓取技术得到广泛应用。在 工业领域，可以帮助工人完成繁重的拣放任务，例如物料分拣、上下料和智能零 售等；在服务行业，可以帮助残疾人或老年人完成日常抓取任务。

目前，机器人主要是利用简化的机械手以及简化的抓取模型下进行抓取动 作。现有简化的机械手一般为二指手，而二指手获取抓取姿态包括间接获取抓取 姿态和直接获取抓取姿态两种技术方案。

间接获取抓取姿态：从物体坐标系到相机坐标系的刚性转换，包括3D旋转 矩阵和3D平移矩阵，在确定物体坐标系在相机坐标系的位姿后，通过计算出物 体在相机空间的分布，计算可抓取的位置，最终设置为二指手的6D位姿进行抓 取。这种方案只有在物体的3D模型及该物体是刚性的情况下，才能得出准确的 6D抓取位姿，而对于一些非刚性物体则无法准确获取抓取位姿。

直接获取抓取姿态：通过人工观察二维的图片，并在二维的图片中标注数据， 然后利用这些数据训练机器人进行深度学习，直接从RGBD或RGB中获取二指手 的6D抓取位姿。由于该方案是而机器人抓取行为面对的是存在多个混乱堆叠的 物体的复杂环境，对这样的图片标注数据是一个极为困难和复杂的工作，工作效 率较低。

发明内容

本申请旨在至少解决现有技术中存在的技术问题之一，为此，本申请提出一 种目标提取方法、系统、机器人及存储介质，不仅不需要进行复杂的目标姿态标 注，简化获取目标姿态的流程，还能够有效提高提取待提取目标的准确率，提高 提取待提取目标的效率。

本申请的第一方面，提供了一种目标提取方法，包括：获取目标场景中待提 取目标的图像数据；图像数据包括深度图片；对图像数据进行特征提取，得到图 像特征信息，图像特征信息包括目标掩码；根据目标掩码，将深度图片转化为点 云空间；将目标掩码的像素边缘进行直线化处理，得到直线化轮廓；根据直线化 轮廓获取参考姿态参数，参考姿态参数为机器人提取待提取目标的部分参数；根 据参考姿态参数，在点云空间提取待提取目标。

根据本申请第一方面实施例的目标提取方法，至少具有如下有益效果：通过 将目标掩码的像素边缘进行直线化处理，可以得到直线化轮廓，而线化轮廓可以 简化待提取目标，由直线化轮廓可以得到准确的目标姿态参数，从而提高提取待 提取目标的准确率。另外，获取目标姿态的整个过程不需要进行复杂的位姿标注， 简化了获取目标姿态的流程，提高了提取效率。

根据本申请的一些实施例，参考姿态参数包括抓取中心点、抓取方向和初始 抓取宽度，根据参考姿态参数，在点云空间提取待提取目标，包括：根据参考姿 态参数，获取参考姿态参数与点云空间的映射关系；根据映射关系，获取目标姿 态参数，目标姿态参数包括参考姿态参数、抓取宽度和抓取深度，目标姿态参数 为机器人提取待提取目标的全部参数；向机器人的执行端传输目标姿态参数，并 控制执行端抓取待提取目标。通过将深度图片转化为点云空间，可以得到待提取 目标的三维空间的位置。而将参考姿态参数与点云空间形成映射关系，可以得到 目标姿态参数，再将目标姿态参数信息传递给机器人的执行端，使得执行端可以 精确得抓取到待提取目标。

根据本申请的一些实施例，图像数据还包括RGB图片或灰度图片，对图像 数据进行特征提取，得到图像特征信息，图像特征信息包括目标掩码，包括：对 图像数据进行特征提取得到第一特征图；其中，第一特征图包括第一特征和第二 特征，第一特征为RGB图片或灰度图片的特征，第二特征为深度图片的特征； 利用局部注意力机制对第一特征图的第一特征进行处理，得到第二特征图；利用 局部注意力机制对第一特征图的第二特征进行处理，得到第三特征图；将第二特 征图和第三特征图进行融合得到第四特征图；根据第四特征图，获取目标场景中 的物体类别和抓取置信度；根据物体类别，获取目标掩码；根据抓取置信度和目 标掩码，获取待提取目标的可抓取掩码。通过对图像数据进行特征提取，得到第 一特征图，而图像数据包括RGB图片或灰度图片以及深度图片，因此第一特征 图包含对应RGB图片或者灰度图片的第一特征，以及对应深度图片的第二特征。 利用局部注意力机制对第一特征图的第一特征和第二特征进行处理，可以分别得 到第二特征图和第三特征图，再将第二特征图和第三特征图进行融合，可以得到 第四特征图。而第四特征图中则包含目标场景中的物体类别，以及各类别物体的 置信度，目标掩码以及目标的抓取置信度，然后根据抓取置信度可以筛选出可抓 取的掩码。利用局部注意力机制可以更好的感知抓取目标周围的环境，为二指手 的抓取提供了预测，以设置抓取置信度的预测，最终有效提高抓取目标的准确率。

根据本申请的一些实施例，利用局部注意力机制对第一特征图的第一特征进 行处理，得到第二特征图，包括：获取目标场景的第一整体特征图，并在第一整 体特征图上分别沿高度方向以第一步进长度、沿宽度方向以第二步进长度得到第 一子特征图集合；分别获取第一子特征图集合中每个第一子特征图的一维局部通 道注意力特征图和二维局部空间注意力特征图；根据预设的第一系数和第二系 数，将每个第一子特征图进行转换得到多个第二子特征图，其中，第一系数为第 一子特征图的一维局部通道注意力特征图的系数，第二系数为第一子特征图的二 维局部空间注意力特征图的系数；将多个第二子特征图利用拼接函数进行拼接， 得到第二特征图。通过将第一整体特征图沿高度和宽度进行分割，可以得到多个 子特征图，然后通过拼接函数可以将多个子特征图进行拼接，得到第二特征图。 局部注意力机制可以对第一整体特征图的特征进行过滤，去除不需要的特征，从 而得到新的特征。从而可以适应复杂的堆叠场景，提高抓取目标的准确率。

根据本申请的一些实施例，将目标掩码的像素边缘进行直线化处理，得到直 线化轮廓，包括：根据目标掩码，得到可抓取掩码的第一矩阵；根据第一矩阵的 梯度变化，获可抓取掩码的边缘像素坐标构成的第二矩阵；将第二矩阵的坐标按 照顺时针或者逆时针进行排序，获取第三矩阵；以第三矩阵中的第一坐标为起点， 获取第三矩阵中距离第一坐标的距离大于或等于预设宽度的第一坐标集合；以第 一坐标集合中的第二坐标为起点，获取第一坐标集合中距离第二坐标的距离大于 或等于预设宽度的第二坐标集合；若第二坐标集合中的任意坐标之间的距离均大 于或等于预设宽度，则第二坐标集合为待提取目标的直线化轮廓的坐标。通过将 目标掩码的像素边缘坐标进行排序，得到第三矩阵。而保留第三矩阵中与第一坐 标为起点的距离大于或者等于预设宽度的其他边缘像素坐标，去除与第一坐标的 距离小于预设宽度的像素坐标可以得到第一坐标两侧的直线化轮廓。同样的，可 以得到其他边缘像素坐标的直线化轮廓。从而简化待提取目标的模型，提高抓取 效率。

根据本申请的一些实施例，还包括：若第二坐标集合中存在至少两个坐标之 间的距离小于预设宽度，则去除间距小于预设宽度的两个坐标中的一点，并把另 一点的坐标作为第二坐标，执行步骤以坐标集合中的第二坐标为起点，获取第一 坐标集合中距离第二坐标的距离大于或等于预设宽度的第二坐标集合。去除与第 一坐标的距离小于预设宽度的像素坐标可以得到第一坐标两侧的直线化轮廓。同 样的，可以得到其他边缘像素坐标的直线化轮廓。从而简化待提取目标的模型， 提高抓取效率。

本申请的第二方面，提供了一种目标提取系统，包括：至少一个存储器、至 少一个处理器及至少一个程序指令，程序指令存储在存储器上并可在处理器上运 行，处理器用于本申请第一方面的目标提取方法。

本申请的第三方面，提供了一种机器人，包括第二方面的目标提取系统。

根据本申请的一些实施例，还包括：图像采集模块，图像采集模块用于采集 目标场景的RGB图片或灰度图片以及深度图片；掩码分割模块，掩码分割模块 用于将目标场景的掩码分割出目标掩码；抓取模块，包括二指手，二指手用于抓 取待提取目标；分析控制模块，与图像采集模块、掩码分割模块及抓取模块连接， 分析控制模块用于：分析图像采集模块采集目标场景的RGB图片或灰度图片以 及深度图片，以得到目标场景的掩码信息；将目标场景的掩码信息传递给掩码分 割模块，并接收掩码分割模块传输的目标掩码信息；分析目标掩码信息得到目标 姿态参数信息；根据目标姿态参数信息，控制二指手提取待提取目标。

根据本申请第三方面实施例的机器人，至少具有如下有益效果：通过图像采 集模块，可以得到目标场景的RGB图片或者灰度图片以及深度图片，掩码分割 模块可以将目标场景的掩码分割出目标掩码，再利用二指手提取待提取目标，分 析控制模块可以分析图像采集模块采集的图像数据，并且根据图像数据而得到掩 码信息，通过将目标场景的掩码信息传递给掩码分割模块，掩码分割模块从目标 场景的掩码中分割出目标掩码，掩码分割模块将目标掩码信息传输给分析控制模 块，由分析控制模块分析目标掩码信息得到目标姿态参数信息，并且根据目标姿 态参数信息控制二指手提取待提取目标。不仅可以适应环境简单的场景，还可以 适应复杂的堆叠场景，而且在模型训练的过程中，不需要进行复杂的目标姿态标 注，简化了流程，有效提高了提取待提取目标的效率。

本申请的第四方面提供了一种存储介质，存储介质上存储有程序指令，程序 指令用于执行本申请第一方面的目标提取方法。

本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述 中变得明显，或通过本申请的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将 变得明显和容易理解，其中：

图1为本申请实施例的目标提取方法的流程图；

图2为本申请实施例的目标提取方法的掩码分割部分逻辑示意图；

图3为本申请实施例的目标提取方法的目标提取的逻辑示意图；

图4为本申请实施例的目标提取方法的第一特征图示意图。

具体实施方式

下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通 过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申 请的限制。

在本申请的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、 左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便 于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的 方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

在本申请的描述中，若干的含义是一个或者多个，多个的含义是两个以上， 大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。 如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗 示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技 术特征的先后关系。

本申请的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义 理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在 本申请中的具体含义。上面结合附图对本申请实施例作了详细说明，但是本申请 不限于上述实施例，在技术领域普通技术人员所具备的知识范围内，还可以在不 脱离本申请宗旨的前提下作出各种变化。

参照图1，本申请的第一方面，提供了一种目标提取方法，包括：

S100，获取目标场景中待提取目标的图像数据；图像数据包括深度图片；

S200，对图像数据进行特征提取，得到图像特征信息，图像特征信息包括目 标掩码；

S300，根据目标掩码，将深度图片转化为点云空间；

S400，将目标掩码的像素边缘进行直线化处理，得到直线化轮廓；

S500，根据直线化轮廓获取参考姿态参数，参考姿态参数为机器人提取待提 取目标的部分参数；

S600，根据参考姿态参数，在点云空间提取待提取目标。

参照图2，具体的，可以通过深度相机拍摄目标场景，捕获目标场景的RGB 图片或者灰度图片，以及RGB图片或者灰度图片对应的深度图片；掩码分割模 块可以从RGB图片或者灰度图片以及对应的深度图片这两张图片中，分割出目 标场景中的目标掩码，且可以给出目标场景中各个掩码对应物体的类别，每种物 体的置信度以及抓取置信度，然后再根据抓取置信度筛选出可抓取的掩码。抓取 模块根据待提取目标的掩码，将对应的深度图片转化为点云空间，将目标掩码的 像素边缘坐标进行直线化处理，得到直线化轮廓，根据直线化轮廓可以得到抓取 中心点、抓取方向和初始张开距离等参考姿态参数，将这些抓取姿态参数对应到 相应的点云空间，设置机器人执行端即二指手的抓取宽度和抓取深度，生成初始 的抓取盒，然后根据抓取中心点的局部点云法向量旋转抓取盒，沿轴线方向步进， 与对应的点云空间进行碰撞检测，计算合适的张开距离，从而得到全部的抓取姿 态参数。

通过将目标掩码的像素边缘进行直线化处理，可以得到直线化轮廓，而线化 轮廓可以简化待提取目标，由直线化轮廓可以得到准确的目标姿态参数，从而提 高提取待提取目标的准确率。另外，获取目标姿态的整个过程不需要进行复杂的 位姿标注，简化了获取目标姿态的流程，提高了提取效率。

参照图3，在本申请的一些实施例中，参考姿态参数包括抓取中心点、抓取 方向和初始抓取宽度，根据参考姿态参数，在点云空间提取待提取目标，包括： 根据参考姿态参数，获取参考姿态参数与点云空间的映射关系；根据映射关系， 获取二指手的目标姿态参数，目标姿态参数包括参考姿态参数、抓取宽度和抓取 深度，目标姿态参数为机器人提取待提取目标的全部参数；向二指手传输目标姿 态参数，并控制二指手抓取待提取目标。通过将深度图片转化为点云空间，可以 得到待提取目标的三维空间的位置。而将参考姿态参数与点云空间形成映射关 系，可以得到目标姿态参数，再将目标姿态参数信息传递给二指手，使得二指手 可以精确得抓取到待提取目标。

具体的，可以将抓取中心点、抓取方向以及初始张开距离于点云空间形成对 应关系，根据该对应关系，设置二指手的抓取宽度和抓取深度，生产初始抓取盒， 然后再根据抓取中心点的局部点云法向量旋转抓取盒，使得抓取盒沿法向量方向 步进靠近抓取中心点，将抓取盒和点云空间进行碰撞检测，可以得到合适的抓取 宽度和抓取深度，从而得到目标姿态参数。分析控制模块根据目标姿态参数控制 二指手抓取待提取目标。

参照图3，在本申请的一些实施例中，图像数据还包括RGB图片或灰度图片， 对图像数据进行特征提取，得到图像特征信息，图像特征信息包括目标掩码，包 括：对图像数据进行特征提取得到第一特征图；其中，第一特征图包括第一特征 和第二特征，第一特征为RGB图片或灰度图片的特征，第二特征为深度图片的 特征；利用局部注意力机制对第一特征图的第一特征进行处理，得到第二特征图； 利用局部注意力机制对第一特征图的第二特征进行处理，得到第三特征图；将第 二特征图和第三特征图进行融合得到第四特征图；根据第四特征图，获取目标场 景中的物体类别和抓取置信度；根据物体类别，获取目标掩码；根据抓取置信度 和目标掩码，获取待提取目标的可抓取掩码。通过对图像数据进行特征提取，得 到第一特征图，而图像数据包括RGB图片或灰度图片以及深度图片，因此第一 特征图包含对应RGB图片或者灰度图片的第一特征，以及对应深度图片的第二 特征。利用局部注意力机制对第一特征图的第一特征和第二特征进行处理，可以 分别得到第二特征图和第三特征图，再将第二特征图和第三特征图进行融合，可 以得到第四特征图。而第四特征图中则包含目标场景中的物体类别，以及各类别 物体的置信度，目标掩码以及目标的抓取置信度，然后根据抓取置信度可以筛选 出可抓取的掩码。利用局部注意力机制可以更好的感知抓取目标周围的环境，为 二指手的抓取提供了预测，以设置抓取置信度的预测，最终有效提高抓取目标的 准确率。

具体的，利用局部注意力机制将第一特征图包含的RGB图片或灰度图片的 特征以及深度图片的特征进行处理，可以得到包含RGB图片或灰度图片的特征 的第二特征图，还可以得到包括深度图片的特征的第三特征图，

在本申请的一些实施例中，利用局部注意力机制对第一特征图的第一特征进 行处理，得到第二特征图，包括：获取目标场景的第一整体特征图，并在第一整 体特征图上分别沿高度方向以第一步进长度、沿宽度方向以第二步进长度得到第 一子特征图集合；分别获取第一子特征图集合中每个第一子特征图的一维局部通 道注意力特征图和二维局部空间注意力特征图；根据预设的第一系数和第二系 数，将每个第一子特征图进行转换得到多个第二子特征图，其中，第一系数为第 一子特征图的一维局部通道注意力特征图的系数，第二系数为第一子特征图的二 维局部空间注意力特征图的系数；将多个第二子特征图利用拼接函数进行拼接， 得到第二特征图。通过将第一整体特征图沿高度和宽度进行分割，可以得到多个 子特征图，然后通过拼接函数可以将多个子特征图进行拼接，得到第二特征图。 局部注意力机制可以对第一整体特征图的特征进行过滤，去除不需要的特征，从 而得到新的特征。从而可以适应复杂的堆叠场景，提高抓取目标的准确率。

参照图4，针对第一特征图的第一特征的处理为：第一特征图为F∈R

M'

＝σ(Conv(P

另外在每个子特征图F'的每个特征图F

M'

＝σ(MLP(AvgPool(P'

分别对局部通道注意力特征图局部以及空间注意力特征图设置系数第一系 数γ

其中F'

最有通过拼接函数concatenate()将所有子特征图F'

同样用上述局部注意力机制将第一特征图的第二特征进行处理，可以得到第 三特征图。

在本申请的一些实施例中，将目标掩码的像素边缘进行直线化处理，得到直 线化轮廓，包括：根据目标掩码，得到可抓取掩码的第一矩阵；根据第一矩阵的 梯度变化，获可抓取掩码的边缘像素坐标构成的第二矩阵；将第二矩阵的坐标按 照顺时针或者逆时针进行排序，获取第三矩阵；以第三矩阵中的第一坐标为起点， 获取第三矩阵中距离第一坐标的距离大于或等于预设宽度的第一坐标集合；以第 一坐标集合中的第二坐标为起点，获取第一坐标集合中距离第二坐标的距离大于 或等于预设宽度的第二坐标集合；若第二坐标集合中的任意坐标之间的距离均大 于或等于预设宽度，则第二坐标集合为待提取目标的直线化轮廓的坐标。通过将 目标掩码的像素边缘坐标进行排序，得到第三矩阵。而保留第三矩阵中与第一坐 标为起点的距离大于或者等于预设宽度的其他边缘像素坐标，去除与第一坐标的 距离小于预设宽度的像素坐标可以得到第一坐标两侧的直线化轮廓。同样的，可 以得到其他边缘像素坐标的直线化轮廓。从而简化待提取目标的模型，提高抓取 效率。

在本申请的一些实施例中，还包括：若第二坐标集合中存在至少两个坐标之 间的距离小于预设宽度，则去除间距小于预设宽度的两个坐标中的一点，并把另 一点的坐标作为第二坐标，执行步骤以坐标集合中的第二坐标为起点，获取第一 坐标集合中距离第二坐标的距离大于或等于预设宽度的第二坐标集合。去除与第 一坐标的距离小于预设宽度的像素坐标可以得到第一坐标两侧的直线化轮廓。同 样的，可以得到其他边缘像素坐标的直线化轮廓。从而简化待提取目标的模型， 提高抓取效率。

具体的，假设已知可抓取掩码矩阵为M；根据抓取的掩码矩阵M的梯度变 化，可得到，掩码边缘像素坐标构成的矩阵N，按照顺时针对矩阵N中的坐标 进行排序得到N'，设二指手的手指的宽度约为d个像素，以N'中的任意点为起 点，逐点计算距离d'：

若d'

若d'≥d，则保留该点，最后得到直线化轮廓后的边缘矩阵为N″，至此完成 直线化轮廓。

取出矩阵N″中任意相邻的2点构成线段AB，沿着直线AB公垂线方向以及 根据物体分布，得到直线CD，至此得到ABCD四点，其坐标分别为 (a

将得到的抓取点坐标O以及抓取水平的角度θ映射到抓取物体的点云空间， 并求出点云空间中对应抓取点O的法向量n，以及设置真实的二指手的抓取宽度 D以及抓取深度H，另外设置一较小的抓取宽度D'，至此构成点云空间中初始 的抓取矩形包围盒，逐步增加抓取宽度L'，根据碰撞检测获取合适的抓取宽度L。 至此获得全部的抓取参数，抓取点O，抓取方向theta，抓取深度H，抓取宽度L， 手指宽度D。

本申请的第二方面，提供了一种目标提取系统，包括：至少一个存储器、至 少一个处理器及至少一个程序指令，程序指令存储在存储器上并可在处理器上运 行，处理器用于本申请第一方面的目标提取方法。

本申请的第三方面，提供了一种机器人，包括第二方面的目标提取系统。

在本申请的一些实施例，还包括：图像采集模块，图像采集模块用于采集目 标场景的RGB图片或灰度图片以及深度图片；掩码分割模块，掩码分割模块用 于将目标场景的掩码分割出目标掩码；抓取模块，包括二指手，二指手用于抓取 待提取目标；分析控制模块，与图像采集模块、掩码分割模块及抓取模块连接， 分析控制模块用于：分析图像采集模块采集目标场景的RGB图片或灰度图片以 及深度图片，以得到目标场景的掩码信息；将目标场景的掩码信息传递给掩码分 割模块，并接收掩码分割模块传输的目标掩码信息；分析目标掩码信息得到目标 姿态参数信息；根据目标姿态参数信息，控制二指手提取待提取目标。

通过图像采集模块，可以得到目标场景的RGB图片或者灰度图片以及深度 图片，掩码分割模块可以将目标场景的掩码分割出目标掩码，再利用二指手提取 待提取目标，分析控制模块可以分析图像采集模块采集的图像数据，并且根据图 像数据而得到掩码信息，通过将目标场景的掩码信息传递给掩码分割模块，掩码 分割模块从目标场景的掩码中分割出目标掩码，掩码分割模块将目标掩码信息传 输给分析控制模块，由分析控制模块分析目标掩码信息得到目标姿态参数信息， 并且根据目标姿态参数信息控制二指手提取待提取目标。不仅可以适应环境简单 的场景，还可以适应复杂的堆叠场景，而且在模型训练的过程中，不需要进行复 杂的目标姿态标注，简化了流程，有效提高了提取待提取目标的效率。

具体的，图像采集模块可以为深度相机。抓取模块可以设置为二指手。

本申请的第四方面提供了一种存储介质，存储介质上存储有程序指令，程序 指令用于执行本申请第一方面的目标提取方法。

上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施 例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨 的前提下作出各种变化。

下面参考图1和图4，以一个具体的实施例详细描述根据本申请实施例的目 标提取方法。值得理解的是，下述描述仅是示例性说明，而不是对本申请的具体 限制。

参照图1至图4，本申请实施例提供了一种目标提取方法，包括：

通过深度相机获取目标场景的RGB图片或灰度图片，以及对应的深度图片；

对RGB图片或灰度图片以及对应的深度图片进行特征提取，得到第一特征 图，第一特征图中包含第一特征和第二特征，第一特征对应RGB图片或者灰度 图片的特征，第二特征对应相应的深度图片的特征；

利用局部注意力机制分别对第一特征图中的第一特征和第二特征进行处理， 得到第二特征图和第三特征图；

将第二特征图和第三特征图进行特征融合，得到第四特征图；

根据融合后得到的第四特征图，可以得到目标场景中的物体类别和抓取置信 度；

根据目标场景中的物体类别和抓取置信度，可以得到目标掩码和待提取目标 的可抓取掩码；

根据目标掩码，可以将深度图片转化为点云空间；

将目标掩码和可抓取掩码的像素边缘进行直线化处理，可以得到直线化轮 廓；

从直线化轮廓中可以得到抓取中心点、抓取方向和初始抓取宽度等参考姿态 参数；

将参考姿态参数对应到点云空间，可以得到参考姿态参数以及抓取宽度、抓 取深度等目标姿态参数；

根据目标姿态参数可以精确控制二指手提取待提取目标。

上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求的范围 内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中 的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定 要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多 任务处理和并行处理也是可以的或者可能是有利的。

程序指令包括计算机程序代码，计算机程序代码可以为源代码形式、对象代 码形式、可执行文件或者某些中间形式等。存储介质包括：能够携带计算机程序 代码的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM)、随机 存取存储器(RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的 是，存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当 的增减，例如在某些司法管辖区，根据立法和专利实践，存储介质不包括电载波 信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为 一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作 顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次， 本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉 及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述 的部分，可以参见其他实施例的相关描述。

上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施 例，在技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨 的前提下作出各种变化。