一种抓取区域的识别方法、装置、电子设备及存储介质

技术领域

本公开属于机器人领域，涉及机器人视觉智能识别技术，具体为一种抓取区域的识别方法、装置、电子设备及存储介质。

背景技术

机器人自动识别并抓取物体对实现工业自动化起着重要的作用，机器人需要对物体进行识别并判断物体上的抓取区域，才能实现物体的抓取。

目前，机器人对于物体的抓取区域的判断过程中，对物体特征的降维程度过高，造成部分特征丢失，从而不能准确识别并判断物体的抓取区域；或者只能对系统中注册的物体进行识别，无法实现没有注册的物体的的抓取区域的识别。

发明内容

本公开的目的在于提供一种抓取区域的识别方法、装置、电子设备及存储介质，该识别方法能够应用于快递行业、零售业、工业中，可以对抓取区域内的各个待抓取对象，如：对方形、圆形、不规则形、细长杆、铁丝、铁丝圈、铁丝框等任意形状物体，准确识别并提供可抓取区域，帮助装配有真空吸盘的工业机器人，将物品逐个从混乱堆叠的物品区域中抓取出来。

本公开第一方面提供了一种抓取区域的识别方法，包括：

获取物品区域对应的色彩图和深度图；

分别对色彩图和深度图进行特征提取，得到物体区域内的待抓取对象的第一特征图和第二特征图；其中，第一特征图用于表征待抓取对象的位姿特征信息，第二特征图用于表征待抓取对象表面各位置点的深度特征信息；

基于第一特征图和第二特征图，确定针对待抓取对象进行抓取的抓取概率图，抓取概率图中包含每个像素点作为抓取区域时待抓取对象被成功抓取的概率值；

基于抓取概率图，确定针对待抓取对象进行抓取时的抓取区域。

本公开的抓取区域的识别方法的原理是：物品区域的色彩图和深度图获取；提取色彩图获得含有位姿特征信息的第一特征图，提取深度图获得含有深度特征信息的第二特征图；通过位姿特征信息和深度特征信息确定抓取概率图，通过抓取概率图确定物品区域内待抓取对象的抓取区域。

抓取区域的识别方法结合位姿特征信息和深度特征信息确定抓取区域，可以对抓取区域中任意形状、颜色、大小的待抓取对象进行识别，例如：当有多个具有相同高度的盒子并排摆放时，输入深度图和色彩图时，可以根据盒子边界纹理、颜色等位姿特征信息区分多个盒子，再例如：对于物品区域中某一颜色均匀但表面曲面复杂的待抓取对象，输入色彩图和色彩图时，可以通过深度特征信息，找到待抓取对象表面平整的适合做抓取的区域，可见，在确定待抓取对象的抓取区域时，通过结合待抓取对象的位姿特征信息和深度特征信息，在确定待抓取对象的抓取区域的情况下，能够提高确定的准确度。

在本公开的一个实施例中，在确定针对待抓取对象进行抓取时的抓取区域之后，识别方法还包括：控制机械臂抓手基于抓取区域对待抓取对象进行抓取。

在本公开的一个实施例中，抓取概率图由预先训练的神经网络确定，神经网络包括第一特征提取单元和第二特征提取单元，分别对色彩图和深度图进行特征提取，得到物体区域内的待抓取对象的第一特征图和第二特征图，包括：将色彩图输入第一特征提取单元进行特征提取，得到第一特征图；将深度图输入第二特征提取单元进行特征提取，得到第二特征图。

进一步的，上述第一特征提取单元包含多层第一卷积层，将色彩图输入第一特征提取单元内提取特征，得到第一特征图，包括：将色彩图依次输入每层第一卷积层进行特征提取，得到该层第一卷积层输出的第一特征信息；对每层第一卷积层输出的第一特征信息依次进行拼接，得到第一特征图。

进一步的，上述第二特征提取单元包含多层第二卷积层，将深度图输入第二特征提取单元内提取特征，得到第二特征图，包括：将深度图依次输入每层第二卷积层，得到每层卷积层输出的第二特征信息；对每层第二卷积层输出的第二特征信息依次进行拼接，得到第二特征图。

预先训练的神经网络包含用于提取位姿特征信息的第一特征提取单元和用于提取深度特征信息的第二特征提取单元，便于获取物品区域的位姿特征信息和深度特征信息，从而后续可以通过融合距离特征和位姿特征信息，确定物品区域内的各个待抓取对象的抓取区域。

进一步的，上述神经网络还包括概率图预测单元，基于第一特征图和第二特征图，确定针对待抓取对象进行抓取的抓取概率图，包括：

对第一特征图和第二特征图中对应位置的像素点的特征信息进行拼接，得到用于表征待抓取对象的全局特征信息的拼接特征图；

通过概率图预测单元对拼接特征图进行特征提取，得到抓取概率图。

在本公开的一个优选实施例中，按照以下方式训练上述神经网络：

获取物品区域对应的样本色彩图、样本深度图以及物品区域内包含的待抓取样本对象的标注抓取区域；

分别对样本色彩图和样本深度图进行特征提取，得到物体区域内的待抓取样本对象的样本第一特征图和样本第二特征图；

基于样本第一特征图和样本第二特征图，确定针对待抓取样本对象进行抓取的样本抓取概率图；

基于样本抓取概率图，确定针对待抓取样本对象进行抓取时的抓取区域；

根据待抓取样本对象的样本抓取区域和标注抓取区域确定待训练神经网络的损失函数值；

基于损失函数值对待训练的神经网络中的网络参数进行调整后，返回执行获取样本第一特征图和样本第二特征图的步骤，直至最新得到损失函数值和上一次调整网络参数后得到的损失函数值之间的变化量小于预设变化量阈值后，得到训练完成的神经网络。

在本公开的一个实施例中，基于抓取概率图，确定针对待抓取对象进行抓取时的抓取区域，包括：

基于抓取概率图，筛选概率值大于预设概率阈值的像素点所对应的至少一个候选区域；

基于每个候选区域对应的几何特征，确定该候选区域对应的候选抓取位置点，以及确定候选抓取位置点在预先构建的世界坐标系中的位置坐标；

基于每个候选抓取位置点的位置坐标，确定针对待抓取对象进行抓取时的目标位置点，并将目标位置点所对应的候选区域作为针对待抓取对象进行抓取时的抓取区域。

在本公开的一个实施例中，基于每个候选抓取位置点的位置坐标，确定针对待抓取对象进行抓取时的目标位置点，包括：

基于每个候选抓取位置点的所述位置坐标，以及机器臂抓手的当前位置坐标，确定机器臂抓手到达每个候选抓取位置点的抓取路线；

选择对应抓取路线最短的候选抓取位置点，作为针对待抓取对象进行抓取时的目标位置点。

本公开第二方面提供了一种抓取区域的识别装置，包括：

获取模块，用于获取物品区域对应的色彩图和深度图；

提取模块，用于分别对色彩图和深度图进行特征提取，得到物体区域内的待抓取对象的第一特征图和第二特征图；其中，第一特征图用于表征待抓取对象的位姿特征信息，第二特征图用于表征待抓取对象表面各位置点的深度特征信息；

第一确定模块，用于基于第一特征图和第二特征图，确定针对待抓取对象进行抓取的抓取概率图，抓取概率图中包含每个像素点作为抓取区域时待抓取对象被成功抓取的概率值；

第二确定模块，用于基于抓取概率图，确定针对待抓取对象进行抓取时的抓取区域。

本公开第三方面提供了一种电子设备，包括：处理器、存储器和总线，存储器存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储器之间通过总线通信，机器可读指令被处理器执行时执行如第一方面的识别方法的步骤。

本公开第四方面提供了一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面的识别方法的步骤。

与现有技术相比，本公开的有益效果是：抓取区域的识别方法结合位姿特征信息和深度特征信息确定抓取区域，可以对抓取区域中任意形状、颜色、大小的待抓取对象进行识别，例如：当有多个具有相同高度的盒子并排摆放时，输入深度图和色彩图时，可以根据盒子边界纹理、颜色等位姿特征信息区分多个盒子；再例如：对于物品区域中某一颜色均匀但表面曲面复杂的待抓取对象，输入色彩图和色彩图时，可以通过深度特征信息，找到待抓取对象表面平整的适合做抓取的区域，可见，在确定待抓取对象的抓取区域时，通过结合待抓取对象的位姿特征信息和深度特征信息，在确定待抓取对象的抓取区域的情况下，能够提高确定的准确度。

进一步地，本公开的预先训练的神经网络包含用于提取位姿特征信息的第一特征提取单元和用于提取深度特征信息的第二特征提取单元，便于获取物品区域的位姿特征信息和深度特征信息，从而后续可以通过融合距离特征和位姿特征信息，确定物品区域内的各个待抓取对象的抓取区域。

附图说明

为了更清楚地说明本公开实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本公开为了更清楚地说明本公开实施例或现有技术中的技术方案，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例中一种抓取区域的识别方法流程图；

图2为本公开实施例中一种确定抓取区域的方法流程图

图3为本公开实施例中一种神经网络的结构示意图；

图4为本公开实施例中物品区域中待抓取对象的一种示意图；

图5为本公开实施例中物品区域中待抓取对象的另一种示意图；

图6为本公开实施例中一种抓取区域的识别装置的结构示意图；

图7为本公开实施例中一种电子设备的结构示意图。

具体实施方式

下面结合具体实施例来进一步描述本公开，本公开的优点和特点将会随着描述而更为清楚。但这些实施例仅是范例性的，并不对本公开的范围构成任何限制。本领域技术人员应该理解的是，在不偏离本公开的精神和范围下可以对本公开技术方案的细节和形式进行修改或替换，但这些修改和替换均落入本公开的保护范围内。

在本实施例的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开创造的限制。

此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

实施例1：

本具体实施方式提供了一种抓取区域的识别方法，如图1所示，抓取区域的识别方法包括以下步骤：

S11、获取物品区域对应的色彩图和深度图。

示例性地，物品区域可以是预先设置待进行物品抓取的区域，比如针对码垛机进行码垛场景，物品区域可以指包含多个需要待进行码垛的物品所在的区域，物品区域一般可以包含多个待抓取对象。

示例性地，色彩图可以由安装在抓取装置上的第一识别相机对物品区域拍照后获得，深度图可以由安装在抓取装置上的第二相机对物品区域拍照后获得。

S12、分别对色彩图和深度图进行特征提取，得到物体区域内的待抓取对象的第一特征图和第二特征图；其中，第一特征图用于表征待抓取对象的位姿特征信息，第二特征图用于表征待抓取对象表面各位置点的深度特征信息。

具体的，色彩图和深度图进行特征提取是在经过训练的神经网络中进行，神经网络可以包含第一特征提取单元和第二特征提取单元，其中，将色彩图输入第一特征提取单元内，对位姿特征提取得到第一特征图，以及将深度图输入第二特征提取单元内，对距离特征提取得到第二特征图。

具体的，位姿特征信息包括待抓取对象在二维平面内的位置信息、姿态信息，二维平面是与视觉方向垂直的平面，位置信息为待抓取对象在物品区域中的具体位置，姿态信息可以表示待抓取对象在物品区域中的朝向和位置，通过识别待抓取对象的姿态特征信息，可以确定待抓取对象位于物品区域中的位姿，为确定在物品区域中的哪个位置查找待抓取对象的抓取区域提供依据。

具体的，深度特征信息包括在视角方向上，视点与待抓取对象表面上各位置之间的距离信息，通过识别待抓取对象表面各位置点的深度特征信息，可以找到待抓取对象表面适合作为抓取区域的位置，比如可以基于待抓取对象的深度特征信息，找到可以作为抓取区域的较为平整的范围。

S13、基于第一特征图和第二特征图，确定针对待抓取对象进行抓取的抓取概率图，抓取概率图中包含每个像素点作为抓取区域时待抓取对象被成功抓取的概率值。

具体地，可以首先对第一特征图和第二特征图中相同的像素点的特征信息进行拼接得到拼接特征图后，基于预先训练的神经网络对该拼接特征图进行特征提取，确定抓取概率图，具体过程详见下文描述。

示例性地，由于待抓取对象的位姿特征和距离特征均属于待抓取对象的2D几何特征的不同类型的特征，图像识别过程中不会因为特征相似而造成识别误差，而且两者之间可以起到互补的作用，因此通过将第一特征图的第一特征信息和第二特征图的第二特征信息进行叠加，能够提高对待抓取对象的抓取区域的识别精度。在实际的识别过程中，当物品区域中有多个等高盒子并排摆放时，在通过多个盒子的距离特征的无法将它们区分开的情况下，可以通过各个盒子的边界纹理特征来区分不同盒子的位置。再例如，当某一物体其一颜色均匀、表面曲面复杂时，通过位姿特征无法判断此物体上的抓取区域时，可以通过距离特征信息，找到该物体表面适合抓取的区域，比如可以将该物体表面光滑的区域作为待抓取区域进行抓取。

进一步地，可以通过对物品区域的第一特征图和第二特征图，确定针对待抓取对象进行抓取的抓取概率图，该抓取概率图中包含各像素点作为抓取区域时待抓取对象被成功抓取的概率值，比如针对其中一个待抓取对象，如果该待抓取对象对应的区域中包含的像素点A的概率值为m，包含的像素点B的概率值为n，表示像素点A作为抓取区域被抓取时，该待抓取对象被成功抓取的概率值为m，像素点B作为抓取区域被抓取时，该待抓取对象被成功抓取的概率值为n，其中，被成功抓取是指待抓取对象可以被机器臂抓手从物品区域中吸取出并放置到指定目标区域。

S14、基于抓取概率图，确定针对待抓取对象进行抓取时的抓取区域。

示例性地，在得到抓取概率图后，可以进一步基于抓取概率图中包含的每个像素点作为抓取区域时待抓取对象被成功抓取的概率值，确定待抓取对象进行抓取时的抓取区域，比如可以挑选出具有最大概率值的像素点作为待抓取对象的抓取区域，或者，可以结合待抓取对象的几何形状，共同确定待抓取对象的抓取区域。

本公开的抓取区域的识别方法的原理是：物品区域的色彩图和深度图获取；提取色彩图获得含有位姿特征信息的第一特征图，提取深度图获得含有深度特征信息的第二特征图；通过位姿特征信息和深度特征信息确定抓取概率图，通过抓取概率图确定物品区域内待抓取对象的抓取区域。

抓取区域的识别方法结合位姿特征信息和深度特征信息确定抓取区域，可以对抓取区域中任意形状、颜色、大小的待抓取对象进行识别，例如：当有多个具有相同高度的盒子并排摆放时，输入深度图和色彩图时，可以根据盒子边界纹理、颜色等位姿特征信息区分多个盒子，再例如：对于物品区域中某一颜色均匀但表面曲面复杂的待抓取对象，输入色彩图和色彩图时，可以通过深度特征信息，找到待抓取对象表面平整的适合做抓取的区域，可见，在确定待抓取对象的抓取区域时，通过结合待抓取对象的位姿特征信息和深度特征信息，在确定待抓取对象的抓取区域的情况下，能够提高确定的准确度。

进一步地，在确定出针对待抓取进行抓取时的抓取区域之后，本公开提供的识别方法还包括：

控制机械臂抓手基于抓取区域对待抓取对象进行抓取。

示例性地，在本公开提供的识别方法应用于分拣货物的应用场景下，比如应用在通过机械臂抓手来分拣货物的场景下，可以在确定出每个待抓取对象的抓取区域后，再控制机械臂抓手按照每个待抓取对象的抓取区域对该待抓取对象进行抓取。

示例性地，机器臂抓手的末端可以安装吸盘，可以控制机器臂抓手的吸盘移动至待抓取对象的抓取区域进行吸附抓取。

本公开提供的识别方法，在确定待抓取对象的抓取区域后，还可以控制机器臂抓手按照抓取区域对待抓取对象进行准确抓取。

具体地，针对上述步骤S14，在基于抓取概率图，确定针对待抓取对象进行抓取时的抓取区域时，如图2所示，可以包括以下步骤S141～S143：

S141、基于抓取概率图，筛选概率值大于预设概率阈值的像素点所对应的至少一个候选区域。

示例性地，预设概率阈值可以预先根据多次实验结果设定，概率值大于预设概率阈值的像素点表示该像素点作为抓取区域时，大概率能够成功抓取待抓取对象。

在待抓取对象对应的抓取概率图中包含多个概率值大于预设概率阈值的像素点的情况下，多个概率值大于预设概率阈值的像素点可以构成一个几何区域，比如可以构成一个凸多边形或者一个凹多边形。

S142、基于每个候选区域对应的几何特征，确定该候选区域对应的候选抓取位置点，以及确定候选抓取位置点在预先构建的世界坐标系中的位置坐标。

示例地，在基于每个候选区域对应的几何特征，确定该候选区域对应的候选抓取位置点时，针对凸多边形的候选区域，可以将该候选区域对应的重心作为该候选区域对应的候选抓取位置点，比如矩形，其抓取位置点可以为矩形的中心点，而对于凹多边形，考虑到其重心可以在凹多边形的外部，还可以将该候选区域的内接矩形的中心作为该候选区域对应的候选抓取位置点。

进一步地，在确定出该候选对应的候选抓取位置点后，还可以读取该候选抓取位置点在图像坐标系中的图像坐标，然后根据预先确定的图像坐标系和相机坐标系之间的转换关系，以及相机坐标系和世界坐标系之间的转换关系，确定候选抓取位置点在世界坐标系中的位置坐标。

示例性地，世界坐标系可以根据具体的应用场景进行构建，其中图像坐标系、相机坐标系和世界坐标系之间的转换关系可以根据具体的使用场景进行标定，在此不做赘述。

S143、基于每个候选抓取位置点的位置坐标，确定针对待抓取对象进行抓取时的目标位置点，并将目标位置点所对应的候选区域作为针对待抓取对象进行抓取时的抓取区域。

具体地，在一种实施方式中，基于每个候选抓取位置点的位置坐标，确定针对待抓取对象进行抓取时的目标位置点，包括：

S1431、基于每个候选抓取位置点的位置坐标，以及机器臂抓手的当前位置坐标，确定机器臂抓手到达每个候选抓取位置点的抓取路线；

S1432、选择对应抓取路线最短的候选抓取位置点，作为针对待抓取对象进行抓取时的目标位置点。

示例性地，机器臂抓手的当前位置坐标具体为机械臂在世界坐标系中的位置坐标，具体可以根据相机拍摄的机器臂抓手在图像中的图像坐标系，以及预先确定的图像坐标系和相机坐标系之间的转换关系，以及相机坐标系和世界坐标系之间的转换关系，确定机器臂抓手在世界坐标系中的位置坐标。

示例性地，在确定机器臂抓手到达每个候选抓取位置点的抓取路线的过程中，需要考虑机器臂抓手为避开障碍物所需绕行的路径，比如机械臂抓手到达候选抓取位置点A的直线路径最短，但是在到达候选抓取位置点A的过程中会遇到障碍物，为避开障碍物无法按照直线路径移动，考虑到避障路线，候选抓取位置点A对应的抓取路线不是最短，则这里候选抓取位置点不作为目标位置点。

实施例2：

本具体实施是对实施例1中经过训练的神经网络的结构进行具体的说明。

如图3所示，为本公开实施例提供一种神经网络的结构示意图，该神经网络包括第一特征提取单元3和第二特征提取单元4，分别对色彩图1和深度图2进行特征提取，比如第一特征提取单元可以用来提取色彩图的特征，得到第一特征图5，第二特征提取单元可以用来提取深度图的特征，得到第二特征图6。

具体的，上述第一特征提取单元包含多层第一卷积层(图3中未示出)，每层第一卷积层可以提取对应的第一特征信息3－1，将色彩图1输入第一特征提取单元3内提取特征得到第一特征图5，包括以下步骤S201～S202：

S201、将色彩图依次输入每层第一卷积层进行特征提取，得到该层第一卷积层输出的第一特征信息；

S202、对每层第一卷积层输出的第一特征信息依次进行拼接，得到第一特征图。

示例性地，第一特征提取单元包含的第一卷积层可以提取的特征不同，这样基于每层第一卷积层可以得到色彩图中不同的特征信息，然后将每层第一卷积层输出的第一特征信息依次进行拼接，如图3所示，这样可以对色彩图进行全方位特征提取，从而得到保留完整特征的第一特征图，便于在基于第一特征图，确定抓取概率图时，得到准确度较高的抓取概率图。

此外，第一特征提取单元除了包含多层第一卷积层外，还包含激活函数层、池化层、归一化层和上采样层(图3中未示出)，将色彩图依次输入每层第一卷积层进行特征提取，再将得到的特征经过激活函数层、池化层、归一化层处理后，得到该层第一卷积层输出的第一特征信息，再将该层第一卷积层输出的第一特征信息与其它第一卷积层输出的第一特征信息进行拼接前，还可以通过上采样层进行上采样处理，从而使得进行拼接的第一特征信息的尺寸保持一致。

其中，第二特征图6的获取方法为：将深度图2输入第二特征提取单元4进行特征提取，得到第二特征图6。

具体的，第二特征提取单元4包含多层第二卷积层(图3中未示出)，每层第二卷积层可以提取对应的第二特征信息4－1，将深度图2输入第二特征提取单元内提取特征得到第二特征图6，包括以下步骤S301～S302：

S301、将深度图依次输入每层第二卷积层，得到每层卷积层输出的第二特征信息；

S302、对每层第二卷积层输出的第二特征信息依次进行拼接，得到第二特征图。

示例性地，第二特征提取单元包含的第二卷积层可以提取的特征不同，这样基于每层第二卷积层可以得到色彩图中不同的特征信息，然后将每层第二卷积层输出的第二特征信息依次进行拼接，如图3所示，这样可以对色彩图进行全方位特征提取，从而得到保留完整特征的第二特征图，便于在基于第二特征图，确定抓取概率图时，得到准确度较高的抓取概率图。

此外，第二特征提取单元除了包含多层第二卷积层外，还包含激活函数层、池化层、归一化层和上采样层(图3中未示出)，将色彩图依次输入每层第二卷积层进行特征提取，再将得到的特征经过激活函数层、池化层、归一化层处理后，得到该层第二卷积层输出的第二特征信息，再将该层第二卷积层输出的第二特征信息与其它第二卷积层输出的第二特征信息进行拼接前，还可以通过上采样层进行上采样处理，从而使得进行拼接的第二特征信息的尺寸保持一致。

如图3所示，上述神经网络还包括概率图预测单元7，在基于第一特征图5和第二特征图6，确定针对待抓取对象进行抓取的抓取概率图8时，包括以下步骤S401～S402：

S401、对第一特征图和第二特征图中对应位置的像素点的特征信息进行拼接，得到用于表征待抓取对象的全局特征信息的拼接特征图；

S402、通过概率图预测单元对拼接特征图进行特征提取，得到抓取概率图。

示例性地，第一特征图中每个像素点的特征信息包含可以表示物品区域中待抓取对象位姿特征的信息，第二特征图中每个像素点的特征信息包含可以表示物品区域中待抓取对象深度特征的信息，在将第一特征图和第二特征图中对应位置的像素点的特征信息进行拼接后，得到的拼接特征图中每个像素点的特征信息可以表示物品区域中待抓取对象全局特征的信息。

其中，对应位置的像素点是指第一特征图中的位置和第二特征图中的位置相同的像素点，比如第一特征图中第一行第二列的像素点和第二特征图中第一行第二列的像素点属于对应位置的像素点。全局特征信息包括位姿特征信息和深度特征信息。

本公开提供的神经网络，包含对色彩图进行特征提取的第一特征提取单元，以及对深度图进行特征提取的第二特征提取单元，可以同时对物品区域中待抓取对象的位姿特征以及深度特征进行提取，这样在对第一特征图和第二特征图中对应位置的像素点的特征信息进行拼接后，得到拼接特征图可以同时包含位姿特征和深度特征，以便更加准确地得到抓取概率图。

进一步地，在得到第一特征图和第二特征图的过程中，经过对多层卷积层输出的特征信息进行拼接，比如不同的卷积层可以提取不同尺寸的待抓取对象的特征信息，经过对多层卷积层提取的特征信息进行拼接处理后，可以保留物品区域更加完整的特征信息，从而为准确得到针对物品区域中待抓取对象进行抓取预测的拼接特征图，进一步为确定待抓取对象的抓取区域提供依据。

示例性地，在对第一特征图和第二特征图进行拼接得到可以表征待抓取对象的全局特征信息的拼接特征图后，进一步可以结合深度学习语义分割的抓取区域概率预测，能够实现抓取区域内的各个待抓取对象，例如，对如图4和5中的细长物体、小物体等非凸几何体的抓取区域的进行准确的预测，以使得末端装配有真空吸盘的工业机器人，从混乱堆叠的物品区域中，将待抓取对象逐个捡出，用于后续的扫码，装载等工位流程。

在一种实施方式种，上述提到的预先训练的神经网络可以按照以下方式训练获得，包括以下步骤S601～S602：

S601、获取物品区域对应的样本色彩图、样本深度图以及物品区域内包含的待抓取样本对象的标注抓取区域。

具体的，样本色彩图和样本深度图都是由安装在抓取装置上的识别相机对放置在物品区域的样本拍照后获得。

S602、分别对样本色彩图和样本深度图进行特征提取，得到物体区域内的待抓取样本对象的样本第一特征图和样本第二特征图。

示例性地，样本第一特征图表征样本的位姿特征信息，位姿特征信息包括样本在二维平面内的位置信息、姿态信息，二维平面是与视觉方向垂直的平面，位置信息为样本在物品区域的具体位置，姿态信息是样本在物品区域中如何放置的；样本第二特征图表征样本表面各位置点的深度特征信息，深度特征信息包括在视角方向上，视点与样本表面上各位置之间的距离信息。

S603、基于样本第一特征图和样本第二特征图，确定针对待抓取样本对象进行抓取的样本抓取概率图。

具体过程详见上述S401～S402，在此不再赘述。

S604、基于样本抓取概率图，确定针对待抓取样本对象进行抓取时的抓取区域。

具体过程详见上述确定对待抓取对象的抓取区域的过程，在此不再赘述。

S605、根据待抓取样本对象的样本抓取区域和标注抓取区域确定待训练神经网络的损失函数值。

S606、基于损失函数值对待训练的神经网络中的网络参数进行调整后，返回执行获取样本第一特征图和样本第二特征图的步骤，直至最新得到损失函数值和上一次调整网络参数后得到的损失函数值之间的变化量小于预设变化量阈值后，得到训练完成的神经网络。

以下通过具体实例对上述的图4和图5内的各个待抓取对象的抓取区域的识别方法进行说明：

例1：如图4所示，为对物品区域中的细长杆、铁丝、铁丝圈、铁丝框、纸箱等表面曲面简单(形状规则、同一个物体上不同位置与第二相机的距离相同)的待抓取对象逐一进行抓取识别并抓取。本实例以物品区域中含有细长杆及铁丝为例，细长杆与铁丝形状、颜色均类似，但细长杆与铁丝之间的大小、姿态、与第二相机之间的距离等信息不同，包括以下步骤：

S1、通过第一相机及第二相机分别获取物品区域中细长杆100及铁丝200的色彩图1及深度图2。

S2、将色彩图1和深度图2分别输入神经网络内进行识别，输出细长杆100及铁丝200的第一特征图5和第二特征图6。

具体的，将色彩图1输入第一特征提取单元3内，对色彩图1的位姿特征信息进行识别，第一特征提取单元3输出第一特征图5。由于位姿特征信息中，细长杆100与铁丝200的形状、颜色均类似，大小、姿态不同，因此可以根据输出的第一特征图5将细长杆与铁丝进行区分。

具体的，将深度图2输入第二特征提取单元4，对深度图2的距离特征进行识别；第二特征提取单元4输出第二特征图6。由于距离特征中，细长杆100与铁丝200的粗细不同，第二相机识别后获得的距离特征不同，因此可以将细长杆100与铁丝200进行区分。

S3、拼接(也可称为叠加)第一特征图5和第二特征图6，经概率图预测单元7对其进行预测，输出细长杆100及铁丝200上可抓取部位的2D概率图(即抓取概率图8)。

根据细长杆与铁丝的距离特征，可以将细长杆100与铁丝200进行区分，结合细长杆100和铁丝200各自的大小、姿态信息，能够将抓取装置定位在细长杆或铁丝上空区域；由于细长杆100、铁丝200上各个位置与第二相机的位置相同，因此可以通过细长杆100、铁丝200的重心或中心确定其抓取位置。

S4、采用带有真空吸盘类的末端执行器将细长杆100及铁丝200从物品区域中抓取捡出。

S5、重复上述步骤S2至步骤S4，直至物品区域中所有的细长杆100、铁丝200逐一被捡出即可。

例2、如图5所示，为对物品区域中含有表面曲面简单的物体300(如纸箱)、表面曲面复杂的物体400逐一进行抓取识别并抓取。本示例中，表面曲面简单的物体300与表面曲面复杂的物体400之间的形状、颜色、大小、姿态、与第二相机之间的距离等信息均不同；同时，表面曲面复杂的物体400上各个位置与第二相机之间的距离也不相同。表面曲面简单的物体300与表面曲面复杂的物体400的识别及抓取方法包括以下步骤：

S1、通过第一相机及第二相机分别获取物品区域中表面曲面简单的物体300及表面曲面复杂的物体400的色彩图1及深度图2。

S2、将色彩图1和深度图2分别输入神经网络内进行识别，输出待抓取对象的第一特征图5和第二特征图6。

具体的，将色彩图1输入第一特征提取单元3，对色彩图1的位姿特征信息进行识别，第一特征提取单元3输出第一特征图5。由于位姿特征信息中，表面曲面简单的物体300与表面曲面复杂的物体400的形状、颜色均类似，大小、姿态不同，因此可以根据输出的第一特征图5将表面曲面简单的物体300与表面曲面复杂的物体400进行区分。

具体的，将深度图2输入第二特征提取单元4，对深度图2的距离特征进行识别；第二特征提取单元4输出第二特征图6。由于距离特征中，由于表面曲面简单的物体300与表面曲面复杂的物体400与第二相机之间的距离特征有可能相同，因此主要通过深度特征对表面曲面简单的物体300与表面曲面复杂的物体400进行区分。

S3、拼接(也可称为叠加)第一特征图5和第二特征图6，经概率图预测单元7对其进行预测，表面曲面简单的物体300与表面曲面复杂的物体400上可抓取部位的2D概率图(即抓取概率图8)。

根据表面曲面简单的物体300与表面曲面复杂的物体400的距离特征，可以将表面曲面简单的物体300与表面曲面复杂的物体400进行区分，将抓取装置分别定位在表面曲面简单的物体300与表面曲面复杂的物体400的上空区域。表面曲面简单的物体300上不同位置与第二相机之间的距离相同，因此可以通过表面曲面简单的物体300的重心或中心视为抓取区域。表面曲面复杂的物体400上不同位置与第二相机之间的距离不同，因此可以通过表面曲面复杂的物体400上的距离特征计算表面曲面复杂的物体400上的抓取位置。

S4、采用带有真空吸盘类的末端执行器将表面曲面简单的物体300与表面曲面复杂的物体400从物品区域中抓取捡出。

S5、重复上述步骤S2至步骤S4，直至物品区域中所有的表面曲面简单的物体300与表面曲面复杂的物体400逐一被捡出即可。

实施例3：

基于同一技术构思，本公开实施例中还提供了与抓取区域的识别方法对应的识别装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述识别方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图6所示，为本公开实施例提供的一种抓取区域的识别装置700的示意图，该识别装置包括：

获取模块701，用于获取物品区域对应的色彩图和深度图；

提取模块702，用于分别对色彩图和深度图进行特征提取，得到物体区域内的待抓取对象的第一特征图和第二特征图；其中，第一特征图用于表征待抓取对象的位姿特征信息，第二特征图用于表征待抓取对象表面各位置点的深度特征信息；

第一确定模块703，用于基于第一特征图和第二特征图，确定针对待抓取对象进行抓取的抓取概率图，抓取概率图中包含每个像素点作为抓取区域时待抓取对象被成功抓取的概率值；

第二确定模块704，用于基于抓取概率图，确定针对待抓取对象进行抓取时的抓取区域。

在一种可能的实施方式中，本公开提供的识别装置还包括控制模块705，在第二确定模块704确定针对待抓取对象进行抓取时的抓取区域之后，控制模块705用于：

控制机械臂抓手基于抓取区域对待抓取对象进行抓取。

在一种可能的实施方式中，抓取概率图由预先训练的神经网络确定，神经网络包括第一特征提取单元和第二特征提取单元，提取模块702在用于分别对色彩图和深度图进行特征提取，得到物体区域内的待抓取对象的第一特征图和第二特征图时，包括：

将色彩图输入第一特征提取单元进行特征提取，得到第一特征图；

将深度图输入第二特征提取单元进行特征提取，得到第二特征图。

在一种可能的实施方式中，第一特征提取单元包含多层第一卷积层，提取模块702在用于将色彩图输入第一特征提取单元内提取特征，得到第一特征图时，包括：

将色彩图依次输入每层第一卷积层进行特征提取，得到该层第一卷积层输出的第一特征信息；

对每层第一卷积层输出的第一特征信息依次进行拼接，得到第一特征图。

在一种可能的实施方式中，第二特征提取单元包含多层第二卷积层，提取模块702在用于将深度图输入第二特征提取单元内提取特征，得到第二特征图时，包括：

将深度图依次输入每层第二卷积层，得到每层卷积层输出的第二特征信息；

对每层第二卷积层输出的第二特征信息依次进行拼接，得到第二特征图。

在一种可能的实施方式中，神经网络还包括概率图预测单元，第一确定模块703在用于基于第一特征图和第二特征图，确定针对待抓取对象进行抓取的抓取概率图时，包括：

对第一特征图和第二特征图中对应位置的像素点的特征信息进行拼接，得到用于表征待抓取对象的全局特征信息的拼接特征图；

通过概率图预测单元对拼接特征图进行特征提取，得到抓取概率图。

在一种可能的实施方式中，本公开提供的识别装置还包括训练模块706，训练模块706用于按照以下方式训练神经网络：

获取物品区域对应的样本色彩图、样本深度图以及物品区域内包含的待抓取样本对象的标注抓取区域；

分别对样本色彩图和样本深度图进行特征提取，得到物体区域内的待抓取样本对象的样本第一特征图和样本第二特征图；

基于样本第一特征图和样本第二特征图，确定针对待抓取样本对象进行抓取的样本抓取概率图；

基于样本抓取概率图，确定针对待抓取样本对象进行抓取时的抓取区域；

根据待抓取样本对象的样本抓取区域和标注抓取区域确定待训练神经网络的损失函数值；

基于损失函数值对待训练的神经网络中的网络参数进行调整后，返回执行获取样本第一特征图和样本第二特征图的步骤，直至最新得到损失函数值和上一次调整网络参数后得到的损失函数值之间的变化量小于预设变化量阈值后，得到训练完成的神经网络。

在一种可能的实施方式中，第二确定模块704在用于基于抓取概率图，确定针对待抓取对象进行抓取时的抓取区域时，包括：

基于抓取概率图，筛选概率值大于预设概率阈值的像素点所对应的至少一个候选区域；

基于每个候选区域对应的几何特征，确定该候选区域对应的候选抓取位置点，以及确定候选抓取位置点在预先构建的世界坐标系中的位置坐标；

基于每个候选抓取位置点的位置坐标，确定针对待抓取对象进行抓取时的目标位置点，并将目标位置点所对应的候选区域作为针对待抓取对象进行抓取时的抓取区域。

在一种可能的实施方式中，第二确定模块704在用于基于每个候选抓取位置点的位置坐标，确定针对待抓取对象进行抓取时的目标位置点时，包括：

基于每个候选抓取位置点的位置坐标，以及机器臂抓手的当前位置坐标，确定机器臂抓手到达每个候选抓取位置点的抓取路线；

选择对应抓取路线最短的候选抓取位置点，作为针对待抓取对象进行抓取时的目标位置点。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

实施例4：

对应于图1中的抓取区域的识别方法，本公开实施例还提供了一种电子设备800，如图7所示，为本公开实施例提供的电子设备800结构示意图，包括：

处理器81、存储器82、和总线83；存储器82用于存储执行指令，包括内存821和外部存储器822；这里的内存821也称内存储器，用于暂时存放处理器81中的运算数据，以及与硬盘等外部存储器822交换的数据，处理器81通过内存821与外部存储器822进行数据交换，当所述电子设备800运行时，所述处理器81与所述存储器82之间通过总线83通信，使得所述处理器81执行以下指令：获取物品区域对应的色彩图和深度图；分别对色彩图和深度图进行特征提取，得到物体区域内的待抓取对象的第一特征图和第二特征图；基于第一特征图和所第二特征图，确定针对待抓取对象进行抓取的抓取概率图，抓取概率图中包含每个像素点作为抓取区域时待抓取对象被成功抓取的概率值；基于抓取概率图，确定针对待抓取对象进行抓取时的抓取区域。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的识别方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例所提供的识别方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的识别方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read－Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。