一种六自由度位姿估计数据集自动采集系统

技术领域

本发明涉及机器人技术领域，具体涉及一种六自由度位姿估计数据集自动采集系统，适用于面向机器人抓取的深度学习网络模型的训练或测试数据集的标注环节。

背景技术

随着科学技术与工业现代化的快速发展，机器人产业迎来了新的发展机遇，市场占有规模日益增大，大量机器人被应用到分拣、装配、上料等实际生产任务中，在诸多行业中扮演了重要的角色。与传统人工操作相比，机器人具有操作准度高、系统稳定性强、投资回报率高等优势。

而随着人工智能技术的快速崛起和智能硬件的不断迭代，计算机视觉与机器人技术日益紧密的联系在一起，机器人能够以相机作为“眼睛”来获取场景的视觉信息，实现与外界环境的交互。

机器人抓取是机器人分拣、装配、上料等作业过程中的关键环节，是实现机器人操作过程自动化、智能化的关键技术。机器人抓取又可以细分为三个子任务，即抓取检测、抓取规划和抓取控制。其中，抓取检测是抓取规划和抓取控制的基础，往往通过相机，特别是深度相机等光学仪器采集抓取场景的图像信息、深度信息，构造抓取场景的三维点云，进而通过算法估计目标物体的位置和姿态，构成抓取描述，引导机器人实现抓取。因此，一类常见的抓取检测方法会将目标物体三维模型与目标物体的实际点云进行配准，从而实现对目标物体的位姿估计。经典的算法包括基于模板匹配的LineMOD算法，基于投票的点对特征算法等。

随着人工智能技术的推广和应用，越来越多基于深度学习的位姿估计算法被应用到机器人无序抓取任务中。例如，基于改进KeypointRCNN模型的机器人抓取方法，基于PVNet的机器人抓取方法等。这些方法往往需要大量的数据来训练网络模型，以获得期望的位姿估计精度。数据集的丰富程度和标注质量会直接影响网络模型的性能。

目前，尽管已经出现了诸如LineMOD、HomebrewedDB、HOPE等专门用于六自由度位姿估计的数据集。但是由于数据集标注需要全部或者部分人工手动完成，因此标注工作费时费力，难以获得量大、面广的数据集标注结果。例如，LineMOD数据集中只为15个物体标注了大约1000个位姿标签和分割掩膜标签，HomebrewedDB数据集只对13个场景中的33个物体进行了标注，HOPE数据集则只对50个场景中的28个玩具物体进行标注。虽然，也有诸如ObjectDataSetTools的开源六自由度物体位姿估计数据集制作工具，能够实现位姿估计数据集制作过程的自动化，即由给定的RGB-D图像序列可以自动标注位姿信息、分割掩膜信息和物体三维模型信息，但是该工具只能对单个物体进行标注，并且无法处理复杂场景以及物体间存在的遮挡问题，并且由于在三维重建过程中没有进行法方向一致化处理，因为三维重建结果经常会出现变形、撕裂等现象，大大降低了位姿估计数据集的标注质量。

发明内容

针对背景技术中所提及的技术缺陷，本发明实施例的目的在于实现拍摄场景中物体六自由度位姿数据的自动标注，从而为实现机器人无序抓取奠定基础，其中六自由位姿数据主要包括物体的位姿信息，物体在图像中的分割掩膜信息，以及物体的三维模型信息。

为实现上述目的，本发明实施例提供了一种六自由度位姿估计数据集自动采集系统，包括数据采集平台和数据处理设备。其中，所述数据采集平台用于利用深度相机拍摄目标场景的RGBD图像序列；

所述数据处理设备内安装有数据标注软件算法，用于对目标场景的RGBD图像序列进行处理，对所述目标物体进行三维重建，得到三维模型，并基于所述三维模型自动标注出目标场景中物体的分割掩膜信息和六自由度位姿信。

作为本发明的一种具体实现方式，所述数据采集平台包括电动转台和机械臂；所述电动转台上放置目标物体，且所述电动转台接收上位机下发的控制指令，并根据所述控制指令进行旋转；所述机械臂的末端安装有所述深度相机，所述深度相机可拍摄目标物体各个角度的RGD图像，以得到所述RGBD图像序列。

进一步地，所述电动转台通过RS-232通信模块接收所述上位机下发的控制指令；所述控制指令包括电动转台的旋转角度和旋转速度。

作为一种具体实现方式，所述电动转台包括步进电机、皮带、亚克力板、底板及圆形滑轨，所述步进电机安装于所述底板，所述皮带安装于所述圆形滑轨上方，所述圆形滑轨通过两根螺柱安装于所述底板上方，所述皮带上方通过两根螺柱安装有所述亚克力板，所述亚克力板上带有ArUoc标记。

作为本发明的一种具体实现方式，所述数据处理设备采用数据标注软件算法对目标场景的RGBD图像序列进行处理，具体包括：

第一步，点云对齐：从RGBD图像序列中找到第k帧图像中m个ArUco标记的4个角点的三维坐标，记作X

第二步，三维重建：利用随机采样一致性算法对X

第三步，表面三角化：计算各个物体点云的法向量，并利用基于树状分层黎曼图的法向传播方法对各个物体点云的法向量进行一致化；使用泊松表面重建算法对O进行三角化，得到每个物体的三维模型m

第四步，分割信息标注：将物体三维模型m

第五步，位姿信息标注：计算各个物体三维模型m

其中，表面三角化步骤中，基于树状分层黎曼图的法向传播方法对各个物体点云的法向量进行一致化，具体为：

(1)在主成分分析方法中，使用较大的邻域半径对点云进行法向估计，得到粗略的法向量；

(2)选择曲率最小的点作为最小生成树的根节点，并将其标记；

(3)计算所有未标记的点到树的距离，找到距离树最近的点p

(4)将p

(5)重复步骤3和4，直到点云中所有的点都被加入到最小生成树中；

(6)遍历最小生成树的所有边，计算其两端连接的节点的法向量之间的夹角；如果夹角大于90°则反转后加入节点的法向量，从而得到具有一致方向的粗略法向量；

(7)在主成分分析方法中，使用较小的邻域半径对点云进行法向估计，得到精确的法向量；

(8)计算每个点的精确法向量和粗略法向量之间的夹角，如果夹角大于90°则将精确法向量反向，最终得到具有一致方向的精确法向量。

与现有技术相比，本发明的有益效果在于：仅利用RGB-D相机对放置在数据采集硬件平台上的目标拍摄图像序列，就能够自动获得目标的三维模型信息，六自由度位姿信息和分割掩膜信息，不需要使用3D扫描仪，也不需要人为干预拍摄过程。在生成物体三维模型过程中，本发明使用一种基于树状分层黎曼图的法向传播方法进行法线定向，确保物体表面点云法线方向的一致性，避免了由于法线方向不一致而导致三维模型变形、撕裂等现象，从而能够获得更加准确的三维模型。在此基础上，利用三角化的三维模型进行透视投影，获得更加精确图像分割掩膜信息。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明实施例提供的数据采集平台的示意图；

图2是本发明数据采集的示意图；

图3是本发明数据标注软件算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

本发明的六自由度位姿估计数据集自动采集系统包括数据采集平台(也可称为数据采集硬件平台)和数据处理设备。数据采集硬件平台用于利用深度相机拍摄目标场景的RGBD图像序列。数据采集硬件平台是一个带有ArUco标记的、可以放置待检测物体的电动转台，该电动转台能够通过RS-232通信模块与上位机进行通信。上位机将旋转角度和速度信息以指令形式下发，电动转台根据上位机的指令进行自动旋转。

所述数据处理设备内安装有数据标注软件算法，用于对目标场景的RGBD图像序列进行处理，对所述目标物体进行三维重建，得到三维模型，并基于所述三维模型自动标注出目标场景中物体的分割掩膜信息和六自由度位姿信息。

如图1所示，本发明提供的数据采集硬件平台为一个电动转台，包括步进电机1、皮带2、亚克力板3、底板4、圆形滑轨5、螺柱6-9、电机线10。亚克力板上带有ArUco标记，并固定在圆形滑轨的一端，另一端连接在皮带轮上，皮带轮通过皮带连接步进电机，步进电机拖动电动转台旋转。硬件系统通过RS-232通信模块与上位机进行通信。上位机将旋转角度和速度信息以指令形式下发，电动转台根据上位机的指令进行旋转。使用该硬件平台进行数据集采集的过程(参见图2)是将深度相机安装到机械臂末端，然后将目标物体放置到电动转台上。电动转台转动固定角度后，使用深度相机拍摄一张RGB-D图像。当电动转台转动360°后，深度相机围绕物体拍摄多张RGB-D图像。然后改变机械臂末端位置，从而改变深度相机的拍摄视角，重复前面拍摄过程。经过多次不同视角拍摄后，就可以得到物体各个角度的RGB-D图像。在此基础上，利用本发明提供的数据标注软件算法对物体进行三维模型信息、六自由度位姿信息和图像分割掩膜信息的标注。

再请参考图3，本发明实施例提供的数据标注软件算法主要应用于自动标注目标物体的三维模型信息、六自由度位姿信息和图像分割掩膜信息。该方法的具体步骤是：

S1、点云对齐，通过利用ArUCo标记，实现每一帧点云与第一帧点云对齐；

S2、三维重建，对经过对齐的点云进行拼接，得到场景的完整点云；

S3、表面三角化，使用聚类分割算法对场景点云进行分割，得到场景中各个物体的点云，在此基础上，通过基于树状分层的黎曼图法相传播算法对物体点云进行法向量一致化，再通过使用泊松表面重建算法对物体点云进行三角化，得到物体的三维模型；

S4、标注分割信息，将物体三维模型的三角面逐个投影到相机的成像平面，得到物体的分割掩膜；

S5、获取物体三维模型并标注位姿信息，通过计算物体模型的方向包围盒及其位姿变换矩阵，将物体模型移动到三维坐标系原点并于三根坐标轴对齐，利用图像帧间的位姿变换关系得到每一帧点云中物体的位姿信息。

下面对各部分进行详述：

第一步：点云对齐。

本发明首先通过下面方法找到每帧图像中ArUco标记的角点的三维坐标。ArUco标记是可用于摄像机姿态估计的二进制方形基准标记。它是由宽黑色边框和确定其标识符的内部二进制矩阵组成的正方形标记。本发明在图像序列中检测ArUco标记四个角点在图像中的二维坐标，然后利用RGB图与深度图的像素对应关系，将二维坐标映射到深度图中，从而得到角点的三维坐标。如果共放置b个ArUco标记，则由第k帧图像可以得到角点集合X

假设由RGB-D图像序列获得的点云序列集合为P＝{P

第二步：三维重建。

利用RANSAC算法，对第k帧RGB-D图像中由ArUco标记获得的三维角点坐标集合X

第三步：表面三角化

考虑到场景中通常会放置多个物体，因此需要对M中包含的物体进行分割来得到单个物体的点云集合O＝{o

为了重建物体的曲面，对点云O进行三角化，来得到物体的三维模型。本发明使用泊松表面重建算法。泊松表面重建属于隐函数方法实现，其融合了全局和局部方法的优点，采取隐性拟合的方式，通过求解泊松方程来取得点云模型所描述的表面信息代表的隐性方程，然后对该方程进行等值面提取，从而得到具有几何实体信息的表面模型。泊松表面重建算法需要点云和法线，并且法线需要具有一致性。点云的法线可以通过主成分分析方法进行估计，根据采样点及其邻近点的位置信息对曲面局部形状进行逼近，进而估计点云的法线方向。然而，通过该方法得到的法线方向往往不具备一致性，即某采样点的法向与其邻近点的法线方向会出现相反的情况。由此重建出的三维表面会出现变形、撕裂等现象。为此本发明提出一种基于最小生成树的法向传播方法来对物体法向量进行法向一致化，从而为表面重建算法提供准确一致的法向量。

基于最小生成树的法向传播算法的具体步骤是：

(1)在主成分分析方法中，使用较大的邻域半径对点云进行法向估计，得到粗略的法向量。

(2)选择曲率最小的点作为最小生成树的根节点，并将其标记。

(3)计算所有未标记的点到树的距离，找到距离树最近的点p

(4)将p

(5)重复步骤3和4，直到点云中所有的点都被加入到最小生成树中。

(6)遍历最小生成树的所有边，计算其两端连接的节点的法向量之间的夹角。如果夹角大于90°则反转后加入节点的法向量，从而得到具有一致方向的粗略法向量。

(7)在主成分分析方法中，使用较小的邻域半径对点云进行法向估计，得到精确的法向量。

(8)计算每个点的精确法向量和粗略法向量之间的夹角，如果夹角大于90°则将精确法向量反向，最终得到具有一致方向的精确法向量。

在此基础上，使用泊松表面重建算法对物体点云集合O＝{o

第四步：标注分割信息

物体的三维模型由多个三角面组成，在已知相机内参数的情况下可以将这些三角面投影到相机平面上，从而获得物体的分割掩膜。因为RGB图像和深度图已经被对齐，所以RGB图像和深度图具有相同的相机内参数。根据相机小孔成像模型，可以通过式(1)将三角面的顶点投影到二维图像中。

式中f

第五步：获取物体三维模型并标注位姿信息。

由于已经获取了每一帧点云和第一帧点云之间的变换矩阵T

进一步，由第k帧点云与第一帧点云的位姿变换矩阵T

综上可知，数据集自动采集平台的使用过程是：首先将物体放置于电动转台上，围绕物体摆放若干张ArUco标记，然后电动转台开始旋转，每转动一定角度使用深度相机拍摄一张RGBD图像，采集场景的RGBD图像序列。使用软件算法基于RGBD图像对场景中的物体进行三维重建，并标注其分割掩膜信息和位姿信息。

与现有技术相比，本发明的有益效果在于：仅利用RGB-D相机对放置在数据采集硬件平台上的目标拍摄图像序列，就能够自动获得目标的三维模型信息，六自由度位姿信息和分割掩膜信息，不需要使用3D扫描仪，也不需要人为干预拍摄过程。在生成物体三维模型过程中，本发明使用一种基于树状分层黎曼图的法向传播方法进行法线定向，确保物体表面点云法线方向的一致性，避免了由于法线方向不一致而导致三维模型变形、撕裂等现象，从而能够获得更加准确的三维模型。在此基础上，利用三角化的三维模型进行透视投影，获得更加精确图像分割掩膜信息。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。