一种基于特征融合的弱纹理目标位姿估计方法

技术领域

本发明属于目标位姿估计技术领域，具体涉及一种基于特征融合的弱纹理目标位姿估计方法。

背景技术

目标位姿估计能够将计算机产生的虚拟物体加载到真实图像序列，获取物件的位姿，帮助机械臂夹取物件，在机械臂抓取及增强现实等领域有广泛的应用。

现有技术中，使用特征描述子提取目标特征实现位姿估计，例如《一种结合SURF描述子与自编码器的位姿估计方法》(CN114037742A)，该发明提取彩色图像的SURF特征点，再将通过卷积自编码器提取的特征与渲染数据中的对应位姿信息构成离线特征模板，选择特征模板中距离最小的K个特征向量投票得到目标的6D位姿。该发明减少了人工标注，降低了环境复杂度，并且减小了计算量。但是，使用SURF等特征描述子需要目标具有丰富的纹理图案，因此，该方法对弱纹理目标提取特征较困难，存在弱纹理目标效果差的问题。《一种弱纹理物体位姿估计方法》(CN113223181A)，针对弱纹理目标进行了优化，该发明分别通过彩色图像和点云，获得彩色嵌入特征和几何嵌入特征，然后利用自注意力机制提取位置依赖特征图，逐像素的融合后进行位姿估计。该发明能够丰富每个像素特征的信息，并自适应调整不同特征的权重，提高每个像素的识别精度。但是，该发明使用密集融合的方法，忽略了点云之间存在的局部特征对位姿估计的影响，从而限制了位姿估计的准确性。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于特征融合的弱纹理目标位姿估计方法，其方法步骤简单，设计合理，实现方便，能够有效应用在弱纹理目标位姿估计中，解决了位姿估计在特征融合时对局部特征考虑不足的问题，提升了位姿估计的准确性，模型适配性更强，使用效果好，便于推广使用。。

为解决上述技术问题，本发明采用的技术方案是：一种基于特征融合的弱纹理目标位姿估计方法，包括以下步骤：

步骤一、对目标所在的RGB图像进行语义分割，获得目标像素掩码和目标对应的最小包围框；

步骤二、采用所述最小包围框裁剪RGB图像，获得裁剪后的RGB图像；

步骤三、采用卷积神经网络提取裁剪后的RGB图像中目标的颜色特征；

步骤四、获取裁剪后的RGB图像的深度图像；

步骤五、采用所述掩码对所述深度图像进行分割，转换为点云数据；

步骤六、获取所述点云数据中的点特征、局部几何特征和全局几何特征；

步骤七、将所述颜色特征与所述点特征、局部几何特征和全局几何特征进行融合，获得目标融合特征；

步骤八、将所述目标融合特征输入到位姿估计网络，输出位姿估计结果。

上述的一种基于特征融合的弱纹理目标位姿估计方法，步骤三中所述采用卷积神经网络提取裁剪后的RGB图像中目标的颜色特征的具体过程包括：

步骤301、采用18个卷积层对裁剪后的RGB图像特征进行下采样，获得维度为512的特征；

步骤302、采用四个上采样层对特征进行上采样，获得32维的颜色特征。

上述的一种基于特征融合的弱纹理目标位姿估计方法，步骤六中所述获取点云数据中的点特征、局部几何特征和全局几何特征的具体过程包括：

步骤601、采用PointNet网络提取点云数据中的点特征；

步骤602、随机选择256个位置点，对多个位置点的特征进行融合，减轻目标遮挡和分割存在噪声的影响；

步骤603、采用最远点采样的方式，找到空间中均匀分布的128个点；

步骤604、以每个均匀分布的点作为中心点，将固定半径的球体划分为一个局部区域；

步骤605、在每个局部区域内，对0.05cm、0.1cm和0.2cm三个空间尺度内的点云，采用PointNet提取特征，并进行连接聚集，形成局部几何特征；

步骤606、再采用最远点采样的方式，找到空间中均匀分布的64个点；

步骤607、以每个均匀分布的点作为中心点，将固定半径的球体划分为一个局部区域；

步骤608、在每个局部区域内，对0.2cm和0.3cm两个空间尺度内的点云进行特征提取聚集；

步骤609、采用MLP在局部几何特征的基础上提取目标的全局几何特征。

上述的一种基于特征融合的弱纹理目标位姿估计方法，步骤七中所述将颜色特征与点特征、局部几何特征和全局几何特征进行融合，获得目标融合特征的具体过程包括：

步骤701、对所述颜色特征进行一次1d卷积操作，再与所述点特征进行融合，形成点融合特征；

步骤702、对所述点融合特征再次进行一次1d卷积操作，再与所述局部几何特征进行融合，形成局部融合特征；

步骤703、对步骤609中的全局几何特征、步骤701中的点融合特征和步骤702中的局部融合特征进行融合，形成最终的目标融合特征。

上述的一种基于特征融合的弱纹理目标位姿估计方法，步骤八中所述将目标融合特征输入到位姿估计网络，输出位姿估计结果的具体过程包括：

步骤801、所述目标融合特征作为训练集，训练位姿估计网络；

步骤802、所述位姿估计网络预测目标的旋转、平移以及位姿预测的置信度；

步骤803、以置信度最高的位置点所做出的位姿预测，作为初始位姿；

步骤804、采用四层全连接网络对初始位姿进行优化，得到最终的位姿估计结果。

上述的一种基于特征融合的弱纹理目标位姿估计方法，步骤八中所述位姿估计网络包括损失函数，所述损失函数通过置信度对位姿损失进行加权，所述损失函数Loss为：

其中，i表示N个位置点的第i点，

本发明与现有技术相比具有以下优点：

1、本发明方法步骤简单，设计合理，实现方便。

2、本发明通过关注点云数据局部之间存在细粒度的几何特征，获取更高质量的目标特征。

3、本发明解决了位姿估计在特征融合时对局部特征考虑不足的问题，提升了位姿估计的准确性。

4、本发明能够有效应用在弱纹理目标位姿估计中，精度高，模型适配性更强，使用效果好，便于推广使用。

综上所述，本发明方法步骤简单，设计合理，实现方便，能够有效应用在弱纹理目标位姿估计中，解决了位姿估计在特征融合时对局部特征考虑不足的问题，提升了位姿估计的准确性，模型适配性更强，使用效果好，便于推广使用。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的方法流程图；

图2为本发明的网络结构图；

图3为本发明各目标位姿估计结果可视化效果图。

具体实施方式

如图1和图2所示，本发明的基于特征融合的弱纹理目标位姿估计方法，包括以下步骤：

步骤一、对目标所在的RGB图像进行语义分割，获得目标像素掩码和目标对应的最小包围框；

步骤二、采用所述最小包围框裁剪RGB图像，获得裁剪后的RGB图像；

步骤三、采用卷积神经网络提取裁剪后的RGB图像中目标的颜色特征；

步骤四、获取裁剪后的RGB图像的深度图像；

步骤五、采用所述掩码对所述深度图像进行分割，转换为点云数据；

步骤六、获取所述点云数据中的点特征、局部几何特征和全局几何特征；

步骤七、将所述颜色特征与所述点特征、局部几何特征和全局几何特征进行融合，获得目标融合特征；

步骤八、将所述目标融合特征输入到位姿估计网络，输出位姿估计结果。

本实施例中，步骤三中所述采用卷积神经网络提取裁剪后的RGB图像中目标的颜色特征的具体过程包括：

步骤301、采用18个卷积层对裁剪后的RGB图像特征进行下采样，获得维度为512的特征；

步骤302、采用四个上采样层对特征进行上采样，获得32维的颜色特征。

本实施例中，步骤六中所述获取点云数据中的点特征、局部几何特征和全局几何特征的具体过程包括：

步骤601、采用PointNet网络提取点云数据中的点特征；

步骤602、随机选择256个位置点，对多个位置点的特征进行融合，减轻目标遮挡和分割存在噪声的影响；

步骤603、采用最远点采样的方式，找到空间中均匀分布的128个点；

步骤604、以每个均匀分布的点作为中心点，将固定半径的球体划分为一个局部区域；

步骤605、在每个局部区域内，对0.05cm、0.1cm和0.2cm三个空间尺度内的点云，采用PointNet提取特征，并进行连接聚集，形成局部几何特征；

步骤606、再采用最远点采样的方式，找到空间中均匀分布的64个点；

步骤607、以每个均匀分布的点作为中心点，将固定半径的球体划分为一个局部区域；

步骤608、在每个局部区域内，对0.2cm和0.3cm两个空间尺度内的点云进行特征提取聚集；

步骤609、采用MLP在局部几何特征的基础上提取目标的全局几何特征。

本实施例中，步骤七中所述将颜色特征与点特征、局部几何特征和全局几何特征进行融合，获得目标融合特征的具体过程包括：

步骤701、对所述颜色特征进行一次1d卷积操作，再与所述点特征进行融合，形成点融合特征；

步骤702、对所述点融合特征再次进行一次1d卷积操作，再与所述局部几何特征进行融合，形成局部融合特征；

步骤703、对步骤609中的全局几何特征、步骤701中的点融合特征和步骤702中的局部融合特征进行融合，形成最终的目标融合特征。

本实施例中，步骤八中所述将目标融合特征输入到位姿估计网络，输出位姿估计结果的具体过程包括：

步骤801、所述目标融合特征作为训练集，训练位姿估计网络；

步骤802、所述位姿估计网络预测目标的旋转、平移以及位姿预测的置信度；

步骤803、以置信度最高的位置点所做出的位姿预测，作为初始位姿；

步骤804、采用四层全连接网络对初始位姿进行优化，得到最终的位姿估计结果。

本实施例中，步骤八中所述位姿估计网络包括损失函数，所述损失函数通过置信度对位姿损失进行加权，所述损失函数Loss为：

其中，i表示N个位置点的第i点，

具体实施时，

其中，M表示目标3D模型采样点集合，i表示N个位置点的第i点，p用作标记，表示此处为位姿损失，x

对于具有旋转对称性的目标，位姿损失定义为：目标3D模型采样点坐标，通过估计位姿矩阵

其中，x

本发明基于Intel(R)Xeon(R)CPU E5-2678 v3 2.50GHz处理器，NVIDIA GeForceRTX 2080显卡，在Ubuntu16.04系统下，使用Pytorch0.4.1及Python3.6进行开发，使用CUDA9.0及cuDNN7.6.4进行网络加速训练。

表1为本文方法在LineMOD数据集的初始位姿结果及位姿优化结果。该数据集包含13种复杂背景下的弱纹理目标序列，每个序列包含1100-1300张RGB-D图像。分别为Ape、Benchvise、Camera、Can、Cat、Driller、Duck、Eggbox、Glue、Holepuncher、Iron、Lamp以及Phone。其中，Eggbox与Glue两种目标具有旋转对称性，每种目标尺寸均不相同。实验将每种目标15％的RGB-D图像划分为训练集，其余为测试集。训练集包含13种目标总2372张RGB-D图像，测试集包含13种目标总13406张RGB-D图像。

对比指标采用ADD精度，ADD计算公式如下：

其中，Num

精度越高表示位姿估计方法越好。

表1位姿优化结果

本发明方法在提取点云局部几何特征时，在局部区域内对不同半径空间的点云分别提取点云特征，由于同时对不同的目标进行训练，所以选择的多尺度半径大小相同。导致对于体型较小的目标来说，局部几何特征提取不够精细，从而影响实验精度。对于体型大中体型的目标，位姿估计精度较优。

为了更进一步验证本发明方法的效果，目标的位姿估计结果进行了可视化，其结果图如图3所示。

以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。