一种基于一致性学习的部分点云配准方法

技术领域

本发明属于计算机视觉领域，涉及一种基于一致性学习的部分点云配准方法。

背景技术

点云配准是计算机视觉领域的基础任务之一，它被广泛地同时定位与建图(SLAM)、自动驾驶、3D重建等领域。点云配准的目标是试图找到两个3D点云(源点云和目标点云)之间的刚性变换(旋转矩阵和平移向量)以对齐它们。不幸的是，由于点云非重叠区域的负面影响，在部分重叠的场景中的点云配准变得更具挑战性。

近些年来，提出了很多方法来解决点云配准问题。迭代最近点(ICP)是最经典的算法之一，它迭代地执行寻找另一个点云中的最近点和使用SVD求解最优变换并更新源点云状态这两个步骤直到算法收敛。然而ICP很容易陷入局部最优值，并且对噪声敏感，限制了它的应用。为此，Go-ICP、symmetric-ICP、Generalized-ICP等被提出来解决这些挑战。近些年来，基于深度学习的方法取得了巨大的突破。深度最近点(DCP)使用特征空间的最近邻来代替欧氏空间的最近邻。IDAM使用一个卷积神经网络来直接预测映射矩阵。DeepGMR使用高斯混合模型来估计最优变换。然而，这些方法都没有假定在部分重叠场景下进行配准，因此性能较差。PRNet通过从点云中提取关键点并使用它们构建映射矩阵来解决部分到部分的点云配准。RPMNet使用Sinkhorn正则化来计算映射矩阵。DeepBBS通过使用软互近邻约束来提升在部分重叠场景下的配准性能。

目前大部分基于深度学习的方法都是将点云配准划分为三个部分：提取点的特征、基于特征匹配来构建对应关系、估计变换参数。然而，在部分重叠场景中非重叠区域的负面影响会导致无法学习到有效的特征空间。

目前大多数方法无法有效的识别和去除错误的对应关系。当存在过多比例的错误对应关系时会导致估计出来的变换参数与真实变换相差过大，进而配准失败。

发明内容

有鉴于此，本发明的目的在于提供一种基于一致性学习的部分点云配准方法，针对部分重叠场景中非重叠区域的负面影响，利用点层次的一致性约束，对每个点预测出一个重叠分数，根据该重叠分数来去除非重叠区域点的影响；针对存在过多错误对应关系的问题，通过探索对应关系之间局部到全局的上下文信息来识别出错误的对应关系，并将其剔除。

为达到上述目的，本发明提供如下技术方案：

一种基于一致性学习的部分点云配准方法，包括以下步骤：

S1：从实际场景中采集源点云P、目标点云Q以及真实变换，构造数据集，将其预处理后划分为训练集和测试集；

S2：构造部分点云配准模型，所述部分点云配准模型包括点一致性学习模块、对应关系一致性学习模块和估计刚性变换模块；所述点一致性学习模块首先提取每个点的局部特征，然后估计相应的重叠分数，最后根据每个点的重叠分数来去除非重叠区域的点；

S3：利用训练集训练所述部分点云配准模型，并利用测试集进行测试；

S4：将待配准的的源点云和目标点云初始化后输入训练完成的部分点云配准模型，输出源点云和目标点云之间的刚性变换。

进一步，对数据集进行预处理，包括去除点云中的离群点，进行体素下采样以及正则化。

进一步，所述点一致性学习模块的具体计算步骤如下：

A1：使用图神经网络从源点云中的点p

A2：预测出每个点的重叠分数；

A3：将重叠分数小于点云大小70％的点视为非重叠区域的点，将所述非重叠区域的点去除。

进一步，所述步骤A1具体包括以下步骤：

A11：对于每个点p

A12：将每个点p

A13：使用一个图神经网络f

式中，

A14：采用同样的方法对目标点云中的点q

A15：采用自注意力和交叉注意力模块对点的局部特征

进一步，所述步骤A2具体包括以下步骤：

A21：对提取到的

A22：将两个点云的全局特征和每个点的特征进行拼合并输入到一个多层感知机中预测每个点的重叠分数

进一步，所述对应关系一致性学习模块的具体计算步骤如下：

B1：定义一个映射矩阵M：

式中，M

对于源点云P中的一个点p

从而获得一组初始的对应关系

B2：探索对应关系之间局部到全局的上下文信息来识别出错误的对应关系；

B3：去除错误的对应关系。

进一步，所述步骤B2具体包括：

B21：首先计算初始的对应关系特征集合H

式中，

B22：将初始的对应关系特征输入多尺度注意力模块中探索局部到全局的上下文信息；所述多尺度注意力模块包含三层相同的操作，每一层操作如下：

将特征

将局部特征Y

B23：将三层的特征应用最大池化，将得到的特征都拼合到一起输入到一个多层感知机中来预测每个对应关系的权重W＝MLP([F

进一步，所述步骤B3中，根据权重W来决定某一个对应关系是否要被保留，记最终的对应关系集合为

进一步，所述估计刚性变换模块的计算步骤如下：

根据得到的对应关系集合

式中，(R

通过加权奇异值分解方法来计算所述目标函数。

进一步，所述步骤S3中，在利用训练集训练所述部分点云配准模型时，采用的损失函数分为三部分：映射矩阵损失，点预测损失和对应关系预测损失，其中点预测损失和对应关系预测损失为二元交叉熵损失；

映射矩阵损失L

j

式中，M为映射矩阵；a

点预测损失L

式中，N为点云的大小；

对应关系预测损失L

式中，w

最终的损失为

L＝L

其中L表示最终损失。

本发明的有益效果在于：在点一致性学习阶段，本发明通过预测源点云和目标点云的重叠区域，从根源上解决了非重叠区域的负面影响，将部分到部分的点云配准转换成了近似完全到完全的点云配准，极大的减轻了任务难度。在对应关系一致性学习阶段，本发明通过特征之间的相似性来获取初始的对应关系，然后通过探索初始的对应关系之间的局部到全局的上下文信息来识别出错误匹配，实现了精确的点云配准。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为基于一致性学习的部分点云配准方法流程图；

图2为配准结果图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

如图1所示，本发明提供一种基于一致性学习的部分点云配准方法，给定源点云P和目标点云Q，通过三个阶段寻找到两个点云之间的刚性变换R和t：点一致性学习、对应关系一致性学习和估计刚性变换R、t。

点一致性学习阶段：

点一致性学习首先提取每个点的局部特征，然后估计相应的重叠分数，最后根据每个点的重叠分数来去除非重叠区域的点。

首先使用图神经网络(Graph Neural Network)从p

为了预测出每个点的重叠分数，即每个点位于重叠区域的概率，对提取到的

将重叠分数小于点云大小70％的点视为非重叠区域的点，最后将这些点去除，剩余的点参与后续的操作。

对应关系一致性学习阶段：

经过点一致性学习阶段，已经将位于非重叠区域的点去除。将剩余的点云仍记为P和Q，相应的特征仍记为C

估计刚性变换：

根据得到的对应关系集合

训练部分：

根据实际场景准备训练数据，即源点云，目标点云以及真实变换：如果点云存在大量的离群点，则需要进行去除离群点的操作以提高点云的质量，使用Open3D工具的半径离群点去除(remove_radius_outlier)功能，删除0.05m半径内给定球体中小于30个点的点。使用Open3D进行体素下采样(voxel_down_sample)，体素大小设置为0.025。然后分别从下采样的源点云和目标点云中随机采样1024个点，将采样后的点记为P∈R

将点云P和Q输入到本发明的部分点云配准模型中去，并记录生成的映射矩阵M，重叠分数O

本发明在训练部分总共的epoch设置为1000，使用的优化器为Adam，初始学习率为0.0001，batch size设置为8。所用的损失函数共分为三部分：映射矩阵损失，点预测损失和对应关系预测损失。其中点预测损失和对应关系预测损失都是二元交叉熵损失。

(1)映射矩阵损失L

j

式中，M为映射矩阵；a

(2)点预测损失L

式中，N为点云的大小；

(3)对应关系预测损失L

式中，w

最终的损失L为

L＝L

测试和实际应用：

1.准备待配准的源点云和目标点云，对其进行预处理操作：去除离群点，体素下采样和正则化。

2.加载已经训练好的模型用于估计变换，将该模型记为f

3.将预处理后的点云P和Q输入到训练好的模型中求解出变换(R,t)＝f

4.上一步骤求出的是正则化空间的变换(R,t)，因此需要映射回未归一化的原始空间得到最终的结果：

如图2所示为本实施例的的配准结果图，前三行分别对应unseen shapes，unseencategories和unseen shapes with noise的结果。Inputs是输入的源点云和目标点云。GT是ground-truth的配准结果。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。