一种基于多尺度特征相似度约束的点云配准方法及系统

技术领域

本发明属于计算机视觉图形学领域，具体涉及一种基于多尺度特征相似度 约束的点云配准方法及系统。

背景技术

3D点云配准的目标是找到一种最优的空间变换，使一个点云与另一个点云 对齐。点云配准是计算机视觉领域中重要的研究课题，许多应用都建立在此基 础上，例如增强现实、姿态估计、三维场景重建等。影响最为广泛的传统配准 方法是ICP(Iterative ClosestPoint)算法，该算法主要为一个集合中的每个点连 续地指定给另一个集合中的最近点，然后通过迭代计算找到符合最小二乘的刚 性变换，但是，ICP严重依赖于良好的初始条件，且容易陷入局部最优。

随着深度学习的发展，基于数据驱动的点云配准方法不断被提出，该类方 法通常从数据中提取特征，然后根据特征相似度建立对应关系，相对于传统的 方法具有较好的配准精度、计算效率以及泛化能力。但是背后依旧存在一些问 题，例如针对只共享部分重合区域的点云配准不够理想。一方面是因为点云间 存在大量的离群点为点云配准带来干扰，另一方面建立对应关系后，错误的点 对参与了推理。为了解决局部到局部的点云配准问题，通常需要进行关键点筛 选，然后为关键点建立对应点关系，尽管一些研究者也提出了相关的方法，例 如迭代多阶段点消除方法，掩码消除非重合点对点云全局特征的影响等，但是 这些方法对于低重合率的点云来讲存在着配准精度差、易过拟合等问题。

发明内容

为解决上述问题，本发明提供了一种基于多尺度特征相似度约束的点云配 准方法及系统。

在第一方面，一种基于多尺度特征相似度约束的点云配准方法，构建点云 配准模型并训练，将待配准数据输入训练好的点云配准模型，引入多尺度一致 性约束得到点对权重，然后计算配准结果；

点云配准模型的训练过程包括：

S1.获取源点云和目标点云；

S2.提取两组点云中每个点的原始特征，交换两组点云的原始特征并通过 MLP得到每个点的深层特征，对深层特征进行最大池化得到两组点云的全局特 征，将两组点云的全局特征与每个点的深层特征进行拼接，通过全连接网络输 出每个点的置信度；此处设置源点云置信度损失函数；

S3.使用GNN提取两组点云的局部结构特征，记GNN输出特征为第一尺度 特征表示，并将其通过注意力机制分别得到两组点云增强后的最终特征表示， 记为第二尺度特征表示；

S4.在源点云中随机选取K个在两组点云重合区域的点构成第一点集，并索 引出第一点集对应的第二尺度特征表示；

S5.将第一点集对应的第二尺度特征表示与目标点云的第二尺度特征表示相 乘得到相似矩阵；

S6.将相似矩阵按行归一化得到第一点集与目标点云的对应分布矩阵，对应 分布矩阵与目标点云相乘求得与第一点集匹配的第一虚拟点集；此处为第一虚 拟点集与真实对应点集设置相应的损失函数；

S7.选取对应分布矩阵中的每行最大元素，对其进行归一化处理，得到第一 点集与第一虚拟点集间的匹配点对的权重；

S8.基于对应分布矩阵和匹配点对的权重，采用SVD算法求解源点云与目标 点云间的旋转矩阵和平移矩阵；

S9.根据旋转矩阵和平移矩阵变换源点云，返回步骤S2，迭代3次；

S10.启动梯度反向传播机制，优化损失函数，更新网络参数，当模型收敛后 或达到设置的epoch次数，保存模型。

进一步的，在训练好的点云配准模型中引入一致性约束包括：

根据第一尺度特征表示计算源点云到目标点云的相似矩阵，记为M1，根据 第二尺度特征表示计算源点云到目标点云的相似矩阵，记为M2；

M1与M2按位相乘，得到新的相似矩阵并按行归一化，得到源点云在目标 点云中的对应点集；

选取新的相似矩阵中的每行最大元素，对齐进行归一化，得到源点云与对 应点集间的匹配点对的权重；

基于新的相似矩阵和匹配点对的权重，采用SVD算法求解源点云与目标点 云间的旋转矩阵和平移矩阵；计算得到最终的变换矩阵。

进一步的，训练阶段使用双向的损失函数，既优化源点云到目标点云的配 准过程，也优化目标点云到源点云的配准过程。

进一步的，点云配准模型训练阶段的双向的损失函数表示为：

其中，

进一步的，利用典型的交叉熵损失计算源点云的置信度损失，其公式为：

其中，GT(x

进一步的，目标点云中与源点云对应的虚拟点与真实点之间的损失函数误 差

其中，x

在第二方面，本发明提供了一种基于多尺度特征相似度约束的点云配准系 统，包括：

数据收集模块，用于获取输入到模型中的源点云和目标点云数据；

降采样模块，用于筛选出参与配准的点集合；

特征交换模块，用于提取源点云和目标点云中每个点的特征，然后交换两 组点云的特征信息；

MLP模块，用于基于特征交换模块的输出，采用多个MLP提取两组点云的 深层特征；

池化模块，用于对两组点云的深层特征进行最大池化得到源点云的全局特 征和目标点云的全局特征；

拼接模块，用于点的特征信息融合，把源点云和目标点云的全局特征与每 个点的深层特征拼接在一起；

置信度计算模块，用于将每个点的拼接特征输入全连接层获取每个点的置 信度；

局部结构特征获取模块，用于获取源点云与目标点云的第一尺度特征表示；

注意力模块，用于获取点云之间的关联信息，增强点云特征表示，即根据 自注意力机制和交叉注意力机制对第一尺度特征表示进行处理，得到两组点云 的第二尺度特征表示；

候选点集模块，用于根据置信度计算模块的输出结果，源点云中选取置信 度最高的K个点构成第一点集；

索引模块，用于筛选第一点集在配准流程中的不同尺度特征表示；

匹配模块，用于在目标点云中获取与第一点集匹配的对应点集；

一致性约束模块，用于在点云配准模型中引入一致性约束，得到第一点集 与目标点云的对应分布矩阵；

SVD求解模块，用于根据虚拟匹配模块的结果和一致性约束模块得出的权 重计算源点云与目标点云间的旋转矩阵和平移矩阵；

变换模块，用于根据根据旋转矩阵和平移矩阵变换源点云。

本发明的有益效果：

本发明提出了一种基于多尺度特征相似度约束的点云配准方法及系统，通 过一个多尺度特征交换网络对点的匹配可信度进行主动评估，同时采用注意力 融合机制的网络提取区分性的特征，同时使用双向的交替对应搜索机制和灵活 的错位损失函数来进行鲁棒学习，在推理阶段引入基于多个尺度建立起的特征 相似度一致性约束下的点对权重分配方案，最后以加权SVD求出变换矩阵，提 升了配准的精度。

附图说明

图1为本发明的基于多尺度特征相似度约束的点云配准结构图；

图2为为本发明基于一致性约束下的配准结果及高得分对应关系；

图3为本发明一实施例的配准结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种基于多尺度特征相似度约束的点云配准方法，如图1所 示，包括：

S1.获取源点云和目标点云，本实施例中设置最大epoch次数为100，初始 学习率为0.0001；

S2.提取两组点云中每个点的原始特征，交换两组点云的原始特征并通过多 个MLP最终得到每个点的深层特征，对每个点的深层特征进行最大池化，得到 源点云的全局特征和目标点云的全局特征，将两组点云的全局特征与每个点的 深层特征进行拼接，通过全连接网络输出每个点的置信度；

用置信度表示点云间的高可靠性匹配度，训练好模型后，置信度越高的点， 越有可能是源点云与目标点云的重合区域的点，就有越高的匹配准确性。

具体地，在噪声、离群点或者大变换等困难情况下，使用匹配可信度较高 的潜在对应点有利于配准的稳健性，但在局部-局部点云配准中，非重合的区域 在另一个点云中不存在对应关系，因此提出一种多尺度特征交换网络来关注两 组点云的重合可信区域的全局语义，使用基于Transformer的机制让两个点云的 原始特征进行交换，公式可表示为：

f

f

其中，ζ(·)是基于Transformer模型学习的残差项，f

具体地，将拼接后的点送入全连接层，得到每个拼接后的点的语义信息， 即，每个点的置信度，表示为：

其中，G

S3.使用GNN提取两组点云的局部结构特征，记GNN输出特征为第一尺度 特征表示，并将其通过注意力机制分别得到两组点云增强后的最终特征表示， 记为第二尺度特征表示；

具体地，将两组点云的第一尺度特征表示输入自注意力机制得到两组结果， 将两组结果输入交叉注意力机制输出两组点云的第二尺度特征表示，其中，源 点云将第一尺度特征表示通过两层注意力机制，得到第二尺度特征表示的过程 表示为：

其中，ψ

S4.在源点云中随机选取K个在两组点云重合区域的点构成第一点集，并索 引出第一点集对应的第二尺度特征表示；

训练过程随机选取源点云与目标点云的重合区域的点来训练，确保源点云 与目标点云的点能够建立对应关系，同时能够与后续过程耦合在一起；训练完 成后，使用模型进行配准时是在源点云中选取置信度最高的前K个点组成第一 点集。

S5.将第一点集对应的第二尺度特征表示与目标点云的第二尺度特征表示相 乘得到相似矩阵；

S6.将相似矩阵按行归一化得到第一点集与目标点云的对应分布矩阵，对应 分布矩阵与目标点云相乘求得与第一点集匹配的第一虚拟点集；此处为第一虚 拟点集与真实对应点集设置相应的损失函数；

S7.选取对应分布矩阵中的每行最大元素，对其进行归一化处理，得到第一 点集与第一虚拟点集间的匹配点对的权重；

S8.基于对应分布矩阵和匹配点对的权重，采用SVD算法求解源点云与目标 点云间的旋转矩阵和平移矩阵；

S9.根据旋转矩阵和平移矩阵变换源点云，返回步骤S2，迭代3次；

S10.启动梯度反向传播机制，优化损失函数，更新网络参数，当模型收敛后 或达到设置的epoch次数，保存模型。

具体地，点云配准模型为双向模型，即源点云向目标点云进行配准时，目 标点云采用同样的方法向源点云进行配准。

点云配准过程中，基于点的特征相似度建立其对应点，形成一对点对，在 这个推导过程中会不可避免地会受到错误的点对关系的影响，所以为第一点集K 个关键点建立好对应关系后，并不能保证它们都找到了正确的对应点，为了减 缓该问题，本发明基于一致性的思想进一步筛选可靠的点对关系包括：

根据第一尺度特征表示计算源点云到目标点云的相似矩阵，记为M1，根据 第二尺度特征表示计算源点云到目标点云的相似矩阵，记为M2；

M1与M2按位相乘，得到新的相似矩阵并按行归一化，得到源点云在目标 点云中的对应点集；

选取新的相似矩阵中的每行最大元素，对齐进行归一化，得到源点云与对 应点集间的匹配点对的权重；

基于新的相似矩阵和匹配点对的权重，采用SVD算法求解源点云与目标点 云间的旋转矩阵和平移矩阵；计算得到最终的变换矩阵。

具体地，新的相似矩阵的融合表示为：

其中，

其中，X

在一实施例中，设置了四种相应的损失函数，相加构成了本发明的总损失 函数，表示为：

其中，

具体地，利用典型的交叉熵损失计算源点云的置信度损失，其公式为：

其中，GT(x

具体地，目标点云中与源点云对应的虚拟点与真实点之间的误差

其中，x

本发明提出了一种基于多尺度特征相似度约束的点云配准系统，包括：

数据收集模块，用于获取输入到模型中的源点云和目标点云数据；

降采样模块，用于筛选出参与配准的点集合；

特征交换模块，用于提取源点云和目标点云中每个点的特征，然后交换两 组点云的特征信息；

MLP模块，用于基于特征交换模块的输出，采用多个MLP提取两组点云的 深层特征；

池化模块，用于对两组点云的深层特征进行最大池化得到源点云的全局特 征和目标点云的全局特征；

拼接模块，用于点的特征信息融合，把源点云和目标点云的全局特征与每 个点的深层特征拼接在一起；

置信度计算模块，用于将每个点的拼接特征输入全连接层获取每个点的置 信度；

局部结构特征获取模块，用于获取源点云与目标点云的第一尺度特征表示；

注意力模块，用于获取点云之间的关联信息，增强点云特征表示，即根据 自注意力机制和交叉注意力机制对第一尺度特征表示进行处理，得到两组点云 的第二尺度特征表示；

候选点集模块，用于根据置信度计算模块的输出结果，在源点云中选取置 信度最高的K个点构成第一点集；

索引模块，用于筛选第一点集在配准流程中的不同尺度特征表示；

匹配模块，用于在目标点云中获取与第一点集匹配的对应点集；

一致性约束模块，用于在点云配准模型中引入一致性约束，得到第一点集 与目标点云的对应分布矩阵；

SVD求解模块，用于根据匹配模块的结果和一致性约束模块得出的权重计 算源点云与目标点云间的旋转矩阵和平移矩阵；

变换模块，用于根据旋转矩阵和平移矩阵变换源点云。

在一实施例中，采用数据集(ModelNet40)进行实验，数据集(ModelNet40)是 合成数据集，被广泛用来做配准任务，该数据集中包含了12311个CAD模型， 通常采用9843个做训练集，2468个做测试集。要得到配准中的两个点云，需要 降采样、模拟旋转平移做样本准备。将每个原始的样本记做源点云，为了得到 目标点云，沿X/Y/Z三个轴在[0,45°]内随机生成三个欧拉角，并且平移参数设 置在[-0.5,0.5]之间，将旋转平移作用于源点云得到目标点云。为了得到部分的点 云对，设置了两个随机采样点，分别保留了768个点。实验分为三组，第一组： 在所有的类别上训练，然后在测试集中测试；第二组：在前20个类上训练，后二十个类中测试；第三组：在带有噪声的数据中训练，然后测试集中测试。均 方根误差(RMSE)和平均绝对误差(MAE)用来衡量配准的好坏，表1给出 了采用不同的方式进行第二组测试得到的实验结果。

表1未见类别上的测试结果

从表1中可以看出，通过不同算法进行测试，本专利得到的旋转角(R)和 平移参数(t)的误差大幅度减小，此外，如图2所示，第一列是输入的两个点 云，第二列是本发明基于一致性约束下的配准结果，第三列是真实的配准结果， 最后一列表示基于一致性约束下建立起的高权重对应关系，该结果说明，本发 明能够有效地基于特征相似度一致性约束筛选出更可靠的点对，图3是三组实 验中配准结果的可视化，由图2、3的结果可知，本发明是有效的。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言， 可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变 化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。