一种结合边缘特征的点云配准方法

技术领域

本发明涉及点云配准领域，具体涉及一种结合边缘特征的点云配准方法。

背景技术

点云配准(Point Cloud Registration)指的是输入两幅点云Ps，(s代表source)和Pt，(t代表target)，输出一个旋转平移关系使得Ps和Pt的重合程度尽可能高。目前，传统的点云配准方法为ICP方法(Iterative Closest Point)，ICP方法的核心思想是基于当前的Ps在Pt中的最近点，求解变换，反复迭代得出最优解。该方法在待测工件表面特征较为丰富的场景中，配准效果准确，但是，有些工件表面形貌起伏较小，纹理不丰富，就会导致采集到的点云表面特征少，例如板状平面工件。此时，利用ICP方法会收敛到局部极小值，导致配准结果中点云只有部分重合，没有达到整体完全对齐，在特征的边缘处存在偏差(如图1、图2)，配准结果精度低，无法应用于高精度加工、装配领域。

发明内容

为了解决上述技术问题，本发明提供一种结合边缘特征的点云配准方法，旨在解决现有ICP方法在工件表面形貌起伏较小，纹理不丰富的情形下，配准结果不准确的问题。针对此类工件，增加工件的边缘特征约束，能够获得更为准确的配准结果。

为此，本发明的技术方案如下：

一种结合边缘特征的点云配准方法，获取基准工件点云，框选其中的感兴趣区域点云存储为模板工件点云，搜索该点云中的边缘点，并将其存储到模板边缘点云；

利用以下步骤，进行点云配准：

1)获取实际场景点云，进行预处理，将预处理后的点云存储为实测工件点云，搜索该点云中的边缘点，并将其存储到实测边缘点云；

所述实测工件点云中包含与基准工件相同型号的工件点云；

对于模板工件点云中的三维点，利用最近邻搜索方法从实测工件点云中查找到与其距离最接近的点，将查找到的点存储到实测匹配点集；

对于模板边缘点云中的三维点，利用最近邻搜索方法从实测边缘点云中查找到与其距离最接近的点，将查找到的点均存储到边缘匹配点集；

2)构建目标函数E(R，t)：

其中，p

利用最优化方法迭代求解目标函数E(R，t)，得出旋转矩阵R和平移矩阵t，完成模板工件点云与实测工件点云之间的配准。

优选，搜索点云中的边缘点的方法为：

在点云中，利用基于法线的边界提取方法获取边缘点。

优选，在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像；将实际场景中点云对应的二维图像记为实测二维图像；

在模板工件点云中搜索边缘点的方式为：

在基准二维图像中进行边缘提取，得到各个边缘点的像素坐标，查找各个像素坐标在模板工件点云中对应的三维点，记为边缘点，存储到模板边缘点云；

在实测工件点云中搜索边缘点的方式为：

在实测二维图像中进行边缘提取，得到各个边缘点的像素坐标，查找各个像素坐标在实测工件点云中对应的三维点，记为边缘点，存储到实测边缘点云。

优选，在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像，实际场景中点云对应的二维图像记为实测二维图像；

将模板工件点云记为点云I，将点云I中的各个点在基准二维图像中对应的像素点存储到点集I；

利用以下步骤，搜索点云I中的边缘点：

①分别以点集I中每个像素点为中心点，查找中心点周围n×n邻域内的像素点，将查找到的各个像素点对应在点云I中的三维点存储为邻域点，将中心点对应在点云I中的点记为基准点；

②计算各个邻域点与基准点之间的距离，统计距离值小于阈值I的点的总数B，距离值大于等于2-4倍阈值I的点的总数C，判断B、C是否处于预设区间，若是，则将基准点存储为边缘点，否则不存储；

在步骤1)中，将实测工件点云记为新的点云I，将新的点云I中的各个点在实测二维图像中对应的像素点存储到新的点集I；利用新的点云I、新的点集I进行步骤①、②，搜索边缘点。

优选，阈值I为

进一步，在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像；将实际场景中点云对应的二维图像记为实测二维图像；

步骤1)中，对实际场景点云进行以下预处理，从实际场景点云中筛选出实测工件点云：

查找模板工件点云在基准二维图像中所对应的各个二维像素点，将查找到的所有像素点形成的图像区域记为区域一；在基准二维图像中人工设置选框，所述选框内像素点数量大于区域一并且完全覆盖住区域一；将选框内的图像区域另存为特征图，选取特征图上的至少四个点记为特征点；

分别以每个特征点为中心，框选基准二维图像中的局部小区域，在步骤1)中，分别利用每个局部小区域在实测二维图像中进行模板匹配，将匹配出的区域记为区域二，将区域二的中心点记为适配点；

利用特征点和适配点解算单应性矩阵；

再利用单应性矩阵将特征图上的单个二维像素点分别转换到实测二维图像中，得到其在实测二维图像中的像素坐标，将该像素坐标对应在实际场景中点云中的三维点存储到实测工件点云；遍历特征图上的各个二维像素点，采用相同的方式将对应的三维点存储到实测工件点云。

优选，所述特征点均布在特征图中。

优选，利用最优化方法迭代求解目标函数E(R,t)时，旋转矩阵R和平移矩阵t的初始值通过单应性矩阵SVD分解获得。

优选，步骤1)最近邻搜索方法包括kd树搜索方法或八叉树搜索方法；

步骤2)最优化方法为最小二乘法、高斯-牛顿法或Levenberg-Marquardt方法；

其中，

进一步，利用最优化方法迭代求解目标函数E(R,t)时，旋转矩阵R和平移矩阵t的初始值通过粗配准获得，或者，将旋转矩阵R和平移矩阵t的初始值设置为单位矩阵。

与现有技术相比较，本申请提供的方法具有以下优点：

(1)传统的ICP方法只约束了工件表面整体形貌点云的贴合，配准结果只能保证工件整体轮廓的定位精度，容易出现局部特征配准错误的问题。本发明方法同时考虑了工件表面整体形貌信息和局部特征的边缘信息，能够得出更为准确的配准结果。

(2)提取边缘点的过程中，采用了二维图像与三维点云相结合的方式，通过条件约束保障筛选出的边缘点周围既存在连续的其他边缘点又在空间上存在较大的断层，符合边缘特性，有效抑制噪声点的干扰，提取更加准确的边缘。

(3)利用模板匹配与单应性矩阵解算相结合的方式，在获取实际场景点云中选取工件区域点云时，快速获得有效配准区域，减少了参与解算的点云数量，提升了计算速度。

附图说明

图1是传统IPC方法点云配准效果示意图；

图2是图1中圆孔区域局部放大图；

图3是具体实施方式中本发明方法配准效果示意图；

图4是图3中圆孔区域局部放大图；

图5是具体实施方式中在基准二维图像中获取特征图和特征点的示意图。

具体实施方式

以下结合附图和具体实施方式对本发明的技术方案进行详细描述。

一种结合边缘特征的点云配准方法，获取基准工件点云，框选其中的感兴趣区域点云存储为模板工件点云，搜索该点云中的边缘点，并将其存储到模板边缘点云；

利用以下步骤，进行点云配准：

1)获取实际场景点云，进行预处理，将预处理后的点云存储为实测工件点云，搜索该点云中的边缘点，并将其存储到实测边缘点云；

所述实测工件点云中包含与基准工件相同型号的工件点云；

对于模板工件点云中的三维点，利用最近邻搜索方法从实测工件点云中查找到与其距离最接近的点，将查找到的点存储到实测匹配点集；

对于模板边缘点云中的三维点，利用最近邻搜索方法从实测边缘点云中查找到与其距离最接近的点，将查找到的点均存储到边缘匹配点集；

其中，最近邻搜索方法可采用kd树搜索方法或八叉树搜索方法。

2)构建目标函数E(R，t)：

其中，p

利用最优化方法迭代求解目标函数E(R，t)，得出旋转矩阵R和平移矩阵t，完成模板工件点云与实测工件点云之间的配准。

具体而言，最优化方法为最小二乘法、高斯-牛顿法或Levenberg-Marquardt方法；旋转矩阵R和平移矩阵t的初始值通过粗配准获得，或者，将旋转矩阵R和平移矩阵t的初始值设置为单位矩阵。

作为一种优选的设置方式，

具体的，搜索点云中的边缘点的方法，可选用以下三种方式：

方式一：

在点云中，利用基于法线的边界提取方法获取边缘点。

即：利用基于法线的边界提取方法搜索模板工件点云中的边缘点，并将其存储到模板边缘点云；

利用基于法线的边界提取方法搜索实测工件点云中的边缘点，并将其存储到实测边缘点云。

方式二：

在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像；将实际场景中点云对应的二维图像记为实测二维图像；

在模板工件点云中搜索边缘点的方式为：

在基准二维图像中进行边缘提取(Canny、sobel)，得到各个边缘点的像素坐标，查找各个像素坐标在模板工件点云中对应的三维点，记为边缘点，存储到模板边缘点云；

在实测工件点云中搜索边缘点的方式为：

在实测二维图像中进行边缘提取，得到各个边缘点的像素坐标，查找各个像素坐标在实测工件点云中对应的三维点，记为边缘点，存储到实测边缘点云。

方式三：

在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像，实际场景中点云对应的二维图像记为实测二维图像；

将模板工件点云记为点云I，将点云I中的各个点在基准二维图像中对应的像素点存储到点集I；

利用以下步骤，搜索点云I中的边缘点：

①分别以点集I中每个像素点为中心点，查找中心点周围n×n邻域内的像素点，将查找到的各个像素点对应在点云I中的三维点存储为邻域点，将中心点对应在点云I中的点记为基准点；

②计算各个邻域点与基准点之间的距离，统计距离值小于阈值I的点的总数B，距离值大于等于2-4倍阈值I的点的总数C，判断B、C是否处于预设区间，若是，则将基准点存储为边缘点，否则不存储；

在步骤1)中，将实测工件点云记为新的点云I，将新的点云I中的各个点在实测二维图像中对应的像素点存储到新的点集I；利用新的点云I、新的点集I进行步骤①、②，搜索边缘点。

其中，阈值I为

点云平均点间距的计算方式如下：为点云建立k-d树；计算每个点与其对应的k个邻近点的欧式距离平均值；将所有点对应的欧式距离平均值取均值作为点云平均点间距。

n＝3、5、7或9；预设区间为：

下面以图3中的工件为例，进行示例性阐述：

一种结合边缘特征的点云配准方法，获取基准工件点云，框选其中的感兴趣区域点云(去除背景点云，仅保留工件点云)存储为模板工件点云，搜索该点云中的边缘点，并将其存储到模板边缘点云；

利用以下步骤，进行点云配准：

1)获取实际场景点云，进行预处理，将预处理后的点云存储为实测工件点云，搜索该点云中的边缘点，并将其存储到实测边缘点云；

所述实测工件点云中包含与基准工件相同型号的工件点云；实测工件点云不仅包含工件点云，还包含工件周围区域的部分点云；

本实施例中，对实际场景点云进行以下预处理，从实际场景点云中筛选出实测工件点云：

在获取基准工件点云以及实际场景点云的同时，还在相同的位置采集一幅二维图像；二维图像中的像素点与点云中的各三维点之间具有一一对应关系；

将基准工件点云对应的二维图像记为基准二维图像；将实际场景中点云对应的二维图像记为实测二维图像；

如图5所示，查找模板工件点云在基准二维图像中所对应的各个二维像素点，将查找到的所有像素点形成的图像区域记为区域一；在基准二维图像中人工设置选框，所述选框内像素点数量大于区域一并且完全覆盖住区域一；将选框内的图像区域另存为特征图，选取特征图上的至少四个点记为特征点；

即：基准二维图像包含特征图、特征图包含区域一。

为了获得更加准确的单应性矩阵，所述特征点均布在特征图中。本实施例中，为了便于查找，如图5所示，特征点为特征图的四个角点。

分别以每个特征点为中心，框选基准二维图像中的局部小区域，在步骤1)中，分别利用每个局部小区域在实测二维图像中进行模板匹配，将匹配出的区域记为区域二，将区域二的中心点记为适配点；

利用多个特征点和多个适配点解算单应性矩阵；

再利用单应性矩阵将特征图上的单个二维像素点分别转换到实测二维图像中，得到其在实测二维图像中的像素坐标，将该像素坐标对应在实际场景中点云中的三维点存储到实测工件点云；遍历特征图上的各个二维像素点，采用相同的方式将对应的三维点存储到实测工件点云。

接下来，进行以下处理：

对于模板工件点云中的三维点，利用kd树搜索方法从实测工件点云中查找到与其距离最接近的点，将查找到的点存储到实测匹配点集；

对于模板边缘点云中的三维点，利用kd树搜索方法从实测边缘点云中查找到与其距离最接近的点，将查找到的点均存储到边缘匹配点集；

2)构建目标函数E(R，t)：

其中，p

利用最小二乘法迭代求解目标函数E(R，t)，得出旋转矩阵R和平移矩阵t，完成模板工件点云与实测工件点云之间的配准。

其中，旋转矩阵R和平移矩阵t的初始值通过单应性矩阵SVD分解获得。

采用本方法处理后的点云配准效果，如图3、4所示，本方法不仅能够使得工件整体对齐，在细节上(特别是边缘处)也可以实现对齐，定位更加精准；对比的，采用传统的ICP方法处理效果如图1、2所示，其在L型孔和圆孔的边缘处存在较大配准误差，只做到了点云表面形貌的贴合，难以实现边缘对齐。

为了更直观的展示本方法与传统ICP方法的误差对比，分别利用本方法与传统ICP方法进行配准后，计算点云配准后模板工件点云中圆孔的孔心坐标和实测工件点云中的圆孔孔心坐标之间的偏差，即：在图1、图3中分别解算两个孔心坐标之间的坐标偏差以及欧式距离，具体数据如下：

通过数据，可知，本方法配准后，圆孔区域的偏差数值小于0.2mm，模板工件中的点云与实测工件中的点云的对齐程度更佳,适用于精密加工制造业中的点云处理。

前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。