一种点云融合的方法、装置、三维扫描设备及存储介质

技术领域

本发明涉及光学图像处理，具体涉及一种点云融合的方法、装置、三维扫描设备及存储介质。

背景技术

光学三维成像与测量是一门涉及光电探测技术、信息处理技术以及计算机技术的新兴交叉学科，应用非常广泛。

结构照明法的基本工作原理为：三维扫描设备中的光发射装置将结构光投影到物体表面，结构光受到物体形貌调制而发生变形，这相当于物体三维形貌信息被编码到变形结构光中，三维扫描设备中的相机采集变形图案并进行解码，并根据相应的三维重构算法实现物体表面形貌的三维重建和测量。由于三维扫描设备的扫描范围或角度有限，通常需要获得物体(例如人脸)多个视角下的点云(不同视角及姿态下的点云往往存在重叠区域)，接着对不同视角及姿态下获取的云进行配准(即计算点云之间的三维坐标变换矩阵)，再对点云进行融合而形成完整的三维点云。

配准之后的点云存在冗余点，主要由以下两个原因导致：第一，在进行点云配准时，通常要求两片点云之间有一定的重叠区域；第二，经过精配准之后，即使配准精度很高，也不可避免地存在配准误差，因此，重叠区域点云不会完全贴合，重叠区域比非重叠区域点云密度更大，导致分层现象的出现；同时，重叠区域会带来大量的冗余点，给后续的三维建模带来难度，并且使得后续的操作由于大量冗余点的增加而更加耗时，另外由于点的密度不均匀使得重建表面不光滑。

为了去除重叠区域的冗余点，现有技术存在基于点的融合方法，其直接对配准后的重叠的点进行检测和处理，然后基于平均加权的方式计算融合点得坐标值，然而，相邻点云之间的过渡区域过渡不够平滑。

发明内容

基于上述现状，本发明的主要目的在于提供一种点云融合的方法、装置、三维扫描设备及存储介质，从而使得在对相邻点云之间重叠区域进行融合时，其过渡区域过渡更加平滑、自然。

为实现上述目的，本发明采用的技术方案如下：

一种点云融合的方法，包括如下步骤：针对源点云和目标点云的重叠区域，计算所述源点云中第一源点的第一夹角，以及所述目标点云中第一目标点的第二夹角；其中，所述第一源点与所述第一目标点为一对重叠点；所述源点云为在第一视角下三维扫描设备对被测物体进行测量获得的代表所述被测物体表面点的三维坐标点的集合；所述目标点云为在第二视角下所述三维扫描设备对所述被测物体进行测量获得的代表所述被测物体表面点的三维坐标点的集合；所述第一夹角为所述三维扫描设备的成像中心和所述第一源点的连线与所述第一源点所在位置的法线之间的夹角；所述第二夹角为所述三维扫描设备的成像中心和所述第一目标点的连线与所述第一目标点所在位置的法线之间的夹角；根据所述第一夹角和第二夹角确定所述第一源点的第一权重和所述第一目标点的第二权重，其中，所述第一权重与第二权重之和为1，且所述第一权重与第二权重的比值负相关于所述第一夹角与第二夹角的比值；将所述第一源点的三维坐标值与所述第一权重之积，加上所述第一目标点的三维坐标值与所述第二权重之积得到的总和作为所述重叠区域内替换所述第一源点和第一目标点的融合点的融合三维坐标值。

优选的，所述第一源点的第一权重和所述第一目标点的第二权重通过如下公式获得：

其中，

优选的，通过如下步骤确定一对重叠点：确定所述目标点云的三维坐标边界，在配准后的初始源点云中去除所述三维坐标边界之外的源点获得所述源点云；将所述源点云的每个源点分别投影到所述目标点云的图像平面，获得每个源点的投影像素坐标；针对每个源点的投影像素坐标在所述目标点云的图像平面中找到相同像素坐标以确定所述相同像素坐标上的目标点；计算所述相同像素坐标上的目标点与所述投影像素坐标上的源点之间的空间距离，若所述空间距离大于重叠阈值，则将所述相同像素坐标上的目标点与所述投影像素坐标上的原点判定为一对重叠点。

优选的，通过如下步骤计算所述重叠阈值：针对所述源点云的任意一个源点，计算至相邻最近的源点的第一最小距离，计算所有第一最小距离总和的第一平均值，根据所述第一平均值确定所述重叠阈值；或者，针对所述目标点云的任意一个目标点，计算至相邻最近的目标点的第二最小距离，计算所有第二最小距离总和的第二平均值，根据所述第二平均值确定所述重叠阈值。

优选的，所述重叠阈值介于0.5倍所述平均值至所述平均值之间。

优选的，所述被测物体为人脸。

本发明还提供了一种点云融合的装置，包括：夹角计算单元，用于针对源点云和目标点云的重叠区域，计算所述源点云中第一源点的第一夹角，以及所述目标点云中第一目标点的第二夹角；其中，所述第一源点与所述第一目标点为一对重叠点；所述源点云为在第一视角下三维扫描设备对被测物体进行测量获得的代表所述被测物体表面点的三维坐标点的集合；所述目标点云为在第二视角下所述三维扫描设备对所述被测物体进行测量获得的代表所述被测物体表面点的三维坐标点的集合；所述第一夹角为所述三维扫描设备的成像中心和所述第一源点的连线与所述第一源点所在位置的法线之间的夹角；所述第二夹角为所述三维扫描设备的成像中心和所述第一目标点的连线与所述第一目标点所在位置的法线之间的夹角；权重计算单元，用于根据所述第一夹角和第二夹角确定所述第一源点的第一权重和所述第一目标点的第二权重，其中，所述第一权重与第二权重之和为1，且所述第一权重与第二权重的比值负相关于所述第一夹角与第二夹角的比值；融合单元，用于将所述第一源点的三维坐标值与所述第一权重之积，加上所述第一目标点的三维坐标值与所述第二权重之积得到的总和作为所述重叠区域内替换所述第一源点和第一目标点的融合点的融合三维坐标值。

优选的，所述第一源点的第一权重和所述第一目标点的第二权重通过如下公式获得：

其中，

优选的，所述夹角计算单元通过如下步骤确定一对重叠点：确定所述目标点云的三维坐标边界，在配准后的初始源点云中去除所述三维坐标边界之外的源点获得所述源点云；将所述源点云的每个源点分别投影到所述目标点云的图像平面，获得每个源点的投影像素坐标；针对每个源点的投影像素坐标在所述目标点云的图像平面中找到相同像素坐标以确定所述相同像素坐标上的目标点；计算所述相同像素坐标上的目标点与所述投影像素坐标上的源点之间的空间距离，若所述空间距离大于重叠阈值，则将所述相同像素坐标上的目标点与所述投影像素坐标上的原点判定为一对重叠点。

优选的，所述夹角计算单元通过如下步骤计算所述重叠阈值：针对所述源点云的任意一个源点，计算至相邻最近的源点的第一最小距离，计算所有第一最小距离总和的第一平均值，根据所述第一平均值确定所述重叠阈值；或者，针对所述目标点云的任意一个目标点，计算至相邻最近的目标点的第二最小距离，计算所有第二最小距离总和的第二平均值，根据所述第二平均值确定所述重叠阈值。

优选的，所述重叠阈值介于0.5倍所述平均值至所述平均值之间。

优选的，所述被测物体为人脸。

本发明还提供了一种三维扫描设备，采用任一项所述的方法进行点云融合，或者，包括任一项所述的点云融合的装置。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时能够实现任意所述的方法。

【有益效果】

在本实施例中，根据所述第一夹角和第二夹角确定所述第一源点的第一权重和所述第一目标点的第二权重，其中，所述第一权重与第二权重之和为1，且所述第一权重与第二权重的比值负相关于所述第一夹角与第二夹角的比值，这样，通过将夹角更小的源点或目标点赋予更大的权重，从而使得融合得到的三维坐标值的可信度更大，最终得到的融合效果更好，密度更加均匀，过渡区域过渡更加平滑、自然，不会出现明显接缝，不会影响后续的三角剖分，且本实施例的方法计算速度快。本实施例快速的计算、以及平滑的过渡区域在人脸点云融合领域尤其具有优势。

本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。

附图说明

以下将参照附图对本发明的优选实施方式进行描述。图中：

图1为本发明一种优选实施方式的三维扫描系统的示意图；

图2是本发明一种优选实施方式的的点云融合的方法的流程图；

图3为本发明一种优选实施方式的初始源点云和目标点云的示意图；

图4为本发明一种优选实施方式的精配准后形成的源点云和目标点云的示意图；

图5为图4中精配准后形成的源点云与目标点云的重叠区域的示意图；

图6为本发明一种优选实施方式的人脸点云及其外围的包围盒；

图7为本发明一种优选实施方式的源点云、目标点云、以及源点云投影的示意图；

图8为本发明一种优选实施方式的融合前的源点云和目标点云的局部示意图；

图9为本发明一种优选实施方式的融合前的源点云和目标点云的局部示意图；

图10为本发明一种优选实施方式的融合后的源点云和目标点云的局部示意图；

图11为本发明一种优选实施方式的融合后的源点云和目标点云的局部示意图；

图12为本发明一种优选实施方式的融合后的源点云和目标点云的局部示意图；

图13为采用直接去除点云Q中与点云P中重叠的点的方法获得的融合后的源点云和目标点云的局部示意图；

图14为采用直接去除点云Q中与点云P中重叠的点的方法获得的融合后的源点云和目标点云的局部示意图；

图15为采用直接去除点云Q中与点云P中重叠的点的方法获得的融合后的源点云和目标点云的局部示意图；

图16为采用平均加权的方法获得的融合后的源点云和目标点云的局部示意图；

图17为采用平均加权的方法获得的融合后的源点云和目标点云的局部示意图；

图18为采用平均加权的方法获得的融合后的源点云和目标点云的局部示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分，为了避免混淆本发明的实质，公知的方法、过程、流程、元件并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1是本发明一种实施例的三维扫描系统，包括三维扫描设备和被测物体，三维扫描设备的发光装置(例如投影仪)用于向被测物体投射设定图案的结构光，该结构光经过被测物体的调制后反射回三维扫描设备的相机而被接收，对接收到的光进行解码获得物体的绝对相位信息，结合相机标定信息及三角测距原理便可得到物体的三维数据，从而获得代表所述被测物体表面点的三维坐标点的集合，即点云，这个过程即扫描过程。在一个实施例中，被测物体是人脸，三维扫描设备在人脸左侧对人脸进行扫描，可以获得人脸左侧的点云，在人脸右侧对人脸进行扫描，可以获得人脸右侧的点云。

图2是本发明一种实施例的点云融合的方法，包括如下步骤。

S100，对初始源点云与目标点云进行配准。

将三维扫描设备在第一视角下获得的被测物体的点云作为初始源点云(在有些实施例中，该点云还需要经过必要的预处理后才得到本步骤的初始源点云)，在第二视角下获得的被测物体的点云作为目标点云(在有些实施例中，该点云还需要经过必要的预处理后才得到本步骤的目标点云)。如图3所示，是初始源点云和目标点云的示意图，其中左边的是初始源点云，右边的是目标点云。

对初始源点云与目标点云进行粗配准，以获得两者之间的坐标变换矩阵，由于是粗配准，因此该坐标变换矩阵的精度较低。现有的粗配准算法包括RANSAC粗配准算法、4PC粗配准算法。

为了进一步提高配准的精度，在对初始源点云与目标点云进行粗配准之后，再对两者进行精配准，以获得两者之间更高精度的坐标变换矩阵，配准后初始源点云被转换到目标点云所在的坐标系，从而形成配准后的初始源点云。该坐标变换矩阵包括旋转矩阵R和平移行向量t构成的刚体变换矩阵。由于该坐标变换矩阵是以两个点云的所有点之间建立变换关系为目标的，因此该坐标变换矩阵是一个拟合的，即该坐标变换矩阵不能保证初始源点云中的每个源点与目标云中对应的目标点完全重叠。现有的精配准算法有ICP精配准算法。如图4所示，是精配准后形成的源点云和目标点云的示意图，其中左边的是源点云，右边的是目标点云，由于图3与图4的视角有所不同，因此两个图中的目标点云看起来有所不同。

S200，计算重叠阈值，以在后续步骤中将该重叠阈值作为判断源点云中的某个源点与目标点云中的某个目标点是否为一对重叠点的阈值，所有对重叠点即构成重叠区域，如图5所示。

针对源点云的任意一个源点，计算至相邻最近的源点的第一最小距离(例如采用Kd-Tree算法)，计算所有第一最小距离总和的第一平均值(例如，如果存在n个第一最小距离，则第一平均值等于所有第一最小距离总和除以n)，根据第一平均值确定重叠阈值；或者，针对目标点云的任意一个目标点，计算至相邻最近的目标点的第二最小距离，计算所有第二最小距离总和的第二平均值(例如，如果存在n个第二最小距离，则第二平均值等于所有第二最小距离总和除以n)，根据第二平均值确定重叠阈值。重叠阈值可以介于0.5倍对应的平均值至对应的平均值之间。在一个实施例中，重叠阈值d

S300，确定目标点云的三维坐标边界，在配准后的初始源点云中去除三维坐标边界之外的源点获得源点云。

为了减少计算量，本实施例中先计算确定目标点云三维坐标边界，即包围盒，在配准后的初始源点云中将处于三维坐标边界(即包围盒外)的点去除掉获得源点云，从而在后续步骤中在该源点云的基础上确定(或者称为提取)重叠区域，这样，可以尽可能地排除掉处于非重叠区域的源点，提高了计算速度。包围盒的计算方法如下：分别获取目标点云在X、Y、Z轴上的最小值x

其中，d

S400，将源点云的每个源点分别投影到目标点云的图像平面，获得每个源点的投影像素坐标；针对每个源点的投影像素坐标在目标点云的图像平面中找到相同像素坐标以确定相同像素坐标上的目标点；计算相同像素坐标上的目标点与投影像素坐标上的源点之间的空间距离，若空间距离大于重叠阈值，则将相同像素坐标上的目标点与投影像素坐标上的原点判定为一对重叠点。在获得所有对重叠点后，将所有对重叠点构成的区域确定为重叠区域。

在基于结构光的三维扫描装置中，获取的点云数据可以存储为(X0,Y0,Z0,u0,v0)的格式，其中(X0,Y0,Z0)表示某点的三维坐标，而(u0,v0)表示某点所在图像平面的像素坐标(例如第几行第几列)。

首先，利用如下投影的计算方式将源点p

其中，(X,Y,Z)表示源点云中的源点p

接着，如图7所示，利用像素坐标(u,v)在目标点云中进行索引像素坐标等于(u,v)的目标点q

然后，计算源点p

对源点云上的所有源点都执行上述步骤，直到提取出所有对的重叠点，将所有对重叠点构成的区域确定为重叠区域。

如图5所示，是在一种实施例中利用上述步骤提取出来的重叠区域。

S500，对重叠区域内的源点和目标点进行加权融合，即将源点和目标点的三维坐标加权和作为重叠区域内替换第一源点和第一目标点的融合点的融合三维坐标值，该融合三维坐标值即为融合点N

具体而言，首先，针对源点云内重叠区域中的每个源点，计算第一源点的第一夹角θ

接着，根据第一夹角和第二夹角确定第一源点的第一权重和第一目标点的第二权重；其中，第一权重与第二权重之和为1，且第一权重与第二权重的比值负相关于第一夹角与第二夹角的比值。

然后，将第一源点的三维坐标值与第一权重之积，加上第一目标点的三维坐标值与第二权重之积得到的总和作为融合三维坐标值，该融合三维坐标值用于替换重叠区域内第一源点和第一目标点的三维坐标值。例如，对于三维坐标值的X坐标值(或Y坐标值，或Z坐标值)，将第一源点的X坐标值与第一权重之积，加上第一目标点的X坐标值与第二权重之积得到的总和作为融合X坐标值，该融合X坐标值用于替换重叠区域内第一源点和第一目标点的融合X坐标值。

对重叠区域内的多有对重叠点都执行上述步骤，从而完成对重叠区域内的源点和目标点进行加权融合。

图8和图9是融合前的源点云和目标点云的局部示意图。根据研究发现，夹角更小的点其可信度更大，因此，在本实施例中，通过将夹角更小的源点或目标点赋予更大的权重，从而使得融合得到的三维坐标值的可信度更大，最终得到的融合效果更好。如图10、图11和图12所示，重叠区域内进行本发明实施例的加权融合后的源点云P和目标点云Q的局部示意图。

相比而言，为了实现对重叠区域的点的处理，若采用直接将点云Q中与点云P中重叠的点去除，然后与点云P拼接起来，处理后的示意图如图13、图14和图15所示，从这些图可以看出，点云P过渡到点云Q的区域出现接缝；若对采用平均加权融合方法进行处理，即将重叠区域的点进行平均计算得到平均点，将平均点与点云P和点云Q中非重叠区域的点进行拼接，处理后的示意图如图16、图17和图18所示，从这些图可以看出，点云P和点云Q两边的过渡区域过渡都不平滑、自然。尤其对于人脸这种真实感的建模场景来说，这两种方法都会使得融合之后人脸出现明显的接缝，使得重建后的人脸不够平滑、自然。

在一个实施例中，第一源点的第一权重w

在本实施例中，通过简单的方式实现了：第一权重与第二权重的比值负相关于第一夹角与第二夹角的比值，且第一权重与第二权重之和为1。

本发明还提供了一种点云融合的装置，包括：

夹角计算单元，用于针对源点云和目标点云的重叠区域，计算源点云中第一源点的第一夹角，以及目标点云中第一目标点的第二夹角；其中，第一源点与第一目标点为一对重叠点；源点云为在第一视角下三维扫描设备对被测物体进行测量获得的代表被测物体表面点的三维坐标点的集合；目标点云为在第二视角下三维扫描设备对被测物体进行测量获得的代表被测物体表面点的三维坐标点的集合；第一夹角为三维扫描设备的成像中心和第一源点的连线与第一源点所在位置的法线之间的夹角；第二夹角为三维扫描设备的成像中心和第一目标点的连线与第一目标点所在位置的法线之间的夹角；

权重计算单元，用于根据第一夹角和第二夹角确定第一源点的第一权重和第一目标点的第二权重，其中，第一权重与第二权重之和为1，且第一权重与第二权重的比值负相关于第一夹角与第二夹角的比值；

融合单元，用于将第一源点的三维坐标值与第一权重之积，加上第一目标点的三维坐标值与第二权重之积得到的总和作为重叠区域内替换第一源点和第一目标点的融合点的融合三维坐标值。

本发明还提供了一种三维扫描设备，采用前述的方法进行点云融合，或者，包括点云融合的装置。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被执行时能够实现点云融合方法。

需要说明的是，本公开的实施例所述的计算机可读存储介质并不限定于上述所给实施例，例如还可以为电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

本领域的技术人员能够理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。其中，附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生，例如，两个接连表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。本文中对于各步骤的编号仅为了方便说明和引用，并不用于限定前后顺序，具体的执行顺序是由技术本身确定的，本领域技术人员可以根据技术本身确定各种允许的、合理的顺序。

需要说明的是，本发明中采用步骤编号来指代某些具体的方法步骤，仅仅是出于描述方便和简洁的目的，而绝不是用字母或数字来限制这些方法步骤的顺序。本领域的技术人员能够明了，相关方法步骤的顺序，应由技术本身决定，不应因步骤编号的存在而被不适当地限制，本领域技术人员可以根据技术本身确定各种允许的、合理的步骤顺序。

本领域的技术人员能够理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。

应当理解，上述的实施方式仅是示例性的，而非限制性的，在不偏离本发明的基本原理的情况下，本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换，都将包含于本发明的权利要求范围内。