基于编解码和生成对抗网络的三维重建点云补全方法

技术领域

本发明属于三维重建技术领域，更具体地，涉及一种基于编解码和生成对抗网络的三维重建点云补全方法。

背景技术

在复杂光照条件下，经常会由于图像质量问题，影响基于图像的三维重建方法的重建模型的密度和精确度。例如，当物体受到低光照和物体遮挡等条件影响时，图像中会存在亮度低和阴影等问题，使得重建得到的三维模型中存在点云空洞。

现有基于深度学习的点云补全方法依赖于残缺模型与完整模型的形状对，而复杂光照的干扰会使重建模型出现许多随机且分散的空洞，依赖形状对的方法通常效果不佳。现有无监督的生成式对抗网络逆映射补全方法不依赖于形状对，但在复杂光照条件下，点云补全密度和精度依然有待提升。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于编解码和生成对抗网络的三维重建点云补全方法，其目的在于解决复杂光照条件下三维重建点云空洞补全问题，从而提升复杂光照条件下的点云补全密度和精度。

为实现上述目的，按照本发明的一个方面，提供了一种基于编解码和生成对抗网络的三维重建点云补全方法，包括：S1，构建点云补全网络并对其进行预训练，所述点云补全网络包括生成器、判别器、第一编码器、第二编码器和解码器；S2，将潜在向量输入所述点云补全网络，依次经所述生成器和所述解码器处理后得到完整点云，对所述完整点云依次进行均匀优化和退化处理，得到残缺点云；S3，将所述残缺点云输入所述第一编码器得到残缺点云特征向量，将样本集中的待补全点云输入所述第二编码器得到待补全点云特征向量；S4，将所述残缺点云特征向量和所述待补全点云特征向量输入所述判别器进行相似度判别，根据判别结果调整所述生成器的网络参数，直至所述点云补全网络的损失函数收敛；S5，将目标待补全点云模型直接输入所述点云补全网络，得到补全后的模型。

更进一步地，对所述完整点云进行均匀优化处理包括：利用最远点采样对所述完整点云进行随机采样，采样出多个补丁点；对于各所述补丁点，分别采用k-最近邻算法形成包含所述补丁点的补丁区域；对于各所述补丁区域，分别利用所述补丁区域内各点的平方距离方差对所述补丁区域进行更新，以均匀优化所述完整点云。

更进一步地，更新后的补丁区域为：

其中，L

更进一步地，所述点云补全网络的损失函数为：

Loss＝L

L

其中，Loss为所述点云补全网络的损失函数，L

更进一步地，所述S5之前还包括：获取目标图像集并对其进行预处理，得到预处理图像集；利用增量式SFM算法对所述预处理图像集中的各图像分别进行三维点云重建，得到所述目标待补全点云模型。

更进一步地，对所述目标图像集进行预处理具体包括：对所述目标图像集进行模糊图像拉普拉斯变换检测，以检测出模糊图像并去除，得到清晰图像集；对所述清晰图像集进行亮度检测，筛选出过暗图像和过曝图像；对所述过暗图像进行自适应二维伽马函数校正处理，对所述过曝图像进行直方图均衡化校正处理。

更进一步地，自适应二维伽马函数校正处理后，所述过暗图像中像素点的亮度值为：

其中，O(x,y)为自适应二维伽马函数校正处理后(x,y)处的亮度值，F(x,y)为所述过暗图像(x,y)处的亮度值，γ为用于亮度增强的指数值，I(x,y)为利用高斯函数分离出的(x,y)处的光照分量估计值，m为光照分量的亮度均值，λ为归一化常数，c为尺度因子，(x,y)为坐标值。

更进一步地，对所述过曝图像进行直方图均衡化校正处理，包括：获取所述过曝图像的灰度直方图，计算所述灰度直方图中各灰度级对应的概率密度；根据各灰度级对应的概率密度，将所述过曝图像映射为新的灰度分布，映射方式为：

其中，S

按照本发明的另一个方面，提供了一种基于编解码和生成对抗网络的三维重建点云补全系统，包括：构建及预训练模块，用于构建点云补全网络并对其进行预训练，所述点云补全网络包括生成器、判别器、第一编码器、第二编码器和解码器；残缺点云生成模块，用于将潜在向量输入所述点云补全网络，依次经所述生成器和所述解码器处理后得到完整点云，对所述完整点云依次进行均匀优化和退化处理，得到残缺点云；编码模块，用于将所述残缺点云输入所述第一编码器得到残缺点云特征向量，将样本集中的待补全点云输入所述第二编码器得到待补全点云特征向量；调整模块，用于将所述残缺点云特征向量和所述待补全点云特征向量输入所述判别器进行相似度判别，根据判别结果调整所述生成器的网络参数，直至所述点云补全网络的损失函数收敛；补全模块，用于将目标待补全点云模型直接输入所述点云补全网络，得到补全后的模型。

按照本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如上所述的基于编解码和生成对抗网络的三维重建点云补全方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)提供一种基于编解码和生成对抗网络的三维重建点云补全方法，提出对重建后的点云进行补偿，补偿过程中，对潜在向量的完整点云进行均匀优化处理，使得编解码器的应用能够得到密度更高的补全模型，提高了补全后三维点云的密度和精度；

(2)提供了一种具体的点云均匀优化处理手段，采样出补丁点后形成包含补丁点的补丁区域，直接利用补丁区域内各点的平方距离方差对补丁区域进行更新，在保证均匀优化处理性能的基础上，不会引入过多或复杂的计算，节省资源的同时提升补全速率；

(3)对于待补全的目标图像集，剔除图像集中模糊图像，并对过暗图像和过曝图像进行处理以提高其清晰度，从而基于清晰的图像重建三维点云，减少过曝和过暗光照的影响，从而使得该方法能应对较复杂的光照环境，使其具有更广的适用场景。

附图说明

图1为本发明实施例提供的基于编解码和生成对抗网络的三维重建点云补全方法的流程图；

图2为本发明实施例提供的结合编解码和生成对抗网络的点云补全网络结构图；

图3A、图3B分别为本发明实施例提供的目标图像集中的过暗图像、过暗图像预处理后的图像；

图3C、图3D分别为本发明实施例提供的目标图像集中的过曝图像、过曝图像预处理后的图像；

图3E为本发明实施例提供的对预处理后图像集进行三维点云重建后的待补全点云；

图3F为本发明实施例中对图3E所示待补全点云进行补全后的结果；

图4为本发明实施例提供的基于编解码和生成对抗网络的三维重建点云补全系统的框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

图1为本发明实施例提供的基于编解码和生成对抗网络的三维重建点云补全方法的流程图。参阅图1，结合图2-图3F，对本实施例中基于编解码和生成对抗网络的三维重建点云补全方法进行详细说明，方法分为网络构建及训练阶段(操作S1-操作S4)以及补全阶段(操作S5)。

操作S1，构建点云补全网络并对其进行预训练，点云补全网络包括生成器、判别器、第一编码器、第二编码器和解码器。

本实施例中，结合编解码和生成对抗网络搭建点云补全网络，点云补全网络的结构框图如图2所示，包括生成器、判别器、第一编码器、第二编码器和解码器。

操作S2，将潜在向量输入点云补全网络，依次经生成器和解码器处理后得到完整点云，对完整点云依次进行均匀优化和退化处理，得到残缺点云。

本实施例中，操作S2包括子操作S21-子操作S23。

在子操作S21中，将潜在向量输入点云补全网络，依次经生成器和解码器处理后得到完整点云。

具体地，从潜在空间采样出潜在向量，将潜在向量输入生成器，生成初步的全局特征向量；将生成的全局特征向量输入解码器，解码器将其解码为高分辨率的完整点云。

在子操作S22中，对完整点云进行均匀优化处理。具体包括步骤S221-步骤S223。

步骤S221，利用最远点采样对完整点云进行随机采样，采样出多个补丁点。

步骤S222，对于各补丁点，分别采用k-最近邻算法形成包含补丁点的补丁区域。用k-最近邻算法采用加权距离计算每个点与采样点之间的距离。

步骤S223，对于各补丁区域，分别利用补丁区域内各点的平方距离方差对补丁区域进行更新，以均匀优化完整点云。从而使其表面三维点云分布更加均匀，避免点云局部稀疏造成的空洞。

根据本发明的实施例，更新后的补丁区域为：

其中，L

在子操作S23中，将均匀优化处理后的完整点云输入退化模块进行退化处理，以退化出残缺点云。

操作S3，将残缺点云输入第一编码器得到残缺点云特征向量，将样本集中的待补全点云输入第二编码器得到待补全点云特征向量。

本实施例，样本集例如来自于公开数据集ShapeNet和KITTI，用样本集对点云补全网络进行迭代训练，包含的点云类别包括椅子、汽车、飞机、桌子、台灯、柜子、沙发等类别，所用复杂光照场景图像数据集来源于现实场景拍摄。

操作S4，将残缺点云特征向量和待补全点云特征向量输入判别器进行相似度判别，根据判别结果调整生成器的网络参数，直至点云补全网络的损失函数收敛。

将残缺点云特征向量和待补全点云特征向量输入判别器进行相似度判别，通过判别器的全连接层网络判断二者的相似程度，并根据相似度判别结果更新潜在向量以及微调生成器的网络参数，重复执行操作S2-操作S4中的生成器调整过程，直至点云补全网络的损失函数收敛。

根据本发明的实施例，点云补全网络的损失函数为：

Loss＝L

L

其中，Loss为点云补全网络的损失函数，L

操作S5，将目标待补全点云模型直接输入点云补全网络，得到补全后的模型。

通过操作S1-操作S4，完成了点云补全网络的构建，得到训练好的点云补全网络。实际使用中，直接采用训练好的点云补全网络，对待补全的点云模型进行补全。

根据本发明的实施例，将目标待补全点云模型直接输入点云补全网络之前，需要对目标图像集进行处理以得到目标待补全点云模型。具体包括以下子操作S51-子操作S52。

在子操作S51中，获取目标图像集并对其进行预处理，得到预处理图像集。具体包括步骤S511-步骤S513。

步骤S511，对目标图像集进行模糊图像拉普拉斯变换检测，以检测出模糊图像并去除，得到清晰图像集。

具体地，对于目标图像集中的各图像，通过将该图像的单一通道(如灰度)与拉普拉斯算子卷积，求取响应方差，当响应方差低于一定阈值时，将该图像判定为模糊图像并去除掉，最终剩下的图像组合即可得到清晰图像集。

步骤S512，对清晰图像集进行亮度检测，筛选出过暗图像和过曝图像。

步骤S513，对过暗图像进行自适应二维伽马函数校正处理，对过曝图像进行直方图均衡化校正处理。

根据本发明的实施例，自适应二维伽马函数校正处理后，过暗图像中像素点的亮度值为：

其中，O(x,y)为自适应二维伽马函数校正处理后(x,y)处的亮度值，F(x,y)为过暗图像(x,y)处的亮度值，γ为用于亮度增强的指数值，I(x,y)为利用高斯函数分离出的(x,y)处的光照分量估计值，m为光照分量的亮度均值，λ为归一化常数，c为尺度因子，(x,y)为坐标值。λ用于确保高斯函数满足归一化条件，γ包含了图像的光照分量特性。

根据本发明的实施例，对过曝图像进行直方图均衡化校正处理，包括：获取过曝图像的灰度直方图，计算灰度直方图中各灰度级对应的概率密度；根据各灰度级对应的概率密度，将过曝图像映射为新的灰度分布，映射方式为：

其中，S

在子操作S52中，利用增量式运动恢复结构(Structure from Motion，SFM)算法对预处理图像集中的各图像分别进行三维点云重建，得到目标待补全点云模型。

将该目标待补全点云模型直接输入点云补全网络，经点云补全网络处理后得到补全后的模型。以图3A中所示过暗图像、图3C中所示过曝图像为例，对二者进行预处理后形成的图像分别如图3B和图3D所示，利用增量式SFM算法对图3B和图3D所示图像进行三维重建后的结果如图3E所示，采用点云补全网络对图3E所示点云进行补全后的结果如图3F所示，可以看出，本实施例中基于编解码和生成对抗网络的三维重建点云补全方法更关注复杂光照对图像三维重建的影响，更注重恢复和补全受复杂光照影响产生的点云空洞，大幅提升了复杂光照条件下的点云补全密度和精度。

图4为本发明实施例提供的基于编解码和生成对抗网络的三维重建点云补全系统的框图。参阅图4，基于编解码和生成对抗网络的三维重建点云补全系统400包括构建及预训练模块410、残缺点云生成模块420、编码模块430、调整模块440以及补全模块450。

构建及预训练模块410例如执行操作S1，用于构建点云补全网络并对其进行预训练，点云补全网络包括生成器、判别器、第一编码器、第二编码器和解码器。

残缺点云生成模块420例如执行操作S2，用于将潜在向量输入点云补全网络，依次经生成器和解码器处理后得到完整点云，对完整点云依次进行均匀优化和退化处理，得到残缺点云。

编码模块430例如执行操作S3，用于将残缺点云输入第一编码器得到残缺点云特征向量，将样本集中的待补全点云输入第二编码器得到待补全点云特征向量。

调整模块440例如执行操作S4，用于将残缺点云特征向量和待补全点云特征向量输入判别器进行相似度判别，根据判别结果调整生成器的网络参数，直至点云补全网络的损失函数收敛。

补全模块450例如执行操作S5，用于将目标待补全点云模型直接输入点云补全网络，得到补全后的模型。

基于编解码和生成对抗网络的三维重建点云补全系统400用于执行上述基于编解码和生成对抗网络的三维重建点云补全方法。本实施例未尽之细节，请参阅上述基于编解码和生成对抗网络的三维重建点云补全方法，此处不再赘述。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的基于编解码和生成对抗网络的三维重建点云补全方法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。