基于三维深度卷积生成对抗网络的三维模型修复方法

技术领域

本发明涉及三维模型体素化、三维深度卷积生成对抗网络、三维模型修复。

背景技术

三维模型作为记录物体信息的一种方式，有着比二维图片更为丰富的立体信息、能多角度的预览等优秀的特性，在计算机上已经得到了非常良好的技术支持，该类数据已经广泛地被应用于3D打印、房地产建模、航天器设计、文物修复、室内设计等。随着软硬件的不断更新使得大家对三维模型的获取越来越便捷化，从前复杂的手工绘制变成了现如今只需使用激光扫描、平板电脑、红外深度传感器等对着三维对象扫描即可，此后三维对象便可以曲面、点云或者体素模型的形式在计算机间进行信息的传递。然而现阶段的三维模型扫描任然受限于现阶段的技术水平，很大部分扫描所得的三维模型依然存在着较为明显的缺陷——模型残缺，这些残缺的部分对后续三维模型研究造成不可逆的影响，因而对三维模型进行修复尤为重要。三维模型修复技术旨在通过对模型的特征分析生成保持原有物体细节特征并且与原模型自然过渡的修复区域，该技术发展至今已经拥有了非常多成熟的方法。

传统的方法旨在通过分析模型点、线、面之间的几何关系并借此推测其修复区域，该类方法大都基于曲面定向和体素的三维模型。基于曲面定向的三维模型修复方法首先需要对三维模型进行孔洞检测，确定孔洞位置之后再对该位置进行修复。最早期的基于曲面定向算法主要插值修复方法，可进行一定程度的修复但过渡十分突兀；而后利用三角剖分构造基曲面并不断迭代添加曲面细节的方法修复了网格, 但是细节特征却很难得到修复；之后又有人提出用动态规划方法重构孔洞区域的连接关系, 引入增广拉格朗日方法求解变分模型对空洞修复，但是当孔洞区域信息缺失过多时难以较好地恢复孔洞区域的细节特征。基于体素的三维模型修复方法通过将三维模型转换为体素化，在体素上进行修补操作。在得到体素模型后，通过扩展有向距离场、构造八叉树重建等值面等手段进行修复的方法得到了发展，但这些方法均导致了修复部分细节特征的丢失。

新的思路，自此图像和三维模型修复进入特征提取时代。卷积神经网络、自编码器、生成对抗网络等深度学习方法，其复杂的网络层次结构大都包含卷积操作，旨在最大化提高算法的特征提取能力，通过长时间的训练使得网络学习获得丰富的细节特征从而生成十分精细的修复区域。合理的参数设置能够使网络产生媲美原有模型细节的修复区域，然而这样产生的修复区域与原始模型拼接时衔接处总是不可避免地出现跳变、凸起，破坏了模型的全局一致性。但若在网络中设置局部和全局两个判别器对补全部分和整体进行判别，便可使补全结果保持细节的同时依旧全局一致。

综上所述，传统通过寻找几何形态之间联系的方法，特征信息的获取十分有限，不能很好地还原细节，而基于深度学习的方法在特征提取能力上已经远胜于传统方法，不仅可以保持局部细节，同时保持全局的一致性即很好的融合过渡效果，因此我们设计了基于三维深度卷积生成对抗网络的三维模型修复方法。

发明内容：

为解决现有三维模型扫描时问题，本发明提出了一种基于三维深度卷积生成对抗网络的三维模型修复方法，发明内容主要包括：三维模型的体素化转换，网络流程及框架设计，深度卷积生成对抗网络结构的三维模型改造，相互嵌套的局部生成对抗网络和全局生成对抗网络的搭建和训练，生成器结果的体素化转换。

一种基于三维深度卷积生成对抗网络的三维模型修复方法，至少包括以下几个步骤：

步骤一、将原始由线条和曲面组成的模型进行姿态统一化调整，其后将模型转化为较高分辨的体素模型，并以(0,1)稀疏矩阵形式进行存储。

步骤二、将体素化的三维模型放入三维改造后的深度卷积生成对抗网络（即局部生成对抗网络）进行修复区域的训练学习，使局部生成对抗网络中的生成器学习局部的细节特征。

步骤三、随机生成一个长度为100的数组，放入训练完毕的局部生成对抗网络，利用其内部生成器生成一个修复区域的初步修复模型。

步骤四、将修复区域的初步修复模型与待修复模型拼接得到初步修复模型。

步骤五、提取局部生成对抗网络中的生成器，与新的全局判别器组合形成生成对抗网络。

步骤六、将初步修复模型和体素化的三维模型放入全局神经网络进行训练，使用全局判别器对初步修复模型进行真假判断，若判断为假则更新生成器参数并跳转至步骤二使生成器生成的修复区域学习得到全局的一致性特征；若判断为真则将其输出作为最终修复结果。

有益效果：

与现有技术相比，采用本发明所述的设计方案，可以达到以下技术效果：

1、 本网络模型运算的全过程都是对体素化三维模型的直接处理无需对其进行任何形式的转换。

2、 本网络模型包含两个相互嵌套的局部生成对抗网络和全局生成对抗网络，局部生成对抗网络能对模型的细节特征进行学习并产生细致的修复效果，而全局生成对抗网络能够对拼接区域进行优化调整产生自然过渡，极大提高待修复模型的修复质量。

3、 本模型的全局生成对抗网络中由于放入了待修复模型本体对该模型进行针对性的训练学习，从而使得修复效果更符合其特征。

4、 本模型采用的嵌套式生成对抗网络相比于单个的生成对抗网络的一个判别器在数量设置上提高了一倍。局部判别器进行细节真实性的鉴别，全局判别器则针对整体结构的合理性进行鉴别，两者的有机结合为生成器的特征学习提供了更好的指导能极大强化生成器的生成能力。因此该网络拥有非常强的鲁棒性和泛化能力，能适用于多种维度模型的训练学习。

附图说明：

图1.方法框架流程图

图2.三维深度卷积生成对抗网络示意图

图3.三维深度卷积生成对抗网络生成器和判别器示意图

图4.三维模型体素化预处理示意图

具体实施方式：

本方法提出了一种三维深度卷积生成对抗网络模型。该网络模型包含了一个双层的生成对抗网络——局部生成对抗网络和全局生成对抗网络。局部生成对抗网络的主要职责是对修复区域进行生成，然而通常局部生成对抗网络产生的修复内容与待补全的模型拼接之后会出现十分不自然的过渡甚至是断层，于是本文引入全局生成对抗网络被以解决不自然过渡问题。全局生成对抗网络的作用是在局部生成对抗网络的基础上使得修复区域能够在与待修复模型合并之后进行全局性的判定，以此优化修复模块，从而使修复后的模型能更为自然逼真。同时，局部生成对抗网络和全局生成对抗网络二者均为深度卷积网络，3D深度卷积生成对抗网络也将深度卷积网络优秀的特征提取能力保留了下来。

图2展示了3D深度卷积生成对抗网络进行三维模型修复的过程，初始生成器和局部判别器组成了局部生成对抗网络训练生成高质量的修复模块，而后将修复模块与初始的待修复三维模型拼接，放入由全局判别器以及局部生成对抗网络中的生成器组成的全局生成对抗网络中进行训练。由于局部生成对抗网络和全局生成对抗网络二者共同使用一个生成器，从而网络训练过程中生成器分别能够学习到不仅仅是局部特征还有全局特征。网络中生成器和判别器的结构如图3所示。

基于三维深度卷积生成对抗网络的三维模型修复方法详细流程如下：

步骤一、三维模型姿态调整及体素化

三维模型在工业、生活、科研中的应用常以.off/.stl为后缀的文件进行存储和使用，这些利用顶点、面、边的集合表示的模型在深度学习算法中很难进行统一化计算，而体素化的模型很好地避免了这一问题，因而在深度学习计算中常常需要将其转化为体素化模型。本方法以普林斯顿大学提供的ModelNet40三维模型数据集为例进行阐述。ModelNet40数据集中有40类，共计12431个标定类型的三维模型，都是以顶点、线条、三角形为基础数据进行存储的off格式文件。由于本方法不需要测试集，故将每一个类中的训练集和测试集合并为一个数据集，以此增加训练时的数据量进行更好地特征提取信息。为便于后续处理本方法先将off文件转换为stl格式的三维模型文件，同时为了排除原始三维模型姿态不统一的影响需对其进行姿态矫正，使所有模型的放置角度都完全统一。姿态校正完毕，将stl格式的三维模型体素化成80×80×80像素的三维模型，并以(0, 1)稀疏矩阵的形式存储为mat格式文件。本方法以缺失右上方1/4区域的模型为修复对象进行后续修复操作。其体素化过程如图4所示。

步骤二、将体素化的三维模型放入局部生成对抗网络训练

由图2可知，局部生成对抗网络作为修复模块仅仅是学习三维模型特征而生成一些“假”数据，网络本身只是一个处理三维模型数据的深度生成对抗网络，因此原始生成对抗网络的极小化生成器和极大化判别器思想依然适用，其公式如下。

式中

局部生成对抗网络中的生成器和判别器采用了和卷积生成对抗网络中的生成器和判别器相同的结构。区别在于本文从输入到输出过程中使用的都是三维模型数据，因此网络结构内的参数都进行了对应的调整修改，故将原文中使用的二维卷积核替换为3D卷积核，并将替换后的网络命名为三维深度卷积生成对抗网络。3D卷积公式如(2)所示。

原始数据由二维图像变更为三维模型，公式(1)也因子变更为公式(3)。

步骤三、生成器生成修复区域初步修复模型

如图2局部生成对抗网络中，为了获得初步的修复模型，网络随机生成一个长度为100的数组

步骤四、合并修复区域的初步修复模型和待修复模型得到初步修复模型

步骤三中生成器

步骤五、提取局部生成对抗网络的生成器，与新的全局判别器组合形成生成对抗网络

全局生成对抗网络的引入旨在提高生成器生成的修复区域在符合局部一致性的同时也能符合全局一致性，而局部生成对抗网络中进行局部一致性判别的局部判别器已然无法胜任全局一致性判断的工作，因而本方法引入了另一个判别器——全局判别器，将其与局部生成对抗网络中的生成器重新组合成全局生成对抗网络便能达到预期效果。

在全局生成对抗网络中由于初步待修复模型和全局判别器的引入使得公式(3)不再适用，新的公式如公式(5)所示。

公式(3)与(5)最大的区别为后半部分

步骤六、将初步修复模型和体素化的三维模型放入全局神经网络训练，改进初步修复模型，输出最终修复模型

将步骤四所得的初步修复模型放入步骤五的全局生成对抗网络进行训练，使用全局判别器对初步修复模型进行真假判断。若判断为假，则更新生成器参数并跳转至步骤二，使生成器生成的修复区域能够在保持局部细节特征的同时还学习到保持全局的一致性必要特征；若判断为真，则输出结果，将该生成结果以0.12为阈值进行(0,1)稀疏矩阵转换后便得到了最终修复模型。