结合无监督学习与数据自增强的文物碎片点云分类方法

技术领域

本发明属于设计三维文物碎片点云数据的分类技术领域，尤其涉及一种结合无监督学习与数据自增强的文物碎片点云分类方法。

背景技术

目前，文物碎片点云的识别分类具体是指提取三维模型特征，并使用相应的算法区分出各类文物碎片。目前提出的分类方法可大致分为：传统分类方法与神经网络分类方法。神经网络分类方法主要包括点云数据处理，特征提取，网络搭建和损失函数设定四个主要工作。但是传统的文物碎片分类方法主要利用人的领域知识手工构造特征，不仅耗费人力，而且在特征的表达能力上也存在局限性，且准确性较低。因此，亟需一种新的文物碎片点云分类方法。

通过上述分析，现有技术存在的问题及缺陷为：传统的文物碎片分类方法主要利用人的领域知识手工构造特征，不仅耗费人力，而且在特征的表达能力上也存在局限性，且准确性较低。

解决以上问题及缺陷的难度为：

1)为了充分利用大量无标注数据集，需要构建无监督特征学习网络，且需要学习到能充分代表点云模型的特征向量。将大样本无监督特征提取与小样本有监督点云分类相结合；

2)为了能够生成适应于网络的增强样本，需要添加增强网络模块，通过神经网络的学习对输入数据进行增强处理；

3)结合无监督特征提取模块与数据自增强分类模块达到更高精度的文物碎片分类效果；

解决以上问题及缺陷的意义为：

提高计算机对于现实物体的识别精度，为现代人的生活提供更多便利。兵马俑的虚拟修复需要对出土碎片根据身体部位预先分类，为之后的拼接修复打好基础。

发明内容

针对现有技术存在的问题，本发明提供了一种结合无监督学习与数据自增强的文物碎片点云分类方法，尤其涉及一种基于无监督预训练与数据自增强网络的结合无监督学习与数据自增强的文物碎片点云分类方法。

本发明是这样实现的，一种文物碎片点云分类方法，所述文物碎片点云分类方法包括：使用无标注数据集预训练无监督特征提取网络，使用无监督特征提取网络对文物碎片点云进行特征提取；使用增强器网络生成增强样本，根据损失函数更新自身参数；利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。其中，在训练过程中，固定另外一个网络的学习参数，交替地优化和更新增强器与分类器中的参数。

进一步，所述文物碎片点云分类方法包括以下步骤：

步骤一，对于文物碎片点云数据集T＝{x

步骤二，对于输入样本数据T

进一步，所述基于折叠解码操作的点云特征提取，包括：

(1)对每一个输入的数据规模为n的点云模型，计算每个点的3*3局部协方差矩阵，并向量化成n*9大小，然后将这个n*9的矩阵和原始输入的n*3的矩阵相连接成n*12的矩阵；

(2)在编码器部分，将步骤(1)得到的n*12的矩阵输入到三层感知器中，再将感知器的输出输入到两个连续的graph层，其中每层graph对每个节点的邻居作Max Pooling操作，最后再将其输入到一层感知器中，得到能够代表该完整点云的特征向量，大小为1*512；

(3)将步骤(2)得到的点云特征向量重复叠加m次，得到m*512矩阵，再利用随机生成的二维网格点来进行折叠操作；在解码器部分，进行两次折叠操作，得到输入点云的重建结果；

(4)根据Chamfer Distance来优化和更新网络参数，经多轮epoch的迭代更新后，直至网络收敛，编码器部分即为最终的无监督特征提取器。

进一步，所述点云分类方法，还包括：

设点云中的一点x，依据KNN算法思想，利用欧氏距离找到距离x点最近的k个点。对这k个点的x，y，z坐标分别求和，求平均数，得到质心位置。然后根据公式：

计算出x点的协方差矩阵。将该矩阵拍平为一维向量，与x点坐标相连接。对点云的每一个点进行相同操作，得到大小为n*12的输入数据。

利用三层感知器对n*12的输入数据进行逐点的特征提取，每一次的卷积之后都会加上一层批规范化层。将提取到的特征作为输入，进行两层图卷积。假设图形层的输入矩阵是X，knn图具有邻接矩阵A，图形层的传播按照如下方式：

Y＝A

使用Max Pooling顶点特征聚集器，在没有可学习参数的情况下，来聚集中心顶点与其所有相邻顶点之间的特征差异，使用ReLU作为激活函数；经两层图卷积之后使用MaxPooling操作得到大小为1*1024全局特征向量；再经过一层带有批规范化层的感知器中，得到大小为1*512特征向量；将该特征向量重复叠加m次，得到m*512矩阵，再加上随机生成的大小为m*2二维网格点来进行折叠操作。由三层感知器逐行处理，输出大小为m*3的矩阵；再次将该m*3矩阵与上面的m*512矩阵连接，并将其送入一个s三层感知器，此输出即为重建点云T。单个点云的点数为2048，在一个正方形中选择m个网格点，所以将m的大小设置为2025，它是最接近2048的平方数。输入点云x与重建点云x之前的重建损失定义为：

具有两个连续的折叠运算，第一个折叠二维网格到三维空间，第二个折叠在三维空间内。两次折叠操作的组合可以产生相当精细的表面形状。

进一步，所述文物碎片点云分类方法，还包括：采用类PointNet的结构作为增强器的特征提取器。首先提取点云特征F＝R

(1)固定分类器参数，向增强器输入原始样本T

L

其中，L(T

其中，

(2)将T

L

其中，γ用来平衡不同损失的权重，将γ的值设定为10。||f

本发明的另一目的在于提供一种应用所述的文物碎片点云分类方法的改进的点云分类器，所述改进的点云分类器包括增强器与分类器两部分，采用对抗式学习策略来联合优化增强器网络和分类器网络，使增强器能够学习生成最适合分类器的增强样本。

本发明的另一目的在于提供一种应用所述的文物碎片点云分类方法的点云分类系统，所述点云分类系统包括：

预训练模块，用于使用无标注数据集预训练无监督特征提取网络；

特征提取模块，用于使用无监督特征提取网络对文物碎片点云进行特征提取；

增强器训练模块，用于使用增强器网络生成增强样本，根据损失函数更新自身参数；

分类器训练模块，用于利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；

分类识别模块，用于采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

使用无标注数据集预训练无监督特征提取网络，使用无监督特征提取网络对文物碎片点云进行特征提取；

使用增强器网络生成增强样本，根据损失函数更新自身参数；

利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；

采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

使用无标注数据集预训练无监督特征提取网络，使用无监督特征提取网络对文物碎片点云进行特征提取；

使用增强器网络生成增强样本，根据损失函数更新自身参数；

利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；

采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的文物碎片点云分类系统。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的基于无监督预训练与数据自增强网络的文物碎片点云分类方法，首先使用无标注点云数据集训练无监督特征提取网络；然后将无监督特征提取网络的编码器部分做为分类网络的特征提取器；再联合自增强网络与改进后的分类网络进行训练。在训练过程中，固定另外一个网络的学习参数，交替地优化和更新增强器与分类器中的参数。本发明通过无监督预训练，结合点云的无监督特征和数据自增强网络，获得了更好的文物碎片分类结果。

同时，本发明方法结合了基于折叠解码操作的点云特征提取网络和三维点云的数据自增强框架，有效解决了现有文物碎片点云数据集规模较小，网络无法充分训练的问题，同时考虑了分类网络的能力和训练样本的复杂性，增强器能够根据分类器的学习状态动态调整增强器的学习参数，从而在不同的训练阶段生成最适合分类器的增强样本，改善最终的文物碎片点云分类结果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的文物碎片点云分类方法流程图。

图2是本发明实施例提供的文物碎片点云分类系统结构框图；

图中：1、预训练模块；2、特征提取模块；3、增强器训练模块；4、分类器训练模块；5、分类识别模块。

图3是本发明实施例提供的文物碎片点云分类方法的兵马俑碎片数据图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种结合无监督学习与数据自增强的文物碎片点云分类方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的结合无监督学习与数据自增强的文物碎片点云分类方法包括以下步骤：

S101，使用无标注数据集预训练无监督特征提取网络；

S102，使用增强器网络生成增强样本，根据损失函数更新自身参数；

S103，利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；

S104，采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。

如图2所示，本发明实施例提供的文物碎片点云分类系统包括：

预训练模块1，用于使用无标注数据集预训练无监督特征提取网络；

特征提取模块2，用于使用无监督特征提取网络对文物碎片点云进行特征提取；

增强器训练模块3，用于使用增强器网络生成增强样本，根据损失函数更新自身参数；

分类器训练模块4，用于利用预训练完的编码器作为分类器的特征提取部分，对原始样本和增强样本进行类标签预测并更新自身参数；

分类识别模块5，用于采用对抗式学习策略联合增强器和分类器对文物碎片点云进行识别分类。

除非另有说明，本发明中所述术语根据本领域常规认识理解。

下面结合实施例对本发明的技术方案作进一步描述。

实施例1

本发明提供的基于无监督预训练与数据自增强网络的文物碎片点云分类方法，首先使用无标注点云数据集训练无监督特征提取网络；然后将无监督特征提取网络的编码器部分做为分类网络的特征提取器；再联合自增强网络与改进后的分类网络进行训练。在训练过程中，固定另外一个网络的学习参数，交替地优化和更新增强器与分类器中的参数。

本发明首先提供了一种基于折叠解码操作的点云特征提取方法。

步骤1，对每一个输入的数据规模为n的点云模型，计算每个点的3*3局部协方差矩阵，并向量化成n*9大小，然后将这个n*9的矩阵和原始输入的n*3的矩阵相连接成n*12的矩阵；

步骤2，在编码器部分，将步骤1得到的n*12的矩阵输入到三层感知器中，再将感知器的输出输入到两个连续的graph层，其中每层graph对每个节点的邻居作Max Pooling操作，最后再将其输入到一层感知器中，得到能够代表该完整点云的特征向量，大小为1*512；

步骤3，将步骤2得到的点云特征向量重复叠加m次，得到m*512矩阵，再利用随机生成的二维网格点来进行折叠操作。在解码器部分，本发明进行两次折叠操作，得到输入点云的重建结果；

步骤4，最后根据Chamfer Distance来优化和更新网络参数，经多轮epoch的迭代更新后，直至网络收敛，编码器部分即为最终的无监督特征提取器。

进一步，本发明提供了一种改进的文物碎片点云分类器，为此，本发明提供的点云分类方法包括了增强器与分类器两部分，采用对抗式学习策略来联合优化增强器网络和分类器网络，使增强器能够学习生成最适合分类器的增强样本，分类器网络的分类精度进一步提升，具体步骤如下：

步骤一，对于文物碎片点云数据集T＝{x

步骤二，对于输入样本数据T

本发明方法结合了基于折叠解码操作的点云特征提取网络和三维点云的数据自增强框架，有效解决了现有文物碎片点云数据集规模较小，网络无法充分训练的问题，同时考虑了分类网络的能力和训练样本的复杂性，增强器能够根据分类器的学习状态动态调整增强器的学习参数，从而在不同的训练阶段生成最适合分类器的增强样本，改善最终的文物碎片点云分类结果。

实施例2

本发明所述三维点云数据为本领域常规理解的概念，数据格式是常用的三维模型数据格式，例如以.ply、.pcd和.obj为后缀的三维模型。相较于图像分类，三维点云数据固有的旋转不变性和排列不变性加大了分类的难度。在本实施方案中的三维数据是指常用的公共数据集ModelNet40和ShapeNet part。

这里对ModelNet40数据集和ShapeNet part数据集进行简单说明：ModelNet40数据集包含9843个训练模型和2468个测试模型。ShapeNet part数据集包含来自16种不同类别的数据模型，两个数据集中的每个点云都包含2048个点，其x，y，z坐标位置归一化到单位球体内。每个点云模型都有对应的语义标签(例如飞机，桌子，椅子，床等)。

该实施例的点云特征提取方法如下：

首先对于点云中的每个点做如下操作，这里以点云中的一点x为例：

依据KNN算法思想，利用欧氏距离找到距离x点最近的k个点。对这k个点的x，y，z坐标分别求和，求平均数，得到质心位置。然后根据公式：

计算出x点的协方差矩阵。将该矩阵拍平为一维向量，与x点坐标相连接。对点云的每一个点进行相同操作，得到大小为n*12的输入数据。

接下来利用三层感知器对n*12的输入数据进行逐点的特征提取，每一次的卷积之后都会加上一层批规范化层。将提取到的特征作为输入，进行两层图卷积。假设图形层的输入矩阵是X，knn图具有邻接矩阵A，图形层的传播按照如下方式：

Y＝A

本发明使用一个简单的Max Pooling顶点特征聚集器，在没有可学习参数的情况下，来聚集中心顶点与其所有相邻顶点之间的特征差异，使用ReLU作为激活函数。经两层图卷积之后使用Max Pooling操作得到大小为1*1024全局特征向量。再经过一层带有批规范化层的感知器中，得到大小为1*512特征向量。将该特征向量重复叠加m次，得到m*512矩阵，再加上随机生成的大小为m*2二维网格点来进行折叠操作。具体由三层感知器逐行处理，输出大小为m*3的矩阵。之后再次将该m*3矩阵与上面的m*512矩阵连接，并将其送入一个s三层感知器，此输出即为重建点云T。在实验中单个点云的点数为2048，在一个正方形中选择m个网格点，所以将m的大小设置为2025，它是最接近2048的平方数。输入点云x与重建点云x′之前的重建损失定义为Chamfer Distance：

本发明具有两个连续的折叠运算。第一个折叠二维网格到三维空间，第二个折叠在三维空间内。两次折叠操作的组合可以产生相当精细的表面形状。

本发明采用类PointNet的结构作为增强器的特征提取器。首先提取点云特征F＝R

步骤1：固定分类器参数，向增强器输入原始样本T

L

其中，L(T

其中，

步骤2：将T

L

其中，γ用来平衡不同损失的权重，本发明将γ的值设定为10。||f

实验使用的是数据集ModelNet40和ShapeNet part，第一阶段的无监督特征提取网络使用ShapeNet part数据集进行预训练，使用Adam对其训练400epoch，初始学习率0.0001、batch size为16。一阶动量为0.9，二阶动量为0.999。第二阶段的基于样本自增强的分类网络使用ModelNet40数据集进行训练与测试。训练周期设为250，batch size为24。增强器使用Adam优化器，初始学习率设定为为0.001。分类器使用初始学习率为0.001的Adam优化器，学习率每20个周期以0.5的衰减率逐渐降低，具体实验对比结果见表1。

表1实验对比结果

实施例3

在本实施例中，所述三维数据是使用三维扫描仪在秦始皇帝陵博物馆扫描获得的兵马俑三维数据，公开了以下技术特征：

一种基于文物碎片点云分类方法的文物模型分类方法，包括如下步骤：

获取兵马俑obj三维数据，对兵马俑obj三维数据进行预处理，获得兵马俑点云数据；

该实施例的点云特征提取方法如下：

首先对于点云中的每个点做如下操作，这里以点云中的一点x为例：

依据KNN算法思想，利用欧氏距离找到距离x点最近的k个点。对这k个点的x，y，z坐标分别求和，求平均数，得到质心位置。然后根据公式：

计算出x点的协方差矩阵。将该矩阵拍平为一维向量，与x点坐标相连接。对点云的每一个点进行相同操作，得到大小为n*12的输入数据。

接下来利用三层感知器对n*12的输入数据进行逐点的特征提取，每一次的卷积之后都会加上一层批规范化层。将提取到的特征作为输入，进行两层图卷积。假设图形层的输入矩阵是X，knn图具有邻接矩阵A，图形层的传播按照如下方式：

Y＝A

本发明使用一个简单的Max Pooling顶点特征聚集器，在没有可学习参数的情况下，来聚集中心顶点与其所有相邻顶点之间的特征差异，使用ReLU作为激活函数。经两层图卷积之后使用Max Pooling操作得到大小为1*1024全局特征向量。再经过一层带有批规范化层的感知器中，得到大小为1*512特征向量。将该特征向量重复叠加m次，得到m*512矩阵，再加上随机生成的大小为m*2二维网格点来进行折叠操作。具体由三层感知器逐行处理，输出大小为m*3的矩阵。之后再次将该m*3矩阵与上面的m*512矩阵连接，并将其送入一个s三层感知器，此输出即为重建点云T′。在实验中单个点云的点数为2048，在一个正方形中选择m个网格点，所以将m的大小设置为2025，它是最接近2048的平方数。输入点云x与重建点云x′之前的重建损失定义为Chamfer Distance：

本发明具有两个连续的折叠运算。第一个折叠二维网格到三维空间，第二个折叠在三维空间内。两次折叠操作的组合可以产生相当精细的表面形状。

本发明采用类PointNet的结构作为增强器的特征提取器。首先提取点云特征F＝R

步骤1：固定分类器参数，向增强器输入原始样本T

L

其中，L(T

其中，

步骤2：将T

L

其中，γ用来平衡不同损失的权重，本发明将γ的值设定为10。||f

实验预处理包括使用geomagic软件对兵马俑佣体进行分类切割：共分为头、手臂、身体、腿四个部位。

实验下采样采用迭代最远点采样方法是指通过迭代最远点采样(IFPS)的方法简化点云点数为2048，

实验使用的是ShapeNetpart数据集和兵马俑碎片点云数据集，第一阶段的无监督特征提取网络使用ShapeNetpart数据集进行预训练，使用Adam对其训练400epoch，初始学习率0.0001、batch size为16。一阶动量为0.9，二阶动量为0.999。第二阶段的基于样本自增强的分类网络使用兵马俑碎片点云数据集进行训练与测试。训练周期设为300，batchsize为24。增强器使用Adam优化器，初始学习率设定为为0.001。分类器使用初始学习率为0.001的Adam优化器，学习率每20个周期以0.5的衰减率逐渐降低，具体实验对比结果见表2。

表2实验对比结果

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。