基于自监督学习的旋转鲁棒的点云分类方法

技术领域

本发明涉及三维点云识别和特征学习技术领域，更具体地，涉及一种基于自监督学习的旋转鲁棒的点云分类方法。

背景技术

点云在计算机视觉、自动驾驶、机器人等领域有着广泛的应用，近年来受到越来越多的关注。深度学习作为人工智能中的一种主流技术，已经成功地应用于解决各种二维视觉问题。然而，由于用深度神经网络处理点云所面临的独特挑战，对点云的深度学习仍处于起步阶段。随着Qi等人提出pointnet[Charles R Qi,Hao Su,Kaichun Mo,and Leonidas JGuibas.Pointnet:Deep learning on point sets for 3d classification andsegmentation.In Computer Vision and Pattern Recogni-tion,pages652–660,2017]，创新的解决了点云数据无序性的问题，各类用于点云深度学习的算法层出不穷。

减少数据标注成本已经成为深度学习领域一个不可回避的研究课题，最近，何凯明等人提出的自监督算法MoCo[He,Kaiming,et al."Momentum contrast forunsupervised visual representation learning."Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition.2020]，表现出了优异的性能，使得自监督学习这一领域火热起来。自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。考虑到三维数据标注的人工成本，研究如何用自监督学习方法在大量激光雷达扫描得到的无标注数据上学习表征意义重大。

点云的深度学习网络应该具有一定的鲁棒性，以便应用到现实的场景中。然而，当前的大部分点云深度学习网络并不能很好的平衡性能和算法的健壮性，许多在对齐数据集上性能优异的网络，基本上无法正确分类扰动后的数据，即使进行旋转相关的数据增强，网络的泛化性能也会大幅度降低。另一方面，某些研究专注于设计具有旋转不变能力的网络，通过获取点云数据中旋转不变的特征实现，但因为这个过程中信息的损失，性能稍有下降。

现有技术之一，通过逐点变换实现无监督图神经网络共变特征学习[Gao,Xiang,Wei Hu,and Guo-Jun Qi."GraphTER:Unsupervised learning of graph transformationequivariant representations via auto-encoding node-wise transformations."Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition.2020]，提出了一种基于图的自动编码器网络。该网络对原始图和变换后的图进行编码，以便可以从这两种特征表示中重建出图信号上的变换。具体为通过预测图的变换，如平移、剪切、旋转，实现自监督学习，得到点云的表征，应用到分类任务时需要固定骨干网络的参数，有监督地训练分类器。

然而该方法的旋转鲁棒性较差。即使经过任意旋转的数据增强，对输入的三维点云数据进行任意旋转后，测试集的分类准确率会下降，也即网络的泛化能力下降。

现有技术之二，一种基于深度学习的点云旋转不变网络[Zhang,Zhiyuan,et al."Rotation invariant convolutions for 3d point clouds deep learning."2019International Conference on 3D Vision(3DV).IEEE,2019]，该发明通过手工构造旋转不变的特征，如长度，夹角，重心等，然后输入到神经网络中训练得到点云的分类分割结果。

然而该方法提取的特征为作者手工构造，丢失了部分信息，使得分类的效果下降。

发明内容

本发明为克服上述现有的技术难以兼顾性能和旋转鲁棒性的问题，提供了一种基于自监督学习的旋转鲁棒的点云分类方法，其能实现在保持较高性能的情况下拥有较高的旋转鲁棒性。

为解决上述技术问题，本发明的技术方案如下：一种基于自监督学习的旋转鲁棒的点云分类方法，所述的方法步骤包括如下：

S1：获取三维点云数据，并对三维点云数据进行预处理，得到三维点云的三维坐标序列；

S2：将步骤S1得到的三维点云的三维坐标序列输入预设的自监督学习网络进行训练，训练好的自监督学习网络中的骨干网络输出为对应三维点云模型的高维表征；

S3：将步骤S1得到的三维点云的三维坐标序列进行多次空间变换，得到多个模型并输入S2训练好的骨干网络，每个模型得到对应的三维点云的高维表征；

S4：结合通过步骤S3得到的多个高维表征得到最终表征，并用最终表征和对应的类别标注信息有监督学习得到网络参数，根据网络参数生成目标分类器；

S5：在预测阶段，将待分类的三维点云数据进行预处理后，输入目标分类器完成点云分类。

优选地，所述的预处理包括归一化、采样，将三维点云的坐标归一化到-1到1之间，然后用最远点采样算法对每个三维点云数据进行采样，从而得到三维点云的三维坐标序列。

进一步地，对自监督学习网络训练如下：

S201：对三维点云的三维坐标序列X进行随机旋转变换t得到变换后的三维点云的三维坐标序列Y，将三维坐标序列X、三维坐标序列Y分别输入到骨干网络中得到对应模型的高维特征

S202：将高维特征

S203：把高维特征

再进一步地，所述的骨干网络采用去掉最后全连接层的DGCNN。

再进一步地，步骤S3，具体地，对每个三维点云的三维坐标序列做如下变换，绕三维空间中的x轴，分别旋转1/4，2/4，3/4和1个弧度，再加上原始的三维点云，分别输入到骨干网络中，得到5个高维表征。

再进一步地，步骤S4，具体地，

S401：将5个高维表征通分别过一个卷积模块压缩特征，然后在维度方向上分别进行全局最大池化和全局平均池化，将两种池化得到的结果级联得到中间特征，把这些中间特征在维度方向上拼接，得到维度为5*C的拼接特征，其中C为中间特征的维度；

S402：将拼接特征进行全局最大池化和全局平均池化，然后再级联，得到最终用于分类的最终特征；将最终特征输入预设的神经网络分类器模块，得到包括每个类别置信度得分的向量，用该向量与输入三维模型的对应类别计算交叉熵损失用于训练，得到目标分类器的网络参数。

再进一步地，在训练过程中，骨干网络的参数冻结，不参与训练。

再进一步地，步骤S5，待分类的三维点云通过归一化、采样进行预处理后，按照S402的方法得到最终特征，再输入目标分类器网络，得到包括每个类别预测得分的向量，向量中分数最大的值所对应的类别即为整个网络对该输入的三维点云预测的类别。

一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时，实现所述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，实现所述的方法的步骤。

与现有技术相比，本发明技术方案的有益效果是：

本发明通过自监督学习自动提取点云的结构信息，这些信息中包含了旋转变换相关的信息，使得本发明在无需人工构造特征的情况下可以有较好的旋转鲁棒性。

本发明在学习骨干网络参数时无需使用有标注的数据而是通过自监督学习，可以利用到大量其他数据集的无标注三维点云数据参与训练，提高自监督学习得到的高维表征的泛化性能，有助于提高后续训练目标分类器模块的性能。

附图说明

图1为本发明提供的点云分类方法的步骤流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，仅用于示例性说明，不能理解为对本专利的限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种基于自监督学习的旋转鲁棒的点云分类方法，所述的方法步骤包括如下：

S1：获取三维点云数据，并对三维点云数据进行预处理，得到三维点云的三维坐标序列；

S2：将步骤S1得到的三维点云的三维坐标序列输入预设的自监督学习网络进行训练，训练好的自监督学习网络中的骨干网络输出为对应三维点云模型的高维表征；

S3：将步骤S1得到的三维点云的三维坐标序列进行多次空间变换，得到多个模型并输入S2训练好的骨干网络，每个模型得到对应的三维点云的高维表征；

S4：结合通过步骤S3得到的多个高维表征得到最终表征，并用最终表征和对应的类别标注信息有监督学习得到网络参数，根据网络参数生成目标分类器；

S5：在预测阶段，将待分类的三维点云数据进行预处理后，输入目标分类器完成点云分类。

在一个具体的实施例中，所述的预处理包括归一化、采样，所述的三维点云数据来自与ModelNet40数据集，该数据集包含了40个类别的三维模型的每个点的原始三维坐标以及该点上的法向量，只需要取出其中的原始三维坐标，然后将三维点云的坐标归一化到-1到1之间，然后用最远点采样算法对每个三维点云数据进行采样，从而得到三维点云的三维坐标序列。

在一个具体的实施例中，对自监督学习网络训练如下：

S201：对三维点云的三维坐标序列X进行随机旋转变换t得到变换后的三维点云的三维坐标序列Y，将三维坐标序列X、三维坐标序列Y分别输入到骨干网络中得到对应模型的高维特征

本实施例中的骨干网络可用现有的其他点云分类网络的特征提取模块替代，主要以pointnet++为代表，此类网络是对部分采样点提取特征，在进行自监督任务前需要进行反卷积以增加特征在点数量方向上的维度，在这个过程中会损失部分信息。

S202：将高维特征

S203：把高维特征

在一个具体的实施例中，步骤S3，具体地，对每个三维点云的三维坐标序列做如下变换，绕三维空间中的x轴，分别旋转1/4，2/4，3/4和1个弧度，再加上原始的三维点云，分别输入到骨干网络中，得到5个高维表征。

在一个具体的实施例中，步骤S4，具体地，S401：将5个高维表征通分别过一个卷积模块压缩特征，然后在维度方向上分别进行全局最大池化和全局平均池化，将两种池化得到的结果级联得到中间特征，把这些中间特征在维度方向上拼接，得到维度为5*C的拼接特征，其中C为中间特征的维度；

S402：将拼接特征进行全局最大池化和全局平均池化，然后再级联，得到最终用于分类的最终特征；将最终特征输入预设的神经网络分类器模块，得到包括每个类别置信度得分的向量，用该向量与输入三维模型的对应类别计算交叉熵损失用于训练，得到目标分类器的网络参数。在训练过程中，骨干网络的参数冻结，不参与训练。

本实施例中的提取最终特征的卷积模块压缩特征，可用其他具有排列不变性的模块替代，如Set Transformer，但该方案的内存占用较大、速度较慢且实现复杂，本方案中采用简单的具有排列不变性性质的池化函数，容易实现且训练成本较低。

在一个具体的实施例中，步骤S5，待分类的三维点云通过归一化、采样进行预处理后，按照S402的方法得到最终特征，再输入目标分类器网络，得到包括每个类别预测得分的向量，向量中分数最大的值所对应的类别即为整个网络对该输入的三维点云预测的类别。

本实施例通过自监督学习自动提取点云的结构信息，这些信息中包含了旋转变换相关的信息，使得本发明在无需人工构造特征的情况下可以有较好的旋转鲁棒性，同时性能上也有较好的表现，在ModelNet40数据集的测试集上达到了89.36％的分类准确率。

本实施例在学习骨干网络参数时无需使用有标注的数据而是通过自监督学习，可以利用到大量其他数据集的无标注三维点云数据参与训练，提高自监督学习得到的高维表征的泛化性能，有助于提高后续训练目标分类器模块的性能。

本实施例中的骨干网络在训练好以后即固定参数，只需根据不同的分类任务重新训练分类器，在这个过程中无需重新训练骨干网络，节约了训练成本。在训练和使用分类器的时候，由于多个变换后的模型之间没有依赖关系，使用共享的骨干网络提取特征，所以可以用并行计算进行优化，极大的提升训练和预测的速度。根据算力和需求之间的权衡，本发明可以相对应地调整输入分类器的三维模型的变换数量，以满足不同情况下的需求。

实施例2

一种计算机系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述的处理器执行所述的计算机程序时，实现的方法步骤如下：

S1：获取三维点云数据，并对三维点云数据进行预处理，得到三维点云的三维坐标序列；

S2：将步骤S1得到的三维点云的三维坐标序列输入预设的自监督学习网络进行训练，训练好的自监督学习网络中的骨干网络输出为对应三维点云模型的高维表征；

S3：将步骤S1得到的三维点云进行多次空间变换，得到多个模型并输入S2训练好的骨干网络，每个模型得到对应的三维点云的高维表征；

S4：结合通过步骤S3得到的多个高维表征得到最终表征，并用最终表征和对应的类别标注信息有监督学习得到网络参数，根据网络参数生成目标分类器；

S5：在预测阶段，将待分类的三维点云模型预处理后，输入目标分类器完成点云分类。

实施例3

一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时，实现所述的方法步骤如下：

S1：获取三维点云数据，并对三维点云数据进行预处理，得到三维点云的三维坐标序列；

S2：将步骤S1得到的三维点云的三维坐标序列输入预设的自监督学习网络进行训练，训练好的自监督学习网络中的骨干网络输出为对应三维点云模型的高维表征；

S3：将步骤S1得到的三维点云进行多次空间变换，得到多个模型并输入S2训练好的骨干网络，每个模型得到对应的三维点云的高维表征；

S4：结合通过步骤S3得到的多个高维表征得到最终表征，并用最终表征和对应的类别标注信息有监督学习得到网络参数，根据网络参数生成目标分类器；

S5：在预测阶段，将待分类的三维点云模型预处理后，输入目标分类器完成点云分类。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。