一种基于动态图卷积神经网络的点云分析方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于动态图卷积神经网络的点云分析方法。

背景技术

随着3D采集技术的快速发展，3D传感器应用越来越广泛，也越来越便宜，包括各种类型的3D扫描仪、激光雷达、RGB-D相机(如Kinect、RealSense和Apple depth相机)。这些传感器采集的三维数据可以提供丰富的几何、形状和尺度信息。辅以2D图像，3D数据为机器更好地了解周围环境提供了机会。3D数据在不同领域有许多应用，包括自动驾驶、机器人、遥感和医疗。目前3d点云分析主要分为三类方法，基于点、基于体素和基于多视角，其中基于点的方法是目前较为主流的方法，典型的二维图像深度学习方法由于其固有的数据不规则性，不能直接应用于三维点云，PointNet作为一项开创性的工作提出一种直接对于点云进行处理的网络，由于它的简单性和较强的表示能力，后期许多工作例如Mo-Net、PointWet、PointASNL等等网络都是在PointNet的基础上发展起来。

先进的深度神经网络专门设计用于处理点云的不规则性，直接处理原始点云数据，而不传递给中间的常规表示形式，这种方法由PointNet率先提出，它可以通过对每个点进行独立运算并随后应用对称函数来累积特征来实现点的置换不变性。PointNet的各种扩展都考虑了点的邻域，而不是独立地作用于每个点，这些允许网络利用本地功能，从而改善基本模型的性能。这些技术在很大程度上独立地在局部尺度上处理点，以保持排列不变性。但是，这种独立性忽略了点之间的几何关系，从而提出了无法捕获局部特征的基本限制。最近提出的DGCNN方法很好的解决了特征过于独立的问题，但是计算边特征考虑的参数较少并且提取特征采取的最大池化方法过于简单，所以仍然损失了一部分局部信息。

发明内容

为解决上述问题，本发明公开了一种基于动态图卷积神经网络的点云分析方法，能够提高点云分类以及分割的准确率。

为达到上述目的，本发明的技术方案如下：

一种基于动态图卷积神经网络的点云分析方法，包括以下步骤：

步骤1：采集雷达视野下物体和场景的点云数据，搜集点云分析相关的数据集，制作训练和测试数据集，用作模型的训练，其具体包括：

步骤1.1：通过硬件设备(深度传感器，结构光，雷达设备等)直接得到物体的三维信息，若数据集中不包括训练集和数据集，则将得到的数据集按照4:1的比例，将数据集分为训练集和测试集。

步骤1.2：若数据集中已包括训练集和测试集，转至步骤2。

步骤2：建立深度学习网络模型，模型由三个模块组成，其中包括注意力图卷积模块、残差连接模块、动态更新模块；将步骤1得到的点云数据输入到网络中，通过注意力图卷积模块用于提取点云无序领域的特征，对于特征空间的点云仍然使用图卷积模块更新特征数据，残差网络用于信息的传导，将每层的输出融合得到的n×1024特征图经过池化模块和1×1卷积之后输出分类结果，将1×1024特征向量重复n次和前几次特征图结合经过1×1卷积之后输出分割结果，其具体包括：

步骤2.1：将步骤1得到的点云数据输入到第一层网络中，第一层网络输出注意力图卷积之后的N×64高维特征。注意力图卷积和LeakyReLU计算公式如下：

其中：

步骤2.2：将步骤2.1输出的N×64高位特征空间输入到第二层网络之中，第二层网络输出注意力图卷积之后的N×64高维特征。

步骤2.3：将步骤2.2输出的N×64高位特征空间输入到第三层网络之中，第三层网络输出注意力图卷积之后的N×128高维特征。

步骤2.4：将步骤2.3输出的N×128高位特征空间输入到第四层网络之中，第四层网络输出注意力图卷积之后的N×256高维特征。

步骤2.5：对每一层网络的输出都采用残差网络的模块，跳过下层网络直接连接其输出，例如：第一层网络的输出需要再连接的二层网络的输出作为第三层网络的输入，若两者的维度不同，则需要采用1×1卷积进行升维，一个残差块可以表示为：

步骤2.6：将每一层网络的输出都连接起来，通过一层全连接层升维到1024维度，将每层的输出融合得到的n×1024特征图经过池化模块和1×1卷积之后输出分类结果，将1×1024特征向量重复n次和前几次特征图结合经过1×1卷积之后输出分割结果。

步骤3：将点云数据输入到网络之中，对网络的参数进行训练，其具体包括：

步骤3.1：将步骤1得到的初始训练集输入到网络中。学习网络中的参数，记步骤2中的参数为Θ

步骤4：使用测试集对于步骤3训练出的网络进行测试，其具体包括：

步骤4.1：将步骤1中的测试集输入到保存的训练表现最好的网络模型之中，重复训练测试多次，选取表现最好的模型。

本发明的有益效果是：

本发明是可区分的，可以插入到现有的点云体系中，并且提高了点云分析的效率，既在精度上满足了要求，具有较强的鲁棒性，也为点云分析提供了一种新的解决方案。

本发明使用LeakyReLU激活函数代替ReLU激活函数，LeakyReLU激活函数在输入的负半区间内乘上一个很小的权重，使得负数区域不再饱和死掉，从而避免负区间神经元不再学习的问题。本发明融合了注意力网络，残差网络模块，并且采用一种动态的方式更新特征。

附图说明

图1是本发明中网络模型框架图；

图2是发明方法整体流程图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

实施例1：参见图1，一种基于动态图卷积神经网络的点云分析方法，包括以下步骤：

步骤1：采集雷达视野下物体和场景的点云数据，搜集点云分析相关的数据集，制作训练和测试数据集，用作模型的训练，其具体包括：

步骤1.1：通过硬件设备(深度传感器，结构光，雷达设备等)直接得到物体的三维信息，若数据集中不包括训练集和数据集，则将得到的数据集按照4比1的比例，将数据集分为训练集和测试集。

步骤1.2：若数据集中已包括训练集和测试集，转至步骤2。

步骤2：建立深度学习网络模型，模型由三个模块组成，其中包括注意力图卷积模块，残差连接模块，动态更新模块；将步骤1得到的点云数据输入到网络中，通过注意力图卷积模块用于提取点云无序领域的特征，对于特征空间的点云仍然使用图卷积模块更新特征数据，残差网络用于信息的传导，将每层的输出融合得到的n×1024特征图经过池化模块和1×1卷积之后输出分类结果，将1×1024特征向量重复n次和前几次特征图结合经过1×1卷积之后输出分割结果，其具体包括：

步骤2.1：将步骤1得到的点云数据输入到第一层网络中，第一层网络输出注意力图卷积之后的N×64高维特征。注意力图卷积和LeakyReLU计算公式如下：

其中：

步骤2.2：将步骤2.1输出的N×64高位特征空间输入到第二层网络之中，第二层网络输出注意力图卷积之后的N×64高维特征。

步骤2.3：将步骤2.2输出的N×64高位特征空间输入到第三层网络之中，第三层网络输出注意力图卷积之后的N×128高维特征。

步骤2.4：将步骤2.3输出的N×128高位特征空间输入到第四层网络之中，第四层网络输出注意力图卷积之后的N×256高维特征。

步骤2.5：对每一层网络的输出都采用残差网络的模块，跳过下层网络直接连接其输出，例如：第一层网络的输出需要再连接的二层网络的输出作为第三层网络的输入，若两者的维度不同，则需要采用1×1卷积进行升维，一个残差块可以表示为：

步骤2.6：将每一层网络的输出都连接起来，通过一层全连接层升维到1024维度，将每层的输出融合得到的n×1024特征图经过池化模块和1×1卷积之后输出分类结果，将1×1024特征向量重复n次和前几次特征图结合经过1×1卷积之后输出分割结果。

步骤3：将点云数据输入到网络之中，对网络的参数进行训练，其具体包括：

步骤3.1：将步骤1得到的初始训练集输入到网络中。学习网络中的参数，记步骤2中的参数为Θ

步骤4：使用测试集对于步骤3训练出的网络进行测试，其具体包括：

步骤4.1：将步骤1中的测试集输入到保存的训练表现最好的网络模型之中，重复训练测试多次，选取表现最好的模型。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。