基于深度学习的点云数据地物分类方法、系统与存储介质

技术领域

本发明涉及自然资源管理领域，具体而言涉及一种基于深度学习的点云数据地物分类方法、系统与存储介质。

背景技术

多光谱机载LiDAR系统能够同时获取地表面上地物的表面几何数据和多个波段的反射光谱，已成为一种快速的大范围空间数据获取手段，为地形测绘、土地覆盖类型分类、无缝浅水测深，环境建模、森林调查和植被类型分类、自然资源管理、灾害响应等开启了一个新的数据时代。

多光谱LiDAR点云数据应用的关键是多光谱LiDAR点云数据的分类，在现有技术中，主要包括基于特征提取的分类方法和机器学习的方法，由于大场景多光谱LiDAR三维点云数据的高密度、高冗余等特性，研究快速处理大场景三维点云数据的高效算法对实现三维点云数据的工程化应用、实时智能化解译起到了巨大的推动作用，但是也存在一定不足：

1、基于特征提取的分类方法，一般通过提取点云数据高程、强度、回波次数以及其他空间信息特征进行分类，这种分类方法大大提高点云的分类精度，但是基于手工设计的特征需要耗费大量的人力资源，存在参数调整困难、方法执行效率低的问题；

2、机器学习的方法，利用训练分类器进行分类，通常先将点云转换成二维平面的多视图或体素网格等中间形式，在此基础上使用三维卷积或二维卷积神经网络进行分类，这样不仅忽略了点云数据稀疏度的影响，而且破坏原始数据空间结构，从而产生一部分信息的损失。

发明内容

本发明的目的在于提供一种基于深度学习的点云数据地物分类方法、系统与存储介质，以解决现有技术中的问题。

为实现上述目的，本发明提供如下技术方案：

通过以下步骤1至步骤4构建地物分类模型，然后应用地物分类模型，通过以下步骤A至步骤B，确定目标场景中所有地物的分类结果：

步骤1、随机选取预设数量个场景，分别针对每个场景对应的点云数据集，并进一步针对点云数据集中的各个单一点云，获取单一点云分别所在波段的信息，并针对该单一点云所在波段，获得该波段周围预设距离范围内其他各波段中的各个单一点云、以及该其他各波段的信息，构成该单一点云所对应的多波段融合信息，进而获得该点云数据集所对应的单一融合点云数据集，即获得各场景点云数据集分别所对应的单一融合点云数据集，随后进入步骤2；

步骤2、分别针对各场景，提取场景所对应单一融合点云数据集中各个单一点云的三维坐标，根据单一点云三维坐标，对该场景按差值均匀切块，获得该场景所对应的各个子样本，并分别针对该场景中的各个子样本，对子样本中所包含单一点云的数量降采样到预设值，更新子样本中所包含的单一点云，待完成针对各场景中各子样本的降采样后进入步骤3；

步骤3、分别针对各个场景中的各个子样本，提取子样本中各个单一点云的三维坐标和特征信息，作为单一点云的维度信息，结合单一点云所对应的多波段融合信息，获得各个子样本的模型图结构，进入步骤4；

步骤4、分别针对各场景中各个子样本的模型图结构，获得模型图结构对应的边缘特征、局部特征和全局特征，即模型图结构对应的三个特征信息，进而获得场景分别所对应的三个特征信息，应用场景所对应的三个特征信息，针对地物分类模型进行构建，获得构建好的地物分类模型；

步骤A、按照步骤1和步骤3中的方法，针对各场景中的各个子样本，提取子样本中各个单一点云的分类信息，所述分类信息包括：维度信息、三维坐标信息和所在单一点云所对应的多波段融合信息，获得子样本的模型图结构，随后进入步骤B；

步骤B、针对目标场景，按照步骤4的方法应用地物分类模型，获得模型图结构对应的三个特征信息，进而获得目标场景对应的三个特征信息，执行对各个目标场景内地物的分类，得到分类结果。

优选地，所述步骤2包括以下步骤：

步骤2-1、提取单一点云三维坐标中横坐标和纵坐标信息为(X,Y)，对场景按差值均匀切块：

其中，X

步骤2-2、对子样本中包含的单一点云利用最远点采样法，将子样本中单一点云数量降至预设值，并对子样本中的单一点云进行更新。

优选地，所述步骤3包括以下步骤：

步骤3-1、将场景中各个子样本中的单一点云的三维坐标和特征信息，作为单一点云的维度信息，结合维度信息和单一点云所对应的多波段融合信息，单一点云数量n与单一点云的维度信息m形成n×m的输入点集，选择m×m的仿射变换矩阵与输入点集相乘，得到对齐输入点集，完成空间变换操作；

步骤3-2、将对齐输入点集包含的所有单一点云作为中心单一点云，通过k最邻近方法查找与每个中心单一点云关联的所有邻近单一点云以及邻近单一点云索引，从邻近单一点云索引中得到邻近单一点云的特征信息，连接中心单一点云与其邻近单一点云，形成子样本的模型图结构。

优选地，所述步骤4包括以下步骤：

步骤4-1、将模型图结构包含的中心单一点云的特征信息与邻近单一点云的特征信息输入至多层感知机中，经过边缘函数提取边缘特征；

步骤4-2、利用对称函数最大池化沿边缘特征方向提取模型图结构的局部特征，对模型图结构中的中心单一点云和邻近单一点云进行更新，生成单一特征；

步骤4-3、重复步骤4-2至步骤4-4，获得多个局部特征，将多次获得的局部特征拼接，得到点云数据集的全局特征。

优选地，述步骤B包括以下步骤：

步骤B-1、拼接子样本的模型图结构的全局特征和多个局部特征，并依次输入至多层感知机和最大池化函数中，实现地物点云特征的自动提取和分类；

步骤B-2、所述多层感知机内部通过训练模型参数，使得模型损失函数值最小，优化分类结果，完成地物分类。

根据本发明公开的第二方面，还提出一种基于深度学习的多光谱点云数据地物分类系统，包括：

一个或多个处理器；

存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，通过以下步骤1至步骤4构建地物分类模型，通过以下步骤A至步骤B应用地物分类模型，确定场景中所有地物的分类结果，其中，构建地物分类模型包括以下步骤：

步骤1、随机选取预设数量个场景，分别针对每个场景对应的点云数据集，并进一步针对点云数据集中的各个单一点云，获取单一点云分别所在波段的信息，并针对该单一点云所在波段，获得该波段周围预设距离范围内其他各波段中的各个单一点云、以及该其他各波段的信息，构成该单一点云所对应的多波段融合信息，进而获得该点云数据集所对应的单一融合点云数据集，即获得各场景点云数据集分别所对应的单一融合点云数据集，随后进入步骤2；

步骤2、分别针对各场景，提取场景所对应单一融合点云数据集中各个单一点云的三维坐标，根据单一点云三维坐标，对该场景按差值均匀切块，获得该场景所对应的各个子样本，并分别针对该场景中的各个子样本，对子样本中所包含单一点云的数量降采样到预设值，更新子样本中所包含的单一点云，待完成针对各场景中各子样本的降采样后进入步骤3；

步骤3、分别针对各个场景中的各个子样本，提取子样本中各个单一点云的三维坐标和特征信息，作为单一点云的维度信息，结合单一点云所对应的多波段融合信息，获得各个子样本的模型图结构，进入步骤4；

步骤4、分别针对各场景中各个子样本的模型图结构，获得模型图结构对应的边缘特征、局部特征和全局特征，即模型图结构对应的三个特征信息，进而获得场景分别所对应的三个特征信息，应用场景所对应的三个特征信息，针对地物分类模型进行构建，获得构建好的地物分类模型；

步骤A、按照步骤1和步骤3中的方法，针对各场景中的各个子样本，提取子样本中各个单一点云的分类信息，所述分类信息包括：维度信息、三维坐标信息和所在单一点云所对应的多波段融合信息，获得子样本的模型图结构，随后进入步骤B；

步骤B、针对目标场景，按照步骤4的方法应用地物分类模型，获得模型图结构对应的三个特征信息，进而获得目标场景对应的三个特征信息，执行对各个目标场景内地物的分类，得到分类结果。

根据本发明公开的第三方面还提出一种存储软件的计算机可读取介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，通过以下步骤1至步骤4构建地物分类模型，通过以下步骤A至步骤B应用地物分类模型，确定场景中所有地物的分类结果，其中，构建地物分类模型包括以下步骤：

步骤1、随机选取预设数量个场景，分别针对每个场景对应的点云数据集，并进一步针对点云数据集中的各个单一点云，获取单一点云分别所在波段的信息，并针对该单一点云所在波段，获得该波段周围预设距离范围内其他各波段中的各个单一点云、以及该其他各波段的信息，构成该单一点云所对应的多波段融合信息，进而获得该点云数据集所对应的单一融合点云数据集，即获得各场景点云数据集分别所对应的单一融合点云数据集，随后进入步骤2；

步骤2、分别针对各场景，提取场景所对应单一融合点云数据集中各个单一点云的三维坐标，根据单一点云三维坐标，对该场景按差值均匀切块，获得该场景所对应的各个子样本，并分别针对该场景中的各个子样本，对子样本中所包含单一点云的数量降采样到预设值，更新子样本中所包含的单一点云，待完成针对各场景中各子样本的降采样后进入步骤3；

步骤3、分别针对各个场景中的各个子样本，提取子样本中各个单一点云的三维坐标和特征信息，作为单一点云的维度信息，结合单一点云所对应的多波段融合信息，获得各个子样本的模型图结构，进入步骤4；

步骤4、分别针对各场景中各个子样本的模型图结构，获得模型图结构对应的边缘特征、局部特征和全局特征，即模型图结构对应的三个特征信息，进而获得场景分别所对应的三个特征信息，应用场景所对应的三个特征信息，针对地物分类模型进行构建，获得构建好的地物分类模型；

步骤A、按照步骤1和步骤3中的方法，针对各场景中的各个子样本，提取子样本中各个单一点云的分类信息，所述分类信息包括：维度信息、三维坐标信息和所在单一点云所对应的多波段融合信息，获得子样本的模型图结构，随后进入步骤B；

步骤B、针对目标场景，按照步骤4的方法应用地物分类模型，获得模型图结构对应的三个特征信息，进而获得目标场景对应的三个特征信息，执行对各个目标场景内地物的分类，得到分类结果。

本发明所述一种，采用以上技术方案与现有技术相比，具有以下技术效果：

本发明采用一种端到端的处理模式，特征的提取与目标的检测过程由网络自动完成，不需要过多的人工干涉，提取出的特征抽象程度更高、表达能力更强、显著性与可区分度更高、鲁棒性更强，因此，基于深度学习的三维目标检测的性能也更高，能够在处理较为复杂的三维点云场景中突显其优越性。

附图说明

图1为本发明示例性实施例的地物分类方法的流程图；

图2为本发明示例性实施例的空间变换结构示意图；

图3为本发明示例性实施例的局部图结构示意图；

图4为本发明示例性实施例的动态图神经网络模型示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

结合图1和图2所示的本发明示例性实施例地物分类方法的流程，通过以下步骤1至步骤4构建地物分类模型，然后应用地物分类模型，通过以下步骤A至步骤B，确定目标场景中所有地物的分类结果：

步骤1、从多光谱LiDAR系统中，随机选取预设数量个场景，分别针对每个场景对应的点云数据集，并进一步针对点云数据集中的各个单一点云，获取单一点云分别所在波段的信息，并针对该单一点云所在波段，获得该波段周围预设距离范围内其他各波段中的各个单一点云、以及该其他各波段的信息，构成该单一点云所对应的多波段融合信息，进而获得该点云数据集所对应的单一融合点云数据集，即获得各场景点云数据集分别所对应的单一融合点云数据集，随后进入步骤2；

步骤2、分别针对各场景，提取场景所对应单一融合点云数据集中各个单一点云的三维坐标，根据单一点云三维坐标，对该场景按差值均匀切块，获得该场景所对应的各个子样本，并分别针对该场景中的各个子样本，对子样本中所包含单一点云的数量降采样到预设值，更新子样本中所包含的单一点云，待完成针对各场景中各子样本的降采样后进入步骤3，其中所述步骤2包括以下步骤：

步骤2-1、提取单一点云三维坐标中横坐标和纵坐标信息为(X,Y)，对场景按差值均匀切块：

其中，X

步骤2-2、对子样本中包含的n个单一点云中随机选取任一点p

步骤3、分别针对各个场景中的各个子样本，提取子样本中各个单一点云的三维坐标和特征信息，作为单一点云的维度信息，结合单一点云所对应的多波段融合信息，获得各个子样本的模型图结构，进入步骤4；

优选地，在步骤3中，结合图3获取子样本对应的模型图结构，具体包括：

步骤3-1、将场景中各个子样本中的单一点云的三维坐标和特征信息，作为单一点云的维度信息，结合维度信息和单一点云所对应的多波段融合信息，单一点云数量n与单一点云的维度信息m形成n×m的输入点集，选择m×m的仿射变换矩阵与输入点集相乘，得到对齐输入点集，完成空间变换操作，在该实施例中，m＝6；

步骤3-2、将对齐输入点集包含的所有单一点云作为中心单一点云，通过k最邻近(k-NN)方法查找与每个中心单一点云关联的所有邻近单一点云以及邻近单一点云索引，从邻近单一点云索引中得到邻近单一点云的特征信息，连接中心单一点云与其邻近单一点云，形成子样本的模型图结构。

步骤4、分别针对各场景中各个子样本的模型图结构，获得模型图结构对应的边缘特征、局部特征和全局特征，即模型图结构对应的三个特征信息，进而获得场景分别所对应的三个特征信息，应用场景所对应的三个特征信息，针对地物分类模型进行构建，获得构建好的地物分类模型，具体包括：

步骤4-1、将模型图结构包含的中心单一点云的特征信息与邻近单一点云的特征信息输入至多层感知机中，经过边缘函数提取边缘特征，边缘函数构造如下：

其中，x

步骤4-2、利用对称函数最大池化沿边缘特征方向提取模型图结构的局部特征，对模型图结构中的中心单一点云和邻近单一点云进行更新，生成单一特征，即：

其中，x

步骤4-3、重复步骤4-2至步骤4-4，获得多个局部特征，将多次获得的局部特征拼接，得到点云数据集的全局特征。

步骤A、按照步骤1和步骤3中的方法，针对各场景中的各个子样本，提取子样本中各个单一点云的分类信息，所述分类信息包括：维度信息、三维坐标信息和所在单一点云所对应的多波段融合信息，获得子样本的模型图结构，随后进入步骤B；

步骤B、针对目标场景，按照步骤4的方法应用地物分类模型，获得模型图结构对应的三个特征信息，进而获得目标场景对应的三个特征信息，执行对各个目标场景内地物的分类，得到分类结果，结合图4具体包括：

步骤B-1、拼接子样本的模型图结构的全局特征和多个局部特征，并依次输入至多层感知机和最大池化函数中，实现地物点云特征的自动提取和分类；

步骤B-2、所述多层感知机内部通过训练模型参数，使得模型损失函数值最小，优化分类结果，完成地物分类，其中多层感知机(MLP)内部计算方式如下：

f(x)＝wx+b

其中，w为权重，b为偏置，w,b均为模型参数；

在本实施例中，结合图4，将N个具有6个特征的单一点云输入网络，经过空间变换获得对齐输入点集，经过三次边缘卷积以及三次MLP[64,64]特征提取操作获取三个64维局部特征，然后将第三次得到的局部特征经过MLP[1024]和最大池化函数获取1024维全局特征，最后将全局特征和三个局部特征连结输入到MLP[256,256,128,p]中，获取每个点对应种类的得分矩阵N×p，在本实施例中p＝6，即地物自动分为6类；

在构建地物分类模型的任一个构建周期中，通过随机梯度下降不断更新权重和偏置，训练优化器使得损失函数值最小，即：

其中，t为第t个训练周期，w

根据本发明公开的实施例，还提出一种点云数据地物分类系统，包括：

一个或多个处理器；

存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括执行前述任一实施例的地物分类方法的过程。

尤其优选的，前述的处理器为计算机系统的处理器，包括但不限于基于ARM的嵌入式处理器、基于X86的微处理器或者基于类型的处理器。

存储器被设置成可存储数据的载体，通常包括RAM和ROM。

应当理解，计算机系统可以通过总线与各子系统进行通信，获取相应参数，实现对各子系统的运行实施控制。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。