一种基于激光雷达与深度学习检测水面面积的方法和系统

技术领域

本发明涉及数据分析技术领域，具体涉及一种基于激光雷达与深度学习检测水面面积的方法和系统。

背景技术

无人机Unmanned Aerial Vehicles(UAVs)在各个领域有广泛应用，但由于环境多变，地形复杂等因素，无人机的巡检与勘测任务仍然需要人力来完成。现阶段无人机在大部分任务中充当的是采集数据的工具，在地面勘测任务中，无人机无法实时识别路面的具体情况，比如无法对地表水面进行实时的识别，地面勘测任务还需要人力来完成。

现有技术中，对水面识别的技术大多数是通过遥感数据来实现的，遥感的图像得到的数据精确度高，可达到分米级别，但从大范围的图像中筛选过滤得到目标数据需要很多的处理过程与处理时间，而且这些处理工作大部分都是通过后期人工来完成的，不够智能化。这些技术对于水渠、小河道、池塘、雨水沉积形成的水面的识别会花费很多时间、人力和资源等成本，最终识别结果会因为这些水面部分面积较小并且会实时变化的特点而不准确。

发明内容

本发明的目的是解决无人机无法实时识别路面的具体情况，而遥感数据识别水面区域成本高的问题，提供一种基于激光雷达与深度学习检测水面面积的方法和系统，通过机载计算机对点云数据和图像数据进行处理，可对目标检测区域进行实时的检测与识别，确定水面区域面积，节省了人力资源成本，提高了检测效率和检测精度。

本说明书实施例提供以下技术方案：

本发明提供一种基于激光雷达与深度学习检测水面面积的方法，包括：

获取无人机的飞行数据信息；

获取预设范围内的点云数据和图像数据；

判断点云数据中是否包含有第一水面数据；

当确定点云数据中包含有第一水面数据时，判断图像数据中是否包含第二水面数据；

当确定图像数据中包含第二水面数据时，结合第二水面数据和飞行数据信息计算出水面面积，并保存水面面积。

实施中，通过安装在无人机上的飞控模块实时获取飞行数据信息，其中，飞行数据信息包括无人机的飞行位置、飞行高度、检测区域图像比例等。优选地，将飞行数据信息实时保存到飞行数据信息文件中。

实施中，通过激光雷达采集预设范围内的点云数据，利用激光雷达信号在水面上无法正常回波的特点，基于点云数据聚类算法，对激光雷达采集到的点云数据进行分析与聚类，计算得到点云数据的损失数量，当损失数量达到第一阈值时，判断点云数据中包括第一水面数据。优选地，将点云数据实时保存到点云数据文件中。

实施中，通过机载相机采集预设范围内的图像数据，将图像数据输入基于深度学习算法的模型中，利用基于深度学习算法的模型，获取预设范围内的各个区域的图像特征，根据图像特征判断图像数据中是否包含第二水面数据。优选地，将图像数据实时保存到图像数据文件中。

实施中，当确定预设范围内的点云数据中包含有第一水面数据时，检测机载相机在相同范围中获取的图像数据，通过深度学习算法检测相同范围内是否包含有第二水面数据，并且当图像数据中包含第二水面数据时，根据第二水面数据，结合飞行数据信息中的飞行高度、位置和检测区域图像比例等信息，按照实际比例计算出水面面积，并保存。

实施中，激光雷达在黑夜或白天均可进行远距离的探测，并且不受光照、雨雾等天气因素的影响，可监测区距离远，且监测效率高；而相机模块对图形的监测更为准确，但是对图像数据的处理成本较高，需要对图像数据进行大量处理才能提取有效信息，因此，基于激光雷达监测到有第一水面数据之后再判断相机采集的图像数据中是否包括有第二水面数，使得对预设范围内的数据监测更加精确，同时，减少了数据处理数量，降低了系统成本。

本发明书实施例中，通过激光雷达实时获取点云数据，通过机载相机实时获取图像数据，并通过机载计算机分别对点云数据和图像数据进行处理和计算。激光雷达与机载相机的融合使用，实现了对水面的实时检测，从而实现无人机在路面勘测或水面检测任务中智能识别的功能。

当机载计算机确定点云数据存在水面区域时，再对图像数据中相同范围内图像数据进行计算，减少了对图像数据的计算过程，同时，点云数据和图像数据的融合计算，提高了对水面区域的识别准确率，提高了检测精度。

在一些实施方式中，一种基于激光雷达与深度学习检测水面面积的方法，还包括：当确定图像数据中不包含第二水面数据时，保存图像数据，并基于飞行数据信息对图像数据进行标记，对图像数据采用深度学习算法进行训练。

实施中，基于深度学习算法建立训练模型，当确定预设范围内的点云数据中包含有第一水面数据且图像数据中不包含第二水面数据时，选取目标进行人工标记，再将目标输入到训练模型中进行训练，以确定经过训练的目标不包含水面数据。通过使用人工标记目标进行训练的方式，对训练模型中的深度学习算法进行修正，以便提高深度学习算法的识别率。

在一些实施方式中，一种基于激光雷达与深度学习检测水面面积的方法，还包括：当确定点云数据中不包含第一水面数据时，更新预设范围，检测更新后预设范围内的点云数据。

实施中，通过激光雷达采集预设范围内的点云数据，利用激光雷达信号在水面上无法正常回波的特点，基于点云数据聚类算法，对激光雷达采集到的点云数据进行分析与聚类，计算得到点云数据的损失数量，当损失数量小于第一阈值时，判断点云数据中不包括第一水面数据。由飞控模块控制无人机继续运行，更新检测范围，采集更新后预设范围内的点云数据，进行分析与聚类。

实施中，当机载计算机确定点云数据存在水面区域时，再对图像数据中相同范围内图像数据进行计算；当点云数据不存在水面区域时，无需对图像数据做处理，减少了对图像数据的计算过程，有效提高工作效率。

在一些实施方式中，判断点云数据中是否包含有第一水面数据，包括：

对点云数据进行预处理；

基于点云数据聚类算法，计算点云数据在预设范围内的损失数量；

当损失数量不小于第一阈值时，判断点云数据包括第一水面数据。

实施中，对激光雷达采集的点云数据进行预处理，预处理过程包括对点云数据进行滤波处理、对点云数据进行分割处理；利用激光雷达信号在水面上无法正常回波的特点，基于点云数据聚类算法，对激光雷达采集到的点云数据进行分析与聚类，计算得到点云数据的损失数量；当损失数量不小于第一阈值时，判断点云数据中包括第一水面数据。当损失数量小于第一阈值时，判断点云数据中不包括第一水面数据。优选地，将点云数据实时保存到点云数据文件中。

需要说明的时，第一阈值为用于确定点云数据中损失数量是否满足水面反射激光雷达信号损失的参数值，具体可根据实际使用的硬件设备等设定，在此不做限制。

在一些实施方式中，判断图像数据中是否包含第二水面数据；

对图像数据进行预处理；

利用深度学习Unet算法对处理后的图像数据进行训练，得到深度学习模型；

基于深度学习模型，判断图像数据中是否包含第二水面数据。

实施中，对机载相机采集的图像数据进行预处理，预处理包括对图像数据进行图像增强等处理；基于深度学习算法设立训练模型，将经过预处理的图像数据输入到训练模型中进行训练，提取图像数据中的图像特征；当图像特征中包括有符合水面数据的信息时，判断图像数据中包含第二水面数据；当图像特征中不包括有符合水面数据的信息时，判断图像数据中不包含第二水面数据，对激光雷达中识别到的第一水面数据进行人工标注，并根据人工标注信息对训练模型中的深度学习算法进行修正。

本发明还提供一种基于激光雷达与深度学习检测水面面积的系统，系统用于执行本发明实施例提供的任意一项的方法步骤，包括：

飞控模块，飞控模块安装在无人机上，用于获取无人机的飞行数据信息；

雷达模块，基于激光雷达获取并输出预设检测范围中的点云数据；

相机模块，基于机载相机获取并输出预设检测范围中的图像数据；

机载计算机，对点云数据和图像数据进行处理，并结合飞行数据信息，计算并保存水面面积。

实施中，飞控模块和无人机一体连接，用于获取无人机的飞行数据信息，并控制无人机的运行路线。其中，飞行数据信息包括：无人机的飞行位置、飞行高度、检测区域图像比例等，通过对应的SDK将飞行数据信息传输到机载计算机。

通过机载计算机对点云数据和图像数据实时处理和计算，确定激光雷达和机载相机采集到的数据中有没有水面部分，融合激光雷达与机载相机中的数据的计算，实现了对水面的实时检测，从而实现无人机在路面勘测或水面检测任务中智能识别的功能，在降低成本地同时，提高了对水面区域的检测精度。

作为本发明的进一步改进，机载计算机包括：

第一判断模块，处理点云数据，并判断点云数据中是否包含有第一水面数据；

第二判断模块，处理图像数据，并判断图像数据中是否包含有第二水面数据；

数据处理模块，基于第二水面数据和飞行数据信息计算水面面积，并保存水面面积。

实施中，第一判断模块对激光雷达采集的点云数据进行滤波处理、分割处理等预处理，利用激光雷达信号在水面上无法正常回波的特点，基于点云数据聚类算法，对点云数据进行分析与聚类，计算得到点云数据的损失数量，当损失数量不小于第一阈值时，判断点云数据中包括第一水面数据。

实施中，第二判断模块对机载相机采集的图像数据进行图像增强等预处理，通过对预处理后的图像数据使用基于Unet的深度学习算法训练好的模型识别图像中的水面部分。

本发明的有益效果：

通过无人机负载的激光雷达采集点云数据、机载相机采集图像数据，通过机载计算机对点云数据和图像数据实时处理和计算，当确定点云数据存在水面区域并且图像数据中相同位置也存在水面区域时，根据图像数据信息和飞行数据信息计算水面区域面积；无需人工计算，节省了人力资源成本。

同时，激光雷达与机载相机的融合使用，实现了无人机对水面的实时勘测，从而实现无人机在路面勘测或水面检测任务中智能识别的功能，对水面区域的识别更加准确，提高了对水面区域的检测精度。

上述发明内容仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。

图1为本发明的一种基于激光雷达与深度学习检测水面面积的方法的流程图；

图2为本发明的一种基于激光雷达与深度学习检测水面面积的系统的结构图。

具体实施方式

为使本发明的目的、技术方案以及优点更加清楚明白，下面结合附图和实施例对本发明作进一步详细说明，应当理解的是，此处所描述的具体实施方式仅是本发明的一种最佳实施例，仅用以解释本发明，并不限定本发明的保护范围，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤；所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本发明提供一种基于激光雷达与深度学习检测水面面积的方法，如图1所示，包括：通过安装在无人机上的飞控模块实时获取飞行数据信息，通过雷达模块采集预设范围内的点云数据，通过相机模块采集预设范围内的图像数据；

飞行数据信息、点云数据和图像数据实时传输至机载计算机；

机载计算机基于点云数据聚类算法对点云数据进行处理，利用激光雷达信号在水面上无法正常回波的特点，检测点云数据中是否包括第一水面数据，当检测到点云数据中不包括第一水面数据，由飞控模块控制无人机继续运行，更新检测范围，采集更新后预设范围内的点云数据，进行分析与聚类；

当检测到点云数据存在水面区域时，对相同范围内图像数据进行计算，利用基于深度学习算法的模型，获取预设范围内的各个区域的图像特征，判断图像数据中是否包含第二水面数据，当图像数据中包含第二水面数据时，结合第二水面数据和飞行数据信息计算水面面积，并保存；

当检测到图像数据中不包含第二水面数据时，通过使用人工标记目标进行训练的方式，对训练模型中的深度学习算法进行修正，提高深度学习算法的识别率。

本发明书实施例中，通过激光雷达与机载相机的融合使用，实现了对水面的实时检测，从而实现无人机在路面勘测或水面检测任务中智能识别的功能，提高了对水面区域的识别准确率，提高了检测精度。

在一个具体的实施方式中，需要监测一个公园中池塘的水面面积，首先，通过无人机上的雷达模块获取整个公园的点云数据，经过对点云数据的计算可监测到点云数据中包括有第一水面数据，即池塘的点云数据，机载计算机对记载相机采集的图像数据进行处理，确定图像数据中包含有第二水面数据，即池塘的图像数据，根据池塘的图像数据以及飞行数据信息，计算出池塘面积。

本发明还提供一种基于激光雷达与深度学习检测水面面积的系统，如图2所示，包括：飞控模块，飞控模块和无人机一体连接，用于获取无人机的飞行数据信息，并控制无人机的运行路线。其中，飞行数据信息包括：无人机的飞行位置、飞行高度、检测区域图像比例等，通过对应的SDK将飞行数据信息传输到机载计算机；

优选地，无人机为大疆M300RTK。

优选地，机载计算机为大疆妙算Manifold 2，大疆妙算Manifold2的处理能力强，响应速度块，适配多款飞控系统。

雷达模块，雷达安装在无人机底部，用于在无人机飞行过程中，对无人机下方预设范围内的数据进行检测，获取点云数据，并通过网线向机载计算机传输点云数据。

优选地，激光雷达为览沃Livox AVIA傲览，览沃Livox AVIA傲览采集的点云数据输出最高可达到720000点/秒，该激光雷达的数据网口为100Mbps，通过以太网网线向机载计算机实时提供点云数据。

相机模块，机载相机安装在无人机底部，用于在无人机飞行过程中，对无人机下方预设范围内的信息进行拍摄，得到图像数据，并通过对应的SDK向机载计算机传输图像数据；机载计算机，对点云数据和图像数据进行处理，并结合飞行数据信息，计算并保存水面面积。

以上所述之具体实施方式为本发明一种基于激光雷达与深度学习检测水面面积的方法和系统的较佳实施方式，并非以此限定本发明的具体实施范围，本发明的范围包括并不限于本具体实施方式，凡依照本发明之形状、结构所作的等效变化均在本发明的保护范围内。