一种基于无人机的隧道检测方法及装置

技术领域

本发明涉及隧道检测技术领域，尤其涉及一种基于无人机的隧道检测方法及装置。

背景技术

随着城市化进程的加速，城市地铁得到快速发展，随之建设的地下基础结构也越来越多。近些年来，隧道安全问题频出，如隧道裂缝、渗漏水、沉降、衬砌剥落、掉块等，造成了严重的人员伤亡和巨大的经济损失，因此隧道安全是隧道运营期间的关键问题。

传统的人工检查和闭路电视系统发现问题不及时，会导致严重后果，隧道病害检查宜采用人工与信息化手段相结合的方式进行。随着无人机技术的不断发展，无人机应用领域越来越广泛，已在航拍、农业、植保、快递运输、灾难救援、测绘、电力巡检等领域应用，无人机正在成为隧道检测的全新的发展方向，随着无人机的定位、感知、控制与数据传输技术的不断革新，未来的无人机将代替人类深入地下危险区域，探查隧道病害，保障基础设施安全。

隧道病害如果不及时发现，会影响隧道的正常使用，甚至影响结构安全。传统依靠人工和设备进行检测的方法不仅耗费大量的人力物力，还存在检测不及时和检测效率低等问题，完全依靠检测技术人员的主观判断。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于提供一种基于无人机的隧道检测方法及装置，旨在解决传统病害检查主要依靠目测法初步确定病害类型，识别率依靠检测人员的经验，识别率出现较大的不确定性的问题。

为实现上述目的，本发明提供一种基于无人机的隧道检测方法，所述基于无人机的隧道检测方法包括如下步骤：

接收无人机获取隧道的视频图像；

将所述视频图像进行预处理和标准化处理；

将经过预处理和标准化处理后的所述视频图像输入到已训练好的三维卷积神经网络模型中，所述三维卷积神经网络模型根据所述视频图像输出隧道病害检测结果。

可选地，所述的基于无人机的隧道检测方法，其中，所述接收无人机获取隧道的视频信息，之前还包括：

所述无人机通过搭载激光雷达或者热成像高清摄像机实时采集周围环境的图像信息；

通过惯性导航装置获取所述无人机的位姿信息；

将所述图像信息和所述位姿信息实时传输至超算平台；

所述超算平台根据所述图像信息和所述位姿信息建立三维高精度地图，并得到规划路线后发送给所述无人机；

所述无人机根据所述规划路线在隧道飞行中进行自主导航和避障。

可选地，所述的基于无人机的隧道检测方法，其中，已训练好的三维卷积神经网络模型的训练过程为：

通过应用隧道检测专业数据库对三维卷积神经网络模型进行训练；

获取所述应用隧道检测专业数据库中第一百分比的视频数据用于三维卷积神经网络模型的训练；

获取所述应用隧道检测专业数据库中剩下的第二百分比的视频数据用于验证训练后的三维卷积神经网络模型；

当三维卷积神经网络模型的识别率达到预设要求时，保存当前的三维卷积神经网络模型作为已训练好的三维卷积神经网络模型。

可选地，所述的基于无人机的隧道检测方法，其中，所述第一百分比大于所述第二百分比。

可选地，所述的基于无人机的隧道检测方法，其中，所述预处理为：对所述视频图像进行亮度调整、对比度调整和平滑滤波，所述平滑滤波用于滤除尖锐不连续的噪声。

可选地，所述的基于无人机的隧道检测方法，其中，输入到已训练好的三维卷积神经网络模型中的所述视频信息为连续多帧的视频图像。

可选地，所述的基于无人机的隧道检测方法，其中，所述标准化处理为将连续视频分割为若干个6帧的短视频。

可选地，所述的基于无人机的隧道检测方法，其中，所述三维卷积神经网络模型由一个输入层、三个卷积层、两个采样层、一个全连接层和一个输出层组成。

可选地，所述的基于无人机的隧道检测方法，其中，所述隧道病害检测结果包括：裂缝、渗漏水、沉降、钢筋外露、错台、衬砌剥落以及掉块。

此外，为实现上述目的，本发明还提供一种基于无人机的隧道检测装置，其中，所述基于无人机的隧道检测装置包括：

无人机、超算平台、应用隧道检测专业数据库和三维卷积神经网络模型；

所述无人机用于获取隧道的视频图像；

所述超算平台用于根据所述无人机采集的图像信息和惯性导航装置获取的位姿信息建立三维高精度地图，并得到规划路线后发送给所述无人机；

所述应用隧道检测专业数据库用于对三维卷积神经网络模型进行训练；

所述三维卷积神经网络模型在训练完成后用于根据所述视频图像输出隧道病害检测结果。

本发明通过接收无人机获取隧道的视频图像；将所述视频图像进行预处理和标准化处理；将经过预处理和标准化处理后的所述视频图像输入到已训练好的三维卷积神经网络模型中，所述三维卷积神经网络模型根据所述视频图像输出隧道病害检测结果。本发明通过无人机获取隧道的视频图像，将视频图像输入到已训练好的三维卷积神经网络模型，可以更好的捕捉到视频中的空间和时间的特征，以快速输出隧道病害检测结果，提升了隧道病害的识别率、检测频率和处理速度，降低了人工依赖程度。

附图说明

图1是本发明基于无人机的隧道检测方法的较佳实施例的流程图；

图2是本发明基于无人机的隧道检测方法的较佳实施例中无人机自主导航和避障的实现过程示意图；

图3是本发明基于无人机的隧道检测方法的较佳实施例中3D卷积的卷积核在输入图像的三维空间进行滑窗操作示意图；

图4是本发明基于无人机的隧道检测方法的较佳实施例中三维卷积神经网络模型的组成结构示意图；

图5为本发明基于无人机的隧道检测装置的较佳实施例的原理示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

卷积神经网络是一类以卷积运算为基础的神经网络方法，属于深度神经网络的代表性网络之一，卷积神经网络具有参数共享、能够局部感知和多核性等特点，使用多个卷积核进行运算，能够有效地将不同的特征提取出来。3D-CNN通常由3个维度的卷积核，二维卷积（CNN，Convolutional Neural Networks，卷积神经网络）是在空间维度上的卷积，三维卷积既是在空间上的卷积也是在时间上的卷积。CNN在图片识别方面应用广泛，并没有考虑到连续帧之间蕴藏的数据信息，而3D-CNN可以在相同的区域进行不同的卷积操作，能提取不同的特征进行不同的卷积操作，进而分析视频数据，从连续多帧视频中生成多通道信息，并在每个通道上进行卷积核采样工作，通过所有的通道信息得到最终的特征表示；相较于其他神经网络，卷积神经在图像理解任务中具有优异的表现，尤其在图像分类领域，能够自动提取有效的高维特征。

传统依靠人工和设备进行检测的方法不仅耗费大量的人力物力，还存在检测不及时和检测效率低等问题，完全依靠检测技术人员的主观判断。未来隧道病害检测的方向应为自动化检测，突出现代技术自动化和实时化的特点。隧道病害如果不及时发现，会影响隧道的正常使用，甚至影响结构安全。随着技术的发展，提供一种隧道智能化检测的方法和高效的检测系统至关重要。通过无人机可以获得大量视频图像，将无人机与大数据云平台、3D-CNN相结合，建立一个集数据收集、数据储存、数据处理的装备，该智能系统装备能够进行日常隧道的病害检查，适应未来隧道病害检测的发展趋势。

本发明较佳实施例所述的基于无人机的隧道检测方法，如图1所示，所述基于无人机的隧道检测方法包括以下步骤：

步骤S10、接收无人机获取隧道的视频图像。

具体地，本发明通过无人机来实时采集隧道（所述隧道也可为地下大型基础设施）的视频图像，所述无人机具有自主导航和避障的功能，解决了隧道等地下大型基础设施中无GPS信号和光线不足条件下无人机自主导航和避障的问题，实现过程如图2所示：

步骤A1：无人机通过搭载OS-1激光雷达（以发射激光束探测目标的位置、速度等特征量的雷达系统，OS-1激光雷达由激光雷达厂商Ouster推出，OS-1可以实时输出固定分辨率的深度图像，信号图像以及环境图像，深度学习算法可以利用该数据）或者热成像高清摄像机（能够探测极微小温差的传感器，将温差转换成实时视频图像显示出来）实时采集周围环境的图像信息；

步骤A2：通过IMU（Inertial Measurement Unit，惯性导航装置，主要用来检测和测量加速度与旋转运动的传感器）获取无人机的位姿信息；

步骤A3：将所述无人机周围的环境图像信息和位姿信息实时传输至超算平台；

步骤A4：所述超算平台通过SLAM（Simultaneous Localization and Mapping，即时定位与地图构建，或同步定位与建图）将周围环境图像与无人机位姿信息建立三维高精度地图，并进行路线规划，将规划路线发送给所述无人机；

步骤A5：所述无人机接收路径规划信息，实现无人机在隧道的自主导航和避障（利用三维航路规划飞控算法计算飞行路径，实现无人机在隧道中的自主导航和避障）。

进一步地，所述无人机获取隧道的视频图像后，上传至HBase（Hadoop Database）等数据存储平台，以存储海量数据，形成大数据平台数据仓库，数据实时传输采用WiFi传输，当隧道无WiFi信号时，可以采用COFDM（Coded Orthogonal Frequency DivisionMultiplexing）技术，通过安装发射机、标准高清COFDM接收机设备实现COFDM无线实时视频传输；HBase数据存储平台为云数据库，采用云原生和计算存储分离架构的全托管NoSQL服务，兼容HBase、Phoenix、OpenTSDB等多种开源标准接口，适合GB-PB级数据存储、查询和分析等，支持SQL分析、二级索引、时序查询等功能；HBase是建立在Hadoop文件系统之上的分布式面向列数据库，为横向发展类型数据库，提供快速随机访问海量结构化数据；可获得高质量的分析结果，通过建立数据库，为隧道病害检测提供大数据支持，增加检测的客观性。

步骤S20、将所述视频图像进行预处理和标准化处理。

具体地，所述预处理为对图像进行亮度调整、对比度调整和平滑滤波，使图像特征明显，易于识别。其中，平滑滤波目的是去掉尖锐不连续的噪声。所述标准化处理为将连续视频分割为若干个6帧的短视频，这是由于随着输入窗口（卷积的时间维度）的增加，可训练参数的数量也增加，3D-CNN网络的输入局限于很小数量的连续视频帧。

步骤S30、将经过预处理和标准化处理后的所述视频图像输入到已训练好的三维卷积神经网络模型中，所述三维卷积神经网络模型根据所述视频图像输出隧道病害检测结果。

具体地，输入到已训练好的三维卷积神经网络模型中的所述视频信息为连续多帧的视频图像，例如所述标准化处理就是为了将连续视频分割为若干个6帧的短视频，再输入到已训练好的三维卷积神经网络模型中。

其中，已训练好的三维卷积神经网络模型（即3D-CNN模型）的训练过程为：通过应用隧道检测专业数据库对三维卷积神经网络模型进行训练；获取所述应用隧道检测专业数据库中第一百分比的视频数据用于三维卷积神经网络模型的训练；获取所述应用隧道检测专业数据库中剩下的第二百分比的视频数据用于验证训练后的三维卷积神经网络模型；当三维卷积神经网络模型的识别率达到预设要求时，保存当前的三维卷积神经网络模型作为已训练好的三维卷积神经网络模型（该训练过程为模型自主学习过程）。所述第一百分比大于所述第二百分比，例如所述第一百分比为70%，那么所述第二百分比为30%。

例如，应用隧道检测专业数据库对3D-CNN模型进行训练，70%数据用于训练，30%数据用于验证模型，当模型达到较高的识别率时保存模型作为已训练好的3D-CNN模型，保存模型后其以具有对各种病害的识别能力。

其中，所述三维卷积神经网络模型根据所述视频图像输出隧道病害检测结果，可取得更高的准确性和更稳定的判断；所述隧道病害检测结果包括：裂缝、渗漏水、沉降、钢筋外露、错台、衬砌剥落以及掉块，当然还可以是其他病害结果。

如图3所示，图3表示3D卷积的卷积核在输入图像的三维空间进行滑窗操作示意图，图3想要说明的是3D-CNN相较于2D-CNN不同的地方，3D-CNN是在2D-CNN的基础之上还有时间序列上进行滑窗，卷积核在三个方向上移动3D-CNN相对于2D-CNN的主要区别在于，其不仅可以捕获空间上的信息，也可以捕获时间上的信息。其中，滑动窗口（SlidingWindows）简称为 “滑窗”，是在输入层上进行的工作；通过设计滑窗来遍历输入的视频图像，将每个窗口对应的局部图像进行检测，能有效克服尺度、位置、形变等带来的输入异构问题，提升检测效果。

以往技术不能提取视频中的时间特征，而3D-CNN模型显著提升了样本特征的提取，可以更好的捕捉到视频中的空间和时间的特征，提高隧道病害的识别率。

如图4所示，本发明中的所述三维卷积神经网络模型（3D-CNN模型）由一个输入层、三个卷积层、两个采样层（即池化层）、一个全连接层和一个输出层组成。

其中，输入层用于连续6帧的视频帧图像作为输入，并进行滑窗操作，提升检测效果。

其中，卷积层为3D卷积层，首先需要定义一系列小的3D特征抽取器（kernel），抽取堆叠的高层次表征，为了生成新的特征空间，使用了不同的3D kernel抽取输入空间上不同的特征，然后添加偏置项，使用线性激活函数，公式如下：

其中，

其中，池化层为3D最大池化层，不同于卷积层里计算输入和核的互相关性，池化层直接计算池化窗口内元素的最大值，该运算叫做最大池化。

其中，全连接层中，每个神经元与邻接层所有神经元相连，全连接层之前，首先需要将特征空间压平（flatten）到一个神经元向量，接下来再执行向量-矩阵乘法，再加上偏置项以及应用线性激活函数。

其中，

其中，输出层采用Softmax函数，其输出都是(0，1)之间的正值，并且和为1；通过Softmax函数可以将多分类的输出值转换为范围在[0，1]和为1的概率分布；Softmax函数的计算公式如下：

其中，

Softmax函数用于多分类过程中，它将裂缝、渗漏水、沉降、钢筋外露、错台、衬砌剥落、掉块的可能性输出，映射到[0，1]区间内，可以看成概率来理解，在最后选取输出结点的时候，最后选取概率最大的节点作为输出结果。

本发明通过无人机可以获得大量视频图像，将无人机与大数据云平台、3D-CNN相结合，建立一个集数据收集、数据储存、数据处理的装备，该智能系统装备能够进行日常隧道的病害检查，适应未来隧道病害检测的发展趋势。

进一步地，如图5所示，基于上述基于无人机的隧道检测方法，本发明还相应提供了一种基于无人机的隧道检测装置，其中，所述基于无人机的隧道检测装置包括：

无人机100、超算平台200、应用隧道检测专业数据库300和三维卷积神经网络模型400；所述无人机100用于获取隧道的视频图像；所述超算平台200用于根据所述无人机100采集的图像信息和惯性导航装置获取的位姿信息建立三维高精度地图，并得到规划路线后发送给所述无人机100；所述应用隧道检测专业数据库300用于对三维卷积神经网络模型400进行训练；所述三维卷积神经网络模型400在训练完成后用于根据所述视频图像输出隧道病害检测结果。

该智能系统装备具有自动化、实时化和集成化等特点，是一个高效的隧道病害综合检测系统装备，提升隧道病害的检测频率、处理速度和人工依赖程度；可实现一种装备一次检测多种病害，属于一种综合病害检测装备；降低人力成本。

综上所述，本发明提供一种基于无人机的隧道检测方法及装置，所述方法包括：接收无人机获取隧道的视频图像；将所述视频图像进行预处理和标准化处理；将经过预处理和标准化处理后的所述视频图像输入到已训练好的三维卷积神经网络模型中，所述三维卷积神经网络模型根据所述视频图像输出隧道病害检测结果。本发明通过无人机获取隧道的视频图像，将视频图像输入到已训练好的三维卷积神经网络模型，可以更好的捕捉到视频中的空间和时间的特征，以快速输出隧道病害检测结果，提升了隧道病害的识别率、检测频率和处理速度，降低了人工依赖程度。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。