无人机智能巡航路面病害检测方法、无人机和检测系统

技术领域

本发明涉及道路病害检测，尤其涉及无人机智能巡航路面病害检测方法、无人机和检测系统。

背景技术

2016年以来，无人机的技术条件不断完善、成熟，在农业、工程、军事等领域都有着广泛的应用，无人机的技术发展也越来越引人注目，而目标跟踪及智能控制成为无人机发展的一大热门领域，这一技术能够进一步改善无人机的安全性、高效性以及自动化程度，为无人机智能检测任务提供了有力保障。

申请号为201911120174.0的专利文献公开了一种基于无人机的公路路面病害的定位方法，该方法使用北斗卫星定位导航系统控制无人机，通过改进的DPM模型识别采集的路面病害图像，实现了基于无人机的病害定位检测。但是该方法仍需人工操控无人机，无法通过规划航线或智能寻迹的方法使得无人机自动飞行。并且，DPM模型是一种先计算梯度方向直方图，然后用支持向量机训练检测病害的算法。

因而现有的道路检测技术存在不足，还有待改进和提高。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供无人机智能巡航路面病害检测方法、无人机和检测系统，能够实现无人机自动按照预定路线进行飞行，并检测路面是否存在病害。

为了达到上述目的，本发明采取了以下技术方案：

一种基于深度学习的无人机智能巡航路面病害检测方法，无人机内置基于深度学习网络的路面病害检测模型和道路识别模型，检测方法具体为：

所述无人机在以道路识别模型确定的实际路面上按照预定路线自动飞行，通过路面病害检测模型实时获取路面病害检测结果。

优选的，所述的基于深度学习的无人机智能巡航路面病害检测方法，在所述无人机执行所述检测方法前，在计算机终端使用道路图像、路面病害图像分别对所述道路识别模型、所述路面病害检测模型的深度学习网络基础模型进行训练，分别得到最优的所述道路识别模型、所述路面病害检测模型后加载到所述无人机中。

优选的，所述的基于深度学习的无人机智能巡航路面病害检测方法，所述预定路线为通过服务器预先设定；所述无人机与服务器通信获取所述预定路线数据。

优选的，所述的基于深度学习的无人机智能巡航路面病害检测方法，所述无人机的工作模式包括智能跟飞，具体步骤为：

获取环境图片；

使用所述道路识别模型确定路面标示线；

获取预定路线，驱动无人机在所述预定路线上沿所述路面标示线飞行。

优选的，所述的基于深度学习的无人机智能巡航路面病害检测方法，所述无人机的工作模式包括定点巡航，具体操作步骤为：

确定预定路线的若干个关键位置；

无人机按照预定顺序依次经过关键位置。

一种无人机，包括基础组件、摄像头和检测板；所述摄像头、所述检测板分别与所述基础组件连接；所述检测板上加载有基于深度学习算法的路面病害检测模型和道路识别模型，能够实现所述的路面病害检测方法。

优选的，所述的无人机，所述基础组件包括机架、电机、电调、控制板、数据传输模块、图像传输模块、加速度计、定位装置；所述电调、所述加速度计、所述定位装置、所述检测板分别与所述控制板连接，集成装设在所述机架上；所述电机与所述电调连接；所述摄像头与所述图像传输模块连接，所述图像传输模块与所述数据传输模块分别与所述检测板连接。

一种使用所述的无人机的路面病害检测系统，包括交互端和无人机，所述无人机与所述交互端通信连接。

优选的，所述的基于深度学习的无人机智能巡航路面病害检测系统，所述交互端为计算机或手机。

一种可读介质，存储有计算机软件，所述软件在被处理器执行时，完成所述的检测方法。

相较于现有技术，本发明提供的无人机智能巡航路面病害检测方法、无人机和检测系统，具有以下有益效果：

1、本发明采用基于深度学习网络的道路识别模型和路面病害检测模型，能够实现自动巡航以及自动路面病害检测，只需要将预定路线或者预定区域范围设定，即可实现自动巡航检测，方便快捷；

2、本发明采用了无人机作为核心移动设备，无人机具有轻便、移动范围广的特性，可操作性强、可开发性强；

3、本发明通过实现了无人机的定点巡航、智能跟飞，通过神经网络跟踪算法实现了无人机的智能寻迹，从而实现了无人机自动化智能飞行，方便快捷。

附图说明

图1是本发明提供的无人机的结构框图；

图2是本发明提供的无人机的详细结构框图；

图3是本发明提供的智能跟飞的流程图；

图4是本发明提供的定点巡航流程图；

图5是本发明提供的定点巡航操作的地图展示图；

图6是本发明提供的无人机组装与调试的一种实施方式的流程图；

图7是本发明提供的路面病害检测系统的结构框图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本领域技术人员应当理解，前面的一般描述和下面的详细描述是本发明的示例性和说明性的具体实施例，不意图限制本发明。

本文中术语“包括”，“包含”或其任何其他变体旨在覆盖非排他性包括，使得包括步骤列表的过程或方法不仅包括那些步骤，而且可以包括未明确列出或此类过程或方法固有的其他步骤。同样，在没有更多限制的情况下，以“包含...一个”开头的一个或多个设备或子系统，元素或结构或组件也不会没有更多限制，排除存在其他设备或其他子系统或其他元素或其他结构或其他组件或其他设备或其他子系统或其他元素或其他结构或其他组件。在整个说明书中，短语“在一个实施例中”，“在另一个实施例中”的出现和类似的语言可以但不一定都指相同的实施例。

除非另有定义，否则本文中使用的所有技术和科学术语具有与本发明所属领域的普通技术人员通常所理解的相同含义。

本发明提供一种基于深度学习的无人机智能巡航路面病害检测方法，无人机内置基于深度学习网络的路面病害检测模型和道路识别模型，检测方法具体为：

所述无人机在以道路识别模型确定的实际路面上按照预定路线自动飞行，通过路面病害检测模型实时获取路面病害检测结果。

具体的，本发明提供的路面病害检测方法基于无人机智能巡航，即使用无人机自动按照预定的路线进行巡航检测，其中使用所述道路识别模型进行道路识别，进而确定在正常道路上飞行，无需遥控，同时使用所述路面病害检测模型进行路面病害识别。具体的，所述无人机具有高清摄像头，分辨率设定包括1024*720、1920*1080等，拍摄的清晰度高，能够满足一定的检测需求。作为优选方案，所述预定路线为通过服务器预先设定；所述无人机与服务器通信获取所述预定路线数据；优选的，所述预定路线可以预先设定在无人机中，也可以在无人机边飞行边加载，本发明不做限定。在具体操作中，通过高清摄像头采集道路图像和路面病害图像数据，存储于SD卡。跟进一步的实施中，无需设定预定路线，仅仅需要设定巡航检测的区域范围，则无人机即可将本区域内所有的路面均检测一遍，其具体的实施原理如上所述，不做限定。

相应的，请参阅图1，本发明还提供一种无人机，包括基础组件2、摄像头1和检测板3；所述摄像头1、所述检测板3分别与所述基础组件2连接；所述检测板3上加载有基于深度学习算法的路面病害检测模型和道路识别模型，能够实现所述的路面病害检测方法。所述基础组件2为无人机的基础构件，能够实现现有技术中无人机的正常工作，此处不做限定，在本实施例中，所述基础组件2还根据所述检测板3中道路识别模型识别得到的道路信息驱动无人机沿着预定路线飞行。

在本实施例中，所述无人机通过所述摄像头1获取无人机周围环境图像并通过所述基础组件2输送到所述检测板3中；所述摄像头1的数量不做限定，可以是一个，也可以是多个，并按照相应的预定位置布设；所述检测板3通过所述道路识别模型确定当前无人机是否在道路上，若否，则驱动无人机回到道路上，若是，则不做相应调整，继续保持向前飞行，无需人工手动遥控操纵，实现自动飞行，应当说明的是，此处自动飞行不仅仅需要按照既定的轨迹飞行，还要保证通过摄像头1获取的环境图像后，在真实公路上按照预定路线飞行；同时通过路面病害检测模型确定路面区域，在路面区域判定是否存在路面病害，在自动飞行的基础上实现自动检测路面病害。

作为优选方案，请参阅图2，本实施例中，所述基础组件2包括机架(未示图)、电机21、电调22、控制板25、数据传输模块23、图像传输模块24、加速度计26、定位装置27；所述电调22、所述加速度计26、所述定位装置27、所述检测板3分别与所述控制板25连接，集成装设在所述机架上；所述电机21与所述电调22连接；所述摄像头1与所述图像传输模块24连接，所述图像传输模块24与所述数据传输模块23分别与所述检测板3连接。所述电调22，用于根据控制板25的指令驱动所述电机21转动，进而带动飞行扇叶转动；所述控制板25，驱动无人机系统的正常工作；所述数据传输模块23，用于与上位机连接，发送所述控制板25的通信数据，接收上位机发送的通信数据，实现无人机与上位机的具体连接；所述图像传输模块24，用于将摄像头1拍摄的图像传送到所述检测板3中进行处理和识别；所述检测板3对摄像头1拍摄到的图像进行识别后，将识别信息发送到控制板25中，用于控制板25控制无人机飞行的参考数据，例如识别到路面的路边在无人机飞行方向的右侧，则驱动无人机的位置向右侧调整位置等操作；所述定位装置27，获取定位信息，当检测板3中检测到路面存在路面病害时，则确定路面病害的具体坐标位置，准确快捷。

具体的，所述基础组件2为用于无人机的正常运行所需的基础构件，使用本领域的公知技术即可，此处不做限定，优选的实施清单为表1所列(其中包括构成组件以及相应的型号)：

表1无人机配件参数表

请参阅图6，本发明提供的基于深度学习和无人机智能巡航的路面病害检测系统，调试和组装操作包含以下步骤：

S1、按照上述构件进行无人机组装，组装好无人机后，所述的无人机机身自重2.3kg，可抗5级风，在飞行区无干扰，无障碍，无遮挡的情况下，可飞行2000米，拥有自稳飞行，定点悬停，一键返航和智能目标跟踪功能，从而保证该无人机能够安全可靠地应用于道路的智能检测。

在正常工作前，需要对无人机进行组装调试，当然在组装调试之前，应进行无人机的解锁检查，防止无人机在通电后失去控制，对周围人身安全造成威胁。默认情况下，无人机启用GPS模块的集成安全开关，启用后，PixHawk 4将锁定无人机。具体的组装调试过程为：

S21、安装mission planner软件，将便携式笔记本与PixHawk 4飞行控制模块和GPS连接，使用mission planner对PixHawk 4进行烧录，写入和升级控制软件，实现对无人机的远程控制；具体的，所述的PixHawk 4飞行控制模块的微控制器拥有2MB的闪存和512KB的RAM，使得更复杂的算法和模型可以在自动驾驶仪上实现。PixHawk 4飞控模块内置单独的减震器和加热电阻，可以实现一定程度的减震和温度补偿。并且，PixHawk 4有陀螺仪，加速度计26，水平仪等内置模块，通过mission planner(1.3.62版本)进行校准，可以保证无人机平稳。

S22、调试飞控，包括加速度计26校准、罗盘校准和GPS的校准；其中，GPS模块型号为M8N，该模块将GPS与指南针、安全开关、蜂鸣器和LED集成一体，通过导线连接至PixHawk4的GPS module端口，使其尽可能远离其他电子设备，减少干扰。GPS正方向应与PixHawk 4飞控模块正方向一直，方向标记朝向无人机前方。通过mission planner(1.3.62版本)进行陀螺仪校准，并进行解锁测试和失控保护设置，保证无人机安全。

S23、通过校准和调试遥控器，使得无人机按照指定方位飞行。并且设置三种飞行模式，实现自稳飞行，定点悬停和一键返航功能；

S24、校准V5数传模块，通过在便携式电脑下载mission planner地面控制站或在智能手机下载飞鱼地面站app，实现无人机的定点飞行。图2为mission planner的控制地图，通过指定飞行高度，控制航点，设置悬停时间，可使得无人按照指定航迹飞行，从而提高了无人机道路病害检测的智能化程度；

S25、调试图传电台，使得图传显示屏显示无人机电压电量，防止无人机在飞行过程中因电压电量较低而导致的坠落。

在组装调试完成后，需要进行性能调试，具体为：

S31无人机的控制调试是指无人机扇叶轻微转动时，调节遥控器控制无人机移动方向是否与扇叶转动强度一致；

S32云台控制调试包括水平和横向旋转的调试和云台自稳调试；

S33无人机的水平调试是指无人机近地轻微飞行，无人机能否实现自稳。

作为优选方案，本实施例中，在所述无人机执行所述检测方法前，在计算机终端使用道路图像、路面病害图像分别对所述道路识别模型、所述路面病害检测模型的深度学习网络基础模型进行训练，分别得到最优的所述道路识别模型、所述路面病害检测模型后加载到所述无人机中。具体的训练方法本发明不做限定，使用本领域常用的训练方法即可。道路的路面病害分为三种类型：裂缝、坑槽和龟裂，按照每种病害类型分别形成图像库，进而针对每种病害分别对所述路面病害检测模型进行训练。本发明提供一种训练操作，具体为：

S41、图像的筛选是指将图片按照一定的标准得到清晰的数据集；图像筛选的标准为：1、病害位置应尽量靠近图像中央；2、病害应人眼视觉范围内清晰；3、图像应包含强光照、阴影、噪点等因素；4、图像应包含各种拍摄角度。

S42、图像的剪切是指将图片裁剪为统一大小，便于标注及后期处理；此处标注的是路面病害的区域和类型，相应的后期处理为本领域常用的图像处理算法等，本发明不做限定。

S43、图像的标注是指通过matlab程序，将图片上的病害按类别标注为矩形框；

S44、图像的格式转换是指通过matlab程序，将标注信息转换为mxl格式，构成无人机道路图像数据库和路面病害图像数据库；

S45、无人机道路图像数据库和路面病害图像数据库分别按照6：2：2的比例分为训练集，验证集和测试集。

S46、在高性能计算机终端训练无人机道路图像和路面病害图像，通过多次调试，得到最优的道路识别模型和路面病害检测模型；调试的超参数应包括初始学习率，总迭代次数，动量系数，权重衰减值等。

S47、将最优的道路识别模型和路面病害检测模型移植于Nvidia Jetson nano开发板，并将开发板安装在无人机上；Nvidia Jetson nano开发板应搭载TensorRT和Deepstream模型加速框架。

S48、在实际路面上进行定点巡航检测和智能跟飞检测，调取检测结果，判断路面病害检测结果是否达到预期目标。具体的，检测结果的评价指标为：PR曲线、F1分数、准确率、检测效率等。

具体的，本发明将nvidia jetson nano开发板搭载于无人机上，直接检测道路病害视频，免去了将视频数据传输回电脑终端的步骤，解决了传输信号不稳定的问题，实现了道路病害的实时检测。

作为优选方案，请参阅图3，本实施例中，所述无人机的工作模式包括智能跟飞，具体步骤为：

获取环境图片；此处获取图片是通过无人机上的摄像头1完成，具体请参阅上述内容；

使用所述道路识别模型确定路面标示线；

获取预定路线，驱动无人机在所述预定路线上沿所述路面标示线飞行。具体的，智能跟飞主要是沿着道路的标识进行飞行，无需人工操控，即可实现公路复杂多变会出现弧形线的段的公路的自动飞行，方便快捷，同时配合无人机的一键返航功能等，实现一定路线范围内的自动巡航检测。具体的，使用智能跟飞的工作模式下，所述路线识别模型将会着重识别路面上的标志，将路面标志数据传送到无人机中的控制板25中，控制板25根据路面标志数据控制无人机正常飞行，此处控制板25的控制方式本发明不做限定。

作为优选方案，请参阅图4和图5，本实施例中，所述无人机的工作模式包括定点巡航，具体操作步骤为：

确定预定路线的若干个关键位置；具体的，定点巡航方式较为适合路段较为平直的公路，只要在关键的几个位置设定为关键位置，即可实现无人机沿真实路段进行巡航，方便快捷。

无人机按照预定顺序依次经过关键位置。通过图5，可以发现，只要能够确定有限的几个关键位置，即可实现无人机检测两个关键位置之间的公路路段，当然此时路段为直线型为最佳，无人机工作量较小，跟进一步的操作是，如图5中矩形的路线图中，只需要确定关键位置(2)和关键位置(4)，然后确定要检索的范围，即可实现此区域内所有路面的巡航检测，方便快捷。

相应的，本发明还提供一种使用上述提供的无人机的路面病害检测系统，包括交互端和无人机，所述无人机与所述交互端通信连接。优选的，所述交互端为计算机或手机，进一步的，所述交互端可以是云台(云平台)或远程服务器，即通过网络将预定路线设定到所述无人机中，所述无人机进行上述检测操作。

相应的，本发明还提供一种可读介质，存储有计算软件，所述软件在被处理器执行时，完成上述中所述的路面病害检测方法。具体的，所述可读介质可以是独立存在，也可以是附着于一定的电子设备(如本发明提供的无人机)中，实现所述路面检测方法。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。