道路破损检测方法、系统、装置、存储介质及计算机设备

技术领域

本申请涉及数据处理技术领域，具体涉及一种道路破损检测方法、系统、装置、计算机可读存储介质及计算机设备。

背景技术

随着工程机械的发展和改进，我国已建设道路里程数在飞速增加，但是由于国内交通情况的问题——工程车辆超载、车流量大等，导致道路十分容易出现裂纹、坑洞、路基塌陷等问题。以上问题的频繁出现所带来的影响主要是大额的维修资金花费，而如果处理不及时甚至会对路面车辆的行驶造成威胁，严重危害行车人员的生命安全。如果能够提前对其进行维护，将道路裂纹的危害遏制在转化前期，这对维护资金的开销是个极大的节约，同时能够提高道路的使用寿命。因此，及早发现道路裂纹，对节省道路维护费用，确保道路安全具有重要意义。

现有的道路巡检方式中所能采用的方式较少，主流的方式是采用人工进行检测，依靠专业人员去实地考察。后来图像处理技术的发展，改革了道路巡检领域，即半自动巡检系统的出现，半自动巡检系统主要由人和计算机协同完成检测工作，计算机负责图像的采集、分类和存储，人工负责进行判决。

目前的巡检系统对道路破损检测效率不高。

发明内容

本申请实施例提供一种道路破损检测方法、装置、系统、计算机可读存储介质及计算机设备，可以提高道路破损检测效率和准确率。

本申请实施例提供了一种道路破损检测方法，包括：

获取实时拍摄的道路视频中的每帧道路图片；

利用道路破损检测模型中的骨干网络模块对每帧道路图片进行特征提取处理，以得到所述骨干网络模块的特征输出结果，所述特征输出结果包括多个不同下采样倍数下对应的多个不同特征；

将多个不同特征分别输入至所述道路破损检测模型中的通道空间注意力模块中进行注意力加强处理，以得到多个不同的注意力加强特征；

将多个不同的注意力加强特征输入至所述道路破损检测模型中的后处理模块中进行道路破损预测处理，以得到每帧道路图片中的多个不同的道路破损对象所在的破损检测框、所述破损检测框所在位置处的道路破损的破损概率和所述破损检测框所在位置处的道路破损类别。

本申请实施例还提供了一种道路破损检测方法，包括：

获取训练数据集和初始道路破损检测模型，所述训练数据集中包括多张道路破损图片、所述道路破损图片中所对应的训练道路破损对象所在的训练破损检测框、所述训练破损检测框的道路破损类别标签；

利用所述初始道路破损检测模型中的骨干网络模块对所述每张道路破损图片进行特征提取处理，以得到所述骨干网络模块的训练特征输出结果，所述训练特征输出结果包括多个不同下采样倍数下对应的多个不同训练特征；

将多个不同训练特征分别输入至所述初始道路破损检测模型中的通道空间注意力模块中进行注意力加强处理，以得到多个不同的训练注意力加强特征；

将多个不同的训练注意力加强特征输入至所述初始道路破损模型中的后处理模块中进行道路破损预测处理，以得到多个不同的道路破损对象所在的破损检测框、所述破损检测框所在位置处的道路破损的破损概率和所述破损检测框所在位置处的道路破损类别；

根据所述破损检测框、所述破损检测框所在位置处的道路破损的破损概率和所述破损检测框所在位置处的道路破损类别，以及训练破损检测框、所述训练破损检测框的道路破损类别标签，更新所述初始道路破损模型的网络参数，以得到道路破损检测模型。

本申请实施例还提供了一种道路破损检测方法，包括：

获取实时拍摄的道路视频中的多帧道路图片；

利用包括通道空间注意力模块的道路破损检测模型，对多帧道路图片中的当前帧道路图片进行道路破损检测处理，以得到当前帧道路图片的道路破损检测结果，所述道路破损检测结果包括至少一个道路破损对象所在的破损检测框、所述破损检测框所在位置处的道路破损的破损概率和所述破损检测框的道路破损类别；

根据当前帧及其之前帧道路图片的道路破损检测结果，对所述道路破损对象进行多目标跟踪处理，以确定当前帧跟踪的道路破损对象和当前帧检测的道路破损对象为同一对象的目标道路破损对象，并确定所述目标道路破损对象所在的所述破损检测框、所述破损检测框所在位置处的道路破损的破损概率、所述破损检测框的道路破损类别和所述目标道路破损对象所对应的跟踪器标识；

根据所述目标道路破损对象的所述破损检测框所对应的检测点、所述跟踪器标识和所确定的每帧道路图片中的至少两个判别框，来确定所跟踪的所述目标道路破损对象是否有效，若有效，则确定所述目标道路破损对象的定位信息；

保存所述目标道路破损对象的所述跟踪器标识、所述目标道路破损对所在的所述破损检测框、所述破损检测框的破损概率、所述道路破损类别和所述定位信息。

本申请实施例还提供一种道路破损检测系统，包括：

无人机设备和与所述无人机设备进行通信的地面站设备，所述无人机设备中搭载有摄像头；

利用所述地面站设备设置所述无人机设备的飞行任务，并将所述飞行任务发送至所述无人机设备；

利用所述无人机设备开启所述摄像头，并根据所述飞行任务控制所述无人机设备飞行；

利用所述无人机设备获取所述摄像头实时拍摄的道路视频中的多帧道路图片，并对所述多帧道路图片进行道路破损检测处理，以得到多帧道路图片中的道路破损识别结果，所述道路破损识别结果中包括目标道路破损对象所对应的跟踪器标识、所述目标道路破损对象所在的破损检测框、所述破损检测框的破损概率、所述道路破损类别和所述目标道路破损对象的定位信息中的至少一个；

将多帧道路图片中的道路破损识别结果发送至所述地面站设备中，以在所述地面站设备中显示所述道路破损识别结果；

其中，多帧道路图片中的道路破损识别结果按照如上述任一项所述的方法得到。

本申请实施例还提供一种道路破损检测装置，包括：

第一获取模块，用于获取实时拍摄的道路视频中的每帧道路图片；

骨干处理模块，用于利用道路破损检测模型中的骨干网络模块对每帧道路图片进行特征提取处理，以得到所述骨干网络模块的特征输出结果，所述特征输出结果包括多个不同下采样倍数下对应的多个不同特征；

注意力处理模块，用于将多个不同特征分别输入至所述道路破损检测模型中的通道空间注意力模块中进行注意力加强处理，以得到多个不同的注意力加强特征；

后处理模块，用于将多个不同的注意力加强特征输入至所述道路破损模型中的后处理模块中进行道路破损预测处理，以得到多个不同的道路破损对象所在的破损检测框、所述破损检测框所在位置处的道路破损的破损概率和所述破损检测框所在位置处的道路破损类别。

本申请实施例还提供一种道路破损检测装置，包括：

训练获取模块，用于获取训练数据集和初始道路破损检测模型，所述训练数据集中包括多张道路破损图片、所述道路破损图片中所对应的训练道路破损对象所在的训练破损检测框、所述训练破损检测框的道路破损类别标签；

训练骨干处理模块，用于利用所述初始道路破损检测模型中的骨干网络模块对所述每张道路破损图片进行特征提取处理，以得到所述骨干网络模块的训练特征输出结果，所述训练特征输出结果包括多个不同下采样倍数下对应的多个不同训练特征；

训练注意力处理模块，用于将多个不同训练特征分别输入至所述初始道路破损检测模型中的通道空间注意力模块中进行注意力加强处理，以得到多个不同的训练注意力加强特征；

将多个不同的训练注意力加强特征输入至所述初始道路破损模型中的后处理模块中进行道路破损预测处理，以得到多个不同的道路破损对象所在的破损检测框、所述破损检测框所在位置处的道路破损的破损概率和所述破损检测框所在位置处的道路破损类别；

训练后处理模块，根据所述破损检测框、所述破损检测框所在位置处的道路破损的破损概率和所述破损检测框所在位置处的道路破损类别，以及训练破损检测框、所述训练破损检测框的道路破损类别标签，更新所述初始道路破损模型的网络参数，以得到道路破损检测模型。

第二获取模块，用于获取实时拍摄的道路视频中的多帧道路图片；

破损检测模块，用于利用包括通道空间注意力模块的道路破损检测模型，对多帧道路图片中的当前帧道路图片进行道路破损检测处理，以得到当前帧道路图片的道路破损检测结果，所述道路破损检测结果包括至少一个道路破损对象所在的破损检测框、所述破损检测框所在位置处的道路破损的破损概率和所述破损检测框的道路破损类别；

跟踪模块，用于根据当前帧及其之前帧道路图片的道路破损检测结果，对所述道路破损对象进行多目标跟踪处理，以确定当前帧跟踪的道路破损对象和当前帧检测的道路破损对象为同一对象的目标道路破损对象，并确定所述目标道路破损对象所在的所述破损检测框、所述破损检测框所在位置处的道路破损的破损概率、所述破损检测框的道路破损类别和所述目标道路破损对象所对应的跟踪器标识；

判别模块，用于根据所述目标道路破损对象的所述破损检测框所对应的检测点、所述跟踪器标识和所确定的每帧道路图片中的至少两个判别框，来确定所跟踪的所述目标道路破损对象是否有效，若有效，则确定所述目标道路破损对象的定位信息；

保存模块，用于保存所述跟踪器标识、所述目标道路破损对象所在的所述破损检测框、所述破损检测框的破损概率和所述定位信息。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的道路破损检测方法中的步骤。

本申请实施例还提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，执行如上任一实施例所述的道路破损检测方法中的步骤。

本申请实施例提供的道路破损检测方法、装置、系统、计算机可读存储介质及计算机设备，通过获取实时拍摄的道路视频中的每帧道路图片，利用道路破损检测模型中新增的通道空间注意力模块对道路破损检测模型的骨干网络模块输出的多个不同采样倍数下对应的多个不同特征进行注意力加强处理，以提取多个不同特征中的关键特征，增强关键特征的表达能力，削弱不重要特征的特征表达能力，使得进行注意力加强处理后得到的多个不同的注意力加强特征中的关键特征更为突出，提高道路破损检测处理的准确性和效率，利用道路破损检测处理的道路破损检测结果对道路破损对象进行多目标跟踪处理，以确定当前帧跟踪的道路破损对象和当前帧检测的道路破损对象为同一对象的目标道路破损对象，以利用多目标跟踪处理结果来确定多帧道路图片中检测出来的道路破损对象是否为同一对象，提高识别准确率，并进一步利用每帧道路图片中的至少两个判别框来确定所跟踪的所述目标道路破损对象是否有效，并在有效的情况下，获取定位信息，如此，实时的自动确定目标道路破损对象的相关信息，提高道路破损识别准确率和效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的道路破损检测方法的流程示意图。

图2为本申请实施例提供的YOLOx-Darknet53的部分网络结构示意图。

图3为本申请实施例提供的通道空间注意力模块的网络结构示意图。

图4为本申请实施例提供的通道空间注意力模块的流程示意图。

图5为本申请实施例提供的通道注意力模块的网络结构示意图。

图6为本申请实施例提供的通道注意力模块的流程示意图。

图7为本申请实施例提供的空间注意力模块的网络结构示意图。

图8为本申请实施例提供的空间注意力模块的的流程示意图。

图9为本申请实施例提供的道路破损检测方法的一流程示意图。

图10为本申请实施例提供的道路破损检测方法的另一流程示意图。

图11为本申请实施例提供的两个判别框的示意图。

图12为本申请实施例提供的道路破损检测系统的结构示意图。

图13为本申请实施例提供的道路破损检测系统的一结构示意图。

图14为本申请实施例提供的道路破损检测方法的又一流程示意图。

图15为本申请实施例提供的道路破损识别结果的示意图。

图16为本申请实施例提供的道路破损检测装置的结构示意图。

图17为本申请实施例提供的道路破损检测装置的一结构示意图。

图18为本申请实施例提供的道路破损检测装置的另一结构示意图。

图19为本申请实施例提供的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种道路破损检测方法、装置、系统、计算机可读存储介质及计算机设备。具体地，本申请实施例的道路破损检测方法可以由计算机设备执行，其中，该计算机设备可以为终端、服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、个人计算机(PC，Personal Computer)、无人机设备、直升机设备等终端设备。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群，还可以是提供云服务、云数据库等基础云计算服务的云服务器。

本申请实施例中以计算机设备为无人机设备为例进行说明，下文中将不再重复说明。可以理解的是，本申请实施例中的方案也可以应用在非无人机设备的计算机设备中，例如，通过无人机设备来获取实时拍摄的道路视频，然后将道路视频发送至计算机设备，由计算机设备来进行道路的实时检测等。

在对本申请实施例中的方式进行详细介绍之前，先对目前的深度学习技术进行进一步的分析。目前的目标检测方法中包括卷积神经网络，如Fast R-CNN(FastRegionProposals ConvolutionalNeuralNetworks)网络模型，可利用Fast R-CNN网络模型对特征进行提取，当提取到的目标特征与已有目标特征相似度较高时则认为检测到目标，FastR-CNN网络模型虽然识别错误率低，漏识别率也较低，但由于FastR-CNN网络模型作为两阶段(two-stage)检测算法，速度较慢，不能满足实时检测场景。

当采用无人机进行道路巡检时，对检测算法的实时性要求较高，算法的检测效率决定了无人机执行一次飞行任务时能够完成的检测距离。

因此本申请实施例中的方案可以利用无人机来实现实时检测，达到了实时检测的效果，提高了效率，且也提高了检测的准确性。

以下将分别对本申请实施例提供的一种道路破损检测方法、装置、系统、计算机可读存储介质及计算机设备进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

如图1所示，为本申请实施例提供的道路破损检测方法的流程示意图，该方法应用于计算机设备如无人机设备中，该方法包括如下步骤。

101，获取实时拍摄的道路视频中的每帧道路图片。

在计算机设备如无人机设备中搭载/设置/安装摄像头，在每次的飞行任务执行前，开启无人机设备中的摄像头，在飞行时，利用摄像头实时拍摄飞行过程中的道路视频，该道路视频中包括多帧道路图片。

由于是实时拍摄的，因此可获取实时的道路视频，以及道路视频中的每帧道路图片。

102，利用道路破损检测模型中的骨干网络模块对每帧道路图片进行特征提取处理，以得到骨干网络模块的特征输出结果，该特征输出结果包括多个不同下采样倍数下对应的多个不同特征。

道路破损模型是一阶段(one-stage)的检测模型，直接同时输出定位和分类结果，因此比两阶段的检测模型的效率要高，可达到实时道路检测。

道路破损检测模型中包括骨干网络模块、通道空间注意力模块和后处理模块，其中，后处理模块中可以包括加强特征提取模块和预测模块。其中，骨干网络模块通常称为Backbone模块，用于提取特征；通道空间注意力模块是本申请中新加入的网络模块，用于增强关键特征的表达能力，削弱不重要特征的特征表达能力，后文中将会详细介绍；加强特征提取模块，也称为Neck模块，一般放在Backbone模块和预测模块之间，进一步提升特征的多样性及鲁棒性；预测模块，也称为Prediction模块，用于输出检测结果。

道路破损检测模块可以是增加了通道空间注意力模块的YOLOx目标识别模型，其中，YOLOx表示是YOLO系列中的模型，例如，YOLO3、YOLO4、YOLO5、YOLOv3_spp、YOLOx-s、YOLOx-m、YOLOx-l、YOLOx-x、YOLOx-Darknet53等。本申请实施例中以YOLOx-Darknet53为例进行说明。

如图2所示，为本申请实施例提供的添加了通道空间注意力模块的YOLOx-Darknet53网络模型的示意图。其中，骨干网络模块从前往后依次包括CBL、Res1、Res2、Res8、Res8、Res4、CBL、SPP、CBL等模块。

将每帧道路图片(如640*640*3，每个通道大小为640*640，共3个通道)输入至YOLOx-Darknet53网络模型的骨干网络模块的每个模块中进行特征提取处理，如经过骨干网络模块的第一个Res8模块处理后得到第三特征(80*80*256，每个通道大小为80*80，共256个通道)，经过骨干网络模块的第二个Res8模块处理后得到第二特征(40*40*512，每个通道大小为40*40，共512个通道)，经过骨干网络模块的最后CBL模块处理后得到第一特征(20*20*1024，每个通道大小为20*20，共1024个通道)。

第一特征、第二特征和第三特征分别是不同倍数下采样对应的多个不同特征，其中，第三特征是8倍下采样对应的特征，第二特征是16倍下采样对应的特征，第一特征是32倍下采样对应的特征。不同倍数下采样对应的特征的通道数不相同。因此，第一特征、第二特征和第三特征不仅是下采样的倍数不相同，同时对应的特征的通道数也不相同。

103，将多个不同特征分别输入至所述道路破损检测模型中的通道空间注意力模块中进行注意力加强处理，以得到多个不同的注意力加强特征。

通道空间注意力模块(Convolutional BlockAttention Module，CBAM)包括包括依次相连的通道注意力模块(ChannelAttention Module,CAM)和空间注意力模块(SpatialAttentionModule,SAM)。其中，通道注意力模块用于提取特征中重要的部分，而空间注意力模块中用于提取特征中所含信息较为丰富的部分。

如图3所示，为本申请实施例提供的通道空间注意力模块的示意图。通道注意力模块和空间注意力模块采样串联的方式连接，他们之间彼此独立，但分工明确，分别进行通道上的注意力机制操作和空间上的注意力机制操作。

由于骨干网络模块输出了三个不同倍数下采样对应的三个不同特征，即第一特征、第二特征和第三特征，因此，将通道空间注意力模块复制至三份，分别为CBAM1模块、CBAM2模块和CBAM3模块，分别与第一特征、第二特征和第三特征一一对应，如图2所示。在图2中，CBAM1模块属于Neck模块的内容，在一些实施例中，Neck模块也可以不包括CBAM1模块。

在一实施例中，如图4所示，步骤103还包括如下步骤，具体请结合图3来参看图4，图4主要是利用通道空间注意力模块对输入特征进行注意力加强处理，图4包括如下步骤201至204。

201，将多个不同特征中的每个特征输入至通道注意力模块中进行通道注意力特征提取处理，以得到对应的通道注意力特征。

例如，将多个不同特征中的第一特征输入至CBAM1中的通道注意力模块中进行通道注意力特征提取处理，以得到第一特征的通道注意力特征；将多个不同特征中的第二特征输入至CBAM2中的通道注意力模块中进行通道注意力特征提取处理，以得到第二特征的通道注意力特征；将多个不同特征中的第三特征输入至CBAM3中的通道注意力模块中进行通道注意力特征提取处理，以得到第三特征的通道注意力特征。

其中，图3中的InputFeature(输入特征)可分别表示输入的第一特征、第二特征或者第三特征，用F∈R

其中，通道注意力模块的结构示意图如图5所示。具体地，步骤201还可包括图6中所示的步骤301至304，请结合图5参看图6。

301，将多个不同特征中的每个特征进行两种不同的池化处理，以分别得到两个不同的池化特征。

将多个不同特征中的每个的输入特征分别进行两种不同的池化处理，例如，进行全局最大池化处理(图5中的MaxPool)和全局平均池化处理(图5中的AvgPool)，以分别得到两个不同的池化特征，如图5所示。例如，将输入特征F

302，将两个不同的池化特征分别进行多层感知处理，以得到两个不同的感知处理特征。

将两个不同的池化特征输入至小型的神经网络如多层感知机网络(MultilayerPerceptron,MLP)中进行多层感知处理，以进行特征提取，得到两个不同的感知处理特征。该多层感知机网络只有两层，第一层采用ReLU作为激活函数，神经元的数量为Cr，第二层的神经元数量为C，两层之间共享权值，由于两层之间共享权重，因此，图5中将MLP网络也称为SharedMLP网络。由于输入到MLP网络中是两个1×1×C的特征图，因此MLP网络同样会输出两个特征图，即两个不同的感知处理特征。

利用MLP网络对各通道对应的池化特征进行多层感知处理，以提取各通道之间的特征，并提取各通道的特征之间的关系，突出各通道之间目标的特征，如道路裂纹的特征。

303，将两个不同的感知处理特征进行第一融合处理，得到第一融合特征。

其中，第一融合处理可以是相加处理等，将两个不同的感知处理特征进行对应元素逐个相加的操作(element-wise加法)，如图5中的中的

304，利用第一激活函数对第一融合特征进行第一激活处理，以得到对应的通道注意力特征。

其中，第一激活函数可以为Sigmoid激活函数，利用第一激活函数对第一融合特征进行第一激活处理，以得到对应的通道注意力特征(Channel AttentionM

其中，利用通道注意力模块进行通道注意力特征提取处理得到通道注意力特征M

公式中σ表示Sigmoid激活函数，W

通过通道注意力模块提取输入特征F

202，根据通道注意力特征和当前输入通道注意力模块的对应特征，确定对应的目标通道注意力特征。

根据第一特征对应的通道注意力特征和当前输入通道注意力模块的第一特征，确定第一特征的目标通道注意力特征。同理，也得到第二特征的目标通道注意力特征和第三特征的目标通道注意力特征。

在一实施例中，将通道注意力特征和当前输入通道注意力模块的对应特征进行相乘处理，以得到对应的目标通道注意力特征。

在一实施例中，将通道注意力特征映射为与当前输入通道注意力模块的对应特征相同的维度，例如，进行复制映射等；将映射后的通道注意力特征中的各元素和当前输入通道注意力模块的对应特征中的对应各元素进行相乘处理，以得到对应的目标通道注意力特征。例如，将第一特征对应的通道注意力特征映射为与第一特征相同的维度，再第一特征对应的通道注意力特征和第一特征中的各元素一一对应进行相乘处理，即进行对应元素逐个相乘的操作(element-wise乘法)，如图3中的

可用如下公式(2)来表示得到目标通道注意力特征的过程。

/>

其中，公式中的F表示的是输入特征图，定义为F∈R

通过通道注意力模块得到的目标通道注意力特征，可以突出各通道中的目标(道路破损对象)的特征，关注各通道中的关键特征/重要特征，如道路破损对象如道路裂纹的特征。

203，将目标通道注意力特征输入至空间注意力模块中进行空间注意力特征提取处理，以得到对应的空间注意力特征。

例如，将第一特征对应的目标通道注意力特征输入至空间注意力模块中进行空间注意力特征提取处理，以得到第一特征对应的空间注意力特征，同理可得到第二特征对应的空间注意力特征和第三特征对应的空间注意力特征。

其中，空间注意力模块的网络结构示意图如图7所示。步骤203还可包括图8中所示的步骤401至404，请结合图7参看图8。

401，将目标通道注意力特征进行两种不同的池化处理，以分别得到两个不同的池化特征。

空间注意力模块的输入是将通道注意力模块输出的特征M

402，将两个不同的池化特征进行第二融合处理，得到第二融合特征。

其中，第二融合处理为拼接处理等，将两个不同的池化特征进行拼接处理，得到2H*W*1的特征图，即第二融合特征，如图7所示。第二融合特征中包括了关键特征/重要特征中信息较为丰富的部分如道路裂纹的特征。

403，将第二融合特征进行卷积处理，以映射到一个空间上，以得到空间卷积特征。

如图7所示，利用卷积层(conv layer)将第二融合特征进行卷积处理，以将特征的空间信息进行变换，对其进行降维，将其变换到另一个空间中，以得到空间卷积特征，空间卷积特征中包括了重要特征/关键特征中信息较为丰富的部分如道路裂纹的特征。

404，利用第二激活函数对空间卷积特征进行第二激活处理，可以得到对应的空间注意力特征。

其中，第二激活函数可以为Sigmoid激活函数，利用第二激活函数对第二融合特征进行第二激活处理，以得到对应的空间注意力特征(Spatial AttentionM

其中，对应的空间注意力特征包括第一特征对应的空间注意力特征、第二特征对应的空间注意力特征和第三特征对应的空间注意力特征。

可用如下公式(3)来表示得到对应空间注意力特征的过程。

/>

公式中σ表示第二激活函数如Sigmoid函数，f

利用空间注意力模块的空间注意力机制对输入至空间注意力模块的输入特征的空间信息进行变换，将其变换到另一个空间中，并提取特征中的重要特征/重要信息如道路裂纹的特征中信息丰富的部分。

204，根据空间注意力特征和当前输入空间注意力模块中的目标通道注意力特征，确定对应的目标空间注意力特征，将所确定的多个目标空间注意力特征作为多个不同的注意力加强特征。

例如，将第一特征对应的空间注意力特征和当前输入空间注意力模块中的第一特征对应的目标通道注意力特征，确定第一特征对应的目标空间注意力特征，同理得到第二特征对应的目标空间注意力特征和第三特征对应的目标空间注意力特征，将第一特征对应的目标空间注意力特征、第二特征对应的目标空间注意力特征和第三特征对应的目标空间注意力特征作为多个不同的注意力加强特征。

在一实施例中，将空间注意力特征和当前输入空间注意力模块中的目标通道注意力特征进行相乘处理，以得到对应目标空间注意力特征。

在一实施例中，将空间注意力特征映射为与当前输入至空间注意力模块的对应特征相同的维度，例如，进行复制映射等，将映射后的空间注意力特征中的各元素与当前输入至空间注意力模块的对应特征中的各元素进行相乘处理，以得到对应的目标空间注意力特征。进行对应元素逐个相乘的操作(element-wise乘法)，如图3中的

如此，对空间注意特征进行加权输出，增强关键特征中信息较为丰富的部分如道路裂纹的特征表达能力，削弱不重要特征的特征表达能力。

可用如下公式(4)来表示得到目标空间注意力特征的过程。

F″是对F′进行空间注意力加强后的特征M

104，将多个不同的注意力加强特征输入至道路破损检测模型中的后处理模块中进行道路破损预测处理，以得到每帧道路图片中的道路破损检测结果，该道路破损检测结果包括多个不同的道路破损对象所在的破损检测框、破损检测框所在位置处的道路破损的破损概率和破损检测框所在位置处的道路破损类别中的至少一个。

道路破损对象即为检测到的目标如道路裂纹等。破损检测框指的是道路破损对象在每帧道路图片中以检测框的方式标注，其中，每个破损检测框以四个参数来表示：t

破损检测框所在位置处的道路破损的破损概率，指的是破损检测框中的目标出现道路破损的概率，一个破损检测框对应一个破损概率。

其中，道路破损类别可以根据实际情况来进行设置。例如，若想区分是否有道理破损，那么道路破损类别中可以包括：有道路破损、无道理破损，对应地，道路破损类别至少包括这两种情况。例如，道路破损类别还可以包括多个不同类别，例如，裂纹、坑、洞等不同类别。其中，在YOLOx-Darknet53中每个破损检测框可支持多个类别，以进行多分类，如80个类别。

由于后处理模块中包括加强特征提取模块和预测模块，因此，将多个不同的注意力加强特征输入至加强特征提取模块进行加强特征提取处理，以得到多个不同的加强特征，将多个不同的加强特征输入至预测模块中进行道路破损预测处理，以得到每帧道路图片中的道路破损检测结果，其中，道路破损检测结果包括多个不同的道路破损对象所在的破损检测框、破损检测框所在位置处的道路破损的破损概率和破损检测框所在位置处的道路破损类别中的至少一个。

其中，加强特征提取模块和预测模块可参看图2中所示的网络结构，图2中只示出了预测模块的一部分。由于有第一特征、第二特征和第三特征等三个分支，因此，加强特征提取模块进行加强特征提取处理后，可得到三个不同的加强特征，将三个不同的加强特征分别作为预测模块的三个输入。

其中，根据第一特征对应的注意力加强特征确定预测模块的第一个输入，如将第一特征对应的注意力加强特征直接作为预测模块的第一个输入。根据第一个输入和第二特征对应的注意力加强特征确定预测模块的第二个输入，例如将第一个输入特征进行加强特征提取处理，如卷积、上采样等处理后，将处理后的结果和第二特征对应的注意力加强特征进行拼接处理，再经过CBL模块中的卷积等处理，以得到预测模块的第二个输入。根据第二个输入和第三特征对应的注意力加强特征确定预测模块的第三个输入，例如，将第二个输入进行加强特征提取处理，如卷积、上采样等处理后，将处理后的结果和第三特征对应的注意力加强特征进行拼接处理，再经过CBL模块中的卷积等处理，以得到预测模块的第三个输入。

由于三个注意力加强特征都增强了关键特征的表达能力，因此，根据三个注意力加强特征得到的第一个输入、第二个输入和第三个输入，进一步增强了关键特征如道路破损的特征的表达能力，削弱了不重要特征的表达能力，对关键特征进行进一步的加强，提高预测模块的预测准确率，提高道路破损检测的准确率和效率。

上述实施例中对道路破损检测模型中提取的多个不同下采样倍数下的多个不同特征，利用通道空间注意力模块中的通道注意力机制和空间注意力机制进行加强，提高重要特征/关键特征如道路裂纹等的表达能力，削弱不重要特征如背景特征的表达能力，极其适用于道路破损检测的情景下，在道路破损检测的情景下，目标常为小目标，而背景复杂，如此能够提升检测的准确度。

图9是本申请实例提供的道路破损检测方法的一流程示意图，该流程示意图主要包括训练道路破损检测模型的训练过程。训练过程主要包括如下步骤。

501，获取训练数据集和初始道路破损检测模型，其中，训练数据集中包括多张道路破损图片、道路破损图片中所对应的训练道路破损对象所在的训练破损检测框、训练破损检测框的道路破损类别标签。

其中，训练数据集中的道路破损图片可以包括两部分，一部分是网络开源的道路破损图片如道路裂纹图片，另一部分是无人机设备拍摄的道路破损图片如道路裂纹图片等，完成训练数据集中的图片采集后，采用深度学习目标检测领域的预设软件如LabelImg软件来对图片进行标注，取得图片对应的XML文件，完成训练数据集的构建。为了降低模型的过拟合现象，构建完成的训练数据集采用数据增强技术来扩充样本容量，如旋转、调整亮度和对比度等等，最后将增强后的训练数据集用于初始道路破损检测模型的训练。

初始道路破损检测模型可以为YOLOx系列的网络模型，是需要更新网络参数的网络模型。

其中，训练数据集中的道路破损类别标签即为真实确定的道路破损类别信息。其中，该实施例中的名词如训练道路破损对象、训练破损检测框等与上文中的道路破损对象、破损检测框的意义一致，该实施例中的名词前面加了“训练”两字，以为了与上文中的对应名词进行区分。下文中涉及得到的名词同样如此，后文中将不在赘述。

502，利用初始道路破损检测模型中的骨干网络模块对每张道路破损图片进行特征提取处理，以得到骨干网络模块的训练特征输出结果，该训练特征输出结果包括多个不同下采样倍数下对应的多个不同训练特征。

如训练特征输出结果包括8倍下采样对应的第三特征、16倍下采样对应的第二特征和32倍下采样对应的第一特征。

503，将多个不同训练特征分别输入至初始道路破损检测模型中的通道空间注意力模块中进行注意力加强处理，以得到多个不同的训练注意力加强特征。

其中，步骤503，包括：将多个不同训练特征中的每个训练特征输入至通道注意力模块中进行通道注意力特征提取处理，以得到对应的训练通道注意力特征；根据训练通道注意力特征和当前输入通道注意力模块的对应训练特征，确定对应的训练目标通道注意力特征；将训练目标通道注意力特征输入至空间注意力模块中进行空间注意力特征提取处理，以得到对应的训练空间注意力特征；根据训练空间注意力特征和当前输入空间注意力模块中的训练目标通道注意力特征，确定对应的训练目标空间注意力特征，将所确定的多个训练目标空间注意力特征作为多个不同的训练注意力加强特征。

其中，上述将多个不同训练特征中的每个训练特征输入至通道注意力模块中进行通道注意力特征提取处理，以得到对应的训练通道注意力特征的步骤，包括：将多个不同训练特征中的每个训练特征进行两种不同的池化处理，以分别得到两个不同的训练池化特征；将两个不同的训练池化特征分别进行多层感知处理，以得到两个不同的训练感知处理特征；将两个不同的训练感知处理特征进行第一融合处理，得到训练第一融合特征；利用第一激活函数对训练第一融合特征进行第一激活处理，以得到对应的训练通道注意力特征。

其中，上述将训练目标通道注意力特征输入至空间注意力模块中进行空间注意力特征提取处理，以得到对应的训练空间注意力特征的步骤，包括：将训练目标通道注意力特征进行两种不同的池化处理，以分别得到两个不同的训练池化特征；将两个不同的训练池化特征进行第二融合处理，得到训练第二融合特征；将训练第二融合特征进行卷积处理，以映射到一个空间上，以得到训练空间卷积特征；利用第二激活函数对训练空间卷积特征进行第二激活处理，可以得到对应的训练空间注意力特征。

其中，上述根据训练通道注意力特征和当前输入通道注意力模块的对应训练特征，确定对应的训练目标通道注意力特征的步骤，包括：将训练通道注意力特征映射为与当前输入通道注意力模块的对应训练特征相同的维度；将映射后的训练通道注意力特征中的各元素和当前输入通道注意力模块的对应训练特征中的对应各元素进行相乘处理，以得到对应的训练目标通道注意力特征。

其中，上述根据训练空间注意力特征和当前输入空间注意力模块中的训练目标通道注意力特征，确定对应的训练目标空间注意力特征的步骤，包括：将训练空间注意力特征映射为与当前输入至空间注意力模块的对应训练目标通道注意力特征相同的维度；将映射后的训练空间注意力特征中的各元素和当前输入空间注意力模块中的训练目标通道注意力特征中的对应各元素进行相乘处理，以得到对应的训练目标空间注意力特征。

504，将多个不同的训练注意力加强特征输入至初始道路破损模型中的后处理模块中进行道路破损预测处理，以得到多个不同的道路破损对象所在的破损检测框、破损检测框所在位置处的道路破损的破损概率和破损检测框所在位置处的道路破损类别。

505，根据破损检测框、破损检测框所在位置处的道路破损的破损概率和破损检测框所在位置处的道路破损类别，以及训练破损检测框、训练破损检测框的道路破损类别标签，更新初始道路破损模型的网络参数，以得到道路破损检测模型。

根据破损检测框、破损检测框所在位置处的道路破损的破损概率和破损检测框所在位置处的道路破损类别，以及训练破损检测框、训练破损检测框的道路破损类别标签确定初始道路破损模型的损失值，根据损失值来更新初始道路破损模型的网络参数，直至达到训练停止条件，如损失值收敛、或者训练轮数达到预设论述，以停止训练，得到道路破损检测模型。

该实施例中描述了如何对初始道路破损检测模型进行训练，以得到道路破损检测模型的具体过程。

图10是本申请实例提供的道路破损检测方法的另一流程示意图，该流程示意图中主要涉及三部分：道路破损检测模型、多目标跟踪模型(多目标跟踪算法)和双判别框算法(双判别框模型)，该流程示意图中利用三部分对道路破损进行检测，该流程示意图主要包括如下步骤。

601，获取实时拍摄的道路视频中的多帧道路图片。

602，利用包括通道空间注意力模块的道路破损检测模型，对多帧道路图片中的当前帧道路图片进行道路破损检测处理，以得到当前帧道路图片的道路破损检测结果，该道路破损检测结果包括至少一个道路破损对象所在的破损检测框、破损检测框所在位置处的道路破损的破损概率和破损检测框的道路破损类别。

其中，通道空间注意力模块可如上文中所述，在此不再赘述。

其中，可利用道路破损检测模型中的通道空间注意力模块对骨干网络模块输出的多个不同下采样倍数下对应的多个不同特征进行注意力加强处理，以将进行注意力加强处理得到的多个不同的注意力加强特征输入至道路破损检测模型中的后处理模块中进行道路破损预测处理，以得到每帧道路图片中的道路破损检测结果。

其中，当前帧道路图片的道路破损检测结果还可以按照上文中图1至图8中所述的任一实施例中的道理破损检测方法来确定，具体不再赘述。

603，根据当前帧及其之前帧道路图片的道路破损检测结果，对道路破损对象进行多目标跟踪处理，以确定当前帧跟踪的道路破损对象和当前帧检测的道路破损对象为同一对象的目标道路破损对象，并确定目标道路破损对象所在的破损检测框、破损检测框所在位置处的道路破损的破损概率、破损检测框的道路破损类别和目标道路破损对象所对应的跟踪器标识。

其中，多目标跟踪处理利用多目标跟踪算法来实现，根据当前帧之前的多帧道路图片中的道路破损检测结果，利用多目标跟踪算法预测当前帧道路图片中的道路破损跟踪结果，该道路破损跟踪结果包括至少一个道路破损对象所在的破损跟踪框和道路破损对象所对应的跟踪器标识；将当前帧道路图片的道路破损检测结果和道路破损跟踪结果进行匹配关联；将匹配关联成功的当前帧跟踪的道路破损对象和当前帧检测的道路破损对象确定为同一对象，将匹配关联成功的同一对象确定为目标道路破损对象。

其中，多目标跟踪算法可以使用DeepSORT算法，还可以使用其他的多目标跟踪算法来实现。笨申请实施例中以DeepSORT算法为例进行说明。

其中，DeepSORT算法中，对道路视频中的目标(道路破损对象)进行跟踪时，会根据第k帧中道路破损检测模型得到的道路破损检测结果(目标检测结果)和前k帧中道路破损检测结果的最优估计，来使用卡尔曼滤波对当前帧中的目标进行最优估计。关于验证目标是否为同一目标，DeepSORT算法会使用外观信息(也可称为外观描述/外观特征)和运动信息的关联来完成，目标的运动信息的关联可使用马氏距离来计算，而外观信息的匹配则可采用最小余弦距离。

其中，DeepSORT算法的多目标跟踪流程主要包括以下内容。

首先，获取道路破损检测模型得到的道路破损对象的破损检测框(也可以称为目标边界框)。

接着使用卡尔曼滤波器来估计道路破损对象的运动状态，例如，根据获取到的目标边界框，提取到待跟踪目标(道路破损对象)在道路图片中的位置信息，并对目标进行特征描述。例如，对于目标运动状态的估计使用8维状态空间来描述

然后进行目标的跟踪匹配，例如，获取当前帧道路图片的道路破损检测结果和利用卡尔曼滤波器来估计/预测的道路跟踪结果进行匹配关联，如果匹配关联成功，进行卡尔曼更新，匹配关联不成功则进行第二次匹配，其中，匹配关联分别为两个部分，分别是运动信息的关联和外观信息的关联。

运动信息关联表示的是进行卡尔曼滤波后，卡尔曼滤波器给出的最优估计和目标检测(道路破损检测结果)给出的目标边界框之间的距离，这一距离可使用马氏距离来完成计算。如公式(5)所示。

公式(5)中d

单单使用马氏距离会导致目标替换的现象频繁发生，这是由于马氏距离仅仅只考虑了目标和预测轨迹之间的联系，为了降低这一现象发生的几率，需要使用目标的特征，完成目标外观信息的关联。

外观信息关联指的是，通过计算目标检测输出的目标边界框的特征和跟踪器输出的目标边界框之间的特征的相似程度，来完成他们之间的匹配关联，相似程度以最小余弦距离来进行描述。以r

通过将运动信息的关联和外观信息的关联进行加权融合，即可得到最终的关联度量方法，以得到最终的匹配关联结果，具体如图7所示。

c

最后进行目标跟踪状态的更新：匹配关联成功后，对跟踪器进行卡尔曼滤波更新，即更新卡尔曼滤波器预测的所有目标边界框。经过两次匹配后依旧未能完成匹配的跟踪器和目标检测结果(道路破损检测结果)，对于目标检测结果，将其初始化为新目标，使用匈牙利算法为其重新分配跟踪器；而跟踪器则是判断其寿命，大于寿命阈值的跟踪器会被删除，小于寿命阈值的会被保留，等待其跟踪目标的重新出现。

通过多目标跟踪算法对目标进行跟踪，以区分出道路破损检测模型输出的目标信息(道路破损对象)是否为同一目标，同时会关联道路视频前后帧之间的目标的关联信息(包括运动信息的关联和外观信息的关联)，确保视频中的目标为同一目标，提高道路破损检测的准确率。

604，根据目标道路破损对象的破损检测框所对应的检测点、跟踪器标识和所确定的每帧道路图片中的至少两个判别框，来确定所跟踪的所述目标道路破损对象是否有效，若有效，则确定目标道路破损对象的定位信息。

其中，至少两个判别框涉及到双判别框算法的内容。该步骤中将会详细描述双判别框算法的内容。

其中，无人机设备在执行飞行任务时，随着无人机设备的飞行，道路视频中的多帧道路图片的内容会沿着某一方向发生变化，将该方向作为第一方向，至少两个判别框沿着第一方向上设置，且至少两个判别框不重叠。

例如，无人机设备飞行时，道路视频中的每帧道路图片的上面部分内容是变化的内容，即新增加的内容，下面部分内容与前一帧中保持一致，此时多帧道路图片的内容沿着高度方向发生变化，那么沿着高度方向上设置至少两个判别框，或者至少两个判别框水平设置。如图11所示为在高度方向上设置至少两个判别框的示意图。对应地，变化的内容先经过至少两个判别框中的第一判别框，再经过至少两个判别框中的第二个判别框，即第一判别框在上面，第二判别框在下面。

例如，无人机设备在飞行时，道路视频中的每帧道路图片的左边部分内容是变化的内容，即新增加的内容，右边部分内容与前一帧中保持一致，此时多帧道路图片的内容沿着宽度方向发生变化，那么沿着宽度方向上设置至少两个判别框，或者至少两个判别框竖直设置。对应地，变化的内容先经过至少两个判别框中的第一判别框，再经过至少两个判别框中的第二个判别框，即两个判别框中的第一判别框在左边，第二判别框在右边。

每帧道路图片中的至少两个判别框表示该至少两个判别框针对道路视频中的每帧道路图片都适用，并不理解为需要为每帧道路图片设置至少两个判别框。其中，双判别框算法中还可以包括更多的判别框，以达到更加准确的效果，但是计算量会增加，而两个判别框也可以达到较为准确的效果，同时保持最小的计算量。本申请实施例中以两个判别框为例进行说明。

进一步地，还需要确定至少两个判别框的设置大小和设置位置。其中，根据多帧道路图片在第一方向上的图片尺寸和缩放系数确定至少两个判别框在第一方向上的判别框尺寸；根据多帧道路图片在第二方向上的图片尺寸确定至少两个判别框在第二方向上的判别框尺寸；根据多帧道路图片在第一方向上的图片尺寸和至少两个判别框的在第一方向上的判别框尺寸确定至少两个判别框的位置。

其中，若第一方向为高度方向，则多帧道路图片在第一方向上的图片尺寸指的是图片高度，第二方向上的图片尺寸指的是图片宽度，若第一方向为宽度方向，则多帧道路图片在第一方向上的图片尺寸指的是图片宽度，第二方向上的图片尺寸指的是图片高度。缩放系数，用于控制至少两个判别框在第一方向上的判别框的大小，缩放系数为0-1之间的值。

以第一方向为高度方向为例进行说明。根据多帧道路图片在高度方向上的图片高度和缩放系数来确定至少两个判别框在高度方向上的判别框高度，具体地，可如公式(8)的第一个公式来确定判别框高度。根据多帧道路图片在宽度方向上的图片宽度来确定至少两个判别框在宽度方向上的判别框宽度，例如，将图片宽度确定为判别框宽度。再根据多帧道路图片在高度方向上的图片高度和至少两个判别框的在高度方向上的判别框高度确定至少两个判别框的位置，如可按照公式(8)中的第二个公式来确定至少两个判别框的位置。

公式中，H是摄像头拍摄的道路图片的高度，k为缩放系数，R

例如，假设多帧道路图片的高度H为1000，中心就是500，设缩放系数k为0.2，则判别框高度R

假设沿着第一方向上设置的至少两个判别框分别为第一判别框和第二判别框。对应地，根据目标道路破损对象的破损检测框所对应的检测点、跟踪器标识和所确定的每帧道路图片中的至少两个判别框，来确定所跟踪的目标道路破损对象是否有效的步骤，包括：根据目标道路破损对象的破损检测框所对应的检测点是否出现在第一判别框和第二判别框中，且目标道路破损对象所对应的跟踪器标识是否被记录，来确定所跟踪的所述目标道路破损对象是否有效。

其中，目标破损对象的破损检测框所对应的检测点即为破损检测框内的点。若目标道路破损对象的破损检测框所对应的检测点既出现在第一判别框，又出现在第二判别框中，且目标道路破损对象所对应的跟踪器标识在第一批判别框中被记录且又出现在第二判别框中，则确定所跟踪的目标道路破损对象有效，否则还需要进一步判断。

进一步地，所述根据目标道路破损对象的破损检测框所对应的检测点、跟踪器标识和所确定的每帧道路图片中的至少两个判别框，来确定所跟踪的目标道路破损对象是否有效的步骤，包括：若检测到目标道路破损对象的破损检测框所对应的检测点出现在所述第一判别框中，检测目标道路破损对象所对应的跟踪器标识是否被记录，如果没有记录，则记录跟踪器标识；若检测到目标道路破损对象的破损检测框所对应的检测点出现在第二判别框中，检测目标道路破损对象所对应的跟踪器标识是否在第一判别框中被记录，若是，则确定所跟踪的目标道路破损对象有效，并对目标道路破损对象进行统计计数；若目标道路破损对象所对应的跟踪器标识在第一判别框中被记录，但在连续多帧内目标道路破损对象的破损检测框所对应的检测点没有出现在第二判别框中，则在第一判别框中被记录的跟踪器标识中删除未出现在第二判别框中的目标道路破损对象的跟踪器标识。

其中，若确定目标道路破损对象有效，对目标道路破损对象进行统计计数，利用双判别框算法以避免重复计数，进一步地，若确定目标道路破损对象有效，则确定目标道路破损对象的定位信息。其中，可直接获取无人机设备的GPS定位信息作为目标道路破损对象的定位信息，或者根据无人机设备的GPS定位信息来进一步确定目标道路破损对象的定位信息，以方便后期对目标道路破损对象如道路裂纹进行修复。

605，保存目标道路破损对象的跟踪器标识、目标道路破损对所在的破损检测框、破损检测框的破损概率、道路破损类别和定位信息。

保存有效的目标道路破损对象的所有信息，如跟踪器标识、目标破损对象所在的破损检测框、可信度、类别、定位信息等信息，破损检测框的破损概率也可认为是破损检测框出现破损的可信度，类别即为道路破损类别等信息。

该实施例中通过道路破损检测模型、多目标跟踪算法和双判别框算法一起来实现对目标道路破损对象的识别，通过道路破损检测模型可以提高检测的准确率和效率，进一步根据道路破损检测模型来进行多目标跟踪，以确定检测到的道路破损对象是否为同一目标对象，提高道路破损检测的准确率，再进一步根据双判别框算法来进一步确定多目标跟踪算法得到的同一目标对象的目标道路破损对象是否有效，并在有效的情况下进行统计计数，以进一步提高道路破损检测的准确率。

图12为本申请实施例提供的道路破损检测系统的示意图，该道路破损检测系统中包括无人机设备11和地面站设备12。其中，无人机设备11与地面站设备12进行通讯，如通过无线方式进行通信等。其中，地面站设备12可以是智能手机、平板电脑、笔记本电脑、个人计算机(PC，Personal Computer)、车载终端等终端设备或者服务器设备等。

如图13所示，为本申请实施例提供的道路破损检测系统的一结构示意图。其中，无人机设备11中包括硬件层和ROS系统层，硬件层和ROS系统层进行相互通信。其中，硬件层中包括无人机机身及传感器、机载深度学习运算平台(本申请实施例中的道路破损检测方法)和机载摄像头，硬件层用于接收来自ROS系统层和地面站设备发来的信息，并分别向ROS系统层和地面站设备发送自身的信息。ROS系统层包括数据处理部分、底层控制部分和通信部分，ROS系统层主要是对硬件层进行抽象，方便对底层硬件进行控制和管理，以及对数据进行收发和处理。

其中，地面站设备12主要是对接收到的信息进行显示以及向无人机发送控制指令如飞行任务指令、飞行状态获取指令等。地面站设备12包括地面站应用程序(地面站APP)，通过地面站APP可以进行飞行任务的任务设置、实时画面显示、飞行状态获取等。

图14是本申请实施例提供的道路破损检测方法的又一流程示意图，该道路破损检测方法请结合图12和图13所示的道路破损检测系统来参看，具体包括如下步骤。

701，利用地面站设备设置无人机设备的飞行任务，并将飞行任务发送至无人机设备。

首先将无人机设备打开，然后等待无人机设备自检和系统以及相关功能启动。无人机设备启动后，通过地面站设备采用无线连接的方式连接至无人机设备。之后，通过地面站APP设置无人机设备的飞行任务，该飞行任务中包括此次无人机设备飞行的起始点和终止点，和/或飞行路径等信息。确定飞行任务设置无误后，通过地面站设备将飞行任务发送至无人机设备。

702，利用无人机设备开启摄像头，并根据飞行任务控制无人机设备飞行。

先解锁无人机设备，利用无人机设备开启摄像头，开启Socket服务，通过该Socket服务进行数据通信，运行本申请实施例中的道路破损检测方法，并开始控制无人机设备飞行，以及自动执行飞行任务。

703，利用无人机设备获取摄像头实时拍摄的道路视频中的多帧道路图片，并对多帧道路图片进行道路破损检测处理，以得到多帧道路图片中的道路破损识别结果，该道路破损识别结果中包括目标道路破损对象所对应的跟踪器标识、目标道路破损对象所在的破损检测框、破损检测框的破损概率、道路破损类别和目标道路破损对象的定位信息中的至少一个。

可利用上述任一实施例中的道路破损检测方法来得到道路破损识别结果，具体请参看上述实施例中所述的内容，在此不再赘述。

704，将多帧道路图片中的道路破损识别结果发送至地面站设备中，以在地面站设备中显示道路破损识别结果。

在无人机设备执行飞行任务的过程中，当完成一次目标的检测时，无人机设备会将检测到的目标信息发送至地面站APP，由地面站APP进行数据的显示，如标记目标(有效的目标道路破损对象如道路裂纹)所在地图上的位置、显示目标如道路裂纹所在的破损检测框、已检测的目标如道路裂纹的数量、目标如道路裂纹的位置信息和跟踪器标识等，从而方便后期对目标如道路裂纹进行修复。如图15所示，为本申请实施例中提供的道路破损识别结果的示意图。

该实施例中不仅可以实时的自动完成目标如道路裂纹的检测，提高道路破损检测的效率和准确率，还可以通过地面站APP实时的查看当前的道路破损识别结果，能更加方便的协助操作人员完成道路破损检测的任务。

该实施例中无人机设备进行道路巡检可以省去人工巡检时在道路上驾车巡检的时间和资源消耗。只需设置无人机的飞行任务，无人机在执行完任务后就会返回出发点/起始点，操作人员站在起始点即可完成对目标道路的巡检。而且采用深度学习的方式来进行道路检测可以让机器担任检测内容，极大程度的降低了道路巡检的人工成本。此外，采用深度学习的方式进行道路检测的另一个优点是，随着采集的数据越来越多，训练数据集越来越大，机器检测的精度会越来越高，人工需要介入的情况就会逐渐减少。而且，当需要检测更多的道路破损类别时，只需扩充训练数据集的类别，对模型进行训练就可以完成新目标的检测。

上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

为便于更好的实施本申请实施例的道路破损检测方法，本申请实施例还提供一种道路破损检测装置。请参阅图16，图16为本申请实施例提供的道路破损检测装置的结构示意图。该道路破损检测装置800可以包括获取模块801，骨干处理模块802，注意力处理模块803，以及后处理模块804。

第一获取模块801，用于获取实时拍摄的道路视频中的每帧道路图片。

骨干处理模块802，用于利用道路破损检测模型中的骨干网络模块对每帧道路图片进行特征提取处理，以得到所述骨干网络模块的特征输出结果，所述特征输出结果包括多个不同下采样倍数下对应的多个不同特征。

注意力处理模块803，用于将多个不同特征分别输入至所述道路破损检测模型中的通道空间注意力模块中进行注意力加强处理，以得到多个不同的注意力加强特征。

在一实施例中，注意力处理模块803，还用于将多个不同特征中的每个特征输入至所述通道注意力模块中进行通道注意力特征提取处理，以得到对应的通道注意力特征；根据所述通道注意力特征和当前输入所述通道注意力模块的对应特征，确定对应的目标通道注意力特征；将所述目标通道注意力特征输入至所述空间注意力模块中进行空间注意力特征提取处理，以得到对应的空间注意力特征；根据所述空间注意力特征和当前输入所述空间注意力模块中的所述目标通道注意力特征，确定对应的目标空间注意力特征，将所确定的多个目标空间注意力特征作为多个不同的注意力加强特征。

后处理模块804，用于将多个不同的注意力加强特征输入至所述道路破损模型中的后处理模块中进行道路破损预测处理，以得到多个不同的道路破损对象所在的破损检测框、所述破损检测框所在位置处的道路破损的破损概率和所述破损检测框所在位置处的道路破损类别。

请参阅图17，图17为本申请实施例提供的道路破损检测装置的一结构示意图。该道路破损检测装置900可以包括训练获取模块901，训练骨干处理模块902，训练注意力处理模块903，训练后处理模块804以及更新模块805。

训练获取模块901，用于获取训练数据集和初始道路破损检测模型，所述训练数据集中包括多张道路破损图片、所述道路破损图片中所对应的训练道路破损对象所在的训练破损检测框、所述训练破损检测框的道路破损类别标签。

训练骨干处理模块902，用于利用所述初始道路破损检测模型中的骨干网络模块对所述每张道路破损图片进行特征提取处理，以得到所述骨干网络模块的训练特征输出结果，所述训练特征输出结果包括多个不同下采样倍数下对应的多个不同训练特征。

训练注意力处理模块903，用于将多个不同训练特征分别输入至所述初始道路破损检测模型中的通道空间注意力模块中进行注意力加强处理，以得到多个不同的训练注意力加强特征。

训练后处理模块804，将多个不同的训练注意力加强特征输入至所述初始道路破损模型中的后处理模块中进行道路破损预测处理，以得到多个不同的道路破损对象所在的破损检测框、所述破损检测框所在位置处的道路破损的破损概率和所述破损检测框所在位置处的道路破损类别。

更新模块805，用于根据所述破损检测框、所述破损检测框所在位置处的道路破损的破损概率和所述破损检测框所在位置处的道路破损类别，以及训练破损检测框、所述训练破损检测框的道路破损类别标签，更新所述初始道路破损模型的网络参数，以得到道路破损检测模型。

请参阅图18，图18为本申请实施例提供的道路破损检测装置的另一结构示意图。该道路破损检测装置1000可以包括第二获取模块1001，破损检测模块1002，跟踪模块1003，判别模块1004以及保存模块1005。

第二获取模块1001，用于获取实时拍摄的道路视频中的多帧道路图片。

破损检测模块1002，用于利用包括通道空间注意力模块的道路破损检测模型，对多帧道路图片中的当前帧道路图片进行道路破损检测处理，以得到当前帧道路图片的道路破损检测结果，所述道路破损检测结果包括至少一个道路破损对象所在的破损检测框、所述破损检测框所在位置处的道路破损的破损概率和所述破损检测框的道路破损类别。

跟踪模块1003，用于根据当前帧及其之前帧道路图片的道路破损检测结果，对所述道路破损对象进行多目标跟踪处理，以确定当前帧跟踪的道路破损对象和当前帧检测的道路破损对象为同一对象的目标道路破损对象，并确定所述目标道路破损对象所在的所述破损检测框、所述破损检测框所在位置处的道路破损的破损概率、所述破损检测框的道路破损类别和所述目标道路破损对象所对应的跟踪器标识。

判别模块1004，用于根据所述目标道路破损对象的所述破损检测框所对应的检测点、所述跟踪器标识和所确定的每帧道路图片中的至少两个判别框，来确定所跟踪的所述目标道路破损对象是否有效，若有效，则确定所述目标道路破损对象的定位信息。

保存模块1005，用于保存所述跟踪器标识、所述目标道路破损对象所在的所述破损检测框、所述破损检测框的破损概率和所述定位信息。

上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

相应的，本申请实施例还提供一种计算机设备，该计算机设备可以为终端、服务器，如计算机设备为无人机设备。如图19所示，图19为本申请实施例提供的计算机设备的结构示意图。该计算机设备1100包括有一个或者一个以上处理核心的处理器1101、有一个或一个以上计算机可读存储介质的存储器1102及存储在存储器1102上并可在处理器上运行的计算机程序。其中，处理器1101与存储器1102电性连接。

处理器1101是计算机设备1100的控制中心，利用各种接口和线路连接整个计算机设备1100的各个部分，通过运行或加载存储在存储器1102内的软件程序(计算机程序)和/或模块，以及调用存储在存储器1102内的数据，执行计算机设备1100的各种功能和处理数据，从而对计算机设备1100进行整体监控。

在本申请实施例中，计算机设备1100中的处理器1101会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器1102中，并由处理器1101来运行存储在存储器1102中的应用程序，从而实现各种功能，如上述任一实施例中的道路破损检测方法中的功能/步骤。

以上各个操作/步骤的具体实施和所能达到的有益效果可参见前面的实施例，在此不再赘述。

如图19所示，计算机设备1100还包括：摄像头1103。可选的，计算机设备1100还可以包括：射频电路1104、音频电路1105、输入单元1106以及电源1107。其中，处理器1101分别与摄像头1103、射频电路1104、音频电路1105、输入单元1106以及电源1107电性连接。本领域技术人员可以理解，图19中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

射频电路1104可用于收发射频信号，以通过无线通信与网络设备或其他计算机设备建立无线通讯，与网络设备或其他计算机设备之间收发信号。

音频电路1105可以用于通过扬声器、传声器提供用户与计算机设备之间的音频接口。音频电路1105可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路1105接收后转换为音频数据，再将音频数据输出处理器1101处理后，经射频电路1104以发送给比如另一计算机设备，或者将音频数据输出至存储器1102以便进一步处理。音频电路1105还可能包括耳塞插孔，以提供外设耳机与计算机设备的通信。

输入单元1106可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

电源1107用于给计算机设备1100的各个部件供电。可选的，电源1107可以通过电源管理系统与处理器1101逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1107还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管图19中未示出，计算机设备1100还可以包括摄像头、传感器、无线保真模块、蓝牙模块等，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种道路破损检测方法中的步骤。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。

由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种道路破损检测方法中的步骤，因此，可以实现本申请实施例所提供的任一种道路破损检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种道路破损检测方法、装置、系统、存储介质及计算机设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。