基于多模态融合的道路裂缝检测方法和系统

技术领域

本发明涉及计算机视觉和信号处理技术领域，特别涉及一种基于多模态融合的道路裂缝检测方法和系统。

背景技术

近年来，我国道路建设取得了令人瞩目的巨大成就。据交通运输部的官方数据统计，我国2020年道路养护里程为514.40万公里，占据道路总里程的99％。截止当前，道路裂缝检测工作以人工方法为主，不仅需要耗费大量的人力物力，而且耗时长、检测效率低、成本高，难以满足我国道路交通业的发展需求。随着深度学习技术的发展，用目标检测的方法可以很好的识别出裂缝，然而受外界环境因素的影响，目标检测的方法在光照暗的情况下可能出现误检漏检。

发明内容

本发明的目的在于将目标检测技术与震动信号处理技术融合，从而对道路裂缝实现智能实时、高效便捷的全面检测，提供一种基于多模态融合的道路裂缝检测方法和系统。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

基于多模态融合的道路裂缝检测方法，包括以下步骤：

步骤S1：收集裂缝图像数据集，经人工标注后，形成训练集、验证集、测试集；使用构建的改进YOLOv4模型对训练集进行训练，再对训练后的改进YOLOv4模型进行稀疏化训练和通道剪枝；将测试集输入改进YOLOv4模型，输出测试结果；

步骤S2：通过九轴陀螺仪采集原始震动信号，利用HHT对原始震动信号进行特征提取；根据HHT分析后得到的瞬时频率值的变化判断是否为裂缝；

步骤S3：将改进YOLOv4模型输出的测试结果和根据原始震动信号判断的裂缝结果融合后上传至服务器；服务器通过GPS定位将裂缝位置发送至用户终端，并进行报警。

在上述方案中，改进YOLOv4模型为轻量化的模型，达到了减少参数数量、提升运算速度的目的。

更进一步地，所述收集裂缝图像数据集，经人工标注后，形成训练集、验证集、测试集的步骤，包括：

收集的裂缝图像数据集包括横向裂缝、纵向裂缝、网状裂缝以及不规则裂缝；采用标注软件LabelImg人工进行裂缝图像标注，标注后形成训练集，同时生成含有道路裂缝关键点的xml文件；

在生成的xml文件的根目录下新建Main_trainval_txt.py文件和boc_label.py文件，分别形成验证集、测试集。

更进一步地，所述改进YOLOv4模型的结构包括：

Input：输入等待被检测的裂缝图像；

Backbone：MobileNetV3，用于减少运算量和参数量；

Neck：SPP+PANet，SPP用于增强网络的感受野，PANet用于解决目标检测中的多尺度问题，提升不同大小物体的检测能力；

Head：继承YOLOv3模型的三个检测头，对图像特征进行预测，生成边界框并预测其类别。

更进一步地，所述使用构建的改进YOLOv4模型对训练集进行训练的步骤，包括：

将标注好的裂缝图像数据集输入到主干网络MobileNetV3中进行特征提取，首先利用1×1卷积进行升维度；然后进行3×3深度可分离卷积；再利用注意力机制调整每个通道的权重；最后将h-swish激活函数；

将提取到的特征信息传入空间金字塔池化模块增强网络的感受野，分别进行尺度为5×5、9×9、13×13的最大池化，经过池化后通过concat把三个池化层的输出进行通道拼接，拼接后经1×1卷积层进行特征降维，然后将来自不同核大小的特诊图连接起来作为输出；

将三个不同尺度的最大池化结果传输到PANet中，将浅层特征与深层特征达到融合的效果，通过3×3和1×1卷积使得浅层特征和深层特征的输出特征相同；最后通过检测头预测目标的特征图，得到裂缝检测结果。

更进一步地，所述再对训练后的改进YOLOv4模型进行稀疏化训练和通道剪枝的步骤，包括：

在改进YOLOv4模型的每个通道中引入一个缩放因子，与权重一起训练，在训练过程中，将正则化趋于0的缩放因子的通道剪去，从而得到一个紧凑型网络；

改进YOLOv4模型稀疏化训练过程中的损失函数公式如下：

其中，loss

改进YOLOv4模型需要经过批量标准化层BN，再经过激活函数以提升YOLOv4模型的收敛速度，批量标准化层BN的计算公式如下：

其中，x表示批量标准化层BN的输入，y表示批量标准化层BN的输出，γ表示缩放因子，β表示平移参数，μ

更进一步地，所述通过九轴陀螺仪采集原始震动信号，利用HHT对原始震动信号进行特征提取；根据HHT分析后得到的瞬时频率值的变化判断是否为裂缝的步骤，包括：

将九轴陀螺仪固定在车载装备上，采集原始震动信号，将原始震动信号分割成n等分；对每段原始震动信号进行EMD分解分别得到IMF分量和频谱图；将峭度系数大于3的IMF分量相加得到IMFre，经过希尔伯特变换得到IMFre边际谱和瞬时频率fEmax；

对比路面场景视频和九轴陀螺仪采集到裂缝时的视频，将瞬时频率fEmax对应的平整度分类，验证是否满足独立样本T的检验条件；根据瞬时频率fEmax的波形变化，结合视频对比，判断九轴陀螺仪检测到的原始震动信号处是否为裂缝。

所述对每段原始震动信号进行EMD分解分别得到IMF分量和频谱图的步骤，包括：

找到每段原始震动信号x(t)的所有极值点，将所有极大值点通过三次样条函数拟合出上包络线；将所有极小值点通过三次样条函数拟合出下包络线，并计算出均值包络线m(t)；

使用该段原始震动信号x(t)减去所述均值包络线m(t)，得到中间信号c(t)；设中间信号c(t)是分解出的第一个高频分量，并记为IMF1；将均值包络线m(t)当做原始震动信号继续分解得到下一个高频分量，直至残余分量r(t)是单调函数或常量时，停止分解；从而得到多个IMF分量。

更进一步地，EMD分解及希尔伯特变换的公式如下：

EMD分解：

其中，x(t)为第t段原始震动信号，c

希尔伯特变换：

其中H(x(t))为x(t)和

基于多模态融合的道路裂缝检测系统，包括：

目标检测模块，用于将收集的裂缝图像数据集经人工标注后输入改进YOLOv4模型进行检测，从而获得裂缝检测结果；

震动信号检测模块，用于利用HHT对九轴陀螺仪采集的原始震动信号进行特征提取，并获得瞬时频率值，根据瞬时频率值获得裂缝检测结果；

服务器，用于将目标检测模块和震动信号检测模块的裂缝检测结果融合后，将裂缝位置通过GPS定位发送至用户终端，并进行报警。

与现有技术相比，本发明的有益效果：

(1)本发明采用轻量化的改进YOLOv4模型达到减少参数数量，提升运算速度的目的，通过对改进YOLOv4模型剪枝，将其参数量减少，推断参数量减小，最后将改进YOLOv4模型部署在移动端、边缘设备，构成道路裂缝检测系统，以便对道路情况进行实时检测。

(2)本发明使用九轴陀螺仪采集震动信号，利用HHT分解技术对震动信号进行特征提取研究。

(3)本发明将轻量级改进YOLOv4模型与九轴陀螺仪融合，实时拍摄射频并采集震动信号上传至服务器，通过GPS定位裂缝位置，想用户终端实时发送报警信息。

(4)本发明的设备成本低，体积小，便于携带，轻量化改进YOLOv4模型结合HHT分解技术获取数据、处理数据的方式更加高效快捷。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明裂缝检测方法流程图；

图2为本发明实施例改进YOLOv4模型的结构图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本发明通过下述技术方案实现，如图1所示，基于多模态融合的道路裂缝检测方法，包括以下步骤：

步骤S1：收集裂缝图像数据集，经人工标注后，形成训练集、验证集、测试集；使用构建的改进YOLOv4模型对训练集进行训练，再对训练后的改进YOLOv4模型进行稀疏化训练和通道剪枝；将测试集输入改进YOLOv4模型，输出测试结果。

首先，收集道路裂缝图像数据集，裂缝图像数据集来源于人工拍摄的裂缝图像以及论文中的裂缝图像，包含横向裂缝、纵向裂缝、网状裂缝以及不规则裂缝。然后采用标注软件LabelImg人工进行裂缝图像标注，标注后形成训练集，同时生成含有道路裂缝关键点的xml文件。Xml文件记录了：1)文件夹名称；2)图片名；3)文件路径；4)图片大小及深度；5)目标的类别名称、边框坐标，为训练数据集做准备。

在生成的xml文件的根目录下新建Main_trainval_txt.py文件和boc_label.py文件，分别形成验证集、测试集。

改进YOLOv4模型将普通的YOLOv4模型的主干网络CSPDarknet53替换为轻量化的MobileNetV3，改进YOLOv4模型的结构包括：

(1)Input：输入等待被检测的裂缝图像；

(2)Backbone：MobileNetV3，用于减少运算量和参数量；

(3)Neck：SPP+PANet，SPP用于增强网络的感受野，PANet用于解决目标检测中的多尺度问题，提升不同大小物体的检测能力；

(4)Head：继承YOLOv3模型的三个检测头，对图像特征进行预测，生成边界框并预测其类别。

请参见图2，使用构建的改进YOLOv4模型对训练集进行训练时，将标注好的裂缝图像数据集输入到主干网络MobileNetV3中进行特征提取，首先利用1×1卷积进行升维度；然后进行3×3深度可分离卷积；再利用注意力机制调整每个通道的权重；最后将h-swish激活函数，减少运算量，提升性能。

将提取到的特征信息传入空间金字塔池化模块增强网络的感受野，分别进行尺度为5×5、9×9、13×13的最大池化，经过池化后通过concat把三个池化层的输出进行通道拼接，拼接后经1×1卷积层进行特征降维，然后将来自不同核大小的特诊图连接起来作为输出。

将三个不同尺度的最大池化结果传输到PANet中，将浅层特征与深层特征达到融合的效果，通过3×3和1×1卷积使得浅层特征和深层特征的输出特征相同；最后通过检测头预测目标的特征图，得到裂缝检测结果。

图2中，CBh：由Conv(卷积层)、BN(批量标准化层)和h-swish(激活函数)组成；CBL：由Conv(卷积层)、BN(批量标准化层)和Leaky-relu(激活函数)组成；Bneck：是瓶颈层，一种残差结构。

将主干网络替换成MobileNetV3后，改进YOLOv4模型的推力速度即有所提高，为了更进一步减少改进YOLOv4模型的参数，提高其推理速度，在保证检测精度的同时，对改进YOLOv4模型进行稀疏化训练及通道剪枝，提高改进YOLOv4模型的实用性。最后测试改进YOLOv4模型，输出测试结果。

改进YOLOv4模型稀疏化训练及通道剪枝的过程包括：

在改进YOLOv4模型的通道中引入缩放因子，与权重一起训练，在训练过程中，将正则化趋于0的缩放因子的通道剪去，从而得到一个紧凑型网络；

改进YOLOv4模型稀疏化训练过程中的损失函数公式如下：

其中，loss

由于改进YOLOv4模型需要经过批量标准化层BN(Batch Normalization)，再经过激活函数以提升YOLOv4模型的收敛速度，批量标准化层BN的计算公式如下：

其中，x表示批量标准化层BN的输入，y表示批量标准化层BN的输出，γ表示缩放因子，可直接使用BN层的γ作为稀疏化的缩放因子，β表示平移参数；μ

对改进YOLOv4模型剪枝前(Orginal)、剪枝后(Pruned)的模型大小(Size)、参数(Parameter)、推理时间(Inference Speed)、查准率(P)、查全率(R)、平均精度(mAP)、F1分数如表1所示：

表1

表1中，以平均精度mAP作为检测精度的评价指标；F1分数又称为平衡F分数，被定义为精确率和召回率的调和平均数。从表1可知，剪枝后的模型大小下降87.13％，参数下降88.39％，推理时间上升80.95％，并且剪枝后的准确率达到98％。

步骤S2：通过九轴陀螺仪采集原始震动信号，利用HHT对原始震动信号进行特征提取；根据HHT分析后得到的瞬时频率值的变化判断是否为裂缝。

九轴陀螺仪采集原始震动信号，利用HHT分解对原始震动信号进行特征提取研究，首先将九轴陀螺仪固定在车载装备上，采集原始震动信号，将原始震动信号分割成n等分；对每段原始震动信号进行EMD分解分别得到IMF分量和频谱图。

将峭度系数大于3的IMF分量相加得到IMFre，峭度系数表示故障形成的大幅值脉冲出现的概率，峭度系数的特性为一般运转平稳，无明显周期性干扰的轴承，其振动信号概率密度接近正态分布，而正态分布的峭度系数即为3。

再经过希尔伯特变换得到IMFre边际谱和瞬时频率fEmax。最后根据固定设置在小车上的摄像头所采集的道路视频中提取路面场景视频，和九轴陀螺仪采集到裂缝时的视频，将两个视频进行对比。

将瞬时频率fEmax对应的平整度分类，验证是否满足独立样本T的检验条件，独立样本T用于检验两组非相关样本被试所获得的数据的差异性，需要满足的条件为：1)随机抽样，所有观测应该是随机的从目标总体中抽出；2)正态分布，每个样本来自的总体必须满足正态分布；3)方差齐性，均数比较时，要求两总体方差相等。

根据瞬时频率fEmax的波形变化，在经过裂缝时得到一个冲击，瞬时频率fEmax增大，结合视频对比时拍摄的裂缝视频，可以判断出九轴陀螺仪检测到的震动信号是否为裂缝。

详细来说，HHT分解过程包括经验模式分解(EMD分解)和希尔伯特变换(HT)两部分，其中：

EMD分解：找到每段原始震动信号x(t)的所有极值点，将所有极大值点通过三次样条函数拟合出上包络线；将所有极小值点通过三次样条函数拟合出下包络线，并计算出均值包络线m(t)；使用该段原始震动信号x(t)减去所述均值包络线m(t)，得到中间信号c(t)；设中间信号c(t)是分解出的第一个高频分量，并记为IMF1；将均值包络线m(t)当做原始震动信号继续分解得到下一个高频分量，直至残余分量r(t)是单调函数或常量时，停止分解；从而得到多个IMF分量。

希尔伯特变换：将峭度系数大于3的IMF分量相加得到IMFre，经过希尔伯特变换得到IMFre边际谱和瞬时频率fEmax。

EMD分解及希尔伯特变换的公式如下：

EMD分解：

其中，x(t)为第t段原始震动信号，c

希尔伯特变换：

其中H(x(t))为x(t)和

步骤S3：将改进YOLOv4模型输出的测试结果和根据原始震动信号判断的裂缝结果融合后上传至服务器；服务器通过GPS定位将裂缝位置发送至用户终端，并进行报警。

根据光照强度来划分改进YOLOv4模型和九轴陀螺仪在检测时的权重，当光照强的时候选择使用改进YOLOv4模型检测道路裂缝，光照暗时选择九轴陀螺仪检测道路裂缝，或者另一检测方式作为参考。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。