一种大坝深水结构隐患病害实时检测方法

技术领域

本发明涉及一种大坝深水结构隐患病害实时检测方法，属于大坝深水结构的非接触式缺陷检测技术领域。

背景技术

目前我国已修建水库大坝9.8万余座，总库容8983亿m

传统大坝结构缺陷识别方法主要是基于人工巡视检查，辅以钢尺、锤敲、试纸等手段。实践表明，该方法存在检测效率低、危险度高、漏判率高等不足，且识别结果易受到工程师主观判断影响。此外，人工巡检难以在大坝深水结构区域开展实施，而改进的蛙人水下检测技术同样存在着下潜深度有限(通常不能超过60m)、下潜作业范围狭窄、作业时间短和潜在风险大等问题。

水下机器人是一类通过脐带缆实现动力和信号传输，由岸边人员操作并可执行特定水下作业任务的无人载运设备，近些年水下机器人搭载高清可见光相机被应用于大坝深水隐蔽缺陷的高分辨率图像视频信息采集，可有效克服传统传感器和工程物探感知手段空间分辨率低的限制。

然而，大坝深水部位结构形式复杂多变且水下体积庞大，一次大范围大坝深水探测任务会产生海量图像和视频数据。完全依赖人工读取和记录手段从这些海量数据中提取和结构损伤密切相关信息，不仅耗时长、人工成本高，而且识别难度大、误判率及漏检率高。

发明内容

本发明所要解决的技术问题是：提供一种大坝深水结构隐患病害实时检测方法，采用YOLOv5s单阶段神经网络构建大坝多类别缺陷检测模型，并对模型进行稀疏和剪枝，运用模型迁移和知识蒸馏理论，构建强背景干扰下大坝深水多类别缺陷实时目标框架。

本发明为解决上述技术问题采用以下技术方案：

一种大坝深水结构隐患病害实时检测方法，包括如下步骤：

步骤1，获取大坝深水结构部位的病害图像视频，从病害图像视频中提取病害图像构建大坝深水结构多类别病害数据集；

步骤2，对每张病害图像进行病害类别和病害区域的信息标注，将标注后的数据集划分为训练集、验证集和测试集；

步骤3，以单阶段目标检测模型Yolov5s为识别器，构建大坝深水多类别病害目标检测模型，利用训练集和验证集对大坝深水多类别病害目标检测模型进行预训练，并利用测试集进行评价，得到预训练后的大坝深水多类别病害目标检测模型；

步骤4，对步骤3构建的大坝深水多类别病害目标检测模型中的批处理层进行稀疏正则化，并根据0.5的剪枝率对稀疏正则化后的模型进行剪枝，得到剪枝后的目标检测模型；

步骤5，将步骤3构建的大坝深水多类别病害目标检测模型作为教师网络，步骤4得到的剪枝后的目标检测模型作为学生网络，利用知识蒸馏方法对剪枝后的目标检测模型进行参数优化，得到最终的目标检测模型；

步骤6，获取大坝深水结构部位实时病害图像，利用步骤5得到的最终的目标检测模型对实时病害图像进行检测，得到病害所属类别及位置结果。

作为本发明的一种优选方案，所述步骤1中，采用水下机器人搭载可见光相机获取大坝深水结构部位的病害图像视频，可见光相机的采样频率为25帧每秒，每隔五帧提取一帧放入数据集中，从而得到大坝深水结构多类别病害数据集。

作为本发明的一种优选方案，所述步骤2中，对数据集中的每张图像采用图形界面可视化标注软件Labelme进行标注，利用矩形框确定病害区域在图像中的位置，标注信息包括矩形框的左上角点和右下角点坐标，根据左上角点和右下角点坐标得到矩形框中心点坐标及矩形框的长度和宽度，对矩形框中心点坐标及矩形框的长度和宽度进行归一化后保存在json文件中，同时将病害所属类别一并保存；

所述病害所属类别包括裂缝、凹陷、孔洞以及骨料外露。

作为本发明的一种优选方案，所述步骤4中，稀疏正则化的计算公式如下：

其中，D表示字典矩阵，μ

作为本发明的一种优选方案，所述步骤5中，知识蒸馏方法中的蒸馏损失函数如下：

L

其中，L

一种计算机设备，包括存储器、处理器，以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的大坝深水结构隐患病害实时检测方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的大坝深水结构隐患病害实时检测方法的步骤。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明采用YOLOv5s单阶段神经网络作为基本模型，构建大坝多类别缺陷检测模型，利用模型稀疏化和剪枝策略，改变模型批处理层权重分布并去除模型冗余参数；进一步地，综合运用模型迁移和知识蒸馏理论，恢复由于剪枝压缩参数带来的精度劣化问题，据此构建出强背景干扰下大坝深水多类别缺陷实时目标框架，实现对海量大坝深水检测图像和视频数据的批量快速检测，大幅降低了人工检测的成本和潜在风险。

2、本发明方法实现大坝深水缺陷的实时检测，快速探明大坝深水结构损伤区域；同时降低了人工检测频率，避免了放空库水检测代价，极大节约了成本。

3、本发明仅需一次深度学习模型构建，即可实现海量大坝深水检测视频图像数据的批量处理，具有监测频率高、计算处理效率高、精度高误判率低、实用性强等显著优势，可进一步推广应用于各类涉水水工建筑物的水下结构缺陷检测中，大幅降低人工巡检成本和潜在风险，具有广阔实际应用价值。

附图说明

图1是本发明一种大坝深水结构隐患病害实时检测方法的流程图；

图2是YOLOv5s单阶段目标检测网络架构示意图；

图3是模型剪枝和冗余参数去除过程图；

图4是模型参数量及性能随剪枝比例变化图；

图5是模型知识蒸馏和参数微调过程；

图6是利用本发明方法与现有技术对大坝深水结构病害检测效果对比图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

如图1所示，本发明提出一种大坝深水结构隐患病害实时检测方法，具体步骤如下：

步骤1，选取大坝水下结构部位，采用水下机器人搭载可见光相机方式开展深水病害检测。由于水下成像环境恶劣，水下检测平台常采用全程录像模式进行检测，原始采样数据格式通常为视频。搭载相机的采样帧率通常为25帧一秒，采用每五帧截取保存一帧方式，将视频流转换为图像数据，构建大坝深水多类别结构缺陷数据集，涵盖裂缝、孔洞、凹陷以及骨料外露四类典型缺陷。

步骤2，借助图形界面可视化标注软件Labelme对病害图像进行病害类型与病害区域信息标注，以区分损伤面元和背景面元。矩形框标注用于确定缺陷在图像中的位置以及相应类型，标注信息包括即检测框的左上角点和右下角点坐标，进而可据此推求矩形检测框中心点坐标及检测框长度和宽度。进而可据此将以上数据信息进行归一化后，缺陷所属类别信息保存至JSON文件中。病害类型编号从0开展，将裂缝、凹陷、孔洞以及骨料外露等多类别大坝水下病害类型按对应数字进行编号。根据一定比例将采集图像数据划分为训练集、验证集和测试集。

为便于后续目标检测模型构建，需对标注JSON文件实施信息释放，将其转换可读取训练格式，即原始图像文件jpg、检测框信息文件xml以及病害类别标签信息txt。

步骤3，以单阶段目标检测模型YOLOv5s为识别器，构建大坝深水多类别缺陷目标检测模型，YOLOv5s的网络架构如图2所示。在训练集上训练模型并在验证集上验证模型有效性，最终在测试集上评估模型的泛化能力，以构建大坝深水多类别缺陷目标检测模型。

步骤4，模型剪枝和冗余参数去除，如图3所示。通道稀疏正则化是网络瘦身开展的重要前期工作。其基本目的是为每一个通道分配一个比例因子来表征通道重要性，并利用通道稀疏化训练来区分重要通道和不重要通道。综合运用模型稀疏化、剪枝和参数压缩手段，改变模型归一化层的权重分布使之大部分趋近于0，并据此利用剪枝手段去除了模型冗余参数和层数，提升了模型推理效率。经过测试不同剪枝比例对模型缺陷检测性能影响，最终确定出剪枝率0.5是综合兼顾模型参数量规模以及推理效率的重要平衡点，并据此开展模型冗余参数去除，如图4所示。

批处理层是通道稀疏化的主要对象，其通常位于卷积层之后，用于保障模型快速收敛和泛化能力。关于批处理层的数学表达如下式所示：

式中，z

式中，x

步骤5，知识蒸馏和模型参数微调，如图5所示。模型稀疏化和参数剪枝的联合应用，虽可有效去除模型冗余参数和架构，但是不可避免会造成模型网络检测精度下降。为克服此问题，在模型剪枝和冗余参数去除的基础上，将模型微调和知识蒸馏相结合，消除由模型剪枝和压缩带来的负面影响。

知识蒸馏的根本目的是利用高性能模型(教师网络)提出的监督信息，增强轻量化网络模型(学生网络)，使其具备更佳的检测性能。教师网络输出监督信息即被视为知识，而学生网络学习传递监督信息的过程即称为蒸馏。具体计算如下式：

L

式中，L

步骤6，在待测结构上布置引导线，按照规划路径开展水下检测作业，获取大坝深水结构部位实时病害图像，利用步骤5得到的最终的目标检测模型对实时病害图像进行检测，得到病害所属类别及位置结果。

如图6所示，在光照不均、障碍物遮挡以及低可见度等不同复杂大坝深水检测场景下，以多种先进深度学习目标检测算法作为基准方法，对比验证本发明方法在复杂深水强背景干扰下的具有较强的病害检测泛化能力和鲁棒性。

基于同一发明构思，本申请实施例提供一种计算机设备，包括存储器、处理器，以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述的大坝深水结构隐患病害实时检测方法的步骤。

基于同一发明构思，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现前述的大坝深水结构隐患病害实时检测方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。