基于改进YOLOX的桥梁病害检测方法、系统、设备及介质

技术领域

本申请涉及桥梁病害检测技术领域，尤其涉及一种基于改进YOLOX的桥梁病害检测方法、系统、设备及介质。

背景技术

深度学习领域的目标检测算法一般分为两个阶段(two-stage)和单阶段(one-stage)：前者在检测准确率和定位精度上占优，后者在算法速度上占优。但随着各种创新方法的加入，大大解决了单阶段网络正负样本的筛选不均衡问题。截至目前在某些领域内，单阶段目标检测算法已经能够与两阶段目标检测算法在精度上媲美甚至超过。例如，Ross.B.Girshick 提出了两阶段中 最经典的 Faster R-CNN 模型，该模型的速度与精度都得到提升，但是远没有达到 YOLO 系列在桥梁病害领域的检测速度与精度。

YOLOX网络是基于YOLOv3提出的算法，是YOLO系列的新兴力量，结合了目标检测领域的前沿创新方法，其中包括CenterNet、FCOS等的anchor-free，SimOTA目标动态匹配正样本等，使得YOLO-X网络具有很高的目标检测精度。

但是，现有的，检测头存在分类与检测互不相关的弊端，也就是，现有的YOLOX存在分类与定位相分离导致的预测不一致性。另外，由于检测头分类与检测互不相关，YOLOX算法将分类任务和检测回归任务分开计算，所以相对应的损失函数也将分开计算，导致损失函数中的损失计算结果，无法反映出yolox预测与真实两者之间的真实距离，难以继续网络训练。

申请内容

针对现有技术的上述不足，本申请提供一种基于改进YOLOX的桥梁病害检测方法、系统、设备及介质，以解决上述（1）检测头分类与检测互不相关的弊端；（2）损失函数中的损失计算结果，无法反映出yolox预测与真实两者之间的真实距离，难以继续网络训练的技术问题。

第一方面，本申请提供了一种基于改进YOLOX的桥梁病害检测方法，方法包括：将桥梁病害图片输入yolox网络，对桥梁病害图片进行数据预处理，将预处理后的桥梁病害图片拆分为训练集和测试集；其中，yolox网络包括主干网络、颈部FPN和检测头；通过预设VOC数据集对yolox网络的初始预训练模型进行迁移学习，以获得第一预训练模型，并通过训练集和siou损失函数更新第一预训练模型对应的网络权重，以获得最终预训练模型，完成yolox网络的网络权重的调整；通过主干网络加载测试集，输出测试集对应的特征点集合；通过颈部FPN对特征集点合进行特征采样融合，以获得若干特征层；将特征层输入检测头，通过检测头中的预设特征提取网络，获取特征层对应的尺度特征；将尺度特征输入检测头中的任务对齐器TAP进行尺度特征的分类与任务对齐，进而获得分类信息和检测框定位信息。

进一步地，对桥梁病害图片进行数据预处理，将预处理后的桥梁病害图片拆分为训练集和测试集，具体包括：通过主干网络将输入的桥梁病害图片尺寸调整为预设尺寸；对调整后的桥梁病害图片进行归一化处理；将归一化处理后的桥梁病害图片拆分为训练集和测试集。

进一步地，训练集至少包括：第一训练集和第二训练集，且训练集中桥梁病害图片包括：预测边界框与真实边界框；通过预设VOC数据集对yolox网络的初始预训练模型进行迁移学习，以获得第一预训练模型，并通过训练集和siou损失函数更新第一预训练模型对应的网络权重，以获得最终预训练模型，完成yolox网络的网络权重的调整，具体包括：通过预设VOC数据集，对初始预训练模型中的YOLOX权重进行迁移学习，以获得第一预训练模型；对第一预训练模型中YOLOX权重中的预设权重进行冻结，进而通过第一训练集对第一预训练模型进行迭代训练，以获得第二预训练模型；通过第二训练集对第二预训练模型进行选代训练，同时根据预设预设权重解冻顺序，对预设权重进行解冻，以获得第三预训练模型；其中，全部预训练模型均采用最优传输理论全局分配模型中每个目标框对应的桥梁病害数据，以获得桥梁病害数据对应的预测边界框其中，全部预训练模型包括初始预训练模型、第一预训练模型、第二预训练模型和第三预训练模型；且全部预训练模型均通通过siou损失函数，对预测边界框与真实边界框进行损失计算，以获得第三预训练模型对应的损失计算结果，利用反向传播算法和损失计算结果，对第三预训练模型中的网络权重进行更新，以获得若干权重更新集合；其中，网络权重包括预设权重；确定若干权重更新集合中预测边界框准确率最高的权重更新集合，将第三预训练模型中的网络权重更新为预测边界框准确率最高的权重更新集合，以获得最终预训练模型。

进一步地，预设权重至少包括学习率；在根据预设预设权重解冻顺序，对预设权重进行解冻之后，方法还包括：在通过第二训练集对第二预训练模型进行迭代训练的过程中，通过余弦退火策略调整学习率。

进一步地，通过检测头中的预设特征提取网络，获取特征层对应的尺度特征；将尺度特征输入检测头中的任务对齐器TAP进行尺度特征的分类与任务对齐，进而获得分类信息和检测框定位信息，具体包括：将特征层输入预设特征提取网络中的Stem层进行通道压缩；进而通过预设特征提取网络中的若干带有激活函数的卷积层网络从特征层中学习特征；进而获得特征层对应的尺度特征；通过预设公式：

第二方面，本申请提供了一种基于改进YOLOX的桥梁病害检测系统，系统包括：预处理模块，用于将桥梁病害图片输入yolox网络，对桥梁病害图片进行数据预处理，将预处理后的桥梁病害图片拆分为训练集和测试集；其中，yolox网络包括主干网络、颈部FPN和检测头；调整模块，用于通过预设VOC数据集对yolox网络的初始预训练模型进行迁移学习，以获得第一预训练模型，并通过训练集和siou损失函数更新第一预训练模型对应的网络权重，以获得最终预训练模型，完成yolox网络的网络权重的调整；获得模块，用于通过主干网络加载测试集，输出测试集对应的特征点集合；通过颈部FPN对特征集点合进行特征采样融合，以获得若干特征层；将特征层输入检测头，通过检测头中的预设特征提取网络，获取特征层对应的尺度特征；将尺度特征输入检测头中的任务对齐器TAP进行尺度特征的分类与任务对齐，进而获得分类信息和检测框定位信息。

进一步地，训练集至少包括：第一训练集和第二训练集，且训练集中桥梁病害图片包括：预测边界框与真实边界框；调整模块包括更新单元，用于通过预设VOC数据集，对初始预训练模型中的YOLOX权重进行迁移学习，以获得第一预训练模型；对第一预训练模型中YOLOX权重中的预设权重进行冻结，进而通过第一训练集对第一预训练模型进行迭代训练，以获得第二预训练模型；通过第二训练集对第二预训练模型进行选代训练，同时根据预设预设权重解冻顺序，对预设权重进行解冻，以获得第三预训练模型；其中，全部预训练模型均采用最优传输理论全局分配模型中每个目标框对应的桥梁病害数据，以获得桥梁病害数据对应的预测边界框其中，全部预训练模型包括初始预训练模型、第一预训练模型、第二预训练模型和第三预训练模型；且全部预训练模型均通通过siou损失函数，对预测边界框与真实边界框进行损失计算，以获得第三预训练模型对应的损失计算结果，利用反向传播算法和损失计算结果，对第三预训练模型中的网络权重进行更新，以获得若干权重更新集合；其中，网络权重包括预设权重；确定若干权重更新集合中预测边界框准确率最高的权重更新集合，将第三预训练模型中的网络权重更新为预测边界框准确率最高的权重更新集合，以获得最终预训练模型。

进一步地，获得模块包括获得单元，用于将特征层输入预设特征提取网络中的Stem层进行通道压缩；进而通过预设特征提取网络中的若干带有激活函数的卷积层网络从特征层中学习特征；进而获得特征层对应的尺度特征；通过预设公式：

第三方面，本申请提供了一种基于改进YOLOX的桥梁病害检测设备，设备包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被执行时，使得处理器执行如上述任一项的一种基于改进YOLOX的桥梁病害检测方法。

第四方面，本申请提供了一种非易失性计算机存储介质，其上存储有计算机指令，计算机指令在被执行时实现如上述任一项的一种基于改进YOLOX的桥梁病害检测方法。

本领域技术人员能够理解的是，本申请至少具有如下有益效果：

本申请提出了一种基于改进YOLOX的桥梁病害检测方法、系统、设备及介质，本申请引入了siou损失函数，siou损失函数相较于之前的IOU、GIOU，除了考虑了重叠区域，距离和长宽，还多考虑了两个框之间的角度问题，反映出yolox预测与真实两者之间的真实距离，重新定义了距离损失，有效降低了回归的自由度，从而加速网络的收敛，进一步提升回归的准确性。另外，本申请将传统的YOLOX检测头进行了改进（通过检测头中的预设特征提取网络，获取特征层对应的尺度特征；将尺度特征输入检测头中的任务对齐器TAP进行尺度特征的分类与任务对齐，进而获得分类信息和检测框定位信息），该改进方法在保持分类（分类信息）和定位特征（检测框定位信息）的同时，增强了分类和定位之间的交互，并进一步将两个任务在预测上对齐，解决了检测头分类与检测互不相关的弊端。

附图说明

下面参照附图来描述本公开的部分实施例，附图中：

图1是本申请实施例提供的一种基于改进YOLOX的桥梁病害检测方法流程图。

图2是本申请实施例提供的一种基于改进YOLOX的桥梁病害检测系统内部结构示意图。

图3是本申请实施例提供的一种基于改进YOLOX的桥梁病害检测设备内部结构示意图。

具体实施方式

本领域技术人员应当理解的是，下文所描述的实施例仅仅是本公开的优选实施例，并不表示本公开仅能通过该优选实施例实现，该优选实施例仅仅是用于解释本公开的技术原理，并非用于限制本公开的保护范围。基于本公开提供的优选实施例，本领域普通技术人员在没有付出创造性劳动的情况下所获得的其它所有实施例，仍应落入到本公开的保护范围之内。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

YOLOX算法基于YOLOv3进行改进，整个网络可以分为三个部分，分别是主干网络：CSPDarknet，颈部：FPN以及检测头 ：Yolo Head。

YOLO系列的检测头部分一直是简洁而有效的象征，从YOLO-v1到YOLO-v5，也都在不断地更新与改良。在YOLOX中又创新的使用了三个Decoupled Head（解耦头），分别聚焦cls（分类信息），reg（检测框定位信息）和IOU（置信度信息）。这使得Decoupled Head比常规的检测头在特征的表达与学习能力上有着优势，同时加快了模型的收敛速度。但是检测头仍然延续了分类与检测互不相关的弊端，于是本申请提出了改进的检测头Pro-head，在实现将YOLOX网络适用到桥梁病害识别领域的同时，还能够加强分类与检测两个任务的交互，从而提升了检测器学习对齐的能力。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

本申请实施例提供了一种基于改进YOLOX的桥梁病害检测方法，如图1所示，本申请实施例提供的方法，主要包括以下步骤：

步骤110、将桥梁病害图片输入yolox网络，对桥梁病害图片进行数据预处理，将预处理后的桥梁病害图片拆分为训练集和测试集。

需要说的是，yolox网络包括主干网络、颈部FPN和检测头。输入yolox网络的桥梁病害图片可以为一个桥梁病害图片集合同时输入，对集合拆分训练集和测试集的方法可由本领域技术人员自行确定。

作为示例地，本步骤可以具体为：通过主干网络将输入的桥梁病害图片尺寸调整为预设尺寸；对调整后的桥梁病害图片进行归一化处理；将归一化处理后的桥梁病害图片拆分为训练集和测试集。

其中，预设尺寸可以为640*640*3，归一化处理可以具体为：将桥梁病害图片中所有像素值减去桥梁病害图片的平均像素值，然后将所得的差值除以桥梁病害图片的标准差，得到的结果就是归一化后的像素值。

步骤120、通过预设VOC数据集对yolox网络的初始预训练模型进行迁移学习，以获得第一预训练模型，并通过训练集和siou损失函数更新第一预训练模型对应的网络权重，以获得最终预训练模型，完成yolox网络的网络权重的调整。

需要说明的是，预设VOC（Visual Object Classes）数据集可以从网络直接获得。训练集至少包括：第一训练集和第二训练集，且训练集中桥梁病害图片包括：预测边界框与真实边界框。

其中，进行迁移学习的方法为现有方法，本申请对此不做限定。

其中，通过预设VOC数据集对yolox网络的初始预训练模型进行迁移学习，以获得第一预训练模型，并通过训练集和siou损失函数更新第一预训练模型对应的网络权重，以获得最终预训练模型，完成yolox网络的网络权重的调整，可以具体为：

通过预设VOC数据集，对初始预训练模型中的YOLOX权重进行迁移学习，以获得第一预训练模型；对第一预训练模型中YOLOX权重中的预设权重进行冻结，进而通过第一训练集对第一预训练模型进行迭代训练，以获得第二预训练模型；通过第二训练集对第二预训练模型进行选代训练，同时根据预设预设权重解冻顺序，对预设权重进行解冻，以获得第三预训练模型；其中，全部预训练模型均采用最优传输理论全局分配模型中每个目标框对应的桥梁病害数据，以获得桥梁病害数据对应的预测边界框其中，全部预训练模型包括初始预训练模型、第一预训练模型、第二预训练模型和第三预训练模型；且全部预训练模型均通通过siou损失函数，对预测边界框与真实边界框进行损失计算，以获得第三预训练模型对应的损失计算结果，利用反向传播算法和损失计算结果，对第三预训练模型中的网络权重进行更新，以获得若干权重更新集合；其中，网络权重包括预设权重；确定若干权重更新集合中预测边界框准确率最高的权重更新集合，将第三预训练模型中的网络权重更新为预测边界框准确率最高的权重更新集合，以获得最终预训练模型。

另外，上述预设权重至少包括学习率；在根据预设预设权重解冻顺序，对预设权重进行解冻之后，在通过第二训练集对第二预训练模型进行迭代训练的过程中，本申请可以通过余弦退火策略调整学习率。

需要说明的是，siou损失函数、反向传播算法、最优传输理论和余弦退火策略的具体应用方法为现有方法，本申请对此不做限定。

步骤130、通过主干网络加载测试集，输出测试集对应的特征点集合；通过颈部FPN对特征集点合进行特征采样融合，以获得若干特征层；将特征层输入检测头，通过检测头中的预设特征提取网络，获取特征层对应的尺度特征；将尺度特征输入检测头中的任务对齐器TAP进行尺度特征的分类与任务对齐，进而获得分类信息和检测框定位信息。

需要说明的是，主干网络为能够输出特征点的网络算法，例如，CSPDarknet；颈部FPN为现有的YOLOX网络中进行特征采样融合，以获得若干特征层的网络算法。

不同于传统的将若干特征层分别导入不同检测头的方法，本申请在获得若干特征层后，将若干特征层导入一个检测头，进而通过一个检测头获得分类信息和检测框定位信息。

作为示例地，本申请通过检测头中的预设特征提取网络，获取特征层对应的尺度特征；将尺度特征输入检测头中的任务对齐器TAP进行尺度特征的分类与任务对齐，进而获得分类信息和检测框定位信息，具体可以为：

将特征层输入预设特征提取网络中的Stem层进行通道压缩；进而通过预设特征提取网络中的若干带有激活函数的卷积层网络从特征层中学习特征；进而获得特征层对应的尺度特征；通过预设公式：

除此之外，图2为本申请实施例提供的一种基于改进YOLOX的桥梁病害检测系统。如图2所示，本申请实施例提供的系统，主要包括：

系统通过预处理模块210将桥梁病害图片输入yolox网络，对桥梁病害图片进行数据预处理，将预处理后的桥梁病害图片拆分为训练集和测试集。

需要说明的是，yolox网络包括主干网络、颈部FPN和检测头。预处理模块210可以为任意可行的能够进行数据预处理的设备或装置等。

系统中的调整模块220通过预设VOC数据集对yolox网络的初始预训练模型进行迁移学习，以获得第一预训练模型，并通过训练集和siou损失函数更新第一预训练模型对应的网络权重，以获得最终预训练模型，完成yolox网络的网络权重的调整。

需要说明的是，调整模块220可以为任意可行的能够进行权重调整的设备或装置等。训练集至少包括：预设VOC数据集、第一训练集和第二训练集，且训练集中桥梁病害图片包括：预测边界框与真实边界框。

本申请通过预设VOC数据集对yolox网络的初始预训练模型进行迁移学习，以获得第一预训练模型，并通过训练集和siou损失函数更新第一预训练模型对应的网络权重，以获得最终预训练模型，完成yolox网络的网络权重的调整，可以通过调整模块220中的更新单元221实现。

具体可以为：更新单元221通过预设VOC数据集，对初始预训练模型中的YOLOX权重进行迁移学习，以获得第一预训练模型；对第一预训练模型中YOLOX权重中的预设权重进行冻结，进而通过第一训练集对第一预训练模型进行迭代训练，以获得第二预训练模型；通过第二训练集对第二预训练模型进行选代训练，同时根据预设预设权重解冻顺序，对预设权重进行解冻，以获得第三预训练模型；其中，全部预训练模型均采用最优传输理论全局分配模型中每个目标框对应的桥梁病害数据，以获得桥梁病害数据对应的预测边界框其中，全部预训练模型包括初始预训练模型、第一预训练模型、第二预训练模型和第三预训练模型；且全部预训练模型均通通过siou损失函数，对预测边界框与真实边界框进行损失计算，以获得第三预训练模型对应的损失计算结果，利用反向传播算法和损失计算结果，对第三预训练模型中的网络权重进行更新，以获得若干权重更新集合；其中，网络权重包括预设权重；确定若干权重更新集合中预测边界框准确率最高的权重更新集合，将第三预训练模型中的网络权重更新为预测边界框准确率最高的权重更新集合，以获得最终预训练模型。

系统中的获得模块230通过主干网络加载测试集，输出测试集对应的特征点集合；通过颈部FPN对特征集点合进行特征采样融合，以获得若干特征层；将特征层输入检测头，通过检测头中的预设特征提取网络，获取特征层对应的尺度特征；将尺度特征输入检测头中的任务对齐器TAP进行尺度特征的分类与任务对齐，进而获得分类信息和检测框定位信息。

其中，获得模块230可以为任意可行的能够通过特征处理，获得分类信息和检测框定位信息的设备或装置等。

上述通过检测头中的预设特征提取网络，获取特征层对应的尺度特征；将尺度特征输入检测头中的任务对齐器TAP进行尺度特征的分类与任务对齐，进而获得分类信息和检测框定位信息，可以通过获得模块230中的获得单元231实现。

具体可以为，获得单元231将特征层输入预设特征提取网络中的Stem层进行通道压缩；进而通过预设特征提取网络中的若干带有激活函数的卷积层网络从特征层中学习特征；进而获得特征层对应的尺度特征；通过预设公式：

以上为本申请中的方法实施例，基于同样的发明构思，本申请实施例还提供了一种基于改进YOLOX的桥梁病害检测设备。如图3所示，该设备包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被执行时，使得处理器执行如上述实施例中的一种基于改进YOLOX的桥梁病害检测方法。

具体地，服务器端将桥梁病害图片输入yolox网络，对桥梁病害图片进行数据预处理，将预处理后的桥梁病害图片拆分为训练集和测试集；其中，yolox网络包括主干网络、颈部FPN和检测头；通过训练集对yolox网络的预训练模型进行迁移学习，并通过siou损失函数更新预训练模型对应的网络权重，以获得最终预训练模型，完成yolox网络的网络权重的调整；通过主干网络加载测试集，输出测试集对应的特征点集合；通过颈部FPN对特征集点合进行特征采样融合，以获得若干特征层；将特征层输入检测头，通过检测头中的预设特征提取网络，获取特征层对应的尺度特征；将尺度特征输入检测头中的任务对齐器TAP进行尺度特征的分类与任务对齐，进而获得分类信息和检测框定位信息。

除此之外，本申请实施例还提供了一种非易失性计算机存储介质，其上存储有可执行指令，在该可执行指令被执行时，实现如上述的一种基于改进YOLOX的桥梁病害检测方法。

至此，已经结合前文的多个实施例描述了本公开的技术方案，但是，本领域技术人员容易理解的是，本公开的保护范围并不仅限于这些具体实施例。在不偏离本公开技术原理的前提下，本领域技术人员可以对上述各个实施例中的技术方案进行拆分和组合，也可以对相关技术特征作出等同的更改或替换，凡在本公开的技术构思和/或技术原理之内所做的任何更改、等同替换、改进等都将落入本公开的保护范围之内。