一种锅炉水冷壁管缺陷识别系统、方法和存储介质

技术领域

本发明属于目标检测的技术领域，具体涉及一种锅炉水冷壁管缺陷识别系统、方法和存储介质。

背景技术

随着国家的经济不断发展，我国国民的生活变得更加便利。电力是保障我国国民生计的主要动能来源，有着不可替代的作用，其中火力发电是电力产出的主力军。锅炉机组是火力发电的基础生产设备，迄今为止，水冷壁管失效是锅炉机组故障中占比最大的事故，这会给国家和企业带来经济损失和安全问题，因此，如何智能地进行水冷壁管检测是企业努力解决的问题。

锅炉水冷壁管缺陷识别包含缺陷检测和缺陷分类，水冷壁管长时间处于高温、水蒸气等极端环境下，结焦、磨损、腐蚀等缺陷会使水冷壁管爆管，引起事故。锅炉水冷壁管缺陷识别可以分为传统方法和人工智能方法。传统方法可分为人工抽查和基于传统图像处理的检测方法，人工抽查是通过人眼及标尺测量等主观方法进行缺陷识别，但因工作人员不能长时间处于高压、高温等危险环境下，导致效率低、检测精度低等问题。而基于传统图像处理的方法是通过滑动窗口移动，不断提取目标的人工特征进行定位识别。还有部分技术将多种缺陷检测技术集成到统一系统中运行，如超声检测技术、脉冲涡流检测技术等复合缺陷识别技术，这类方法检测特征单一，无法适应多种类型的缺陷。而且复合技术需要高效率的集成技术，不能适配各种平台，造成部署成本升高。人工智能方法是指基于深度学习的缺陷检测方法，通过深层深度神经网络提取目标的特征，保证了特征的多样性和丰富的语义性，能使算法适应复杂环境，得到令人满意的识别效果。

目前，大多数水冷壁管缺陷识别方法采用特征金字塔的技术解决目标多尺度问题，但是多数的特征金字塔仅通过不同尺度的相邻层之间进行插值和求和来提高特征的多尺度性，因相邻层的特征存在语义和分辨率上的差异，将会引入大量冗余的、错误的特征信息，导致检测性能差。并且这些特征金字塔没有对上下文信息的处理，会造成模型在复杂环境下检测精度降低，已有的方法存在检测精度低和泛化性较差的问题。因此，急需一种适用于高精度、易部署的锅炉水冷壁管缺陷识别方法，能部署在对应的平台上，准确地对无人机设备采集的视频数据进行检测识别，将结果可视化给工作人员，起到预警的效果。

发明内容

本发明的目的在于提供一种锅炉水冷壁管缺陷识别系统、方法和存储介质，旨在解决上述问题。本发明将全局特征和局部特征融合构成新型的特征金字塔，解决了语义冲突和上下文信息缺失等问题，从而达到增强模型多尺度性和表达能力的目的。本发明通过构建复合特征金字塔提高网络模型对微小目标的检测能力，并且使用自适应细化模块去除特征信息中冗余的干扰因素，提高模型的目标特征表达能力，能高效地检测识别管上的缺陷，方便后续及时可视化给相关工作人员处理。

本发明主要通过以下技术方案实现：

一种锅炉水冷壁管缺陷识别系统，包括数据采集模块、训练模块、检测模块，所述数据采集模块用于收集锅炉水冷壁管图像数据，并对图像数据中的缺陷进行定位标注和类别标注，形成训练集；所述训练模块用于采用训练集训练网络模型，所述检测模块用于将待检测图片输入训练后的网络模型并输出锅炉水冷壁管缺陷识别结果；

所述网络模型包括主干网络和下游检测网络，所述主干网络用于提取图像数据的特征信息，所述下游检测网络用于对特征信息进行定位分类并输出缺陷位置和缺陷类别；所述主干网络包括特征提取网络和复合特征金字塔，所述特征提取网络用于提取图像数据的局部特征和全局特征，所述复合特征金字塔与下游检测网络连接；所述复合特征金字塔包括特征拼接层、第一特征金字塔、第二特征金字塔和自适应细化模块，所述第一特征金字塔、第二特征金字塔的输入分别为局部特征和全局特征，所述第一特征金字塔、第二特征金字塔分别与特征拼接层连接，所述特征拼接层用于将第一特征金字塔、第二特征金字塔的同尺度特征信息融合并生成多项融合特征金字塔；所述自适应细化模块包括特征相乘层、特征相加层、全局平均池化层以及S型生长曲线函数层；所述第一特征金字塔通过全局平均池化层与S型生长曲线函数层连接，所述特征拼接层和S型生长曲线函数层的输出端分别与特征相乘层连接，用于去除冗余信息，所述特征拼接层和特征相乘层的输出端分别与特征相加层连接，用于增强贡献度大的特征点，抑制不重要的特征点。

为了更好地实现本发明，进一步地，所述特征提取网络包括并行设置的卷积神经网络和变形神经网络，所述卷积神经网络的输入为原始样本图像，且输出为局部特征，用于获取图像的局部细节信息；所述变形神经网络的输入为原始样本图像下采样的图像，且输出为全局特征，用于准确获取图像的全局上下文信息。

为了更好地实现本发明，进一步地，所述卷积神经网络采用从前至后依次设置的卷积层、批归一化层、激活函数层按照残差网络结构进行搭建；所述变形神经网络包括从前至后依次设置的区域分割层、线性变换层、基于窗口的变形自注意力模块。

为了更好地实现本发明，进一步地，所述下游检测网络包括从前至后依次设置的建议区域生成网络、感兴趣区域池化层、检测器；所述建议区域生成网络用于生成候选建议区域集合，所述检测器用于对提取的候选建议区域的特征信息进行定位分类，并输出缺陷位置和缺陷类别。

为了更好地实现本发明，进一步地，所述网络模型的损失函数包括类别损失函数和定位回归损失函数，所述类别损失函数采用二元交叉熵损失函数，用于计算预测类别值与预测概率值之间的损失值；所述定位回归损失函数采用平滑L1损失函数，用于计算候选区域与真实边界框之间的损失值。

本发明主要通过以下技术方案实现：

一种锅炉水冷壁管缺陷识别方法，采用上述的系统进行，包括以下步骤：

步骤S100：拍摄锅炉水冷壁管图片或视频，并对图像数据中的缺陷进行定位标注和类别标注，生成训练集和测试集；

步骤S200：搭建网络模型，利用特征提取网络提取训练集的样本图像的全局特征和局部特征，将全局特征和局部特征分别输入不同的特征金字塔，并拼接融合得到多项融合特征金字塔，对特征信息进行细化提取；然后，采用下游检测网络对特征信息进行类别分类和定位回归；

步骤S300：采用训练集对网络模型进行训练，采用损失函数计算预测值和真实值之间的差值，进而优化网络模型的权重参数；

步骤S400：设置最大迭代次数、学习率、预热迭代次数的相关参数，然后，迭代计算前向传播损失值，再反向传播优化权重参数，达到缩小损失值直至收敛的目的，最后，得到训练后的网络模型；

步骤S500：将待检测图片输入训练后的网络模型并输出锅炉水冷壁管的缺陷位置和缺陷类别。

为了更好地实现本发明，进一步地，所述步骤S400包括采用测试集测试网络模型的性能，若精度低于设定阈值，则重新转至步骤S300训练网络模型，直至测试的网络模型的精度大于或者等于设定阈值，得到训练后的网络模型。

一种计算机可读存储介质，存储有计算机程序指令，所述程序指令被处理器执行时实现上述的方法。

本发明的有益效果：

（1）本发明将不同特性的特征融合成复合特征金字塔，充分利用多种特征金字塔的优势，构成相互作用，提高特征的表达能力和多尺度性。本发明通过将全局特征和局部特征融合构成多项融合特征金字塔，解决了传统特征金字塔存在的语义冲突和上下文信息缺失的问题，从而达到增强模型多尺度性和表达能力的目的；

（2）本发明的金字塔融合方法先将多种金字塔直接通过拼接的方式融合，保留了大部分的细节信息，再通过自适应细化模块从通道方向学习权重贡献度，最后通过相乘的方式去除冗余信息，这种方式更加精简和高效；

（3）本发明通过构建复合特征金字塔提高了网络模型对微小目标的检测能力，并且使用自适应细化模块去除特征信息中冗余的干扰因素，提高模型的目标特征表达能力，能高效地检测识别管上的缺陷；

（4）本发明将复合特征金字塔引入到锅炉水冷壁管的缺陷检测任务中，通过损失函数指导优化训练出高精度、高泛化性的模型，然后将模型集成到监控系统中，对待检测样本进行缺陷识别，最后可以把结果可视化给工作人员，提醒工作人员及时维修或替换对应的水冷壁管，以保证锅炉的安全问题，具有较好的实用性。

附图说明

图1为网络模型的整体结构示意图；

图2为复合特征金字塔的结构示意图；

图3为网络模型训练的流程图。

具体实施方式

实施例1：

一种锅炉水冷壁管缺陷识别系统，包括数据采集模块、训练模块、检测模块，所述数据采集模块用于收集锅炉水冷壁管图像数据，并对图像数据中的缺陷进行定位标注和类别标注，形成训练集；所述训练模块用于采用训练集训练网络模型，所述检测模块用于将待检测图片输入训练后的网络模型并输出锅炉水冷壁管缺陷识别结果。

如图1、图2所示，所述网络模型包括主干网络和下游检测网络，所述主干网络用于提取图像数据的特征信息，所述下游检测网络用于对特征信息进行定位分类并输出缺陷位置和缺陷类别；所述主干网络包括特征提取网络和复合特征金字塔，所述特征提取网络用于提取图像数据的局部特征和全局特征，所述复合特征金字塔与下游检测网络连接；所述复合特征金字塔包括特征拼接层、第一特征金字塔（接收特征C1-C4的特征金字塔）、第二特征金字塔（接收特征S1-S4的特征金字塔）和自适应细化模块，所述第一特征金字塔、第二特征金字塔的输入分别为局部特征和全局特征，所述第一特征金字塔、第二特征金字塔分别与特征拼接层连接，所述特征拼接层用于将第一特征金字塔、第二特征金字塔的同尺度特征信息融合并生成多项融合特征金字塔；所述自适应细化模块包括特征相乘层、特征相加层、全局平均池化层以及S型生长曲线函数层；所述第一特征金字塔通过全局平均池化层与S型生长曲线函数层连接，所述特征拼接层和S型生长曲线函数层的输出端分别与特征相乘层连接，用于去除冗余信息，所述特征拼接层和特征相乘层的输出端分别与特征相加层连接，用于增强贡献度大的特征点，抑制不重要的特征点。

优选地，所述下游检测网络包括从前至后依次设置的建议区域生成网络、感兴趣区域池化层、检测器；所述建议区域生成网络用于生成候选建议区域集合，所述检测器用于对提取的候选建议区域的特征信息进行定位分类，并输出缺陷位置和缺陷类别。

优选地，所述网络模型的损失函数包括类别损失函数和定位回归损失函数，所述类别损失函数采用二元交叉熵损失函数，用于计算预测类别值与预测概率值之间的损失值；所述定位回归损失函数采用平滑L1损失函数，用于计算候选区域与真实边界框之间的损失值。

本发明通过将全局特征和局部特征融合构成多项融合特征金字塔，解决了传统特征金字塔存在的语义冲突和上下文信息缺失的问题，从而达到增强模型多尺度性和表达能力的目的。本发明通过构建复合特征金字塔提高了网络模型对微小目标的检测能力，并且使用自适应细化模块去除特征信息中冗余的干扰因素，提高模型的目标特征表达能力，能高效地检测识别管上的缺陷。

本发明将复合特征金字塔引入到锅炉水冷壁管的缺陷检测任务中，通过损失函数指导优化训练出高精度、高泛化性的模型，然后将模型集成到监控系统中，对待检测样本进行缺陷识别，最后可以把结果可视化给工作人员，提醒工作人员及时维修或替换对应的水冷壁管，以保证锅炉的安全问题，具有较好的实用性。

实施例2：

一种锅炉水冷壁管缺陷识别方法，如图3所示，包括以下步骤：

步骤S100：拍摄锅炉水冷壁管图片或视频，并对图像数据中的缺陷进行定位标注和类别标注，生成训练集和测试集；

步骤S200：搭建网络模型，利用特征提取网络提取训练集的样本图像的全局特征和局部特征，将全局特征和局部特征分别输入不同的特征金字塔，并拼接融合得到多项融合特征金字塔，对特征信息进行细化提取；然后，采用下游检测网络对特征信息进行类别分类和定位回归；

步骤S300：采用训练集对网络模型进行训练，采用损失函数计算预测值和真实值之间的差值，进而优化网络模型的权重参数；

步骤S400：设置最大迭代次数、学习率、预热迭代次数的相关参数，然后，迭代计算前向传播损失值，再反向传播优化权重参数，达到缩小损失值直至收敛的目的，最后，得到训练后的网络模型；

步骤S500：将待检测图片输入训练后的网络模型并输出锅炉水冷壁管的缺陷位置和缺陷类别。

优选地，所述步骤S400包括采用测试集测试网络模型的性能，若精度低于设定阈值，则重新转至步骤S300训练网络模型，直至测试的网络模型的精度大于或者等于设定阈值，得到训练后的网络模型。将训练好的网络模型部署到指定的系统平台上，即可以实现对待检测样本进行缺陷识别，以便展示给工作人员。

本发明通过将全局特征和局部特征融合构成多项融合特征金字塔，解决了传统特征金字塔存在的语义冲突和上下文信息缺失的问题，从而达到增强模型多尺度性和表达能力的目的。本发明将复合特征金字塔引入到锅炉水冷壁管的缺陷检测任务中，通过损失函数指导优化训练出高精度、高泛化性的模型，然后将模型集成到监控系统中，对待检测样本进行缺陷识别，最后可以把结果可视化给工作人员，提醒工作人员及时维修或替换对应的水冷壁管，以保证锅炉的安全问题，具有较好的实用性。

实施例3：

一种锅炉水冷壁管缺陷识别系统，采集图像数据并标注形成训练集、测试集。如图1所示，根据目标特性搭建深度神经网络模型，所述深度神经网络模型包括主干网络部分和下游检测部分，所述下游检测部分包括建议区域生成网络、感兴趣区域池化层、检测器。首先利用主干网络部分提取图像数据的深度特征信息，增加模型的特征表达能力，并对特征信息进行细化提取，减少冗余特征点的干扰，然后由建议区域生成网络生成候选建议区域集合，最后提取候选建议区域对应的特征信息进行定位分类，输出缺陷位置和缺陷类别。

所述的主干网络部分主要由通用特征提取网络和复合特征金字塔构成，将全局特征和局部特征融合构成新型的特征金字塔，解决语义冲突和上下文信息缺失等问题，从而达到增强模型多尺度性和表达能力的目的。

优选地，如图2所示，所述的复合特征金字塔主要由多种特征金字塔、自适应细化模块组成，原始特征金字塔内部保留传统的处理方式，自适应细化模块主要由特征相加层、特征相乘层、全局平均池化层以及S型生长曲线函数层构成。核心处理流程是通过横向连接将两种特征金字塔同尺度的特征信息融合在一起，生成多项融合特征金字塔，然后利用自适应细化模块从通道方向去除冗余特征信息，精简模型的关注力，最后生成复合特征金字塔输入到后续的检测器。

优选地，所述的通用特征提取网络为双分支网络，由卷积神经网络和变形神经网络并行构成，其中卷积神经网络结构从前至后将卷积层、批归一化层、激活函数层按照残差网络结构进行搭建，网络的输入为原始样本图像，而变形神经网络结构是从前至后由区域分割层、线性变换层、基于窗口的变形自注意力模块、区域合并层构成，网络的输入为原始样本图像的下采样图像。卷积神经网络主要通过卷积层特性捕获局部细节信息，而变形神经网络准确获取样本全局上下文信息。

优选地，如图1所示，所述的损失函数分别是类别损失函数和定位回归损失函数，类别损失函数采用二元交叉熵损失函数，用于计算预测类别值与预测概率值之间的损失值，定位回归损失函数采用平滑L1损失函数，计算候选区域与真实边界框之间的损失值。

采用上述系统进行锅炉水冷壁管缺陷识别，具体包括以下步骤：

利用无人机拍摄锅炉水冷壁管图片或视频，并让专业人员对图像数据中的缺陷进行定位标注和类别标注，生成模型训练集和测试集。

搭建深度神经网络模型，并采用训练集训练深度神经网络模型。

采用分类损失函数和定位回归损失函数计算预测值和真实值之间的差值，进而优化模型权重参数；

设置最大迭代次数、学习率、预热迭代次数等相关参数，然后迭代计算前向传播损失值，再反向传播优化权重参数，达到缩小损失值直至收敛的目的，最后将最优的模型部署到设备上，针对实际场景下实时采集的数据进行检测预报。

本发明通过将全局特征和局部特征融合构成多项融合特征金字塔，解决了传统特征金字塔存在的语义冲突和上下文信息缺失的问题，从而达到增强模型多尺度性和表达能力的目的。本发明通过构建复合特征金字塔提高了网络模型对微小目标的检测能力，并且使用自适应细化模块去除特征信息中冗余的干扰因素，提高模型的目标特征表达能力，能高效地检测识别管上的缺陷。

本发明将复合特征金字塔引入到锅炉水冷壁管的缺陷检测任务中，通过损失函数指导优化训练出高精度、高泛化性的模型，然后将模型集成到监控系统中，对待检测样本进行缺陷识别，最后可以把结果可视化给工作人员，提醒工作人员及时维修或替换对应的水冷壁管，以保证锅炉的安全问题，具有较好的实用性。

实施例4：

一种锅炉水冷壁管缺陷识别系统，如图1所示，搭建的网络模型为主干网络部分和下游检测部分。主干网络部分主要由通用特征提取网络和复合特征金字塔构成，所述通用特征提取网络用于提取图像数据的全局特征和局部特征，所述复合特征金字塔用于将全局特征和局部特征融合构成多项融合特征金字塔，以解决语义冲突和上下文信息缺失等问题，从而达到增强模型多尺度性和表达能力的目的。所述下游检测部分主要由建议区域生成网络、感兴趣区域池化层、检测器构成，在复合特征金字塔的每一层都搭建了一个下游检测部分，如图2所示，图中{S1,S2,S3,S4}组成一种S类特征金字塔，而{C1,C2,C3,C4}组成另外一种C类特征金字塔。

如图1所示，所述特征提取网络包括并行设置的卷积神经网络和变形神经网络，所述卷积神经网络的输入为原始样本图像，且输出为局部特征，用于获取图像的局部细节信息；所述变形神经网络的输入为原始样本图像下采样的图像，且输出为全局特征，用于准确获取图像的全局上下文信息。

如图1所示，所述卷积神经网络采用若干个从前至后依次设置的卷积层、批归一化层、激活函数层以及若干个残差组合块。具体的，所述残差组合块设置为4个，具体为ResBlock1-ResBlock4，且分别输出{C1,C2,C3,C4}局部特征。所述变形神经网络包括从前至后依次设置的区域分割层PP1、线性变换层LE1、若干个区域合并层与基于窗口的变形自注意力模块。所述区域合并层设置有3个，具体为PachM1-PachM3；所述基于窗口的变形自注意力模块设置为4个，具体为SFBlock1-SFBlock4。所述基于窗口的变形自注意力模块SFBlock1-SFBlock4分别输出{S1,S2,S3,S4}全局特征。

如图2所示，复合特征金字塔主要由S类特征金字塔、C类特征金字塔、自适应细化模块组成，原始特征金字塔内部保留传统的处理方式，自适应细化模块主要由特征相乘层、特征相加层、全局平均池化层以及S型生长曲线函数层构成。通过特征拼接层将两个特征金字塔按对应尺度融合在一起生成多项融合特征金字塔，对应的尺度为

公式中Conv是指卷积层处理，CC表示特征拼接层，P

公式中S()表示S型生长曲线函数，x表示特征点，经函数处理后，特征细化信息可以表示每个通道特征的权重贡献度，并将这些权重贡献度归一化至0到1，更加均衡稳定。其次特征相乘层利用将原有的多项融合特征金字塔和特征细化信息相结合，去除冗余信息，最后通过特征相加层得到复合特征金字塔，增强贡献度大的特征点，抑制不重要的特征点。

所述损失函数分别是类别损失函数和定位回归损失函数，类别损失函数采用二元交叉熵损失函数，公式如下：

公式中：

N为批处理大小，

下标i为样本的索引。

定位回归损失函数采用平滑L1损失函数，公式如下：

公式中：

所以总的损失函数计算如下：

公式中上标{1,2,3,4}分别表示复合特征金字塔的第一层、第二层、第三层以及第四层，尺度依次递增。

设置最大迭代次数、学习率、预热迭代次数等相关参数，然后迭代计算前向传播损失值，再反向传播优化权重参数，达到缩小损失值直至收敛的目的，最后将最优的模型部署集成到检测系统中，针对实际场景下实时采集的数据进行检测预报，及时提醒工作人员维修或替换水冷壁管。

本发明首先利用主干网络部分提取图像数据的深度特征信息，因为主干网络最后一层得到的特征信息尺度单一，无法适用于尺度多变的目标，所以需引入复合特征金字塔增强特征信息的多尺度性，并且简化模型关注力。然后将处理后的特征信息输送到感兴趣区域生成网络，用于生成候选建议区域集合，这里是粗定位和分类，最后再用检测器进行精确地定位分类。而且为了解决传统特征金字塔的缺陷，复合特征金字塔具有S类特征金字塔和C类特征金字塔的优势，并且缺陷互补，一定程度上增强了特征的尺度表达能力和捕获上下文信息的能力。

本发明利用全局平均池化层获取C类特征金字塔每层的全局分布信息，这是因为C类特征金字塔的局部语义性要强于S类特征金字塔，更具有代表性，然后用S型生长曲线函数层可以在全局分布信息的基础上细化学习到每个通道的权重贡献度，根据贡献度，使模型更加关注学习贡献度高的通道特征，反之，抑制贡献度低的通道特征，达到特征细化的目的。

本发明的复合特征金字塔融合期间并没有上采样和相邻层相加，上采样会带来信息缺失，而不同语义的相邻层相加会引入大量冗余的、错误的特征信息。复合特征金字塔通过将同尺度的S类特征金字塔和C类特征金字塔对应层融合，就不会因语义差异导致的检测性能降低，而且S类特征金字塔用于捕获上下文信息，所以融合之后的复合特征金字塔较于传统特征金字塔，上下文信息就更为丰富。

综上所述，本发明构建的锅炉水冷壁管缺陷识别方法较于其他检测方法，在复杂的环境下，可以准确的识别出目标，泛化性更好。由实验可得，在检测任务中使用复合特征金字塔，提高了模型对微小目标的检测能力，并且增强了模型的目标特征表达能力，能高效地检测识别管上的缺陷。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。