一种基于进化多尺度特征学习的钢铁材料质量解析方法

技术领域

本发明涉及钢铁材料缺陷图像识别技术领域，尤其涉及一种基于进化多尺度特征学习的钢铁材料质量解析方法。

背景技术

在钢板产品生产过程中，原材料质量不达标、制造工艺不完善、操作流程不规范等因素会导致产品出现多种类型的缺陷，比如表面缺陷、内部缺陷等。其中，表面缺陷出现的频率通常较高，这不仅会破坏产品的外观，还会对产品的设计性能构成潜在影响，继而可能诱发产品失效造成巨大的经济损失。准确识别产品的表面缺陷类型对提升钢铁企业的产品良率至关重要。传统的缺陷检测主要通过人工观察识别，这种模式不仅受限于工人经验的熟练程度，而且增加了操作人员的劳动强度，客观上存在着不稳定和不精确的弊端，无法达到企业精细化管理和高质量产品要求。随着机器学习/人工智能方法的不断推进，自动计算机视觉解析技术成为制造业产品质量解析的研究热点。

基于计算机视觉解析技术的产品表面质量解析任务中，用于识别的图像数据具有缺陷类型多样、类间距离模糊、类内距离大、对比度低、亮度变化不规则等特点。此外，获取的原始图像分辨率通常较高，需要在可用时间内进行高效地在线解析。在过去的几十年中，研究人员已经提出并开发了许多基于特征提取策略的质量解析方法来克服上述挑战，根据特征获取方式的差异，这些方法被归为传统方法和深度学习两类。传统的缺陷解析需结合专家知识进行特征提取，这种人为干预的方式会导致一些重要信息的丢失，降低识别的准确性。与传统机器视觉算法相比，深度学习方法因其强大的数据拟合和表征能力被广泛应用于钢铁企业产品质量解析中。

虽然现有的基于深度学习模型可实现产品质量解析，但这些方法均通过提取局部特征实现产品表面质量解析，对于分析表面相对复杂的缺陷时具有一定的局限性。中国专利CN110363253A公开了一种基于卷积神经网络的热轧带钢表面缺陷分类方法，其通过搭建若干个卷积神经网络模型实现带钢表面缺陷分类，然后对识别结果进行评价选出结果最优模型作为最终的缺陷识别模型。该方法需建立多个模型一起进行训练，较为耗时且需大量计算资源。中国专利CN108765412A通过构建生成式对抗网络的生成器和判别器，解决了工业环境下热轧带钢表面缺陷图像匮乏而导致的过拟合问题，然后采用改进的Optimal-ResNet34模型进行缺陷识别，提高了分类准确率。虽解决了工业图像匮乏的问题，但卷积神经网络在获取全局依赖关系的能力受到卷积核大小的限制，虽然可通过堆叠多个卷积层分层提取全局特征，但也无法对图像中局部元素的全局相互作用直接进行建模。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于进化多尺度特征学习的钢铁材料质量解析方法，实现钢铁材料质量的解析。

为解决上述技术问题，本发明所采取的技术方案是：一种基于进化多尺度特征学习的钢铁材料质量解析方法，包括以下步骤：

步骤1：建立钢铁材料质量表面缺陷样本库；

步骤1.1：从钢铁材料质量缺陷数据库中获取钢材表面缺陷典型图像样本；

步骤1.2：将获取的钢材表面缺陷典型图像样本分为N种类型，分别从每一类缺陷中随机抽取M个图像样本作为钢铁材料质量表面缺陷样本库；

步骤1.3：将获取的样本随机以1:1比例分为训练集和测试集，其中训练集和测试集均包含N种类型样本；

步骤1.4：对训练集和测试集中的样本进行标准化处理，得到标准样本集；

步骤2：构建基于进化多尺度特征学习的钢铁材料质量解析模型；所述的基于多尺度特征学习的钢铁材料质量解析模型包括CNN和Transformer融合的混合模型以及分形维数融合模块；

步骤2.1：建立CNN和Transformer融合的混合模型；首先构建基于多尺度注意模块的卷积标记化结构，充分保留局部空间关系，增强局部特征处理能力，利用Transformer注意力机制建立带钢图像与缺陷模式之间的内在联系；

步骤2.1.1：首先，将图像

步骤2.1.2：多尺度注意模块利用多尺度注意机制增强了模型的信息集成能力，即关注不同粒度的空间信息，又关注通道信息；

首先使用1×1卷积处理特征矩阵，并将图像通道数由C压缩到C/2，从而集成与通道相关的特征，减少计算量；然后将图像通道划分为4组，每组通道数为C/8，且分别采用3×3的卷积进行特征提取，其中三组通道采用空洞卷积，扩张率分别为p，2×p，3×p；然后将得到的不同尺度的特征相连接；再将连接的特征矩阵输入到1×1的卷积进行操作，将通道恢复到C；最后，使用Sigmoid激活函数将最终特征映射到(0，1)范围，得到最终的注意矩阵，其中每个值表示输入特征对应位置的重要性，将得到的注意矩阵附加到原始特征值上，引入残差连接，残差连接避免了特征信息的丢失，加快了训练速度；

步骤2.1.3：构建Transformer的编码结构，将卷积标记化结构的输出特征

T

其中，T

将上述特征序列T

Transformer编码器需要引入额外的可学习的分类令牌对整个质量解析模型的序列信息进行学习，为了消除对分类令牌的需求，引入序列池化的方法；序列池化对编码器产生的潜在空间的顺序嵌入进行加权，并更好地将输入数据中的数据进行相关；

为了将特征序列输出映射到单个类索引，编码器的整个输出序列输入至序列池化层；此操作看做映射变换T:

然后，将Z

步骤2.2：构建分形维数融合模块，基于分形维数的纹理特征描述图像表面的不规则性，通过局部信息递归获得图像的整体特征，从而丰富图像的全局特征描述；

采用差分盒计算方法分别计算输入图像、卷积标记化结构输出特征以及Transformer编码器的输出特征的分形维数；将计算得到的分形维数特征相连接，接着与步骤2.1.3获取的输出特征进行特征融合，得到最终的输出图像特征；

步骤2.3：构建带有Knee点策略的非支配排序差分进化算法，优化构建的基于多尺度特征学习的钢铁材料质量解析模型结构，以生成满足精度要求的质量解析模型；

步骤3：设置构建的基于多尺度特征学习的质量解析模型的初始超参数及结构参数；

步骤3.1：设置构建的基于多尺度特征学习的质量解析模型的超参数为默认设置；

步骤3.2：对构建的基于多尺度特征学习的质量解析模型所涉及的结构参数进行范围设置；所涉及的结构参数包括：卷积标记化结构层数，卷积核大小，多尺度注意模块中空洞卷积扩张率大小，池化操作模式，编码器层数、编码器头数、编码器嵌入维度及编码结构前馈网络维数比率；

步骤4：执行基于进化多尺度特征学习的质量解析模型；具体为采用非支配排序差分进化算法优化步骤2构建的多尺度特征学习的钢铁材料质量解析模型，并采用Knee点策略选择多尺度特征学习的钢铁材料质量解析模型最佳性能时的相关参数值；

步骤4.1：初始化非支配排序差分进化算法的相关参数，定义优化过程中的最大种群规模和最大进化代数；

步骤4.2：输入步骤1.4生成的训练数据集训练步骤2建立的基于多尺度特征学习的质量解析模型，优化模型的网络结构，采用Knee点策略从帕累托最优解集中选取最佳性能模型参数；

步骤4.2.1：以质量解析模型识别准确率和网络参数量为目标，计算每个种群的适应度函数值；

步骤4.2.2：保存当前计算结果，种群数目加一，当种群数目等于最大种群数P时，种群数p＝0，进化代数g加一；

步骤4.2.3：判断是否满足终止条件；重复步骤4.2.1至步骤4.2.3，直到进化代数g等于最大代数G；

步骤4.2.4：采用Knee点策略在钢铁材料质量解析模型的帕累托最优解集中寻找最优解；

步骤4.2.5：将最优结果对应的质量解析模型的结构参数设置为该模型的最优参数，其他超参数与之前设置相同；

步骤5：利用步骤1.4生成的测试数据集对步骤4优化过程生成的最优的多尺度特征学习的质量解析模型进行测试，最终得到测试数据的识别准确率。

采用上述技术方案所产生的有益效果在于：本发明提供的一种基于进化多尺度特征学习的钢铁材料质量解析方法，设计了一种卷积神经网络和变压器的混合模型结构，充分利用了卷积神经网络的区域感知尺度和变压器对图像全局信息进行编码的能力。同时，设计了基于多尺度注意模块的卷积标记化结构，增强了对细节的感知能力。此外，提出了分形维数特征融合模块来表征图像的表面复杂性，可以为模型提供额外的图像纹理信息，丰富图像的全局特征描述。最后，基于系统优化和数据解析的核心思想，采用非支配排序差分进化算法对模型进行优化，实现模型准确率和复杂性两个指标的平衡，并采用Knee点策略从帕累托最优解集中选取最符合实际的偏好结果，得到最优的识别模型，增强了模型的适应性和泛化能力。通过对NEU-CLS-64缺陷样本的实验，基于进化多尺度特征学习的钢铁材料质量解析方法能够明显提高带钢表面缺陷识别结果的精度和鲁棒性，且模型参数量少及计算资源小，可以有效地应用于实际生产过程中，为操作人员及时掌握带钢质量情况提供依据，帮助钢铁企业提高产品质量，降低生产成本，满足现代化工业需求。

附图说明

图1为本发明实施例提供的一种基于进化多尺度特征学习的钢铁材料质量解析方法的流程图；

图2为本发明实施例提供的不同钢铁材料质量缺陷样本数据图像，其中，(a)为龟裂，(b)为凹槽，(c)为夹杂物，(d)为斑块，(e)为点蚀面，(f)为轧制粉尘，(g)为压入氧化铁皮，(h)为划痕，(i)为黑斑；

图3为本发明实施例提供的基于进化多尺度特征学习的钢铁材料质量解析模型示意图；

图4为本发明实施例提供的钢铁材料质量解析模型的多尺度注意模块的示意图；

图5为本发明实施例提供的钢铁材料质量解析模型的分形维数融合模块的示意图；

图6为本发明实施例提供的非支配排序差分进化算法优化质量解析模型参数的流程图；

图7为本发明实施例提供的非支配排序差分进化算法对质量解析模型的优化结果；

图8为本发明具实施例提供的基于多尺度特征学习的质量解析模型的预测值与实际值比较结果的混淆矩阵图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本实施例中，基于进化多尺度特征学习的钢铁材料质量解析方法，如图1所示，包括以下步骤：

步骤1：建立钢铁材料质量表面缺陷样本库；

步骤1.1：从钢铁材料质量缺陷数据库中获取钢材表面缺陷典型图像样本；

步骤1.2：将获取的钢材表面缺陷典型图像样本共分为9种类型，分别为：龟裂、凹槽、夹杂物、斑块、点蚀面、轧制粉尘、压入氧化铁皮、划痕及黑斑，分别从每一类缺陷中随机抽取200个图像样本作为多尺度特征学习的质量解析模型的样本库，如图2所示；

步骤1.3：将获取的样本随机以1:1比例分为训练集和测试集，其中训练集和测试集均包含9种类型；

步骤1.4：对训练集和测试集中的样本进行标准化处理，得到多尺度特征学习的质量解析模型所需要的标准样本集；

数据预处理技术的标准化过程为：求取获得的缺陷图像样本的均值

其中，h表示输入图像的高度，w表示输入图像的宽度，C表示输入图像的通道数，x∈X表示输入图像，y表示标准化处理后的图像。

步骤2：构建基于进化多尺度特征学习的钢铁材料质量解析模型；

首先构建CNN和Transformer的混合模型，通过建立的基于多尺度注意模块的卷积标记化结构，充分利用了CNN的局部特征提取能力，多尺度注意力机制模块有效地评估图像的每个像素点，使钢铁材料质量解析模型更关注有价值的信息，同时利用Transformer的注意力机制对目标映射的全局上下文特性进行编码；然后建立分形维数特征融合模块，为模型提供额外的纹理特征，丰富图像的全局特征描述；最后，采用非支配排序差分进化算法对构建的多尺度特征学习的质量解析模型进行优化，得到帕累托最优解集，并采用Knee点策略选取最优的网络结构，从而得到最优的钢铁材料质量解析模型，如图3所示。

步骤2.1：搭建CNN和Transformer的混合模型；建立基于多尺度注意模块的卷积标记化结构，充分保留局部空间关系，增强局部特征处理能力，利用Transformer注意力机制建立带钢图像与缺陷模式之间的内在联系；

步骤2.1.1：首先，将图像

以上过程描述如下：

X

其中，卷积过程Conv2d的滤波器的个数等于嵌入维数。根据需要，卷积层数等于或大于1。MA表示多尺度注意模块的操作过程。池化操作Pool由优化过程确定。

步骤2.1.2：多尺度注意模块利用多尺度注意机制增强了模型的信息集成能力，即关注不同粒度的空间信息，又关注通道信息，如图4所示；

首先使用1×1卷积处理特征矩阵，并将图像通道数由C压缩到C/2，从而集成与通道相关的特征，减少计算量；然后将图像通道划分为4组，每组通道数为C/8，且分别采用3×3的卷积进行特征提取，其中三组通道采用空洞卷积，扩张率分别为p，2×p，3×p。然后将得到的不同尺度的特征相连接。接下来，将连接的特征矩阵输入到1×1的卷积进行操作，将通道恢复到C。最后，使用Sigmoid激活函数将最终特征映射到(0，1)范围，得到最终的注意矩阵，其中每个值表示输入特征对应位置的重要性，将得到的注意矩阵附加到原始特征值上，引入残差连接，残差连接避免了特征信息的丢失，加快了训练速度。因此，多尺度注意模块的输出特征β

其中，α

步骤2.1.3：构建Transformer的编码结构，将卷积标记化结构的输出特征

T

其中，T

将上述特征序列T

T

T

其中，T

Transformer编码器需要引入额外的可学习的分类令牌对整个质量解析模型的序列信息进行学习，为了消除对分类令牌的需求，引入了序列池化的方法。序列池化对编码器产生的潜在空间的顺序嵌入进行加权，并更好地将输入数据中的数据进行相关，为提出的分维融合模块提供了基础。

为了将特征序列输出映射到单个类索引，编码器的整个输出序列输入至序列池化层。此操作看做映射变换T:

然后，将Z

步骤2.2：构建分形维数融合模块，基于分形维数的纹理特征描述了图像表面的不规则性，通过局部信息递归获得图像的整体特征从而丰富图像的全局特征描述，如图5所示；

采用差分盒计算方法分别计算输入图像、卷积标记化结构输出特征以及Transformer编码器的输出特征的分形维数。将计算得到的分形维数特征相连接，接着与步骤2.1.3获取的输出特征进行特征融合，得到最终的图像特征。具体流程如下:

步骤2.2.1：计算输入图像

其中，f

步骤2.2.2：计算卷积标记化结构与Transformer编码器的输出特征的分形维数。为了使得分形维数维度一致，且计算量小。首先使用1×1卷积将卷积标记化结构与Transformer编码器的输出特征矩阵降维至C。然后，分别计算其分形维数，如下公式所示:

式中，C

步骤2.2.3：将以上输入图像的分形维数特征、卷积标记化结构输出的分形维数特征以及Transformer编码器输出的分形维数特征相连接，通过线性变换将连接后的分形维数特征的张量维数映射到嵌入维数：

式中，X

步骤2.2.4：采用特征融合方法将分形维数特征X

式中，X

步骤2.3：构建带有Knee点策略的非支配排序差分进化算法，以优化构建的基于多尺度特征学习的钢铁材料质量解析模型结构，生成满足精度要求的质量解析模型。

在神经网络训练过程中，需要通过不断调整网络的结构参数和超参数，达到网络训练模型最佳性能。常用的调参方法主要分为人工经验调参和算法自适应调参两种手段，人工调参的方式耗时耗力。因此，本发明采用带有Knee点策略的非支配排序差分进化算法优化构建的多尺度特征学习的质量解析模型。Knee解是帕累托前沿面上向理想点方向的一个“凸起”，与相邻的候选解比较时，Knee解在一个目标上表现出轻微的提高，而在另一个目标上则以不显著的退化为代价。本发明采用基于距离的方式选择最合适的解。

步骤3：设置构建的基于多尺度特征学习的钢铁材料质量解析模型的初始超参数及结构参数；

步骤3.1：对构建的多尺度特征学习的钢铁材料质量解析模型的多种超参数进行设置；本实施例具体设置为：批大小32，迭代次数100，学习率0.001，模型优化策略为AdamW，学习率调整策略为OneCycleLR，以及损失函数为LabelSmoothingCrossEntropy；

步骤3.2：对构建的多尺度特征学习的钢铁材料质量解析模型所涉及的结构参数进行范围设置，涉及的参数配置包括：卷积标记化结构层数{1，2，3}，卷积核大小{3，5，7}，多尺度注意模块的孔洞率大小{1，2，3}，池化操作模式{MaxPool，AvgPool}，编码器层数{2，4}、编码器头数{2，4，8}、编码器嵌入维度{64，128，256}及编码结构前馈网络维数比率{1，2，3，4}；

步骤4：执行基于进化多尺度特征学习的质量解析模型；具体为采用非支配排序差分进化算法优化多尺度特征学习的质量解析模型(优化参数为步骤3.2中所描述的结构参数，)采用Knee点策略选择模型最佳性能时的相关参数值，流程图如图6所示；

步骤4.1：初始化非支配排序差分进化算法的相关参数，定义优化过程中的最大种群规模P＝30和最大进化代数G＝20，并设置初始种群数p＝0，初始进化代数g＝0；

步骤4.2：输入步骤1.4生成的训练数据集训练步骤2建立的基于多尺度特征学习的钢铁材料质量解析模型，优化模型的网络结构，采用Knee点策略选取最佳性能模型参数；

本发明采用带有Knee点策略的非支配排序差分进化算法优化构建的多尺度特征学习的钢铁材料质量解析模型，寻找在模型训练过程中平衡模型性能和复杂度两个指标的最优模型。在本发明中，质量解析模型的分类精度和结构复杂性被设计为两个优化目标，记为：

其中，θ定义为钢铁材料质量解析模型的结构参数，Y表示实际值，

步骤4.2.1：以质量解析模型识别准确率和网络参数量为目标，计算每个种群的适应度函数值；

步骤4.2.2：保存当前计算结果，种群数目加一，当种群数目等于最大种群数P时，种群数p＝0，进化代数g加一；

步骤4.2.3：判断是否满足终止条件；重复步骤4.2.1至步骤4.2.3，直到进化代数g等于最大代数G；

步骤4.2.4：采用Knee点策略在钢铁材料质量解析模型的帕累托最优解集中寻找最优解，由于质量解析模型的优化目标为钢铁材料表面缺陷识别准确率和模型参数量，它们分别代表为模型精度和计算复杂度，因在钢铁材料质量解析任务中，识别准确率与计算复杂度同样重要，因此本发明选择基于距离的方法选择Knee解作为最优解，如图7所示；

步骤4.2.5：将最优结果对应的质量解析模型的结构参数设置为该模型的最优参数，其他超参数与之前相同；

步骤5：利用步骤1.4生成的测试数据集对步骤4优化过程生成的最佳质量解析模型进行测试，得到测试数据的识别准确率；

基于钢铁材料质量表面缺陷测试数据，从本实施例优化得到的多尺度特征学习的质量解析模型进行验证得出统计结果，其中表1为本发明具体实施方式得到的钢铁材料表面缺陷识别的准确率、召回率、查准率和F1分数。从表1中可以看出，本发明得到的四个指标分别为92.89％，92.90％，92.89％，92.87％。为了分析所提方法对单个缺陷的性能，本实施例绘制了混淆矩阵，如图8所示。从图中可以看出，缺陷类型轧制粉尘和黑斑比其他类型更容易被错误地识别，这是由于它们的类内距离大，对比度低，亮度变化不规则所致。为了进一步证明本发明所构建的质量解析模型的有效性，本实施例对多尺度注意模块与分维特征融合模块进行了测试。从表1可以看出，MA-Trans模型在数据集上的准确率、召回率、查准率和F1分数分别为91.0％，91.0％，91.09％和91.91％。F-Trans模型在四项指标的结果分别为89.78％、89.78％、89.78％和89.71％。结果表明，本发明的基于进化多尺度特征学习的钢铁材料质量解析模型能够明显提高带钢表面缺陷识别结果的精度和鲁棒性，且模型参数量少及计算资源小，可以有效地应用于实际生产过程中，为操作人员及时掌握带钢质量情况提供依据，帮助钢铁企业提高产品质量，降低生产成本，满足现代化工业需求。

表1钢铁材料质量表面缺陷数据集实验结果

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。