一种基于引导式自注意力机制的钢铁晶粒度定级方法

技术领域

本发明属于钢铁领域，涉及一种基于引导式自注意力机制的钢铁晶粒度定级方法，适用于钢铁晶粒度定级问题。

背景技术

在钢铁冶制过程中，钢铁结晶会形成钢铁晶粒，晶粒度为衡量晶粒大小的尺度，常用单位体积或单位面积内的晶粒数目或晶粒的平均线长度或直径表示。标准晶粒度共分12级，1～4级为粗晶粒，5～8级为细晶粒，9～12级为超细晶粒度。不同的应用场景对钢铁晶粒度的要求不一样，在常温环境下，钢铁晶粒等级越高零件强度越大。而在高温环境下，钢铁晶粒等级越小零件耐高温能力越强。因此，晶粒度级别是评价金属材料性能、质量和寿命的一个重要指标，其定级结果的准确度直接影响对钢铁材料安全性能的判断。目前，工业生产中常用方法为三种国标定级方法，分别为比较法，截点法以及面积法。其中比较法通过人工对比统一比例尺寸下的待评级图与标注图，选出平均晶粒度最接近的等级作为评级结果；截点法通过计算给定长度的测量线段或网格与晶粒边界相交截点数来测定晶粒度；面积法通过统计完全落在给定网格内和被切割的晶粒数，再按照标准公式计算晶粒度级别。比较法，截点法以及面积法虽然操作流程简单，但需人工参与，且当晶粒数呈指数级增长时，仅依靠肉眼将无法对钢铁晶粒度进行精准定级。

另外，现有基于深度学习的钢铁晶粒度定级问题普遍存在精度低，泛化性差的问题。Gajalakshmi等使用Otsu和Canny网络对钢铁晶粒度图片进行预处理，滤除纹理信息，保留晶粒边缘信息，再利用特征提取网络计算出能表示晶粒数量的二维特征向量，最后使用支持向量回归SVR网络对所提取出的特征进行学习，进而拟合钢铁晶粒度定级任务。基于SVR网络的晶粒度顶级方法通过使用图片预处理网络滤除冗余信息，使像素归一化分布于0～1之间，有效减小模型提取特征的难度，但是支持向量回归模型鲁棒性较低，当数据量过大时，易产生过拟合现象，从而错误定级。Lee等提出基于卷积神经网络的快速图像分类网络，基于卷积神经网络的快速图像分类网络采用残差连接网络以及局部跨级网络对晶粒度特征进行提取，基于卷积神经网络的快速图像分类网络运算速度较快，处理每张图片仅需14毫秒，但是由于模型结构过于单一，当晶粒度等级数较多时，其泛化性能较差。

自从AlexNet开辟计算机视觉领域新元年后，卷积神经网络一直处于计算机视觉领域的主宰地位。但随着转换器网络在自然语言领域的成功，越来越多的研究者都涌入转换器网络的怀抱，许多研究都尝试着在计算机视觉任务中加入自注意力机制。其中具有代表性的研究便为司文转换器网络，司文转换器网络提出一个层级式结构的骨干网络，在图像分类，目标检测和目标定位领域都有着目前最高性能表现。但是司文转换器网络是在ViT网络的基础上改进而来，所以在小数据集上的表现不如卷积神经网络。当前大部分基于转换器网络的工作都只关注于如何在大数据集上取得显著表现，但这往往需要大型服务器以及丰富的调试经验作为支撑，普适性较差。

因此，提出一种基于引导式自注意力机制的钢铁晶粒度定级方法，来解决人工定级方法精度低耗时高的问题，并且一种基于引导式自注意力机制的钢铁晶粒度定级方法不依赖于大型数据集，不依赖于调试技巧，不依赖于加载预训练模型，简易调试后便能达到99.8％的分类精度。

发明内容

本发明提出一种基于引导式自注意力机制的钢铁晶粒度定级方法，该方法通过模糊逻辑方法对钢铁晶粒度图片进行降噪处理，加强边缘特征，再利用引导式自注意力机制帮助模型找出晶粒度图片中的广义极大线性无关组，并训练出富含全局特征信息和局部特征信息的分类描述符，用于钢铁晶粒度的精准定级，一种基于引导式自注意力机制的钢铁晶粒度定级方法最终精度为99.8％，远超人工定级精度，在使用过程中的步骤为：

步骤(1)：利用光学显微镜对钢铁样本进行晶粒度图片采集，随后利用模糊逻辑方法对晶粒度图片进行预处理，滤除冗余的纹理信息以及无关噪点，加强边缘信息；

步骤(2)：提出特征编码器以下采样的方式结合卷积神经网络和司文转换器网络，经过预处理后的晶粒度图片会被同时输入至特征编码器中的稠密网络分支和司文转换器网络分支，其中稠密网络分支由4个稠密网络模块组成，司文转换器网络分支由3个司文转换器模块组成；

当第一个司文转换器模块对晶粒度图片完成下采样特征提取后，将所得特征图A

由于司文转换器模块含有滑窗多头自注意力机制，滑窗多头自注意力机制能使晶粒度图片中空间距离相隔较远的像素块产生联系，从而生成晶粒度图片的全局特征信息，因此特征图A

当E

步骤(3)：提出引导式自注意力机制引导司文转换器网络找到广义极大线性无关组G，在数学领域中，矩阵L内的极大线性无关组能线性表示出矩阵L内的任一向量，具有极强的表征能力，在计算机视觉领域中，特征图由像素组成，等同于数学领域中的矩阵，因此找出特征图中的极大线性无关组，将等同于找出具有极强表征能力的分类描述符用于晶粒度定级任务；

矩阵O的极大线性无关组有两个充分必要条件，第一，极大线性无关组内的向量相互之间线性无关；第二，极大线性无关组能线性表示出矩阵O内的任意向量；

根据卷积神经网络的原理，每当卷积网络对特征图矩阵C进行一次卷积操作后，卷积核K会使特征图矩阵C内的像素乘上权重值k再加上偏差值b，从而得出特征图矩阵H:

/>

其中c

特征图矩阵C的向量是不为零的成比例向量，即矩阵C中的向量两两之间线性相关，经过卷积操作后，特征图矩阵H中的向量为线性无关，因此卷积操作越多，特征图中像素值之间的线性无关性将越强；

但是在司文转换器网络中，对像素值赋予权重值和偏差值的操作不是卷积，而是16个线性映射层，这对提升像素间的线性无关性是不足的，反观一种基于引导式自注意力机制的钢铁晶粒度定级方法的特征编码器网络，具有121个卷积层和12个线性映射层，这意味着经特征编码器处理后，特征图F

首先，根据特征图F

其中d

在一种基于引导式自注意力机制的钢铁晶粒度定级方法的引导式自注意力机制中，键矩阵K

广义极大线性无关组G由特征编码器121个卷积以及司文转换器和引导式自注意力机制中的16个线性层处理而得，因此G中的向量是两两线性无关的，这符合极大线性无关组充分必要条件的第一个条件；而当G被重构损失函数约束时，能还原出最初的晶粒度图片，即能线性表示出原矩阵中任一向量，符合极大线性无关组充分必要条件的第二个条件；但是由于G不是直接从晶粒度图片中取出，而是经特征编码器以及引导式自注意力机制处理而来，所以命名G为广义极大线性无关组；

步骤(4)：提出三流融合模块利用多种注意力机制和连接策略，增强一种基于引导式自注意力机制的钢铁晶粒度定级方法的泛化能力；最终特征图F

F

其中，S

S

S

S

步骤(5)：根据特征图F

本发明相对于现有技术具有如下的优点及效果：

(1)利用模糊逻辑方法对晶粒度图片进行预处理，有效滤除冗余的纹理信息以及无关噪点，加强边缘信息。

(2)使用下采样的方式结合卷积神经网络和司文转换器网络，能使模型集成稠密网络和司文转换器的优点，即能有效利用局部感受野、对特征高效复用、对局部特征信息和全局特征信息有效融合、使用动态注意力机制加速模型收敛以及更好的模型泛化能力。

(3)提出引导式自注意力机制能有效引导司文转换器找到广义极大线性无关组，以帮助模型找出更具鲁棒性的分类描述符。

(4)提出三流融合模块能使模型快速定位出平均晶粒尺寸，且其中的通道注意力模块能动态地为特征图通道赋予动态注意力权重，加速收敛。

附图说明

图1是本发明方法的整体流程图。

图2是本发明方法的整体框架图。

图3是本发明方法的特征编码器框架图。

图4是本发明方法的引导式自注意力模块框架图。

图5是本发明方法的三流融合框架图。

具体实施方式

本发明提出的一种基于引导式自注意力机制的钢铁晶粒度定级方法，结合附图详细说明如下：

图1是本发明方法的整体流程图。一种基于引导式自注意力机制的钢铁晶粒度定级方法首先从所需定级的钢铁材料收集钢铁样本切片。然后，使用光学显微镜对样本进行晶粒度图片采集，采集后的晶粒度图片经模糊逻辑方法预处理后输入引导式自注意力机制网络GSNet。最后，输出相应的钢铁晶粒度等级，并完成对钢铁材料的标注。

图2是本发明方法的整体框架图。首先，预处理后的钢铁晶粒度图片经过特征编码器产生一个能高效融合全局特征信息和局部特征信息的特征图，如可视化注意力机制图谱1所示，V

图3是本发明方法的特征编码器框架图。特征编码器含有稠密网络分支和司文转换器网络分支，其中稠密网络分支由4个稠密网络模块组成，司文转换器网络分支由3个司文转换器模块组成。

4个稠密网络模块内部结构可参考图3中稠密网络模块1，稠密网络模块由稠密层组成，稠密层中含有1×1大小的卷积核以及3×3大小的卷积核，稠密网络模块1～4分别含有6,12,24,16个稠密层。3个司文转换器模块内部结构可参考图3中司文转换器模块1，其中各个模块功能为：区域融合模块对特征图中的像素进行划分，并将划分后的像素融合成像素块；线性层1将像素块映射成向量组合输入至多头注意力机制，多头注意力机制能输出带权重系数的特征图；线性层2将特征图映射成向量组合输入至多层感知机，多层感知机能输出带权重系数的特征图；线性层3将特征图映射成向量组合输入至滑窗多头注意力机制，滑窗多头注意力机制利用滑窗机制能使像素块产生位移偏差，并输出带位移偏差权重的特征图；线性层4将特征图映射成向量组合输入至多层感知机，多层感知机能输出带权重系数的特征图。

本发明方法采用司文转换器网络模块中的滑窗多头自注意力机制来构建远距离区域之间的信息交互，再利用多层感知机提取全局特征信息。然后，利用稠密连接网络模块中的卷积提取特征图中的局部特征信息。最后，特征编码器合并来自司文转换器网络模块和稠密连接网络模块所提取的特征，即图3中特征图I。为有效合并全局和局部特征信息，特征图I将被传送到下一个稠密连接网络模块，这意味着卷积将继续从含有全局特征信息的特征图中提取局部特征信息。因此，经过特征编码器模块处理后，特征图能有效且全面地融合全局和局部特征信息。

图4是本发明方法的引导式自注意力模块框架图。首先，根据特征图F

其中d

图5是本发明方法的三流融合框架图。首先，通过引导式自注意力模块处理得到特征图S

以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。