一种间隙区域感知的铝硅合金显微图像分割方法

技术领域

本发明涉及一种间隙区域感知的铝硅合金显微图像分割方法，属于图像分割技术。

背景技术

铝硅合金具有热膨胀系数低、耐磨性好等特点，广泛应用于汽车、电气和航空航天等行业，具有重要的研究价值。铝硅合金中含有块状的初晶硅和针状的共晶硅，其中初晶硅是影响铝硅合金性能的关键相组织。铝硅合金显微图像反映了合金中初晶硅的分布、形状等特征，对合金性能的研究有着重要的参考价值。传统上，研究人员采用手工标注的方式对图像中的初晶硅进行分割，进而使用特定的软件工具对其进行定量分析，这种方式耗时、费力，且得出的结果会受到主观因素的影响。因此，为了加速新材料的研发，避免材料分析过程中主观因素的干扰，研究能够自动分割铝硅合金显微图像的计算机算法具有重要的意义。

发明内容

本发明要解决的技术问题是提供一种间隙区域感知的铝硅合金显微图像分割方法，能够对铝硅合金显微图像进行分割，便于后续对其进行定量分析。

本发明的技术方案是：一种间隙区域感知的铝硅合金显微图像分割方法，具体步骤为：

Step1：获取铝硅合金显微图像数据集。

Step2：将铝硅合金显微图像数据集划分为训练集、验证集和测试集。

Step3：对训练集中的图像应用随机缩放、随机旋转、水平翻转、垂直翻转、随机剪裁进行数据增强，将增强得到的样本数据输入多尺度膨胀残差网络(Multi-Scale DilatedResidual Network,MSDR-Net)中训练，并使用间隙区域感知交叉熵(Gap Region AwareCross Entropy,GRACE)损失函数计算分割结果与标签之间的损失，通过随机梯度下降算法优化参数，取训练过程中验证损失最小的模型作为最终的分割模型；

所述多尺度膨胀残差网络可表示为MSDR-Net网络。

Step4：将铝硅合金显微图像输入训练得到的MSDR-Net网络中，输出分割结果。

所述Step1，铝硅合金显微图像数据集从铝硅合金相关文献中提取，提取的铝硅合金显微图像数据集通过cvat工具进行标注。

所述Step2中，将铝硅合金显微图像数据集按照70％、10％、20％的比例随机划分为训练集、验证集和测试集，其中，训练集占70％，验证集占10％，测试集占20％。

所述数据增强具体为：

对图像进行随机旋转，旋转角度范围为(-90°～90°)，旋转概率为0.5。

对图像进行随机尺度缩放，缩放范围为(0.5～1.5倍)，缩放概率为0.5。

对图像进行随机剪裁，剪裁区域尺寸为257×257，剪裁概率为1.0，以统一输入图像的尺寸。

对图像进行水平翻转，翻转概率为0.5。

对图像进行垂直翻转，翻转概率为0.5。

对图像进行转置操作，转置概率为0.5。

对图像添加高斯噪声或乘性噪声，概率为0.5。

对图像应用中值模糊或运动模糊，概率为0.5。

对图像应用光学畸变，概率为0.5。

随机修改图像的亮度、对比度，或是应用锐化、直方图均衡化方法，概率为0.5。

所有的增强操作均指定了一个概率值0.5，用于控制操作发生的概率。

Step3中所述的MSDR-Net网络由编码器结构和解码器结构组成；

所述编码器结构采用了改进的ResNet-18，改进内容为：丢弃了全连接层和平均池化层，取消了最后的两次下采样，在最后两个阶段的卷积块中使用了膨胀卷积，倒数第二个阶段使用膨胀率2，最后一个阶段使用膨胀率4，以在不丢失特征图信息的情况下获取大尺度的感受野，此外，在输入图像后增加了一个3×3卷积层，以产生高分辨率的特征图，提取高分辨率特征。编码器结构的作用是从输入图像中提取高级特征；

所述解码器结构由上采样、特征图拼接和卷积层组成；用于将特征恢复到原图分辨率，并预测最终的分割结果。上采样负责将低分辨率的特征图恢复到与图像相同的分辨率，特征拼接将编码器结构产生的高分辨率特征图和解码器结构中上采样得到的特征图融合，以保留下采样时丢失的信息，同时融合多尺度特征。卷积层对特征进一步学习。

所述Step3中，使用间隙区域感知交叉熵损失函数时，需要获取图像中相邻初晶硅颗粒之间的间隙区域，这些间隙区域通过间隙区域生成算法获取，所述间隙区域生成算法的具体步骤为：

首先，从标签中选取出每一个初晶硅颗粒对象得到对象图O

所述Step3中，间隙区域感知交叉熵损失函数的定义依赖于交叉熵(CrossEntropy,CE)损失函数，交叉熵损失函数为：

其中，L

基于交叉熵损失函数，对间隙区域附加额外权重，得到间隙区域感知交叉熵损失函数，具体为：

其中，L

本发明的有益效果是：

建立了一种新的多尺度膨胀残差网络MSDR-Net,该网络去除了编码器结构中最后的两次下采样，使用膨胀卷积获取大尺度的感受野，以减少特征图信息的丢失。此外，在输入图像后添加了一层3×3卷积层用于获取高分辨率特征图，编码器结构中产生的不同分辨率的特征图会被逐渐融合到解码器结构中，以保留下采样丢失的信息，同时融合多尺度特征，改进了铝硅合金显微图像的分割效果。

使用间隙区域生成算法获取相邻初晶硅颗粒之间的间隙区域，并在训练时对这些区域的损失附加额外的权重，放大了间隙区域的损失，大的损失能够使训练时传播的梯度更大，从而促进相关区域的特征学习。通过更好地学习间隙区域的特征，模型能够更好地分离相邻的初晶硅颗粒。

附图说明

图1是本发明的工作流程示意图；

图2是本发明的MSDR-Net网络结构图；

图3是本发明实施例中的间隙区域生成算法的整体流程示意图；

图4是本发明实施例与现有方法的分割结果对比图。

具体实施方式

下面结合附图和具体实施方式，对本发明作进一步说明。

实施例1：如图1-3所示，一种间隙区域感知的铝硅合金显微图像分割方法，包括数据集获取、数据集划分、MSDR-Net网络训练和铝硅合金显微图像分割。

具体步骤为：

Step1：获取铝硅合金显微图像数据集；

本实施例所述铝硅合金显微图像数据集的构建步骤为：从铝硅合金相关文献中获取铝硅合金显微图像，使用cvat工具对图像进行标注，构建铝硅合金显微图像数据集。

Step2：将铝硅合金显微图像数据集划分为训练集、验证集和测试集；

本实施例所述数据集划分方式为：将铝硅合金显微图像数据集按照70％、10％、20％的比例随机划分为训练集、验证集和测试集，其中，训练集占70％，验证集占10％，测试集占20％。

Step3：对训练集中的图像应用随机缩放、随机旋转、水平翻转、垂直翻转、随机剪裁进行数据增强，将增强得到的样本数据输入多尺度膨胀残差网络中训练，并使用间隙区域感知交叉熵损失函数计算分割结果与标签之间的损失，通过随机梯度下降算法优化参数，取训练过程中验证损失最小的模型作为最终的分割模型。

本实施例所述数据增强操作的步骤为：

对图像进行随机旋转，旋转角度范围为(-90°～90°)，旋转概率为0.5。

对图像进行随机尺度缩放，缩放范围为(0.5～1.5倍)，缩放概率为0.5。

对图像进行随机剪裁，剪裁区域尺寸为257×257，剪裁概率为1.0，以统一输入图像的尺寸。

对图像进行水平翻转，翻转概率为0.5。

对图像进行垂直翻转，翻转概率为0.5。

对图像进行转置操作，转置概率为0.5。

对图像添加高斯噪声或乘性噪声，概率为0.5。

对图像应用中值模糊或运动模糊，概率为0.5。

对图像应用光学畸变，概率为0.5。

随机修改图像的亮度、对比度，或是应用锐化、直方图均衡化方法，概率为0.5。

所有的增强操作均指定了一个概率值0.5，用于控制操作发生的概率。

本实施例所述MSDR-Net网络由编码器结构和解码器结构构成，编码器结构采用了改进的ResNet-18，改进内容为：丢弃了全连接层和平均池化层，取消了最后的两次下采样，在最后两个阶段的卷积块中使用了膨胀卷积，倒数第二个阶段使用膨胀率2，最后一个阶段使用膨胀率4，以在不丢失特征图信息的情况下获取大尺度的感受野，此外，在输入图像后增加了一个3×3卷积层，以产生高分辨率的特征图。解码器结构由上采样、特征拼接操作和卷积层组成，上采样负责将低分辨率的特征图恢复到与图像相同的分辨率，特征拼接将编码器结构产生的高分辨率特征图和解码器结构中上采样得到的特征图融合，以保留下采样时丢失的信息，同时融合多尺度特征。卷积层对特征进一步学习。MSDR-Net网络的结构如图2所示。

本实施例所述间隙区域感知交叉熵损失函数计算时，需要获取图像中相邻初晶硅颗粒之间的间隙区域，这些区域通过间隙区域生成算法获取，间隙区域生成算法的具体步骤为：

Step3.1：将标签中的每个初晶硅对象取出，得到对象图集合

Step3.2：遍历对象图集合，对每张对象图O

Step3.3：初始化间隙区域图M，M的尺寸和输入图像相同，所有像素值初始化为0；

Step3.4：遍历膨胀对象图集合，在每两张膨胀的对象图B

Step3.5：得到完整的间隙区域图M。

本实施例所述间隙区域感知交叉熵损失函数的定义依赖于交叉熵(CrossEntropy,CE)损失函数，交叉熵损失函数为：

其中，L

基于交叉熵损失函数，对间隙区域附加额外权重，得到间隙区域感知交叉熵损失函数，具体为：

其中，L

Step4：将铝硅合金显微图像输入训练得到的MSDR-Net网络中，输出分割结果。

如上所述为本发明对铝硅合金显微图像进行分割的实施方式介绍，本发明通过从铝硅合金相关文献中收集铝硅合金显微图像，使用cvat工具进行标注，并划分数据集用于训练MSDR-Net网络，在训练过程中，通过间隙区域感知交叉熵损失函数加强对相邻初晶硅颗粒间间隙区域的监督，最后在得到的最优模型上对铝硅合金显微图像进行分割；与传统的手工分割方法相比，本方法能够实现对铝硅合金显微图像的自动分割；与现有自动分割方法相比，本方法的分割准确率更高，且能够更好地分离铝硅合金显微图像中相邻的初晶硅颗粒，本方法与现有方法的分割结果对比如图4所示。

以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。