基于多尺度U型神经网络的焦炭显微光学组织提取方法

技术领域

本发明属于焦炭显微图像分析技术领域，涉及一种基于多尺度U型神经网络的焦炭显微光学组织提取方法及其应用。

背景技术

焦炭是我国钢铁生产的主要原料，它在高炉炼铁中扮演着重要角色，在高炉内有着作为料柱骨架、发热剂和还原剂三大作用。由于我国能源有着多煤、贫油、少气的基本特点，以及优质炼焦煤供应不足的问题，因此，如何提高焦炭质量一直是我国炼焦事业研究的重点。根据相关文献可知，焦炭的微观结构与焦炭的质量有着直接的联系，具体在于焦炭的扩散条件、强度等性能与焦炭的显微结构有着密切联系，焦炭的反应性基本由焦炭的光学组织决定。

焦炭的微观分析主要是指以光学显微镜为主要分析工具，对焦炭显微组成、焦炭的气孔壁结构等进行定性分析、测量和统计。焦炭的微观分析流程主要包括焦炭样品的制备、焦块的制备和显微图像的获取。取得焦炭显微图像后，需要对焦炭显微图像进行预处理来完成对焦炭的微观分析。其中，焦炭显微光学组织提取是焦炭显微图像预处理的第一步和最重要的一步。由于制备焦块的树脂冷镶嵌过程不可避免的会混入部分焦末杂质，并且部分树脂粘结处在焦炭显微图像拍摄时会造成过曝光现象，磨抛制样过程中会将部分焦炭显微组分破碎分离，最终拍摄的焦炭显微图像存在着亮度不均匀、焦炭前景背景存在灰度重叠、图像中遍布着微小杂质和破碎颗粒的问题。因此，使用传统背景分割方法比如OTSU阈值分割、K均值聚类、Grab Cut背景分割法在提取焦炭显微光学组织时，均存在严重的误分割现象，焦炭显微图像背景难以分割的问题给焦炭微观分析造成了挑战。

因此，开发一种分割准确率高且适用性好的焦炭显微光学组织提取方法极具现实意义。

发明内容

本发明的目的在于克服现有传统图像分割算法在进行焦炭显微图像分割时误分割严重、背景难以分割的缺陷，提供一种分割准确率高且适用性好的焦炭显微光学组织提取方法，其具体是应用深度学习神经网络进行的，在过去的几十年里，深度学习神经网络已经成功的运用与各个研究领域，比如计算机视觉、医疗保健和地理等。与传统机器学习方法不同的是，深度学习神经网络可以自发地从图像提取特征，而不需要大量的人为干预。全卷积神经网络是目前深度学习领域一种最为流行的方法，它拥有优秀的特征提取能力。U型神经网络(Unet网络)是全卷积神经网络的进一步改进，它通过跳跃连接将网络提取到的浅层信息和深层信息结合起来，从而可以获得像素级的分割结果。目前Unet网络主要应用于医疗影像、遥感图像等领域(如《融合残差注意力机制的Unet视盘分割》阐述了一种利用Unet网络在医疗影像领域分割眼底图像中视神经盘，来辅助医生进行疾病诊断的应用，《基于改进Unet孪生网络的遥感影像矿区变化检测》阐述了一种利用改进Unet网络在遥感图像进行变化检测，来指导矿区土地规划管理的方法)，本发明具体提供了一种基于多尺度U型神经网络的焦炭显微光学组织提取方法，该方法提出的多尺度U型神经网络，以多尺度模块作为特征提取层，即用基于三个大小不同的卷积并行操作构成的多尺度模块提取图像不同尺度的特征，其相比于U型神经网络在分割尺度差别较大的物体时具有显著优势，使得网络在焦炭显微光学组织提取上有着优异鲁棒性和准确率。

为实现上述目的，本发明提供如下技术方案：

基于多尺度U型神经网络的焦炭显微光学组织提取方法，获取待处理图像后将其输入多尺度U型神经网络模型，多尺度U型神经网络模型输出焦炭显微光学组织提取结果；

所述多尺度U型神经网络模型相比于U型神经网络模型的改进之处在于，采用多尺度模块(即泛指提取多尺度特征的模块)作为U型神经网络模型中的特征提取层；

所述多尺度U型神经网络模型的训练过程即以训练数据集的图像作为输入，以所述输入对应的类别标签作为理论输出，不断调整模型参数的过程，训练的终止条件为以达到训练次数上限作为终点，所述训练数据集中的所有图像均已进行人工标定，训练数据集包含所有图像对应的类别标签，所述输入对应的类别标签包括光学组织标签和背景标签。

本发明的基于多尺度U型神经网络的焦炭显微光学组织提取方法，运用多尺度U型神经网络完成焦炭显微光学组织提取，其中U型神经网络(Unet网络)通过将网络底层信息和深层信息的融合，能够更好的还原图像的形状轮廓，显著提高图像的分割精度，达到像素级的分割效果，同时本发明还对U型神经网络进行了改进，采用多尺度模块(即泛指提取多尺度特征的模块)作为U型神经网络模型中的特征提取层，在每个采样阶段并行提取图像不同尺度的特征，并将结合在一起。这种多尺度特征融合手段，可以使得网络获得更加强大得特征描述能力，进一步提高了其分割尺度差别较大的物体的精度，提高网络的泛化性能。本发明的方法能够实现焦炭显微图像的有效分割，克服了焦炭显微图像亮度不均匀、焦炭前景背景存在灰度重叠、图像中遍布着微小杂质和破碎颗粒造成干扰的问题，实现焦炭显微光学组织的准确提取，进一步简化的焦炭微观分析的难度，极具应用前景。

作为优选的技术方案：

如上所述的基于多尺度U型神经网络的焦炭显微光学组织提取方法，所述多尺度U型神经网络模型包括三个下采样模块、一个桥接模块、三个上采样模块和一个Sigmoid层；

每个下采样模块由一个多尺度模块和一个最大池化层组成，每个上采样模块由一个反卷积层和一个多尺度模块组成，桥接模块由一个多尺度模块组成。当然本发明的保护范围并不仅限于此，本领域技术人员可根据实际需求调整模型的具体结构，比如此处模型为7层，也可根据需要增减模型的层数。

如上所述的基于多尺度U型神经网络的焦炭显微光学组织提取方法，所述多尺度模块包括一个卷积核尺寸为3×3的卷积单元、一个卷积核尺寸为5×5的卷积单元、一个卷积核尺寸为7×7的卷积单元和一个批标准化层；

其中，一个卷积核尺寸为3×3的卷积单元由一个卷积核大小为3×3，步长为1的卷积层、一个批标准层、一个Mish激活函数层串联组成，一个卷积核尺寸为5×5的卷积单元由一个卷积核大小为5×5，步长为1的卷积层、一个批标准层、一个Mish激活函数层串联组成，一个卷积核尺寸为7×7的卷积单元由一个卷积核大小为7×7，步长为1的卷积层、一个批标准层、一个Mish激活函数层串联组成。当然本发明的保护范围并不仅限于此，本领域技术人员可根据实际需求调整多尺度模块的具体结构，此处仅给出一种可行的技术方案而已。

如上所述的基于多尺度U型神经网络的焦炭显微光学组织提取方法，所述训练数据集的获取过程如下：

(1)焦炭显微图像的获取和分块；

(2)获取训练数据集：

(2.1)对步骤(1)获取分块后的焦炭显微图像进行标注完成数据集标注；

(2.2)对步骤(2.1)获取的数据集进行数据划分得到多个数据子集；

(2.3)对步骤(2.2)获取的多个数据子集进行数据增强，通过数据增强的方式增多数据量，能够大大减少步骤(1)所需的焦炭显微图像量，同时充足的数据能够提高对多尺度U型神经网络模型的训练精度。

本发明的保护范围并不仅限于此，此处仅给出一种可行的技术方案而已，本领域技术人员可根据实际需求完成训练数据集的获取。

如上所述的基于多尺度U型神经网络的焦炭显微光学组织提取方法，步骤(1)具体如下：

(1.1)使用偏光显微镜拍摄焦炭样本切面，获取焦炭显微图像；

(1.2)随机抽取焦炭显微图像，将每张焦炭显微图像按照指定分辨率(768×768pixel

如上所述的基于多尺度U型神经网络的焦炭显微光学组织提取方法，所述标注的具体操作为：

对步骤(1)获取的分块后的焦炭显微图像进行人工标定，其中焦炭显微图像中焦炭显微光学组织区域为前景(对应光学组织标签)，非焦炭显微光学组织区域为背景(对应背景标签)；

所述步骤(2.2)具体为：将数据集进行4等分，划分为4个数量相同的数据子集；

所述数据增强的方法包括图像伽马变换、图像亮度对比度变换、图像拉伸和图像裁剪，将上述四种图像变换方法按一定概率P＝0.3组合在一起，作为一种数据增强方法，即在一次数据增强中，图像伽马变换、图像亮度对比度变换、图像拉伸和图像裁剪都有30％的概率以随机组合的方式组成这次数据增强方法。

如上所述的基于多尺度U型神经网络的焦炭显微光学组织提取方法，采用4折交叉验证将4个数量相同的数据子集输入模型进而完成多尺度U型神经网络模型的训练的。

如上所述的基于多尺度U型神经网络的焦炭显微光学组织提取方法，将待处理图像按照指定分辨率分块后，依次输入多尺度U型神经网络模型，而后将各输出拼接起来即得焦炭显微光学组织提取结果。当然如指定分辨率直接与待处理图像适配，也可将其直接输入多尺度U型神经网络模型，直接获取焦炭显微光学组织提取结果。

本发明还提供一种电子设备，包括一个或多个处理器、一个或多个存储器、一个或多个程序及图像输入装置；

所述图像输入装置用于输入待处理图像，所述一个或多个程序被存储在所述存储器中，当所述一个或多个程序被所述处理器执行时，使得所述电子设备执行如上所述的基于多尺度U型神经网络的焦炭显微光学组织提取方法。

有益效果：

(1)本发明的基于多尺度U型神经网络的焦炭显微光学组织提取方法，适用于焦炭的显微光学组织提取，克服了焦炭显微图像亮度不均匀、焦炭前景背景存在灰度重叠、图像中遍布着微小杂质和破碎颗粒造成干扰的问题；

(2)本发明的基于多尺度U型神经网络的焦炭显微光学组织提取方法，以深度卷积神经网络为基础，所提出网络经过训练后能够实现焦炭显微光学组织的准确提取，进一步简化的焦炭微观分析的难度，极具应用前景。

附图说明

图1是本发明的流程示意图；

图2是本发明所使用焦炭显微图像示意图；

图3是本发明中焦炭显微图像类别和像素级标注结果；

图4是本发明的多尺度U型神经网络的结构图；

图5是本发明中所使用的多尺度模块结构图；

图6是本发明中所使用卷积单元结构图；

图7是本发明中训练神经网络数据子集划分示意图。

图8是本发明网络与Unet网络的训练过程曲线；

图9是本发明网络模型和Unet网络的焦炭显微光学组织的提取结果对比图。

具体实施方式

下面结合附图，对本发明的具体实施方式做进一步阐述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例1

一种基于多尺度U型神经网络的焦炭显微光学组织提取方法，如图1所示，包括以下步骤：

S1：使用偏光显微镜拍摄焦炭样本切面，获取焦炭显微图像。焦炭显微图像如图2所示。

S2：随机抽取焦炭显微图像，将每张显微图像分块分辨率为768×768pixel

S3：对样本集图像数据进行像素级标注，其中，焦炭显微图像背景部分标注为0，焦炭显微图像光学组织部分标注为1。在标注图像中，焦炭显微图像中的光学组织呈白色为1类，焦炭显微图像中背景呈黑色为0类，焦炭显微图像类别和像素级标注结果如图3所示。

S4：将标注好的样本集进行数据划分，把所有标注好的样本集进行4等分，划分为4个数量相同的样本子集。

S5：构建背景分割模型：基于多尺度U型神经网络构建焦炭显微光学组织提取网络。

基于多尺度U型神经网络如图4所示：总共包括3个下采样模块，一个桥接模块，三个上采样模块和一个Sigmoid层。每个下采样模块由一个多尺度模块和一个最大池化层组成，每个上采样模块由一个反卷积层和一个多尺度模块组成，桥接模块由一个多尺度模块组成。

多尺度模块如图5所示，多尺度模块主要由一个卷积核尺寸为3×3的卷积单元和一个卷积核尺寸为5×5的卷积单元和一个卷积核尺寸为7×7的卷积单元和一个批标准化层组成。当特征矩阵输入多尺度模块时，特征矩阵首先并行通过上述三个卷积层进行卷积运算，卷积运算结果通过维度拼接在一起，使得网络学习到在不同尺度下输入信息的特征。然后对维度拼接结果进行批标准化处理。与此同时，特征矩阵输入通过一个短路连接，将输入特征矩阵与批标准化处理结果相加。短路连接可以使特征矩阵原封不动地直接输入到模块尾层，使得网络能够理解一些其他的空间信息。最后将相加结果作为多尺度模块的输出特征矩阵。

卷积单元如图6所示，一个卷积核尺寸为3×3的卷积单元由一个卷积核大小为3×3，步长为1的卷积层、一个批标准层、一个Mish激活函数层串联组成，一个卷积核尺寸为5×5的卷积单元由一个卷积核大小为5×5，步长为1的卷积层、一个批标准层、一个Mish激活函数层串联组成，一个卷积核尺寸为7×7的卷积单元由一个卷积核大小为7×7，步长为1的卷积层、一个批标准层、一个Mish激活函数层串联组成。其中，Mish激活函数表达式如下所示：

Mish＝x×tanh(ln(1+e

其中，x为激活函数的输入。Mish激活函数在负值不是完全截断的，允许较小的负梯度流入，从而保证了神经网络中信息的流动，避免了深层神经网络训练时容易过拟合的问题。

多尺度U型神经网络第一个下采样模块由一个多尺度模块和一个最大池化层串联组成，多尺度模块的输入特征矩阵大小为768×768×3，输出特征矩阵大小为768×768×16。最大池化层输入特征矩阵大小为768×768×16，输出特征矩阵大小为384×384×16。

第二个下采样模块由一个多尺度模块和一个最大池化层串联组成，多尺度模块的输入特征矩阵大小为384×384×16，输出特征矩阵大小为384×384×32。最大池化层输入特征矩阵大小为384×384×32，输出特征矩阵大小为192×192×32。

第三个下采样模块由一个多尺度模块和一个最大池化层串联组成，多尺度模块的输入特征矩阵大小为192×192×32，输出特征矩阵大小为192×192×64。最大池化层输入特征矩阵大小为192×192×64，输出特征矩阵大小为96×96×64。

第四个桥接模块由一个多尺度模块组成，多尺度模块的输入特征矩阵大小为96×96×64，输出矩阵大小为96×96×128。

第五个上采样模块由一个反卷积层和一个多尺度模块组成，反卷积层的输入特征矩阵大小为96×96×128，输出特征矩阵大小为192×192×64。反卷积层的输出特征矩阵与第三个下采样模块输出特征矩阵进行维度拼接后，再输入多尺度模块。多尺度模块的输入特征矩阵大小为192×192×128，输出特征矩阵大小为192×192×64。

第六个上采样模块由一个反卷积层和一个多尺度模块组成，反卷积层的输入特征矩阵大小为192×192×64，输出特征矩阵大小为384×384×32。反卷积层的输出特征矩阵与第二个下采样模块的输出特征矩阵进行维度拼接后，再输入多尺度模块。多尺度模块的输入特征矩阵大小为384×384×64，输出特征矩阵大小为384×384×32。

第七个上采样模块由一个反卷积层和一个多尺度模块组成，反卷积层的输入特征矩阵大小为384×384×32，输出特征矩阵大小为768×768×16。反卷积层的输出特征矩阵与第一个下采样模块的输出特征矩阵进行维度拼接后，再输入多尺度模块。多尺度模块的输入特征矩阵大小为768×768×32，输出特征矩阵大小为768×768×16。

第八个Sigmoid层输入特征矩阵大小为768×768×16，输出特征矩阵大小为768×768×1。

S6：将数据子集进行数据增强，并采用4折交叉验证的方式将数据子集输入构建的网络进行训练。

在步骤S6中，数据子集数据增强方法包括图像伽马变换、图像亮度对比度变换、图像拉伸和图像裁剪。将上述四种图像变换方法按一定概率P＝0.3组合在一起，作为一种数据增强方法。即在一次数据增强中，图像伽马变换、图像亮度对比度变换、图像拉伸和图像裁剪都有30％的概率以随机组合的方式组成这次数据增强方法。

在步骤S6中，4折交叉验证训练方式如图7所示，将样本集等比例划分成4个样本子集，将每个样本子集数据分别做一次测试集，其余3个样本子集作为训练集，训练4次多尺度U型神经网络构。

在步骤S6中，多尺度U型神经网络训练周期设置为100，训练时使用Adam优化器对学习率进行优化，Adam优化器的初始学习率设置为0.0001，随着训练周期的增加，Adam优化器学习率每20个周期减少10倍，防止模型训练时过拟合。

在步骤S6中，多尺度U型神经网络在训练时，通过已经构建好的网络结构进行卷积、最大池化、反卷积等操作后，计算网络模型训练时对训练图像的推理值与训练图像的人工标注值的损失函数，并计算损失函数的梯度值，按照链式法则在神经网络中反向传播，以此来更新网络层参数。具体的，多尺度U型神经网络采用一种混合加权损失函数：将IOU损失函数L

L

其中，θ代表二值交叉熵损失函数的权值，在训练中，θ设置为1。IOU损失函数L

S7：将训练得到的最好模型作为最终推理模型，将待分割的焦炭显微图像进行分块，然后依次输入推理模型进行推理，并将模型输出结果阈值化处理后作为推理结果进行拼接，得到最终焦炭显微光学组织提取结果。

在步骤S7中，选择Dice系数最为模型的评价标准，Dice系数如下式所示：

其中，X代表模型测试集中测试图像的像素级标注图像，X

在步骤S7中，将推理结果阈值化是指上述多尺度U型神经网络的最终输出结果是一个表征焦炭显微小图上每个像素点所属类别概率的矩阵。对最终输出矩阵阈值化如下式所示：

其中，p

本发明网络(多尺度U型神经网络)和Unet网络(即U型神经网络，与本申请的多尺度U型神经网络的区别在于其特征提取层不同，不为多尺度模块)的训练过程曲线如图8所示，由图8可知，随着训练迭代次数的增加，两个网络的Dice系数都在不断增加，当训练迭代次数到达120轮左右，两个网络的Dice系数达到最优。整个训练完成后，本发明网络(多尺度U型神经网络)的Dice系数比Unet高1％左右。

同时，还选择了5张边缘不清晰、杂质分布较多，人工分割困难的焦炭显微图像，使用本发明网络模型(多尺度U型神经网络)和Unet网络(即U型神经网络)对上述图像进行焦炭显微光学组织提取，提取结果如图9所示。由图9可知，Unet网络的焦炭显微光学组织提取结果较为模糊，对部分背景杂质有误提取现象。本发明网络的提取结果对比Unet网络更加出色，提取的焦炭显微光学组织边界清晰，在杂质较多且存在过曝点的图像中仍能准确提取焦炭光学显微组织，展现了良好的鲁棒性。

经验证，本发明的基于多尺度U型神经网络的焦炭显微光学组织提取方法，适用于焦炭的显微光学组织提取，克服了焦炭显微图像亮度不均匀、焦炭前景背景存在灰度重叠、图像中遍布着微小杂质和破碎颗粒造成干扰的问题；以深度卷积神经网络为基础，所提出网络经过训练后能够实现焦炭显微光学组织的准确提取，进一步简化的焦炭微观分析的难度，极具应用前景。

实施例2

一种电子设备，包括一个或多个处理器、一个或多个存储器、一个或多个程序及图像输入装置；

图像输入装置用于输入待处理图像，一个或多个程序被存储在存储器中，当一个或多个程序被处理器执行时，使得电子设备执行如实施例1所述的基于多尺度U型神经网络的焦炭显微光学组织提取方法。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应该理解，这些仅是举例说明，在不违背本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改。