一种基于中层特征学习的蚕茧图像分类方法

技术领域

本发明专利涉及数字图像处理和图像分类领域，具体涉及一种基于中层特征学习的蚕茧图像分类方法。

背景技术

缫丝生产实践表明，因不同蚕本身体质和结茧时的条件差异，或是收茧、烘茧、运输等工序影响，不可避免会产出难以用来缫丝的下茧。因此，必须按不同工艺要求进行选茧分类，选除原料茧中混有的不能缫丝的下茧，以符合缫丝的要求。

目前一线工厂仍采用人工分选蚕茧技术，虽能保证一定蚕茧分选的准确率，但需要花费大量的人力和时间成本。专业的蚕茧分选工人需要经过长时间的培训才能够上岗，且即使是多年工龄的分选工人，也难免经常会有分选错误的情况发生。

使用传统图像分类方法效果不佳，因原始数据中不同类别之间的特征差异不明显，即蚕茧分类识别任务中存在类内特征差异大、类间特征差异性小的情况，使得网络对于蚕茧细节特征提取难度较大，会影响分类精度。

针对蚕茧图像数据存在的细粒度问题，需要设计一种增强网络对细节特征的捕捉以提升分类准确率的方法，以应用到蚕茧分选系统的视觉模块中。

发明内容

为了解决目前存在的上述技术问题，本发明采集7类蚕茧图像并打上类别标签，对蚕茧图像进行预处理后进行数据增强处理，建立蚕茧图像数据集；基于蚕茧数据集存在的细粒度问题，搭建基于中层特征学习的蚕茧图像分类模型；将蚕茧图像训练集输入网络进行训练后得到训练完成的模型，最后使用训练完的蚕茧图像分类模型对蚕茧图像测试集进行分类测试，进行分类准确率的测试。具体技术方案如下：

一种基于中层特征学习的蚕茧图像分类方法，包括以下步骤：

S1.蚕茧图像采集与数据集建立；

S2.构建基于中层特征学习的蚕茧图像分类模型，在深度学习模型ResNet-50的中层特征处使用区域显著信息抑制与特征融合模块进行改进；

S3.蚕茧图像分类模型的训练；

S4.蚕茧图像测试集的分类测试。

进一步的，S1中使用工业相机进行图像采集上车茧、烂茧、黄柴茧、双宫茧、薄皮茧、印头茧、口茧共7类蚕茧图像，对蚕茧图像进行预处理，依次进行灰度化、高斯滤波、大津阈值分割、连通域提取，寻找最小外接矩形，根据长宽最大值为边长将蚕茧主体从原图中进行正方形提取；最后将图片尺寸调整为448*448，建立蚕茧图像数据集。

进一步的，S2中的所述区域显著信息抑制与特征融合模块采用如下以下步骤处理：

S21.给定输入特征图X∈R

X

其中：f(·)表示7×7卷积核大小的卷积操作，concat(·)表示通道拼接，avg(·)和max(·)分别表示通道方向平均池化和最大池化函数，Sigmoid(·)表示Sigmoid激活函数，即获得注意力图；在注意力得分中，每个值代表了每个像素位置特征信息显著程度。

S22.设定窗口大小为7×7，将特征注意力图X

P＝Sigmoid(conv7-7(X

其中，conv7_7(·)表示卷积核大小为7×7的卷积层操作,Sigmoid(·)表示Sigmoid激活函数。

S23.注意力强度集合P中筛选出注意力强度最大的位置P(m，n)，映射到输出特征图X的对应位置为：

IA＝{X(x，y)|7m≤x≤7(m+1)，7n≤y≤7(n+1)，x∈N，y∈N}

IA∈R

S24.在得到每个像素位置特征信息显著程度后，通过对注意力图X

其中：X

S25.将得到的阈值掩码特征图T作为权重向量，与输出特征图X逐通道相乘得到区域显著信息抑制的特征图

进一步的，S22中注意力强度集合P大小为

进一步的，S3中将训练集和验证集及其对应的类别标签送入网络进行训练，输入尺寸为448×448；在ResNet-50模型的Conv4_6输出中层特征图R

进一步的，在训练过程参数设置，批量大小和迭代次数分别设置为12和80；使用Adam优化器，初始学习率设置为0.0001，采用余弦退火算法进行学习率的调整，动量为0.95，权重衰减系数为0.0005。

进一步的，S4中将待测试的蚕茧图像，经过与训练数据相同的预处理操作，并调整图片尺寸为与网络输入相同的尺寸，输入至训练好的蚕茧图像分类模型中，得到概率分类向量，概率最高的类别即为待测试的蚕茧图像的所属类别。

有益效果：

本发明使用中层特征学习的蚕茧图像分类方法，对中层特征图可以通过通道方向上池化得到注意力特征图，提取包含高显著性特征区域的特征进行特征融合，进一步提高模型的表征能力。并且对于显著特征区域进行特征信息抑制，有利于让网络下一阶段去学习其他较显著区域的可区分特征，增加网络可区分区域的分布，为蚕茧特征提取分类网络捕获更加丰富的细节信息用于分类。

附图说明

图1为本申请实施例提供的一种基于中层特征学习的蚕茧图像分类方法的总体流程图；

图2为本申请实施例提供的蚕茧图像预处理流程图；

图3为本申请实施例提供的区域显著信息抑制与特征融合模块结构图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

如图1所示，本发明的基于中层特征学习的蚕茧图像分类方法，包括以下步骤：

S1.蚕茧图像采集与数据集建立

使用工业相机在设置好光圈大小、曝光时间等参数后结合环形光源进行图像采集，根据一线工人分选标准采集上车茧、烂茧、黄柴茧、双宫茧、薄皮茧、印头茧、口茧7类蚕茧图像共26581张，并打上类别标签；

将采集到的原始图像进行预处理，如图2所示，使用传统图像处理技术对蚕茧图像依次进行灰度化、高斯滤波、大津阈值分割、寻找最小外接矩形，为适合网络输入，根据长宽最大值为边长将蚕茧主体从原图中进行正方形提取。预处理操作将原图较多的黑色背景及噪声去除，凸显蚕茧主体，有利于网络的更好提取特征，最终将图像尺寸统一设置为448×448。

图像增强操作，对预处理后的图像进行图像随机旋转，图像缩放，色域扭曲，随机调整图像的饱和度、亮度、对比度和锐度，实现图像数据增强。

按照8：1：1的比例将数据集随机划分训练集、验证集、测试集。

S2.构建基于中层特征学习的蚕茧图像分类模型

基于中层特征学习的蚕茧图像分类方法使用的网络是基于基础深度学习模型ResNet-50进行改进后的网络。ResNet-50残差网络是一种深度神经网络，主要特点是采用了残差块结构，通过增加跨层连接来解决深度神经网络中的梯度消失和梯度爆炸问题。蚕茧种类繁多，不同类别在颜色、纹理和形态上都有不同程度差异，对网络模型提出了具备较强的特征表示能力的要求。ResNet-50具备高精度和可训练性优点，被广泛应用于图像分类领域。

在本实施例中区域显著信息抑制与特征融合模块结构图如图3所示。ResNet-50由Conv_1、Conv_2、Conv_3、Conv_4、Conv_5五个stage组成。将Conv_3、Conv_4、Conv_5的输出特征图可分别定义为低层、中层和高层特征图。

在stage3、stage4、stage5后可以添加本模块，本模块工作原理如下：

S21.给定输入特征图X∈R

S22.为提取更加细微的特征，可以对不同层次的特征图进一步学习，从而进一步提高特征的表达能力。设定窗口大小为7×7，将特征注意力图X

集合P大小为

S23.区域注意力强度集合P中筛选出注意力强度最大的位置P(m，n)，映射到输出特征图X的对应位置为：

IA＝{X(x，y)|7m≤x≤7(m+1)，7n≤y≤7(n+1)，x∈N，y∈N}

IA∈R

S24.在得到每个像素位置特征信息显著程度后，通过对注意力图X

其中：X

S25.将得到的阈值掩码特征图T作为权重向量，与输出特征图X逐通道相乘得到区域显著信息抑制的特征图

卷积Conv4_6的输出为中层特征图R

在本实施例中，ResNet-50特征提取网络的最后一层输出为2048维，将显著区域特征图IA经过平均池化后将数据展平成一维后与ResNet-50最后一层输出进行concat融合后送入分类器，通过全连接层和softmax函数进行识别分类。

S3.蚕茧图像分类模型的训练：

利用待训练的蚕茧图像数据集对基于中层特征学习的蚕茧图像分类模型进行训练；包括以下步骤：

S31.将训练集和验证集及其对应的类别标签送入网络模型进行训练。在训练的每一个epoch中使用交叉熵损失函数计算分类损失值，通过梯度下降法对损失值进行反向传播，以一定的学习率更新网络参数后进行下一个epoch的训练，调整学习率，直至网络达到收敛，训练完成。

S32.在ResNet-50模型的Conv4_6输出中层特征图R

S4.蚕茧图像测试集的分类测试

将测试集的蚕茧图像经过与训练数据相同的预处理操作，并调整图片尺寸为与网络输入相同的尺寸，输入至训练好的蚕茧图像分类网络模型中，得到概率分类向量，概率最高的类别即为蚕茧图像的所属类别。

为验证区域显著信息抑制与特征融合模块应用在不同特征层上对模型识别精度的影响，设计了应用于不同层特征的实验进行对比，在相同的实验环境下，对低层特征图R

表1不同特征层模型实验结果表

从表1可以分析得到，相较于模型1，使用本模块的模型2-4在测试集上的准确率都得到了一定的提升。对高层特征的输出使用本模块的模型4准确率明显低于模型2、3，因为高层特征信息语义信息比较丰富，但分辨率较低、目标位置比较粗略造成了精度的下降。模型2相较于模型3精度略低，因为低层特征分辨率更高，虽包含更多位置、细节信息，但其语义性较低噪声较多。

通过实验证明，将区域显著信息抑制与特征融合模块引入到ResNet-50特征提取网络中层特征层Conv4_6的末尾，本发明网络模型增加了可区分区域的分布，充分利用了蚕茧表面疵点的特征，并且特征融合增强了模型表征能力，与ResNet-50分类相比提升了0.785％。

添加区域显著信息抑制与特征融合模块后的模型增加了可区分区域的分布，充分利用了蚕茧表面疵点的特征，有效改善了特征显著区域的特征冗余现象。并且通过特征融合方式模型增强了表征能力，让模型能更精确的关注到疵点区域的特征。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。