一种基于轻量级网络的冰雪晶粒子图像分类方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于轻量级网络的冰雪晶粒子图像分类方法。

背景技术

冰雪晶粒子是一种重要的大气气溶胶，对气候和天气都有着重要的影响。正确的分类冰雪晶粒子图像有助于研究人员更好地理解和研究天气模式，从而更准确地预测天气变化，提高天气预报的准确性。其次，冰雪晶粒子可以改变大气中的光学属性、天空颜色、人类视觉感受等，这些信息都对人们的观察能力和感觉体验产生影响。正确的分类冰雪晶粒子有助于相关工作者更好地理解这些影响因素，从而制定出更合理的气象政策，以保障公众的视觉体验和健康。

近些年，随着深度学习的快速发展，人工智能技术在对图像和大数据的处理及分析中展现了巨大的应用潜力，在大气科学中的应用也受到了研究人员的重视，人工智能尤其是深度学习技术陆续被应用于冰雪晶粒子形状的自动分类研究中。经典的是使用预训练的残差网络ResNet152对冰雪晶粒子形状进行识别，在共10个类别包含7282张图像的ICDC(Ice Crystals Database in China, ICDC) 冰雪晶数据集，实现了96%的识别准确率，但对于小样本数据的预测效果较差。为了改善残差卷积网络的可能存在的小样本预测难题，有人提出基于嵌入超图卷积层深度学习方法，该方法使用嵌入超图的结构分别从局部和全局基于图结构进行特征关系构建，这使得其在小样本表现有所提升，实现在样本分布不平衡的情况下，获取较好的分类效果。

但是现有技术存在的以下问题：1、缺乏对冰雪晶粒子形态特征的有效提取：现存的基于深度卷积网络的冰雪晶粒子分类方法，在对冰雪晶粒子这种类内差异大、类间差异小的细粒度和样本不均衡的问题进行处理时能力有限，难以充分提取和表达冰雪晶粒子图像中的特征信息，导致误差的产生，降低了分类的准确性和可靠性。2、推理速度慢：现存的基于深度卷积网络的冰雪晶粒子分类方法，存在着深度过深、计算IO开销过大等问题导致推理速度慢，对于快速将冰雪晶粒子进行识别分类的任务要求，这些方法在推理速度上还有很大优化空间。3、参数量规模大：现存的基于深度卷积网络的冰雪晶粒子分类方法，具有大规模的参数量，这直接导致算法难以嵌入到终端设备上，限制了算法的实际应用。

需要说明的是，在上述背景技术部分公开的信息只用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于克服现有技术的缺点，提供了一种基于轻量级网络的冰雪晶粒子图像分类方法，解决了现有技术存在的不足。

本发明的目的通过以下技术方案来实现：一种基于轻量级网络的冰雪晶粒子图像分类方法，所述分类方法包括：

使用包含多个分类的冰雪晶粒子图像的训练样本数据集对搭建好的轻量级网络UDiNet进行训练，并使用冰雪晶粒子图像的测试数据集对轻量级网络UDiNet进行冰雪晶粒子图像进行分类测试验证，选择性能最好的模型参数进行保存；

将获取的冰雪晶粒子图像输入到经过训练和测试的轻量级网络UDiNet中，对冰雪晶粒子图像进行特征提取和类别的推理计算，得到一个预测的类别从而实现对冰雪晶粒子图像的自动分类。

所述轻量级网络UDiNet的骨干网络为通道重组网络，轻量级网络UDiNet包括通道重组卷积单元、轻量级注意力机制层和深度可分离空洞卷积层；

所述通道重组卷积单元用于构建通道重组网络，在分组卷积时将特征图中各通道组的信息进行重排，形成通道重排机制，增大通道间的信息融合；所述轻量级注意力机制层用于特征图重要性加权，通过学习得到的注意力权重，使得轻量级网络UDiNet自动地选择和关注对当前任务更加重要的特征；

使用分组卷积和逐点卷积组成的基本单元对通道重组网络进行构建，并在分组卷积中引入分组通道重排机制将通道重组网络的最后一层基本单元的输出特征图作为深度可分离空洞卷积层的输入。

所述深度可分离空洞卷积层使用残差网络结构，其包括深度可分离空洞卷积分支和短连接分析，两个分支分别以通道重组网络最后一层基本单元生成的特征图和通道数为标准，通过深度可分离空洞卷积分支对输入特征图进行全局特征提取，通过短连接分支对输入特征图进行局部信息的采集，并将两个分支输出特征图在通道维度上进行连接，实现通道扩展。

所述通过深度可分离空洞卷积分支对输入特征图进行全局特征提取，通过短连接分支对输入特征图进行局部信息的采集具体包括：

A1、通过卷积核大小为3×3的深度卷积在单张特征图上学习冰雪晶粒子图像细节处的特征信息，然后通过卷积核大小为1×1的逐点卷积对冰雪晶粒子图像的多张特征图进行信息整合；

A2、通过卷积核大小为1×1的逐点卷积进行升维，获取冰雪晶粒子图像更多不同通道的特征信息，然后沿特征图周围填充两层值为0的像素点，以在扩大冰雪晶粒子特征图的同时不对特征信息到来噪声干扰；

A3、通过卷积核大小为3×3的深度卷积在单张特征图上学习冰雪晶粒子特征图像整体上的特征信息，通过卷积核大小为1×1的逐点卷积对冰雪晶粒子图像的多张特征图进行信息整合；

A4、将A1和A2步骤计算结果沿通道维度进行连接，作为深度可分离空洞卷积层的输出特征图。

所述轻量级网络UDiNet的训练包括以下内容：

将在大型图像数据集ImageNet上预训练过的卷积神经网络的参数用于轻量级网络UDiNet的骨干网络中卷积层的初始化；

采用Pytorch框架，Epochs设置为100，Batch Size设置为128；

使用AdamW优化算法，学习率设为0.0001；

在包含多个类别的冰雪晶粒子图像的公开数据集ICDC中，每个类别随机选择其中80%的图像数据进行训练。

所述使用冰雪晶粒子图像的测试数据集对轻量级网络UDiNet进行冰雪晶粒子图像进行分类测试验证，选择性能最好的模型参数进行保存具体包括以下内容：

在每个Epoch训练结束时，用同样的测试样本数据集对轻量级网络UDiNet进行测试，并对测试得到的分类结果进行评价；

通过公式

测试所用数据为在包含多个类别的冰雪晶粒子图像的公开数据集ICDC中，除训练样本数据集外的所有剩余20%的图像数据进行测试；

保存多次测试中计算所得准确率最高时的轻量级网络UDiNet。

所述冰雪晶粒子图像的多个分类包括玫瑰花结状、玫瑰状、长柱状、短柱状、空心柱状、球状、小不规则状、板状、六角雪花状和复杂状；深度可分离空洞卷积层输出特征图输入至卷积分类器中，然后使用softmax函数将输出概率归一化，完成10类的冰雪晶粒子图像分类任务。

本发明具有以下优点：一种基于轻量级网络的冰雪晶粒子图像分类方法，通过深度可分离空洞卷积层能有效融合全局和局部特征，对于冰雪晶粒子这种在尺度和结构上存在微小差异的细节特征能有较好的分类效，其次，通过使用深度可分离卷积将普通卷积分成两步进行，极大地减少了模型的计算量和参数量；深度可分离空洞卷积分支使用逆瓶颈结构，能够在输入特征图通道数较少的情况下将低维的特征图映射到高维，在高维对数据进行特征提取，从而减少提取特征图信息过程中的损失；使用轻量级的模型架构设计，极大减少模型参数量，加快了模型推理速度，有望在各类边缘计算终端中进行部署应用；通过设计卷积分类器，在保留了空间信息的同时对输入的平移不变性具有一定鲁棒性，卷积分类器相比于全连接分类器不仅提高了模型的参数效率还增强了模型的泛化能力。

附图说明

图1为本发明的流程示意图；

图2为本发明的轻量级网络UDiNet的结构示意图1；

图3为本发明的轻量级网络UDiNet的结构示意图2；

图4为本发明的轻量级网络UDiNet的结构示意图3；

图5为本发明的轻量级网络UDiNet的结构示意图4；

图6为深度可分离空洞卷积层的示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。

如图1所示，本发明具体涉及一种基于轻量级网络UDiNet的冰雪晶粒子图像分类方法。该网络通过深度可分离卷积极大地减少了网络所需的参数量和计算量，解决现存冰雪晶粒子分类算法参数量规模过大、计算量过高的痛点。其次，UDiNet使用一种深度可分离空洞卷积实现特征图中空间信息和位置信息的快速融合，增大了网络的感受野，使网络在快速整合分类信息的同时还拥有更加准确的分类能力。具体包括以下内容：

使用包含多个分类的冰雪晶粒子图像的训练样本数据集对搭建好的轻量级网络UDiNet进行训练，并使用冰雪晶粒子图像的测试数据集对轻量级网络UDiNet进行冰雪晶粒子图像进行分类测试验证，选择性能最好的模型参数进行保存；

将获取的冰雪晶粒子图像输入到经过训练和测试的轻量级网络UDiNet中，对冰雪晶粒子图像进行特征提取和类别的推理计算，得到一个预测的类别从而实现对冰雪晶粒子图像的自动分类。

轻量级网络UDiNet的输入为224×224×3的RGB彩色冰雪晶粒子图像，其骨干网络为通道重组网络，轻量级网络UDiNet包括通道重组卷积单元、轻量级注意力机制层和深度可分离空洞卷积层；

其中，其中深度可分离空洞卷积层为网络的最后一层卷积网络，轻量级网络UDiNet的每一个轻量级注意力机制层后都会使用ReLU6进行激活，指数平滑为momentum=0.9的批量归一化BatchNormalization加速训练提高性能。

如图2-图5所示，首先是使用卷积核大小为3×3的普通卷积在浅层进行初步的特征提取，然后将通道重组单元和注意力机制模块结合进行具有注意力机制的通道重组特征学习，接下来在网络的特征提取器部分的最后一层使用深度可分离空洞卷积将所有的特征在通道间和通道内进行充分特征提取和整合，最后基于网络特征提取器的输出，使用全连接层对模型的类别进行预测。

所述通道重组卷积单元用于构建通道重组网络，该单元在分组卷积时将特征图中各通道组的信息进行重排，形成通道重排机制，增大通道间的信息融合。为进一步增加识别准确率，如图3和图4所示，在通道重组网络的步骤2和步骤3后引入轻量级注意力机制层，实现特征图重要性加权，通过学习得到的注意力权重，模型可以自动地选择和关注对当前任务更加重要的特征。这有助于提高模型对关键特征的感知能力，减少冗余信息的干扰，从而提升模型的性能和泛化能力。最后将的最后一层通道重组卷积单元的输出特征图作为深度可分离空洞卷积层的输入。

使用分组卷积和逐点卷积组成的基本单元对通道重组网络进行构建，并在分组卷积中引入分组通道重排机制将通道重组网络的最后一层基本单元的输出特征图作为深度可分离空洞卷积层的输入。

所述深度可分离空洞卷积层使用残差网络结构，其包括深度可分离空洞卷积分支和短连接分析，两个分支分别以通道重组网络最后一层基本单元生成的特征图和通道数为标准，通过深度可分离空洞卷积分支对输入特征图进行全局特征提取，通过短连接分支对输入特征图进行局部信息的采集，并将两个分支输出特征图在通道维度上进行连接，实现通道扩展。

如图6所示，通过深度可分离空洞卷积分支对输入特征图进行全局特征提取，通过短连接分支对输入特征图进行局部信息的采集具体包括：

A1、通过卷积核大小为3×3的深度卷积在单张特征图上学习冰雪晶粒子图像细节处的特征信息，然后通过卷积核大小为1×1的逐点卷积对冰雪晶粒子图像的多张特征图进行信息整合；

A2、通过卷积核大小为1×1的逐点卷积进行升维，获取冰雪晶粒子图像更多不同通道的特征信息，然后沿特征图周围填充两层值为0的像素点，以在扩大冰雪晶粒子特征图的同时不对特征信息到来噪声干扰；

A3、通过卷积核大小为3×3的深度卷积在单张特征图上学习冰雪晶粒子特征图像整体上的特征信息，通过卷积核大小为1×1的逐点卷积对冰雪晶粒子图像的多张特征图进行信息整合；

A4、将A1和A2步骤计算结果沿通道维度进行连接，作为深度可分离空洞卷积层的输出特征图。

轻量级网络UDiNet的损失函数选择交叉熵损失函数，其定义如下公式所示：

其中N为样本个数，x

所述轻量级网络UDiNet的训练包括以下内容：

将在大型图像数据集ImageNet上预训练过的卷积神经网络的参数用于轻量级网络UDiNet的骨干网络中卷积层的初始化；

采用Pytorch框架，Epochs设置为100，Batch Size设置为128；

使用AdamW优化算法，学习率设为0.0001；

在包含多个类别的冰雪晶粒子图像的公开数据集ICDC中，每个类别随机选择其中80%的图像数据进行训练。同时，由于现有数据集的样本数量较少，为了提高模型的泛化能力，对数据进行了预处理操作，如随机长宽比裁剪、随机水平翻转等操作以进行数据增强，实现在一定程度上的数据集扩充；以及对图像进行标准化处理，将图像数据通过去均值实现中心化的处理，根据凸优化理论与数据概率分布相关知识，数据中心化符合数据分布规律，更容易取得训练之后的泛化效果；此外，为了适应UDiNet模型的输入大小，使用随机裁剪将图像大小统一到224×224。具体预处理操作如下：以概率为0.8实现图像的随机水平翻转、垂直翻转；根据图像的大小进行0填充使图像大小为正方形，随后对其使用传统的插值算法双线性插值方法将其统一到256×256大小；为符合模型UDiNet输入再进行224×224的随机裁剪；进行逐像素标准化处理，即图像中每个通道的像素值减去对应通道的像素值的均值再除以标准差，实现数据中心化。其中，进行逐像素标准化处理时，RGB三个通道在训练集中的均值为0.056,0.331,0.666，标准差分别为0.080,0.218,0.303。

所述使用冰雪晶粒子图像的测试数据集对轻量级网络UDiNet进行冰雪晶粒子图像进行分类测试验证，选择性能最好的模型参数进行保存具体包括以下内容：

在每个Epoch训练结束时，用同样的测试样本数据集对轻量级网络UDiNet进行测试，并对测试得到的分类结果进行评价；

通过公式

测试所用数据为在包含多个类别的冰雪晶粒子图像的公开数据集ICDC中，除训练样本数据集外的所有剩余20%的图像数据进行测试；并在输入网络前对其进行如下预处理操作：用双线性插值方法按照比例把图像调整到256×256；对图像随机裁剪成224×224大小；进行逐像素标准化处理，即图像中每个通道的像素值减去对应通道的像素值的均值再除以标准差，实现数据中心化。其中，进行逐像素标准化处理时，RGB通道在测试集中的均值为0.056,0.331,0.666，标准差分别为0.080,0.218,0.303；

保存多次测试中计算所得准确率最高时的轻量级网络UDiNet。

所述冰雪晶粒子图像的多个分类包括玫瑰花结状、玫瑰状、长柱状、短柱状、空心柱状、球状、小不规则状、板状、六角雪花状和复杂状；深度可分离空洞卷积层输出特征图输入至卷积分类器中，然后使用softmax函数将输出概率归一化，完成10类的冰雪晶粒子图像分类任务。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。