基于深度迁移学习的长尾小样本声纳图像分类方法及系统

技术领域

本发明涉及声纳图像识别技术领域，特别是涉及一种基于深度迁移学习的长尾小样本声纳图像分类方法及系统。

背景技术

声纳成像是一种重要的水下探测手段，可以在光线很弱的环境中和浑浊的水中进行探测。由于声纳图像噪声较大、颜色单一、特征稀疏等原因，给水下声纳图像自动目标分类增加了挑战，对于这些问题，已经有了不少较好的解决办法。在较早的研究中，一些传统的分类算法被用于声纳图像的分类。例如使用基于决策树、马尔科夫随机场、稀疏表示法的方法。近年来，越来越多的研究者提出了使用深度卷积神经网络来解决声纳图像目标分类问题的方法，并取得了引人关注的成果。其中，基于深度迁移学习的方法的分类效果被证明比传统的分类方法更加优异。然而，声纳图像数据集的长尾分布给深度迁移学习算法带来了很大的挑战。现有方法并没有特别关注数据集的长尾分布问题，因而在面临现实世界中长尾分布的数据集时，这些方法往往会使深度卷积神经网络朝着尽可能多地把声纳图像样本判别为头部类的方向训练，从而导致头部类别的分类准确率较高，而尾部类别的分类准确率很低，分类效果并不理想。

以往的解决长尾分布问题的一种重要且有效的方法是类别重平衡方法，通常可以分为两个系列，包括重采样和重加权。重采样是一种用来平衡数据分布的直观的方法，在该领域得到了广泛的应用，它包括对数据集中的多数类别进行欠采样、对少数类别进行过采样和结合这两者的类别平衡采样。但是欠采样舍弃了宝贵的数据，一定程度上削弱了网络的泛化能力，尤其对于本来数据就很少的声纳图像；而过采样将相同的数据重复使用，会导致尾部类的过拟合。类别平衡采样根据数据集中每个类别的样本数量进行采样，但其本质上依然是欠采样和过采样的结合，无法避免上述缺点。另一种重要的方法是重加权，通过增大少数类的错误分类对损失函数的贡献，或减小多数类错误分类的损失来进行类别平衡。这种方法一定程度上降低了训练过程中网络对多数类的过度关注，但也会对模型的表示能力造成一定的损失。

发明内容

本发明的目的是提供一种基于深度迁移学习的长尾小样本声纳图像分类方法及系统，以解决现有技术在面临长尾小样本的声纳图像时分类性能变差的问题。

为实现上述目的，本发明提供了如下方案：

本发明提供一种基于深度迁移学习的长尾小样本声纳图像分类方法，所述方法包括如下步骤：

采用声纳图像训练集对预训练后的卷积神经网络模型中的特征表示器进行训练，得到一次训练后的卷积神经网络模型；

采用多平衡采样策略对声纳图像训练集进行平衡采样，获得多个平衡的子训练集；

分别利用多个所述子训练集对一次训练后的卷积神经网络模型中的分类器进行训练，获得多个二次训练后的分类器；

对多个二次训练后的分类器进行筛选和融合，得到融合分类器；

将一次训练后的卷积神经网络模型中的分类器替换为所述融合分类器，获得融合后的卷积神经网络模型；

将待测的声纳图像输入所述融合后的卷积神经网络模型，得到分类结果。

可选的，所述采用多平衡采样策略对声纳图像训练集进行平衡采样，获得多个平衡的子训练集，具体包括：

确定声纳图像训练集中包含的样本类别；所述样本类别包括头部类别和尾部类别；

对声纳图像训练集中每个类别的样本分别进行有放回的随机采样，并将随机采样得到的每个类别的样本分别组成子训练集；每个所述子训练集中均包括N个样本。

可选的，所述确定声纳图像训练集中包含的样本类别，具体包括：

计算声纳图像训练集中每个类别包含的样本数的平均值；

将包含样本数大于所述平均值的类别确定为头部类别；

将包含样本数不大于所述平均值的类别确定为尾部类别。

可选的，N的数值为声纳图像训练集中每个尾部类别包含的样本数的平均值。

可选的，所述分别利用多个所述子训练集对一次训练后的卷积神经网络模型中的分类器进行训练，获得多个二次训练后的分类器，具体包括：

将多个所述子训练集分别输入到一次训练后的卷积神经网络模型中的特征表示器中，得到多组特征向量；

将多组特征向量分别输入一次训练后的卷积神经网络模型中的分类器中，并分别根据分类结果对一次训练后的卷积神经网络模型中的分类器进行二次训练，获得多个二次训练后的分类器。

可选的，所述对多个二次训练后的分类器进行筛选和融合，得到融合分类器，具体包括：

将验证数据集输入一次训练后的卷积神经网络模型中的特征表示器中，获得第二特征向量；所述验证数据集采用有放回的随机采样的方式在所述声纳图像训练集中获取；

将所述第二特征向量分别输入多个所述二次训练后的分类器中，并通过SoftMax函数得到每个二次训练后的分类器的预测概率；

选取预测概率的准确率和预测概率的几何平均较大的预设个数的二次训练后的分类器；

采用参数平均法对预设个数的训练后的分类器进行融合，获得融合分类器。

可选的，所述采用声纳图像训练集对预训练后的卷积神经网络模型中的特征表示器进行训练，得到一次训练后的卷积神经网络模型，之前还包括：

采用ImageNet图像数据集，对卷积神经网络模型进行预训练，获得预训练后的卷积神经网络模型。

一种基于深度迁移学习的长尾小样本声纳图像分类系统，所述系统应用于上述的方法，所述系统包括：

一次训练模块，用于采用声纳图像训练集对预训练后的卷积神经网络模型中的特征表示器进行训练，得到一次训练后的卷积神经网络模型；

平衡采样模块，用于采用多平衡采样策略对声纳图像训练集进行平衡采样，获得多个平衡的子训练集；

训练模块，用于分别利用多个所述子训练集对一次训练后的卷积神经网络模型中的分类器进行训练，获得多个二次训练后的分类器；

筛选和融合模块，用于对多个二次训练后的分类器进行筛选和融合，得到融合分类器；

分类器替换模块，用于将一次训练后的卷积神经网络模型中的分类器替换为所述融合分类器，获得融合后的卷积神经网络模型；

分类模块，用于将待测的声纳图像输入所述融合后的卷积神经网络模型，得到分类结果。

一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开一种基于深度迁移学习的长尾小样本声纳图像分类方法及系统，所述方法包括如下步骤：采用多平衡采样策略对声纳图像训练集进行平衡采样，获得多个平衡的子训练集；分别利用多个所述子训练集对一次训练后的卷积神经网络模型中的分类器进行训练，获得多个二次训练后的分类器；对多个二次训练后的分类器进行筛选和融合，得到融合分类器；将一次训练后的卷积神经网络模型中的分类器替换为所述融合分类器，获得融合后的卷积神经网络模型；将待测的声纳图像输入所述融合后的卷积神经网络模型，得到分类结果。该方法在以往的深度迁移学习方法的基础上，利用两阶段解耦训练方案进行迁移学习中的微调(首先进行特征表示器的训练然后基于平衡的子训练集进行分类器的训练)，在特征表示器和分类器微调期间使用不同的平衡设置以同时提高模型的表示能力和分类能力，缓解数据长尾分布的问题；采用多平衡采样策略来构建多个平衡的子训练集，然后在这些子训练集上训练多个平衡分类器，并通过集成学习融合这些分类器以减少数据信息的损失，提高小样本问题下的模型性能；最后通过集成剪枝方法筛选分类性能较好的分类器，以进一步提高模型的性能和效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于深度迁移学习的长尾小样本声纳图像分类方法的流程图；

图2为本发明实施例提供的基于平衡集成迁移学习算法的长尾小样本声纳图像分类方法的原理图；

图3为本发明实施例提供的长尾分布数据的常规重采样策略与本发明多平衡采样策略的对比示意图；

图4为本发明实施例提供的直接融合所有分类器与本发明集成筛选后融合部分分类器方法的对比示意图，图4中的(a)为直接融合所有分类器方法的性能，图4中的(b)为本发明集成筛选后融合部分分类器方法的性能。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于深度迁移学习的长尾小样本声纳图像分类方法及系统，以解决现有技术在面临长尾小样本的声纳图像时分类性能变差的问题。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例提供一种基于深度迁移学习的长尾小样本声纳图像分类方法，所述方法包括如下步骤：

采用多平衡采样策略对声纳图像训练集进行平衡采样，获得多个平衡的子训练集。

分别利用多个所述子训练集对一次训练后的卷积神经网络模型中的分类器进行训练，获得多个二次训练后的分类器。

对多个二次训练后的分类器进行筛选和融合，得到融合分类器。

将一次训练后的卷积神经网络模型中的分类器替换为所述融合分类器，获得融合后的卷积神经网络模型。

将待测的声纳图像输入所述融合后的卷积神经网络模型，得到分类结果。

本发明实施例中的一次训练，其实际是对卷积神经网络模型中的特征表示器的训练过程，具体如下：

对卷积神经网络模型进行预训练，获得预训练后的卷积神经网络模型。

采用声纳图像训练集对预训练后的卷积神经网络模型中的特征表示器进行训练，获得一次训练后的卷积神经网络模型。

在一个具体实施例中，如图1和图2所示，上述方法具体包括：

步骤1：在大型图像数据集上对深度卷积神经网络模型进行预训练；

在大型图像数据集(例如：ImageNet)上对深度卷积神经网络模型(例如：ResNet)进行训练，采用交叉熵损失函数计算分类损失，通过SoftMax函数计算预测概率，采用准确率对分类性能进行评估，通过随机梯度下降算法对模型参数进行优化。

步骤2：采用迁移学习，通过两阶段解耦训练方法对预训练过的深度卷积神经网络模型进行微调。

采用原始长尾分布的数据集对深度卷积神经网络模型的特征表示器(即：卷积神经网络部分的参数)进行微调，在微调时设置较小的学习率(例如：0.01)；固定特征表示器的参数，采用平衡的子训练集对深度卷积神经网络模型的分类器(即：全连接神经网络部分)进行微调(具体步骤参见步骤3-步骤6，在此不做赘述)，在微调时设置较小的学习率(例如：0.1)。

步骤3：采用多平衡采样策略对原始长尾分布的声纳图像训练集进行平衡采样，得到多个平衡的子训练集，如图3所示；

通过下面的方法确定数据集的头部和尾部类别：计算数据集中每个类别包含的样本数的平均值

其中，C为数据集中的总类别数，n

对声纳图像数据集中每个类别的样本进行有放回的随机采样，将每个类别的采样数目N设置为数据集中每个尾部类别包含的样本数的平均值

其中，C

其中，n

步骤4：使用多个平衡的子训练集分别训练多个分类器；

将T个平衡的子训练集分别输入到前面步骤中经过预训练和采用两阶段解耦训练方法微调过的深度卷积神经网络模型的特征提取器中，得到T组特征向量，然后将T组特征向量分别输入到T个分类器中进行微调。

步骤5：采用集成剪枝方法对训练得到的多个分类器进行筛选，保留性能较好的分类器；

如图4所示，首先，对声纳图像数据集中每个类别的样本进行有放回的随机采样，采样数目设置为每个类别所包含的训练样本数目，得到一个验证数据集；然后，将验证数据集输入到前面步骤中经过预训练和采用两阶段解耦训练方法微调过的深度卷积神经网络模型的特征表示器中，得到特征向量；进一步，将特征向量分别输入到T个分类器中，通过SoftMax函数得到T个预测概率输出；最后，分别计算这T个预测概率输出的准确率和几何平均值(geometricmean)，通过这两个评估指标的结果给T个分类器排序，保留平均排名在前ρ的分类器，保留的分类器数量T

其中，ρ∈(0,1]为分类器的保留比例。在本发明中ρ被设置为0.6。

步骤6：采用集成学习融合多个分类器的信息；

采用参数平均方法，将经过集成剪枝操作后保留下来的T

其中，T

步骤7：在测试阶段，将图像输入融合后的深度卷积神经网络模型中，得到分类结果；

将测试图像输入到前面步骤中经过预训练和采用两阶段训练方法微调过的深度卷积神经网络模型的特征表示器中，得到测试图像的特征向量；

将测试图像的特征向量输入到融合后的分类器中，得到预测分值；

将预测分值输入到SoftMax函数中，得到预测概率；

将最大预测概率所对应的类别，作为预测类别输出。

本实施例在三个长尾小样本的声纳图像数据集(KLSG、LTSID和FLSMDD)上进行了实验，三个数据集的样本总数、各类别样本数量和不平衡因子(IF)如表1所示；由于数据集中样本数量较少，为减小实验误差，提高实验结果的有效性，我们进行了十次五折交叉验证。

本实例运行的环境为一台小型服务器，图形处理器(GPU)为英伟达RTX2080Ti，中央处理器(CPU)为英特尔至强E3-1275v6，操作系统为Ubuntu20.04，代码在Python3.6环境中运行，基于PyTorch1.9搭建神经网络模型；

表1数据集信息表

将本发明提出的基于平衡集成迁移学习算法的长尾小样本声纳图像分类方法(BETL)和多种现有方法进行了对比实验，得到的对比实验结果如表2所示。

表2对比实验结果

多种现有方法包括：普通深度迁移学习方法(DTL)、深度迁移学习方法+重采样(DTL-RS)、深度迁移学习方法+重加权(DTL-RW)、深度迁移学习方法+焦点损失(DTL-Focal)、普通卷积神经网络+支持向量机(CNN-SVM)、两阶段解耦训练(CE-DRS)、深度迁移学习方法+两阶段解耦训练(DTL-CE-DRS)、权重平衡(LTR-WB)、深度迁移学习方法+权重平衡(DTL-LTR-WB)；采用几何平均值(Gmean)和全局平均F1分值(Macro-F1)作为评估指标。从表2的结果中可以看出，相比于现有方法，本发明提出的BETL方法在三个数据集中的分类效果都有所提升，验证了所提方法的有效性。

此外，本发明实施例还提供一种电子设备，该电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的基于平衡集成迁移学习算法的长尾小样本声纳图像分类方法。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于平衡集成迁移学习算法的长尾小样本声纳图像分类方法。

本发明与现有技术相比，其显著优点为：(1)本发明利用两阶段解耦训练方案进行迁移学习中的微调，在特征表示器和分类器微调期间使用不同的平衡设置，同时提高了模型的表示能力和分类能力；(2)通过多平衡采样策略来构建多个平衡的子训练集，然后在这些子训练集上训练多个平衡分类器，并通过集成学习融合这些分类器以减少数据信息的损失；(3)通过集成剪枝方法筛选分类性能较好的分类器，进一步提高了模型的性能和效率。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。