基于主动深度学习的水下目标识别方法

技术领域：

本发明涉及一种基于主动深度学习的水下目标识别方法，属于数字信号处理和海洋学的交叉领域。

背景技术：

通过声呐回波可以快速、便捷地判断水下物体的位置、类型等情况，也可以使用声呐与其它舰船进行通信。声呐系统现已被军用和民用舰船广泛采用，在军用领域，装备了声呐的舰船和潜艇，配合水下目标检测技术可以迅速、有效地识别敌方舰艇，提高海军作战能力；在民用方面，远洋渔业、考古作业、沉船打捞等工作都广泛使用声呐来提高工作效率。

在实际应用上，由于海洋环境的复杂和操作条件的变化，以及各种噪声的存在，识别算法的性能和效率的提升工作十分具有挑战性。传统的分类识别算法，多采用数学建模或人工构造特征的方法，这类方法在复杂的海洋环境中的泛化性能较弱，其数据处理效率也难以达到要求。随着深度学习技术的快速发展，将神经网络运用在水下目标识别方面的研究也取得了不错的成果，其在对声呐回波和声呐图像进行识别分类的任务中，相比传统识别算法，不仅有更高的准确率和更好的泛化性能，还大大提高了数据处理效率。

在水下目标识别领域，获取足够多的高质量标注的训练数据往往比较困难。声呐信号数据的标记工作通常需要较多的专业知识储备和大量训练的经验积累，且进行数据标注的时间代价也较大，因此声呐数据的人工标注的成本很高。数据标注成本过高，或者数据标注的效率过低等问题也常常成为相关研究开展的瓶颈。

因为上述问题的存在，主动学习技术被引入水下目标识别领域。主动学习技术是指在机器学习过程中，通过特定的采样策略，迭代地选择未标注的数据集中的一部分数据送由专家进行标记，再将标记后的数据添加到训练集中进行训练并更新模型的方法。由于主动学习中采样策略的存在，选择出的供专家进行标注的数据是不确定性较高、信息量较大的数据，因而对当前模型的性能提升较大。

发明内容

针对水下目标识别领域存在的数据标注成本过高、效率过低的问题，本发明提出了一种基于主动深度学习的水下目标识别方法。通过将主动学习样例选择策略与深度学习模型的训练相结合，从未标注数据中选择对模型性能提升较大的数据，优先对这部分数据进行标注并将其用于模型训练，将可以较快地提升模型的性能，从而降低相关领域专家的数据标注工作量，提升数据标注效率。

上述目的通过以下技术方法实现：

一种基于主动深度学习的水下目标识别方法，该方法包括如下步骤：

步骤1：对水声信号原始数据进行预处理，并将其划分为备选集和测试集，备选集和测试集为互斥关系。建立初始状态下为空集的训练集。

步骤2：从步骤1中划分的备选集中，选择一部分数据，获取标注后从备选集移动到训练集，作为初始训练数据。

步骤3：使用训练集中的数据训练CNN模型，并在训练完成时记录模型性能。

步骤4：在剩余的备选集中，按照主动学习策略，挑选一定数量的数据，获取标注后移动到训练集。

步骤5：重复步骤3和4，直至备选集中的所有数据都加入训练集。

步骤6：模型训练结束，根据每步记录的模型性能，得出模型性能随训练数据量的增多而增长的变化关系。

上述基于主动深度学习的水下目标识别方法，其步骤1中所述的对水声信号原始数据进行预处理，所述的数据预处理方法包括：对声信号高频部分进行预加重、将较长时间的信号划分为较短的片段的分帧、使帧的边缘平滑过渡到0的加窗。

上述基于主动深度学习的水下目标识别方法，其步骤1中所述的将水声信号数据划分为互斥的备选集和测试集，具体方法是：从所有预处理后的水声信号数据中，随机抽取20％作为测试集，剩余作为备选集。并对测试集中的数据进行标注以作为CNN模型性能评判的标准。

上述基于主动深度学习的水下目标识别方法，其步骤3中所述的使用训练集中的数据训练CNN模型，所述的CNN模型的结构如表1所示，共包含五个特征提取模块，前三个模块为一个卷积层+一个池化层的结构，后两个模块为两个个卷积层+一个池化层的结构。随后连接三个全连接层，其中，第一个全连接层使用Dropout随机舍弃一部分神经元的输出，以降低过拟合；最后一个全连接层使用Softmax分类输出。此外，本文实验处理的是一维声呐回波数据，故网络中的特征图、卷积核和池化核都调整为一维结构。

表1卷积神经网络结构

上述基于主动深度学习的水下目标识别方法，其步骤4中所述按照主动学习策略挑选一定数量的数据，其中所述主动学习样本选择策略包括：“不确定性标准”主动学习策略，以及“不确定性+多样性标准”主动学习策略。

上述基于主动深度学习的水下目标识别方法中，所述“不确定性标准”主动学习样本选择策略的具体步骤是，从未标注样本中选择模型判定最模糊的样例，即模型对其所属类别的置信度最低的样例。对每一个样例x，使用分类器输出的可能性最大的两个预测的概率计算其不确定性，即unc(x)：

式中，p(y

上述基于主动深度学习的水下目标识别方法中，所述“不确定性+多样性标准”主动学习样本选择策略的具体步骤是，在“不确定性标准”的基础上，使用距离度量来判断样例多样性，再将不确定性和多样性综合考虑，选择不确定性较高、样本多样性较大的数据作为选择结果。使用高斯核距离来度量两个样本x

其中，σ是高斯核参数，在本发明中设为1。

计算样例x对于某个由样例构成的集合Z的相似度时，用样例样例x与集合Z中和它相似度最大的样例之间的距离来表示：

sim(x,Z)值越小，说明样例x与集合Z之间的相似度越小，亦即样例x与集合Z中已有元素的冗余程度越小，这样选择出的样例的多样性越大。

使用“不确定性+多样性标准”的主动学习策略选择n个样例用于训练，则先使用“不确定性标准”选择m个不确定性较大的样本构成集合M＝{x

score(x)＝λunc(x)+(1-λ)sim(x,M)

其中，λ为权衡参数，用于衡量不确定性和多样性的重要程度，在本发明中设为0.8。最终计算出的score(x)分值最小的样例是综合考虑不确定性和多样性都较大的样例，其训练价值最大。

有益效果：

1、本发明构建了将主动学习策略以迭代的方式集成到深度学习模型训练过程中的框架，即并非使用主动学习策略一次性选取部分数据并观察使用这部分数据训练后的模型性能，而是少了、多次地进行数据筛选，并观察模型在训练数据增多时的性能变化。这样的集成方式带来的优点包括：实验结果不依赖于模型在初始状态下的性能；以及，可以记录每次数据选择和模型训练的结果，方便进行对比分析。

2、本发明的两种主动学习样本选择策略，相比于不对样本进行选择的学习方法，可以显著降低数据标注成本，只需对较少的数据进行标注，就可以使深度学习模型的性能达到使用所有数据进行训练的效果。具体地，使用“不确定性标准”主动学习策略时，仅需要49％的训练数据就可以使模型收敛，达到与使用全部数据进行训练时相同的97％验证集准确率。而使用“不确定性+多样性标准”主动学习策略时，达到模型收敛所需数据量与“不确定性标准”基本一致，但在模型训练前期，对性能提升速度的加快作用更明显，能更快地达到95％的准确率，且训练过程更加平稳。

附图说明

图1为本发明整体框架示意图，其中，椭圆形代表数据或输出，矩形代表框架或模块。

图2为本发明所采用的CNN结构示意图。

图3为本发明算法流程示意图。

图4为三种样本选择策略的准确率随训练数据量变化的趋势。

图5为三种样本选择策略对所有类别的测试集loss随训练数据量变化的趋势。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

图1展示的是本发明提出的基于主动深度学习的水下目标识别方法的整体框架。示意图中椭圆形代表数据或输出，矩形代表框架或模块。此框架主要包含三个模块：数据预处理模块、主动学习模块、深度学习模块吗，以下对各模块做详细说明。

一、数据预处理模块

数据预处理模块对原始数据进行预处理操作，生成备选集，即未标注数据。预处理操作共分为3个步骤：预加重、分帧和加窗。处理细节如下：

预加重的目的在于改善水下声信号高低频分布不均的问题。水下声信号在低频部分的能量较大，而在高频部分不足，而声音信号一般在高频部分含有较多有用信息，因此就需要对其高频部分作适当加强，一般通过在原信号上添加一阶FIR高通数字滤波器的方式实现：

H(z)＝1-az

将其转换为差分方程的形式：

y(n)＝x(n)-ax(n-1)

上式中的a值常取0.9～1之间的数值，本发明中设置为0.95。

水下声信号具有时变特性，但在一个较短的时间范围内可以保持相对稳定，因此，可以将短时间内的一段声信号看作准稳态过程。在对声信号进行分析处理时，需将其分为等长的帧，即分帧处理，每一帧的长度称为帧长。将一个较长的声信号数据分帧之后，对每一帧逐一处理分析，是声信号处理中常用的方法。若对声信号直接进行切割，会损失两帧之间的一小段时间内的数据信息，且帧的连续性被破坏。因此，在分帧时通常会将相邻两帧进行重叠，重叠部分的长度称为帧移。本发明使用Librosa库提供的API对水下声信号进行分帧处理，取帧长2048，帧移为512。

将声信号分帧后，每一帧的边缘存在信号值的突变，为了使帧的边缘平滑过渡到0，通常还需要对每一帧进行加窗处理，即用一个定长的窗函数与原信号相乘再输出。最常见的窗函数为海宁(hann)窗，其定义式为：

本发明中，使用Librosa库提供的API对声信号进行加窗，使用海宁(hann)窗，取窗长与帧长相等，即2048。

在本发明的实验过程中，经过预处理后的原始数据情况如表2所示，共分为5个类别：

表2数据集数据分布信息

经过上述数据预处理步骤，总计生成了35702个数据样本，随机抽取其中20％，约7142个样本，进行人工标注后作为深度学习模型的测试集，剩余28560个未标注样本留作备选集。

二、主动学习模块

主动学习模块从备选集中选择训练价值更高的样本，获取这部分样本的标注后，将其从备选集中移动到训练集。主动学习模块的输入，除了备选集的样本之外，还包括深度学习模块的输出。其原因在于，主动学习样本选择策略中，对备选集样本训练价值的量化计算需要深度学习模块的参与，包括进行预测或提取有效信息。本发明中主动学习样本选择策略包括：“不确定性标准”主动学习策略，以及“不确定性+多样性标准”主动学习策略。

“不确定性标准”主动学习样本选择策略的具体步骤是，从未标注样本中选择模型判定最模糊的样例，即模型对其所属类别的置信度最低的样例。对每一个样例x，使用分类器输出的可能性最大的两个预测的概率计算其不确定性，即unc(x)：

式中，p(y

“不确定性+多样性标准”主动学习样本选择策略的具体步骤是，在“不确定性标准”的基础上，使用距离度量来判断样例多样性，再将不确定性和多样性综合考虑，选择不确定性较高、样本多样性较大的数据作为选择结果。使用高斯核距离来度量两个样本x

其中，σ是高斯核参数，在本发明中设为1。

计算样例x对于某个由样例构成的集合Z的相似度时，用样例样例x与集合Z中和它相似度最大的样例之间的距离来表示：

sim(x,Z)值越小，说明样例x与集合Z之间的相似度越小，亦即样例x与集合Z中已有元素的冗余程度越小，这样选择出的样例的多样性越大。

使用“不确定性+多样性标准”的主动学习策略选择n个样例用于训练，则先使用“不确定性标准”选择m个不确定性较大的样本构成集合M＝{x

score(x)＝λunc(x)+(1-λ)sim(x,M)

其中，λ为权衡参数，用于衡量不确定性和多样性的重要程度，在本发明中设为0.8。最终计算出的score(x)分值最小的样例是综合考虑不确定性和多样性都较大的样例，其训练价值最大。

三、深度学习模块

深度学习模块使用训练集中的样本进行训练，训练结束后使用测试集中的样本进行性能评估，并输出性能评估结果。本发明的深度学习模块使用卷积神经网络，模型的结构如表1所示，它包含五个特征提取模块，前三个模块为一个卷积层+一个池化层的结构，后两个模块为两个个卷积层+一个池化层的结构。特征提取后将输出展开成向量，随后连接三个全连接层，其中，第一个全连接层使用Dropout随机舍弃一部分神经元的输出，以降低过拟合；最后一个全连接层使用Softmax分类输出。此外，本文实验处理的是一维声呐回波数据，故网络中的特征图、卷积核和池化核都调整为一维结构。

图2为本发明所采用的CNN结构示意图，包含了每一层输出的特征图的尺寸信息。

表1卷积神经网络结构

图3为本发明的算法流程示意图，本发明的具体流程为：

1、对水声信号原始数据进行预处理，并将其划分为备选集和测试集，备选集和测试集为互斥关系。建立初始状态下为空集的训练集。

2、从步骤1中划分的备选集中，选择一部分数据，获取标注后从备选集移动到训练集，作为初始训练数据。

3、使用训练集中的数据训练CNN模型，并在训练完成时记录模型性能。

4、在剩余的备选集中，按照主动学习策略，挑选一定数量的数据，获取标注后移动到训练集。

5、重复步骤3和4，直至备选集中的所有数据都加入训练集。

6、模型训练结束，根据每步记录的模型性能，得出模型性能随训练数据量的增多而增长的变化关系。

本发明的实验过程中，对比了主动学习模块使用如下三种样本选择策略时，深度学习模块的性能随训练数据量变化的情况：

1)随机样本选择策略

2)“不确定性标准”样本选择策略

3)“不确定性+多样性标准”样本选择策略

首先从28560个备选集样本中，随机选择1560个样本，构成初始训练集。使用初始训练集对模型进行训练，得到初始模型，并记录模型在初始状态下的性能。随后，按照主动学习模块的样本选择策略，迭代地、每次从备选集剩余的27000个样本中选取1000个进行标注，将其移动到训练集后，在初始模型的基础上进行训练。保存新的模型性能后重新开始迭代，直到备选集为空。

实验对本发明的两种主动学习样本选择策略和随机样本选择策略，各进行5次完整实验，取平均值作为最终实验结果。三种样本选择策略的准确率随训练数据量变化的趋势如图4所示，三种样本选择策略对所有类别的测试集loss随训练数据量变化的趋势如图5所示。其中，random代表随机样本选择策略，uncertainty代表“不确定性标准”样本选择策略，“uncertainty+diversity”代表“不确定性+多样性标准”样本选择策略。

随着训练数据量的增多，使用三种数据选择策略的框架都逐渐使得深度学习模型的性能收敛，但对于使用两种主动学习策略的框架，其模型收敛速度明显快于使用随机选择策略的框架，证明了主动学习策略的有效性。在使用“不确定性标准”主动学习策略时，仅需要49％的训练数据就可以使得模型收敛，达到与使用全部数据进行训练时相同的97％测试集准确率。而对于随机选择策略，则需要84％的数据才能使模型收敛。对比“不确定性标准”和随机选择方法，若以模型收敛为目标，则可以减少35％的数据标注工作量。对于本文实验使用的27000个样本的训练数据集，减少35％的训练数据需求可以少标注9400余个样本，大大降低了数据标注成本。“不确定性+多样性标准”主动学习策略对模型性能的提升程度，与“不确定性标准”相比，在训练前期较为明显。使用该方法的框架可以更快地达到95％的准确率，达到模型收敛所需数据量与使用“不确定性标准”的框架基本一致，约为所有训练数据的49％。

此外，在模型训练的最初阶段，主动学习策略的优势最明显，体现为准确率提升曲线和loss降低曲线更为陡峭，迅速与随机选择方法拉开差距。其原因在于，流程开始时，使用主动学习的模型得到了信息量更高的数据用于训练，可以更快地提升模型性能，使模型快速收敛。使用“不确定性+多样性标准”的框架，其模型在测试集loss可以更快、更平稳地降低，同样在训练前期效果较为明显，且不会在最初几个步骤中出现抖动。

本发明提出了一种基于主动深度学习的水下目标识别方法，具体实现该方案的方法途径有很多，以上所述仅为本发明的优选实施方案，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明的前提下，还可做出若干改进和润饰，这些改进和润饰也应当视为本发明的保护范围内。本实施例中为明确的部分均可用现有技术加以实现。