一种多阶段协同的细粒度舰船类别不平衡问题优化方法

技术领域

本发明属于计算机视觉领域，特别涉及一种多阶段协同的细粒度舰船类别不平衡问题优化方法。

背景技术

遥感技术运用卫星等探测仪器可以在不与目标物接触的情况下，远距离地对目标物的电磁波特性进行记录分析和解译，应用于资源调查、地表环境监测与人类活动监测等各个领域。近年来随着遥感技术的不断发展，可见光遥感图像的数量和分辨率也有着巨大的提升，这些影像中包含着丰富的对地观测信息，如何自动准确地对这些信息进行解译有着重要的价值和意义。得益于深度卷积神经网络强大的特征表示能力，基于深度学习的目标检测算法取得了优秀的结果。深度学习的方法是数据驱动型的，特别是在细粒度舰船检测任务中，由于舰船目标的类别数目众多，不同类别目标的实例数目差距很大，呈现长尾分布，这导致了存在样本不平衡问题。稀有类别的数量通常非常少，在神经网络的训练过程中网络不会对这些类别给予足够的关注，这将导致检测性能的下降。

发明内容

针对现有技术中的不足，本发明的目的是提供一种多阶段协同的细粒度舰船检测样本不平衡问题优化方法，该方法能够平衡深度神经网络对不同类别样本的重视程度，更好地学习稀有样本的特征，进一步提高舰船目标检测的性能。

本发明采用的技术方案为：

一种多阶段协同的细粒度舰船类别不平衡问题优化方法，包括以下过程：

步骤1：准备训练集和目标检测模型，训练集包含舰船目标，目标检测模型包含特征提取骨干网络和检测头，目标检测模型的输入是三通道光学遥感图像；

步骤2：在前向传播阶段，将训练集内舰船类别划分为常见类别和稀有类别，并对稀有类别舰船进行二维高斯建模，使用稀有类别舰船替换常见舰船，然后调整不同舰船的背景与方向保持一致；

步骤3：在反向传播阶段，计算不同类别舰船的元样本数，并设舰船的权重因子与元样本数成反比，得到不同类别的平衡损失函数，然后利用训练集样本对目标检测模型进行训练，得到更新后的目标检测模型；

步骤4：在推理决策阶段，利用更新后的目标检测模型对输入样本进行预测，将模型输出的检测框按照得分从大到小排序，并使用非极大值抑制算法去除冗余框，得到最终精确的检测结果。

进一步的，步骤2具体包括以下过程：

步骤2-1：在前向传播阶段，统计训练集内不同类别舰船的数目，将高于样本数均值的类别作为常见类别，低于样本数均值的类别为稀有类别；然后裁剪出稀有类别的舰船样本建立样本库与索引，并计算裁剪出的稀有舰船样本的大小、纵横比和颜色信息；

步骤2-2：对裁剪出的稀有舰船样本的高和宽分别进行一维高斯，高度方向的高斯核为

步骤2-3：以设定概率选择训练集内常见舰船实例S

步骤2-4：将融合得到新的样本S

进一步的，步骤3具体包括以下过程：

步骤3-1：计算不同类别舰船的元样本数，其中元样本数为能完整表征不同类别特征的最小舰船数；舰船元样本数的计算方式为：

步骤3-2：设舰船的权重因子与元样本数成反比，得到某一类别y的平衡分类损失

步骤3-3：利用训练集样本通过反向传播的方式对目标检测模型进行训练，并采用随机梯度下降优化器对目标检测模型参数进行更新，得到更新后的目标检测模型。

进一步的，步骤4具体包括以下过程：

步骤4-1：利用更新后的目标检测模型对输入向量进行预测，得到预测的概率分布，并将预测的概率分布除以先验概率得到不同检测框的得分；其中，先验概率使用元样本数表示；

步骤4-2：对步骤4-1中模型输出的检测框按照得分从大到小排序，并使用非极大值抑制算法去除冗余框，得到最终精确的检测结果,检测结果包含最终的旋转框坐标以及目标类别。

本发明的有益效果为：

本发明在神经网络前向传播阶段使用基于舰船形状掩膜的样本替换方法，在训练过程中可以随机地使用稀有舰船样本来替换常见舰船；

本发明在反向传播阶段，计算元舰船样本分布并根据此分布对不同类别舰船损失进行调节，增强神经网络对稀有类别舰船样本的学习能力；

本发明在决策推理阶段修正模型的预测概率分布，进而调整决策边界，使得网络对不同类别舰船的预测分数更加均衡，三个阶段协同优化，可以提高模型的检测性能。

附图说明

图1为本发明提供的基于舰船形状掩膜的样本替换示意图。

图2为本发明舰船形状建模过程示意图。

图3为本发明伽马变换示意图。

图4为本发明逻辑回归示意图。

图5为本发明决策边界修正示意图。

图6为本发明检测结果示意图。

具体实施方式

本发明提供了一种多阶段协同的细粒度舰船类别不平衡问题优化方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图对本发明进一步详细说明。

本发明提供了一种多阶段协同的细粒度舰船类别不平衡问题优化方法。在前向传播阶段，提供一种基于舰船形状掩膜的样本替换方法，对舰船目标进行二维高斯建模，使用稀有舰船来替换常见舰船并保证替换过程中不同舰船的背景与方向的一致性。在反向传播阶段，提供一种基于元舰船样本数的损失重加权方法，针对稀有样本设计自适应权重函数，使得反向传播时网络对稀有样本更加重视。在推理决策阶段，基于元舰船样本数，提供了一种决策边界优化方法，降低先验概率对模型预测的影响。本发明提供的前向传播、反向传播和决策优化多阶段类别不平衡优化方法可以有效提高神经网络对稀有样本的学习能力，提高细粒度舰船检测的性能。具体包括以下过程：

步骤1：准备训练集和目标检测模型，训练集包含舰船目标，目标检测模型包含特征提取骨干网络和检测头，目标检测模型的输入是三通道光学遥感图像；

本实施例将训练集中包含舰船的光学图像裁剪为1024像素×1024像素，每一批次样本数量为16，并保证每一批次中不出现重复的图像。

步骤2：在前向传播阶段，将训练集内舰船类别划分为常见类别和稀有类别，并对稀有类别舰船进行二维高斯建模，使用稀有类别舰船替换常见舰船，然后调整不同舰船的背景与方向保持一致；

如图1所示，步骤2具体包括以下过程：

步骤2-1：统计步骤1中训练集内的不同类别舰船的数目，定义高于样本数均值的类别为常见类别，低于样本数均值的类别为稀有类别(也可以自定义稀有类别)。裁剪出稀有类别的舰船样本建立样本库与索引，并计算裁剪出的舰船的大小、纵横比和颜色信息。其中舰船的短边记录为w，长边记录为h，大小定义为w×h，纵横比定义为h/w。将图像的RGB格式转化为HSV格式，其中H代表图像的色调，S代表图像的饱和度，V代表图像的亮度；

步骤2-2：对裁剪出的稀有舰船样本进行二维高斯建模，即：假设稀有舰船样本具有w×h的大小，分别对w和h进行一维高斯，高度方向的高斯核为

步骤2-3：以一定概率执行基于舰船形状掩膜的样本替换方法，本方法中概率设置为0.2，以设置的概率选择训练集内常见舰船实例S

步骤3：在反向传播阶段，计算不同类别舰船的元样本数，并设舰船的权重因子与元样本数成反比，得到不同类别的平衡损失函数，然后利用训练集样本对目标检测模型进行训练，得到更新后的目标检测模型；

步骤3具体包括以下过程：

步骤3-1：计算不同类别舰船的元样本数，其中舰船元样本数定义为能完整表征该类别特征的最小舰船数，类别为i的舰船的元样本数M

步骤3-2：目标检测模型损失函数包含分类损失L

根据舰船元样本数优化目标检测模型的损失函数，为了对分类损失进行平衡，引入权重因子α

步骤3-3：利用训练集样本通过反向传播的方式对目标检测模型进行训练，并采用随机梯度下降优化器对目标检测模型参数进行更新，得到更新后的目标检测模型。

步骤4：在推理决策阶段，利用更新后的目标检测模型对输入样本进行预测，将模型输出的检测框按照得分从大到小排序，并使用非极大值抑制算法去除冗余框，得到最终精确的检测结果；

步骤4-1：根据元舰船样本数来平衡神经网络对不同类别舰船的预测分数。对于具有类别不平衡的数据集而言，分类器对头部类别分数很高而尾部类别的分数很低，这使得分类器对头部类别的预测分数偏高。假设学习一个神经网络，它的对数是f

步骤4-2：对步骤4-1中模型输出的检测框按照得分从大到小排序，并使用非极大值抑制算法对去除冗余框，得到最终精确地检测结果，检测结果包含最终的旋转框坐标以及目标类别。

我们在ShipRSImageNet数据集上对提出的方法的有效性进行验证，ShipRSImageNet是一个针对高分辨率光学遥感图像中舰船检测的大规模细粒度数据集。该数据集包含来自各种传感器、卫星平台、地点和季节的3,435张图像，每张图像大约为930×930像素，包含不同尺度、方向和长宽比的舰船，图像的空间分辨率从0.12m到6m不等。这些图像由卫星图像解译专家进行标注，分为50个目标类别。完全标注的ShipRSImageNet包含17,573个舰船实例。数据集中的舰船实例都是以OBB格式标记的，该格式由一个5维向量(x,y，w，h，θ)定义，其中(x,y)是OBB的中心，(w，h)是宽度和高度。采用平均精度来衡量算法的指标。将模型的检测结果按照置信度排序，由高到低地逐渐调整置信度阈值，使每个样本都恰好处于正例/负例分界线上，逐一计算此时的精确度和召回率，并将其记录在以召回率为横轴、精确度为纵轴的坐标平面中，这些点构成的曲线即为准召曲线，曲线与坐标轴围成的面积即为平均精度(Average Precision，AP)。类间平均精度(mean Average Precision，mAP)是将各类AP平均后的结果，其中AP的下标指的是IoU阈值。

图6为检测的可视化结果，其中(a)、(c)是基线方法的可视化，(b)、(d)是本文提出的方法的结果。与基线方法对比，本文提出的方法在检测准确率和定位精确率方面有着显著的优势。具体实验结果如表1所示。由检测精度的定性与定量分析可知，本方法在ShipRSImageNe上的精度达到了较高水平，相较于基准算法以及其他检测算法，所提算法平均精度均取得了明显提升。应当理解的是，本说明书未详细阐述的部分均属于现有技术。

表1ShipRSImageNet上不同检测算法实验结果