基于时空融合的卫星序列图像运动小目标检测方法

技术领域

本发明属于小目标检测技术领域，具体涉及一种基于时空融合的卫星序列图像运动小目标检测方法。

背景技术

运动小目标，顾名思义，是一种移动的视觉对象，由于较长的相机距离和特殊的捕捉视角，通常看起来非常小。由于运动，小目标会不断地改变它们的位置。而且，在背景图像中，不像传统的物体，小目标看起来非常小(通常小于图像的1％)，以至于它们看起来没有明显的轮廓、形状、颜色和纹理。此外，它们经常受到过于复杂的背景的干扰，导致背景图像对比度低。综上所述，与现有的目标检测相比，运动小目标检测的主要难点在于传统的图像特征往往不易捕捉，在检测中容易消失。

为了可靠地检测运动小目标，研究者在现有方法中主要采用帧差法和光流法等策略，而在现有方法中，目标特征通常是通过人工构建的特征表示模型来提取的。这类检测方法在常见场景中通常可以取得较好的效果，但在一些背景变化频繁的场景中，其检测性能往往不稳定，甚至下降严重，对人为设计的特征高度敏感。

除了上述方法，近年来，基于神经网络(NN)的可学习模型克服了传统模型的不足，得到了一些新的发展。在这类方法中，通过对大量小目标检测样本的训练，基于神经网络的模型能够获得比传统模型更好的泛化能力和自适应能力，能够很好地适应视频场景的变化。此外，这些模型可以分为两个主要的子类型:单帧检测方法和多帧检测方法。

在技术思路上，单帧检测模型主要依靠一些特殊的策略来捕获小目标的图像空间域特征，如超分辨率、尺度感知和上下文建模。这些方法的一个明显的缺点是它们只利用了小目标的纯图像特征，而很少考虑到更多可用的不同于空域的特征，如时域特征。

为了进一步提高模型对运动小目标的检测性能，需要利用基于神经网络框架的多帧方案。除了空间域特征外，这些方法还试图从多帧图像中捕获小目标的时域运动特征。他们通常采用基于LSTM的模型或基于3D卷积的模型来捕获时间特征。然而，它们通常只对时空特征进行简单的串联融合来加强时空特征的提取。

综上，现有运动小目标检测方案有三个明显的缺陷。首先，现有方法几乎没有特征学习能力。二是基于单帧神经网络的检测方法不能有效利用时域特征。最后是当前基于多帧神经网络的融合策略过于原始，无法充分发挥时空特征融合的优势，抑制了检测提升空间。

发明内容

为解决上述技术问题，本发明提出了一种基于时空融合的卫星序列图像运动小目标检测方法。

本发明采用的技术方案为：一种基于时空融合的卫星序列图像运动小目标检测方法，具体步骤如下：

S1、构建一种基于时空融合的运动小目标检测网络；

S2、基于步骤S1中所述检测网络运动目标特征提取模块的时间特征分支和空间特征分支对运动小目标进行初级特征提取；

S3、基于步骤S1中所述检测网络的时空特征融合模块对步骤S2提取到的运动小目标特征进行跨域、跨尺度融合；

S4、基于步骤S1中所述检测网络的运动小目标检测模块，通过损失函数定义，对步骤S3的输出特征进行目标预测、误差损失计算、迭代优化目标检测结果。

进一步地，所述步骤S1具体如下：

构建一种基于时空融合的运动小目标检测网络，包括：运动目标特征提取模块、时空特征融合模块、运动小目标检测模块，具体如下：

(1)运动目标特征提取模块包括：一个空间特征分支、一个时间特征分支和一个运动掩码模块。

其中，空间特征分支由DLA-34主干构成，时间特征分支包括：三层3D卷积，3D池化，Convblock模块和两个3×3的2D卷积。

(2)时空特征融合模块包括：一个STFF子模块、两个ISTFF子模块和一个IDAUP子模块。

其中，ISTFF子模块是STFF子模块的迭代版本，不仅需要融合时间特征和空间特征，还需要融合上层ISTFF或STFF的输出特征；IDAUP子模块融合STFF和ISTFF三个子模块的输出特征。

(3)运动小目标检测模块包括：一个基于CenterNet技术框架设计的小目标检测头；由经过参数训练的检测头最后完成对运动小目标的检测、分类和定位操作。

进一步地，所述步骤S1中，所述运动掩码模块具体如下：

所述运动掩码模块一一对应于不同的空间尺度。

首先，在给定时域采样窗口内的N个序列帧送入一组1×1卷积通道，再通过3×3卷积提取第n+1帧的背景特征，且n＝1～N-1。

然后第n帧的特征图减去第n+1帧的背景特征，以保留现有小目标的特征。再将帧间差分运算得到的N-1帧目标特征图拼接在一起。最后对这组连接的特征图执行额外的3×3卷积，其过程的表达式如下所示：

其中，i表示对应于空间尺度上的层数，f

进一步地，所述步骤S1中，所述时空特征融合模块具体如下：

在所述时空特征融合模块中，将小目标的空间语义特征和时间运动特征融合在一起，增强特征表征，先通过STFF子模块及其迭代版本ISTFF子模块进行时空融合，并运用IDAUP子模块对输出特征进行最终融合。

STFF子模块包括两个交叉连接的特征融合分支，一个是针对空间特征，另一个是针对时间特征。空间特征和时间特征都需要单独通过两层1×1的卷积组件，其中包括一个批归一化和一个激活函数，这样的处理阶段可以统一表示为：

其中，

将空间特征和时间特征交叉拼接在一起，随后每组拼接的时空特征继续分别通过可变形卷积DCN进行处理。之后，两个经过处理的时空特征继续连接在一起馈送到终端DCN。STFF子模块对小目标两分支时空特征的最终融合输出可通过以下表示：

其中，i表示对应于空间尺度上的层数，

在总体结构上，ISTFF子模块包括一个用于第i特征层的相同STFF子模块和一个用于接收来自第i-1特征层的融合特征Z

其中，STFF(·)表示上一层的STFF子模块，

经过STFF和ISTFF子模块融合后的多层时空特征，需要在IDAUP子模块中再次迭代集成，生成最终特征F

F

其中，Z

进一步地，所述步骤S2中，具体如下：

在特征提取阶段中，所述运动目标特征提取模块利用空间特征分支和时间特征分支分别对运动小目标的空间特征和时间特征进行提取。

首先，将序列图像中的关键帧输入到空间特征分支中，该分支采用DLA-34骨干网提取空间图像语义特征，该主干完全被设计为5级树结构，由一组下采样卷积块和另一组多层次ANs组成。

将具有上采样聚合的多级ANs组命名为DLAUP。通过DLAUP，逐级提取小目标的语义特征并融合在一起，从浅层到深层，只选择前三个层的特征，即S

S

其中，Conv

S

其中，

然后，同时将序列图像输入到时间特征分支，该分支设计了三层特征提取器，从多帧图像中捕获小目标的运动特征。每层特征提取器由一组3D卷积和池化组件组成，池化组件完成了从三维特征到二维特征的转换。这三层运动特征被上述三个运动掩码调制，即Mask

其中，

通过多空间尺度的运动特征提取，尽可能充分地捕捉到所有小目标的运动特征，最后将这些特征以式(9)的交互方式融合在一起：

其中，Up(·)表示上采样操作。

进一步地，所述步骤S3具体如下：

在特征提取阶段中，所述运动目标特征提取模块得到了空间特征

在特征融合阶段，所述时空特征融合模块首先在第一层开始进行时空特征融合，即将

进一步地，所述步骤S4具体如下：

在检测阶段，所述运动小目标检测模块使用一个无锚检测器，其来自CenterNet。它包括三个独立的部分：热图分支，偏移分支和边界框分支。每个分支由一个3×3卷积、一个激活函数ReLU和一个1×1卷积组成。检测器分别对综合的时空特征F

Loss

其中，λ，η，γ表示三个超参数，用来平衡三个损失项，在训练中被分别设置为1、0.1和1，L

其中，α和β表示两个超参数，分别设置为2和4，N

本发明的有益效果：本发明的方法首先构建一种基于时空融合的运动小目标检测网络，提出了一种运动掩码模块和一种时空特征融合模块，运用检测网络的时间特征分支和空间特征分支对运动小目标进行特征提取，运用时空特征融合模块进行跨域、跨尺度融合，通过损失函数定义，对输出特征进行目标预测、误差损失计算、迭代优化目标检测结果，最终达到有效检测运动小目标的目的。本发明的方法使运动小目标检测更加精确、具有鲁棒性，可有效地检测由卫星采集的运动小目标序列图像，检测目标区域中出现的运动小目标，可以应用在卫星监视、交通管理等重要应用领域。

附图说明

图1为本发明的一种基于时空融合的卫星序列图像运动小目标检测方法的流程图。

图2为本发明实施例中设计的运动小目标检测网络结构图。

图3为本发明实施例中提出的运动掩码模块结构图。

图4为本发明实施例中提出的时空特征融合模块STFF及其ISTFF图。

图5为本发明实施例中六个真实场景下运动掩码模块的可视化结果图。

图6为本发明实施例中数据集上的PR曲线图。

图7为本发明实施例中三个真实场景下的检测框可视化结果图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图1所示，本发明的一种基于时空融合的卫星序列图像运动小目标检测方法流程图，具体步骤如下：

S1、构建一种基于时空融合的运动小目标检测网络；

S2、基于步骤S1中所述检测网络运动目标特征提取模块的时间特征分支和空间特征分支对运动小目标进行初级特征提取；

S3、基于步骤S1中所述检测网络的时空特征融合模块对步骤S2提取到的运动小目标特征进行跨域、跨尺度融合；

S4、基于步骤S1中所述检测网络的运动小目标检测模块，通过损失函数定义，对步骤S3的输出特征进行目标预测、误差损失计算、迭代优化目标检测结果。

在本实施例中，所述步骤S1中，具体如下：

构建一种专门用于运动小目标的智能检测网络，即一种基于时空融合的运动小目标检测网络，其完整结构如图2所示，包括：运动目标特征提取模块、时空特征融合模块、运动小目标检测模块，具体如下：

(1)运动目标特征提取模块包括：一个空间特征分支、一个时间特征分支和一个运动掩码模块。

其中，空间特征分支由DLA-34主干构成，时间特征分支包括：三层3D卷积，3D池化，Convblock模块和两个3×3的2D卷积。

(2)时空特征融合模块包括：一个STFF子模块、两个ISTFF子模块和一个IDAUP子模块。

其中，ISTFF子模块是STFF子模块的迭代版本，不仅需要融合时间特征和空间特征，还需要融合上层ISTFF或STFF的输出特征；IDAUP子模块融合STFF和ISTFF三个子模块的输出特征。

(3)运动小目标检测模块包括：一个基于CenterNet技术框架设计的小目标检测头；由经过参数训练的检测头最后完成对运动小目标的检测、分类和定位操作。

在本实施例中，所述步骤S1中，所述运动掩码模块具体如下：

在特征提取模块中，为了使模型能够准确地关注运动小目标的位置，如图3所示，专门设计和应用了一组新的运动掩码模块，它们一一对应于不同的空间尺度。

首先，在给定时域采样窗口内的N个序列帧送入一组1×1卷积通道以减少冗余信息。然后，通过3×3卷积提取第n+1帧的背景特征，且n＝1～N-1。

然后第n帧的特征图减去第n+1帧的背景特征，以保留现有小目标的特征。此外，为了增强特征，将帧间差分运算得到的N-1帧目标特征图拼接在一起。最后对这组连接的特征图执行额外的3×3卷积，其过程的表达式如下所示：

其中，i表示对应于空间尺度上的层数，f

在本实施例中，所述步骤S1中，所述时空特征融合模块具体如下：

在特征融合模块中，将小目标的空间语义特征和时间运动特征融合在一起，进一步增强特征表征。为了有效地实现特征的跨域、跨尺度融合，如图4所示，设计了一个新的时空特征融合模块STFF子模块及其迭代版本ISTFF子模块，并运用DLAUP子模块对输出特征进行最终融合。

STFF子模块包括两个交叉连接的特征融合分支，一个是针对空间特征，另一个是针对时间特征。空间特征和时间特征都需要单独通过两层1×1的卷积组件，其中包括一个批归一化和一个激活函数，这样的处理阶段可以统一表示为：

其中，

为了增强小目标的时空特征，进一步将空间特征和时间特征交叉拼接在一起，随后每组拼接的时空特征继续分别通过可变形卷积DCN进行处理。之后，两个经过处理的时空特征继续连接在一起馈送到终端DCN。STFF子模块对小目标两分支时空特征的最终融合输出可通过以下表示：

其中，i表示对应于空间尺度上的层数，

为了增强时空特征的跨域融合，在原有的STFF基础上，设计并应用了另一种新的迭代版本的STFF即ISTFF，其目的是实现时空特征的跨尺度融合。

在总体结构上，ISTFF子模块包括一个用于第i特征层(当前层)的相同STFF子模块和一个用于接收来自第i-1特征层(前一层)的融合特征Z

详细地说，

其中，STFF(·)表示上一层的STFF子模块，

经过STFF和ISTFF子模块融合后的多层时空特征，需要在IDAUP子模块中再次迭代集成，生成最终特征F

F

其中，Z

在本实施例中，所述步骤S2具体如下：

在特征提取阶段中，所述运动目标特征提取模块利用空间特征分支和时间特征分支分别对运动小目标的空间特征和时间特征进行提取。

首先，将序列图像中的关键帧输入到空间特征分支中，该分支采用DLA-34骨干网提取空间图像语义特征。为了捕获多层次图像语义特征，该主干完全被设计为5级树结构，由一组下采样卷积块和另一组多层次ANs(与式(5)的AN一致)组成。

为便于描述，将具有上采样聚合的多级ANs组命名为DLAUP。通过DLAUP，逐级提取小目标的语义特征并融合在一起，从浅层到深层。这种密集的特征提取和融合模式可以很好地保留小目标的语义特征。考虑到下采样卷积中小目标的语义特征可能消失，只选择前三个层的特征，即S

S

其中，Conv

为了完善DLAUP的输出特征，S

其中，

然后，同时将序列图像输入到时间特征分支。该分支设计了三层特征提取器，从多帧图像中捕获小目标的运动特征。为了有效地捕获运动特征和过滤冗余，每层特征提取器由一组3D卷积和池化组件组成。池化组件完成了从三维特征到二维特征的转换。此外，与DLAUP的空间图像特征相似，为了进一步细化这三层运动特征，它们也被三个运动掩码调制，即Mask

其中，

通过多空间尺度的运动特征提取，尽可能充分地捕捉到所有小目标的运动特征，最后，为了增强不同空间域尺度的运动特征，这些特征进一步以式(9)的交互方式融合在一起：

其中，Up(·)表示上采样操作。

在本实施例中，所述步骤S3具体如下：

在特征提取阶段中，所述运动目标特征提取模块得到了空间特征

在特征融合阶段，所述时空特征融合模块首先在第一层开始进行时空特征融合，即将

在本实施例中，所述步骤S4具体如下：

在检测阶段，所述运动小目标检测模块使用一个无锚检测器，其来自CenterNet。它包括三个独立的部分：热图分支，偏移分支和边界框分支。每个分支由一个3×3卷积、一个激活函数ReLU和一个1×1卷积组成。检测器分别对综合的时空特征F

Loss

其中，λ，η，γ表示三个超参数，用来平衡三个损失项，在训练中被分别设置为1、0.1和1，L

其中，α和β表示两个超参数，分别设置为2和4，N

本发明还提供了实施例2，下以吉林1号卫星运动小目标数据集为例，对本发明的方法作进一步的说明。

该数据集由78个图像序列，29389张图片组成，其中以72个序列27434张图片作为训练集，剩下的6个序列1955张图片作为测试集。

(1)实验的初始化：

卫星图像输入前先将图像尺寸大小转换为512×512像素，再将图像像素值归一化之后输入到模型中进行运动小目标的检测。本实施例中运用Adam优化器并在数据集上训练70个epoch。此外，初始学习率为1.25×10

(2)特征提取阶段：

将图像预处理输入模型之后，将序列图像中的关键帧和序列图像分别通过空间特征分支和时间特征分支(包括运动掩码模块)，按照式(6)(7)(8)(9)的步骤分别提取出目标的空间特征

(3)特征融合阶段：

得到运动小目标的空间特征

(4)检测头和损失函数：

本实施例中运用三个分支作为检测头对小目标进行检测。三个分支分别预测小目标的热图，边界框和位置偏移量。每个分支均由一个3×3卷积、一个激活函数ReLU和一个1×1卷积组成。最后通过式(10)进行损失的计算，并通过反向传播梯度下降使得模型进行有效学习，最终达到有效检测运动小目标的结果。

为了验证本发明方法在运动小目标检测上的有效性，在吉林1号卫星运动小目标数据集上进行训练。首先本发明与一些现有检测方法(Vibe、GoDec、Decolor、DTTP、E-LSD、D&T、B-MCMD)进行了比较。此外，还比较了两种深度学习网络方法ClusterNet和DSFNet，其结果如表1所示：

表1

表1为在数据集上，各模型召回率，精度，F1指标的对比，其中第一由粗黑体标识，第二由数字底部加横线标识。通过比较，可以观察到三个明显的发现。

1)本发明方法在检测精度上总是明显优于所有其他的。例如，在vedio-003上，精度为0.96，而B-MCMD获得的第二高精度仅为0.93。本发明方法的平均精度甚至比第二好的精度还要高出0.06。

2)在大多数的测试视频中，就F1指标而言，本发明方法优于其他方法，它只在video-006和video-008上位居第二。例如，在video-003上，本发明方法的F1指标是最高的，其值为0.91。而在video-008上，其值只有0.81，明显低于DSFNet的0.87。

3)对于召回率，本发明方法可以胜过大多数比较的网络，但通常无法超过最先进的网络。例如，在video-005上，本发明方法的召回率是0.80，排名第三，远低于DSFNet的最高召回率0.88。这些发现可以说明本发明方法的优势在于最好的检测精度，缺点主要是对运动小目标的检测召回率不是最高。

此外，为了进一步评估本发明方法的性能，本实施例选择了五个基于深度学习的模型进行比较。分别是YOLOX、Tood、VFNet、CenterNet和DSFNet。采用上述的四个指标作为比较的指标。表2显示了本实施例在六个测试视频上的数值比较结果。

表2

/>

通过比较，可以看到两个重要的发现。首先，时空特征融合可以显著提高仅基于空间特征的运动小目标检测的各项性能指标。例如，仅依赖空间特征的最佳方法，CenterNet的mAP

为了进一步比较这六种模型的综合性能，本实施例通过精度和召回率制作了P-R曲线，如图6所示。可以看到两件明显的事情。首先，在图6中，本发明方法的P-R曲线在顶部，这也表明本发明方法的模型的综合性能优于其他五个模型的性能。其次，与表2的结果一致，使用时空特征的模型与仅使用空间特征的模型的PR曲线差距非常大，这也说明了使用时空特征的必要性。

除了数值性能比较外，本实施例还可视化了六种比较方法的三组小目标检测结果，如图7所示。通过视觉比较，有两个明显的发现可以观察到。一是有些方法无法避免误检，而本发明方法往往可以避免。例如，在第一张真实图像的检测框中有六个真实目标。然而，DSFNet只检测到五个，而忽略了其他。相比之下，本发明方法可以精确地检测到所有六个目标。二是有些方法往往会导致误检，而本发明方法很少出现这个问题。例如，在第三张真实图像的检测框中有两个真实目标。然而，CenterNet检测到四个目标，其中存在两个假目标。相比之下，本发明方法精确地检测到两个目标，没有假目标。从另一个角度分析，这三组视觉对比与表1和表2中的数值对比非常一致。他们直观地验证了本发明方法在移动小目标检测方面的性能改进。

综上，本发明的方法使运动小目标检测更加精确、具有鲁棒性，可有效地检测由卫星采集的运动小目标序列图像，检测目标区域中出现的运动小目标，可以应用在卫星监视、交通管理等重要应用领域。

尽管上面对本发明的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围。对本技术领域的技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。