一种基于多通道多尺度融合的孪生网络遥感目标跟踪方法

技术领域

本发明属于航天遥感技术领域，涉及遥感目标跟踪，具体涉及一种基于多通道多尺度融合的孪生网络遥感目标跟踪方法。

背景技术

运动目标检测跟踪是计算机视觉、遥感图像处理、人工智能等领域交叉融合形成的一门新兴技术，因其在实时侦查、实时监控、实时控制等领域的重大应用价值，近年来成为研究的热点。同时，运动目标检测跟踪也是空间遥感对地观测的重要研究方向，尤其是对飞机、舰船、车辆等关键目标，在军事和民用领域都有着广泛的应用需求，具有极高的应用价值。

目前的目标跟踪算法分为传统的跟踪算法和基于孪生网络的跟踪算法。传统的相关滤波方法的优势是速度快，但精度一般。结合深度特征的相关滤波方法使用深度卷积网络提取更好的特征，精度得到了很大提高，但速度下降，难以达到实时。基于孪生网络结构的跟踪算法使用特殊的神经网络结构，以SiamFC为代表，其特点是接收两张图像作为输入。这种特殊的网络结构将目标跟踪问题转化为相似性学习问题，很好地平衡了速度和精度。

高分辨率遥感时序数据能够高精度、近实时的连续记录大区域范围内运动目标的动态信息，这为精细化地检测跟踪运动目标创造了机遇和条件。但是视频图像序列中背景的全局运动、背景的光照变化、背景噪声、目标的尺度变化以及目标被遮挡等问题对运动目标检测精度都会对目标的精准跟踪带来干扰。因此，非常有必要，针对复杂背景下遥感动目标的跟踪问题，开展深入研究。

发明内容

针对现有技术存在的不足，本发明的目的在于，提供一种基于多通道多尺度融合的孪生网络遥感目标跟踪方法，解决现有技术中的目标跟踪方法的的抗干扰能力有待进一步提升的技术问题。

为了解决上述技术问题，本发明采用如下技术方案予以实现：

一种基于多通道多尺度融合的孪生网络遥感目标跟踪方法，包括如下步骤：

步骤1，给定一段待检测视频，在第一帧的待检测的搜索图像中确定遥感动目标的边界框坐标信息，边界框坐标信息包括位置信息和大小信息；截取该遥感动目标作为目标图像；从GF-3遥感数据集中找到参考目标图像；获取下一帧的待检测的搜索图像。

步骤2，将步骤1中得到的参考目标图像、目标图像和下一帧的待检测的搜索图像作为输入，分别送入残差神经网络，进行孪生网络特征提取，得到参考目标图像x的深度特征Fx，得到目标图像y的深度特征Fy，得到待检测的搜索图像z的深度特征Fz。

步骤3，基于步骤2得到的深度特征Fx、Fy和Fz，获得多通道响应图S

步骤4，对步骤3得到的由注意力机制加权的多通道响应图S

以目标中心位置s

本发明与现有技术相比，具有如下技术效果：

(Ⅰ)本发明通过参考目标图像作为多通道目标输入信息来提高目标信息的置信度，将参考目标的深层和浅层信息对目标图像的特征信息进行辅助提升，加强遥感目标的重要细节和轮廓信息提取，提高遥感目标快速移动造成的光照、云雾遮挡、形变等不利因素对于目标跟踪的抗干扰能力。

(Ⅱ)本发明通过注意力机制提高对特征响应图的细节提取能力，并通过多尺度融合进一步降低不同分辨率下对于定位的影响，可以快速准确地找到目标中心位置。通过多尺度融合来求解目标区域的缩放因子，提高在不同分辨率下区域准确选择的可靠性。

附图说明

图1是本发明实施例提供的一种基于多通道多尺度融合的孪生网络遥感目标跟踪方法流程图。

图2是本发明实施例提供的孪生网络特征提取结构图。

图3是本发明实施例提供的粗粒度和细粒度与目标掩膜融合示意图。

图4是本发明实施例提供的基于强化注意力机制网络的特征增强网络示意图。

图5是本发明实施例提供的基于多尺度融合计算目标中心位置示意图。

图6是本发明实施例提供的基于多尺度融合计算缩放因子示意图。

以下结合实施例对本发明的具体内容作进一步详细解释说明。

具体实施方式

需要说明的是，本发明中的所有设备和算法，如无特殊说明，全部均采用现有技术中已知的设备和算法。

为了解决遥感视频图像序列中背景的全局运动、背景的光照变化、背景噪声、目标的尺度变化以及目标被遮挡等问题，本发明提供了一种基于多通道多尺度融合的孪生网络遥感目标跟踪方法。首先将参考目标图像，上一帧视频的目标图像和当前帧的待跟踪图像作为三个通道的输入，分别经过所提的残差神经网络提取特征；然后将三个通道的特征信息通过互相关操作生成融合信息，并使用注意力机制加强特征提取；最后分别使用多尺度方法分析出目标中心位置和缩放因子。本发明方法利用多通道输入、注意力机制和多尺度融合有效降低了遥感目标在高速运动时的云雾遮挡等干扰的影响，具备更强的鲁棒性，能够实现各种复杂背景下对遥感目标的高可靠匹配跟踪，满足了敏感目标星上实时高可靠侦察需求。

遵从上述技术方案，以下给出本发明的具体实施例，需要说明的是本发明并不局限于以下具体实施例，凡在本申请技术方案基础上做的等同变换均落入本发明的保护范围。

实施例：

本实施例给出一种基于多通道多尺度融合的孪生网络遥感目标跟踪方法，如图1所示，该方法包括如下步骤：

步骤1，给定一段待检测视频，在第一帧的待检测的搜索图像中确定遥感动目标的边界框坐标信息，边界框坐标信息包括位置信息和大小信息；截取该遥感动目标作为目标图像；从GF-3(高分三号卫星)遥感数据集中找到参考目标图像；获取下一帧的待检测的搜索图像。

步骤1中包括：

步骤101，读取遥感视频序列，在第一帧的待检测的搜索图像中需要根据场景手动截取出目标区域，然而不同场景下目标的大小和角度有所变化，为了便于统一特征提取，需要对目标区域做适当调整缩放，将目标区域调整为256×256的标准正方形，作为目标图像。

步骤102，构建GF-3遥感数据集，手动划分目标区域，像素大小为M×M，然后统一调整为256×256的正方形，作为参考目标图像。

步骤102中，所述的GF-3遥感数据集为包括战斗机、客机、运输机、直升机、潜艇、航母、驱逐舰、护卫舰、汽车、装甲车和坦克的遥感数据集。

步骤102中，当在GF-3遥感数据集中找不到参考目标图像时，以步骤101中调整后手动截取的目标图像作为参考目标图像，并加入到GF-3遥感数据集。

步骤103，下一帧的待检测的搜索图像的大小也调整为512×512的正方形。这样保证待搜索图像足够清晰度的前提下，参考目标和遥感目标相对面积占比尽可能大，便于目标跟踪。

步骤2，将步骤1中得到的参考目标图像、目标图像和下一帧的待检测的搜索图像作为输入，分别送入残差神经网络，进行孪生网络特征提取，得到参考目标图像x的深度特征Fx，得到目标图像y的深度特征Fy，得到待检测的搜索图像z的深度特征Fz。

步骤2中包括：

步骤201，残差神经网络中，孪生网络特征提取部分包括三个输入，一个参考目标图像，一个目标图像和一个下一帧的待检测的搜索图像，三个输入分别对应三个通道，三个通道共享相同的网络模型和权重参数，且参考目标图像和目标图像通道之间存在交互。

本实施例中，由于参考目标图像和上一帧的目标图像具有很强的相关度，可以很大程度地提升目标特征的信息量，所以不需要特别复杂的网络模型。本发明采用5层残差网络进行特征提取，得到三个图像的特征。

本实施例中，网络模型如图2所示，该网络主要由5个残差模块组成，每个残差模块由1个1×1的卷积层，1个n×n的卷积层，2个激活层relu组成。第1个残差模块有1个1×1卷积层(卷积步长为1，通道数为32)，1个11×11的卷积层(卷积步长为2，通道数为32)，2个relu层。第2个残差模块有1个1×1卷积层(卷积步长为1，通道数为64)，1个9×9的卷积层(卷积步长为2，通道数为64)，2个relu层。第3个残差模块有1个1×1卷积层(卷积步长为1，通道数为128)，1个7×7的卷积层(卷积步长为2，通道数为128)，2个relu层。第4个残差模块有1个1×1卷积层(卷积步长为1，通道数为64)，1个5×5的卷积层(卷积步长为2，通道数为64)，2个relu层。第5个残差模块有1个1×1卷积层(卷积步长为1，通道数为32)，1个3×3的卷积层(卷积步长为2，通道数为32)，2个relu层。

步骤201中，残差神经网络中，在每一个残差模块，输入输出如下式所示，M

式中：

M

M

f

f

g

g

步骤202，参考目标掩膜的图像细节特征表现突出，利用参考目标优质的图像信息对目标的细节特征进行提升。如图3所示，本发明将参考目标掩膜的粗粒度和细粒度与目标掩膜融合，对每层的目标输出特征进行加权求和，得到校正后的特征，表示为，

Fy

式中：

Fy

Fx

λ表示参考目标对目标掩膜的影响权重。

本实施例中，参考目标的轮廓特征对目标定位有一定提升作用，纹理特征对目标的分割精确度提升更为明显。一般情况下，选取的参考图像没有收到干扰，较好地保留了图像内容信息，所以本发明结合视频可能会收到干扰的情况，对不同层级的网络输出来做细节上的提升，权重λ值在不同层级有所变化，层级越深，影响越大，如表1所示。

表1 权重λ在不同层级的值

步骤3，基于步骤2得到的深度特征Fx、Fy和Fz，获得多通道响应图S

步骤中3包括：

步骤301，基于孪生网络的目标跟踪算法使用互相关操作将目标跟踪问题表述为模板匹配问题。

步骤30101，参考目标图像x和当前帧的待检测的搜索图像z经过特征提取网络来提取到对应的深度特征Fx和Fz之后，把获得的深度特征Fx和Fz做互相关运算，然后输出一个响应图来精准定位跟踪目标的位置。

本实施例中，表示为：

S

/>

式中，

表示特征提取网络；

b表示偏移值

I表示标准矩阵，矩阵中每个元素取值为1；

*表示互相关操作，在本发明中指的是卷积操作；

S

步骤30102，同理，上一帧的目标图像y和当前帧的待检测的搜索图像z经过特征提取网络来提取到对应的深度特征Fy和Fz之后，把获得的深度特征Fy和Fz做互相关运算，然后输出一个响应图来精准定位跟踪目标的位置。

本实施例中，表示为：

步骤30103，将两个响应图合并，得到最终的多通道响应图，表示为：

S

式中：

S

S

S

步骤302，遥感视频存在背景复杂，易混干扰目标较多，使得在跟踪过程中目标发生漂移，漂移量不断随时间累加，导致跟踪失败，为了提高抗干扰的鲁棒性，需要对合并后的多通道响应图通过注意力机制进行特征增强。

如图4所示，构建通道注意力机制网络H，将多通道响应图S

w＝H(S

式中：

w表示权重；

H表示通道注意力机制网络；

步骤303，将经过注意力机制增强后的权重w，与特征响应图S

S

步骤4，对步骤3得到的由注意力机制加权的多通道响应图S

以目标中心位置s

步骤4中包括：

步骤401，对步骤3得到的由注意力机制加权的多通道响应图S

本实施例中具体的，如图5所示，多尺度融合定位网络G由一个轻量化神经网络组成。本发明分别使用多尺度因子为3×3、5×5、7×7、9×9的融合网络，每个卷积模块因为卷积核大小不同，卷积模块输出维度不同，需要对5×5、7×7、9×9的子网络输出上采样为3×3子网络的维度，4个尺度的输出通道相加后，经过2个3×3的卷积层提取，最后经过Softmax处理，得到最终的最终特征响应图S

S

步骤402，在得到目标中心位置后，使用多尺度方法来确定目标区域的范围。

本实施例中具体的，如图6所示，本发明设计多尺度网络，得到缩放因子λ。考虑到目标区域实际大小对于区域尺度的影响，本发明分别使用多尺度因子为3×3、5×5、7×7、9×9的融合网络进行特征最后的提取，其中3×3卷积用了4次，5×5卷积用了3次，7×7卷积用了2次，9×9卷积用了1次，该3×3、5×5、7×7、9×9子网络输出后图像特征维度一样，不需要进行上采样，4个尺度的输出通道相加后，经过1个3×3的卷积层提取，再经过一个reshape操作，整合为1个二维向量，最后通过1个sigmoid函数，得到一个缩放因子λ。该处理可表示为：λ＝K(S

该方法比较简单，不需要目标位置的长和宽，或者角度信息，只需要以256为参照根据缩放因子进行缩放。目标统一定义为正方形，边长M定义为，

M＝λ*256。

步骤403，对每个缩放因子λ进行图像块搜索，先找到每个缩放因子λ对应的图像块，提取出来作为原始图像切片，然后再将其缩放为256×256大小。所有的目标图像都已经调整为256×256大小，只需要计算调整后的提取图像块D与调整后的目标图像M的差异DIFF，表示为：

式中：

m和n分别表示图像中的第m行像素点和第n列像素点。

当得到差异最小值DIFF

步骤5，模型的训练独立于跟踪过程，在训练完成后，将模型直接用于跟踪过程中。

本实施例中具体的，步骤5中包括：

步骤501，从遥感数据集选取200个视频，每个网络模型输入由参考目标图像，上一帧目标图像和当前帧搜索图像组成，上一帧确定的目标区域作为当前帧的目标图像，如果数据集中没有参考目标图像，手动在第一帧图像中截取作为参考目标图像。

步骤502，为了提升搜索的泛化能力，对搜索图像造成一定程度的破坏，对视频库图像随机加入5％的椒盐噪声和进行3×3模糊处理。

步骤503，模型训练迭代100次，一次训练所选取的样本数为16，训练的学习率从10

L＝||DIFF||

式中：

DIFF表示缩放后的当前帧和上一帧图像对应位置像素的差异；

W表示网络参数值；

α表示网络参数的权重。

应用例：

本应用例给出一种基于上述实施例的基于多通道多尺度融合的孪生网络遥感目标跟踪方法，本应用例构建遥感视频数据库，该数据库由自有GF-3视频和UAV视频组成，共有200段视频，包含三类目标：飞机，舰船，车辆。构建参考遥感目标数据集，数据集一共包括1000个敏感目标，所有视频库中的目标均在参考目标数据集中可以找到。随机选取180段视频作为训练集，剩下20段视频作为测试集。本实施例采用AUC(Accuracy)和EAO(ExpectedAverage Overlap)作为评判标准来比较算法性能，AUC代表追踪定位中心准确率，指EAO代表目标平均覆盖率，只有AUC和EAO同时高，才表示算法既可以准确追踪，又具有很强的鲁棒性。本实施例与基本方法SiamFC比较如表2所示，

表2实施例与基本方法在测试集测试的对比结果

从表2的对比可以看到，采用本发明实施例的方法，在遥感数据集，无论是AUC还是EAO本发明都有10％以上的性能提升。说明本发明在准确率和鲁棒性都有很好的保证。究其原因，本发明引入参考目标图像作为引导，保证视频及时出现干扰，也能够对目标跟踪有很强的参考作用，同时分别引入多尺度融合网络来实现定位和区域选择，保证了目标框能够锁定目标。