基于状态回归Transformer架构的多目标高精度连续跟踪方法

技术领域

本发明属于雷达技术领域，具体涉及一种基于状态回归Transformer架构的多目标高精度连续跟踪方法。

背景技术

多目标跟踪技术(MTT)是单目标跟踪的一种复杂形式，该技术使用复杂的算法，结合传感器量测数据，对不同目标的位置、速度等进行实时推测和更新。目标跟踪通常在目标检测之后进行，其主要任务是在多帧量测中寻找并匹配来自同一目标的量测值，形成轨迹。

当目标运动模型与跟踪模型适配时，贝叶斯滤波可以在单目标场景中提供理论上的最优估计，然而当模型失配时，贝叶斯滤波无法实现目标的精确跟踪。在复杂场景下，目标数量的变化等不确定因素会导致计算量呈指数增长，从而严重降低跟踪精度。此外，贝叶斯滤波是一阶马尔可夫过程，每一个状态的转移只依赖于其之前的一个状态，这具有一定的局限性。为了解决这些问题，基于深度学习的无模型方法提供了一些新的解决思路。深度学习作为一项数据驱动的任务，可以自动提取深度特征，而不用过多考虑输入数据的统计特征，也无需人工设计和显式提取特征。具体的，在跟踪任务中，基于Transformer架构的最新算法MT3(Multitarget Tracking Transformer)提供了一种端到端的多目标跟踪方法，且在单帧预测任务中优于贝叶斯滤波器。然而，在切换到连续跟踪时，MT3算法需要逐帧单独训练以适应新任务。同时，它们的预测结果之间没有相关性，无法充分利用到所有的量测数据信息。多目标跟踪技术的典型应用包括行人跟踪、自动驾驶、车辆跟踪、空中侦察、水下作业等，为实现更智能、安全、高效的系统和服务提供支持。总之，多目标跟踪技术在民用领域都有着广阔与长足的发展空间。

文献“An efficient implementation of the generalized labeled multi-bernoulli filter，IEEE Trans.Signal Process.，vol.65，no.8，pp.1975-1987，2016.”和文献“Poisson multi-bernoulli mixture filter：Direct derivation andimplementation，IEEE Trans.Aerosp.Electron.Syst.，vol.54，no.4，pp.1883-1901，2018.”提出了一种基于随机有限集来表述跟踪问题的方法，然而这些算法的关键在于数据关联，当目标数量较大且存在大量虚警时，关联会带来组合爆炸、计算量呈指数增长等问题，导致它们采用近似方法。同时，数据关联误差和状态估计误差是相互耦合的。数据关联误差会影响状态估计结果，降低目标跟踪精度。近年来，基于深度学习的MTT算法已经成为传统贝叶斯方法的有吸引力的替代品，通常通过最小化标记数据集上的经验风险来优化具有大量参数的模型。文献“Next generation multitarget trackers:：Random finite setmethods vs transformer-based deep learning，in Proc.Int.Conf.Inform.Fusion.IEEE，2021，pp.1-8.”提出了一种基于Transformer架构的高性能、特定类型的MTT神经网络，称为MultiTarget Tracking Transformer(MT3)。MT3可以有效地学习当前帧和一些参考帧之间的关系，并通过可学习网络进行隐式数据关联。然而该算法是单帧预测算法，只能预测一段时间内的最后一帧，这意味着MT3算法需要一段时间的初始化才能完成航迹起始，违背了多目标跟踪的实时性要求。为了实现目标连续跟踪，我们必须逐帧单独训练，并且只能跟踪固定的帧数。即使使用窗口滑动法进行连续预测，MT3也不能使用固定窗口长度之前的量测值，因为窗口之间没有继承。这意味着，MT3算法无法充分利用所有的量测数据信息，在跟踪后期会出现精度下降的问题。总之，MT3算法无法进行连续跟踪、航迹起始缓慢问题以及后期跟踪精度下降等诸多问题限制了算法在更多领域的应用。因此上述方法都没有普适性地解决在复杂场景下的多目标连续高精度跟踪问题。

发明内容

为解决上述技术问题，本发明提供了一种基于状态回归Transformer架构的多目标高精度连续跟踪方法，实现精确可靠的在线连续多目标跟踪。

本发明采用的技术方案为：一种基于状态回归Transformer架构的多目标高精度连续跟踪方法，具体步骤如下：

S1、设计并获取雷达仿真数据，生成二维量测，通过场景预处理，从X-Y坐标量测中提取特征到高维向量；

S2、构建SR-MT3网络模型；

S3、将步骤S1中预处理后得到的高维向量特征输入步骤S2构建好的模型中，进行网络模型训练；

S4、生成测试数据输入步骤S3训练好的网络模型中，得到多目标的估计跟踪结果。

进一步地，所述步骤S1具体如下：

首先通过标准的状态方程和量测方程生成大量雷达仿真数据作为深度学习网络的数据集。

把目标运动近似为匀速运动，目标i在第t帧处的状态向量为

其中，F

在二维场景中，协方差矩阵Q

其中，

新目标根据泊松点过程到达，出生强度为λ

然后使用一个模拟传感器，在二维笛卡尔坐标系中生成量测值，且每个存在的目标最多只能产生一个真实量测，则真实量测的观测方程为：

其中，

杂波量测根据强度为λ

其中，C

目标i在第t帧的估计为

最后进行场景预处理，首先将二维量测在视场范围下归一化，然后使用线性层将X-Y坐标量测提取到高维特征向量。

进一步地，所述步骤S2具体如下：

S21、设计SR-MT3网络模型整体架构；

所述SR-MT3网络模型为编码器-解码器架构，使用编码器处理量测序列，使用改进的DETR解码器隐式地执行数据关联，还使用交叉注意力与自注意力机制。

首先，将周期τ中的所有量测值

其中，

每个

z

其中，k表示预先设定好的值，即最多存在的目标个数，T表示总帧数。

S22、设计状态回归模块架构；

所述网络模型的输出由两种类型的查询转换而来，分别是：k个新生查询，它允许模型为上一帧中不存在的目标初始化轨迹；k个自回归查询，负责跟踪前一帧存在的轨迹。

其中，解码器查询o

当目标数量未达到查询数量时，采用基于存在概率的掩码机制，构建状态回归模块产生新生查询n

(1)通过新生查询实现跟踪初始化：

每个嵌入使用静态和学习的目标编码初始化，当前帧中出现的新目标由固定数量的k个输出嵌入检测。在迭代过程中，每次输入解码器的新生查询均由n

(2)自回归查询在跟踪过程中迭代：

首先从最后一帧的存在概率P

其中，

根据视场范围进行归一化后，将选择的序列

其中，每个元素

(3)基于掩码的存在概率实现跟踪终止：

采用一种基于存在概率的掩码机制，根据top-k机制选择k个最高存在概率

其中，

其中，

S23、设计SR-MT3网络模型的损失函数；

给定在第T帧中所有目标的预测值及其存在概率a

其中，

然后使用匈牙利算法给出最佳匹配σ

其中，a

表示匹配损失，定义为：

然后使用与真实值之间的损失来监督所有跟踪预测，具体为：

其中，M表示输出目标的总数，

进一步地，所述步骤S3具体如下：

整个网络模型的训练过程分为前向传播和反向传播，通过步骤S1获取大量训练数据输入网络模型，同时利用损失函数不断修正各单元权重。

进一步地，本发明的方法还包括步骤S5，使用最优子模式分配度量来评估模型的性能，具体如下：

d

其中，D

本发明的有益效果：本发明的方法首先设计并获取雷达仿真数据，生成二维量测，通过场景预处理，从X-Y坐标量测中提取特征到高维向量输入到构建好的SR-MT3网络模型中，进行网络模型训练，最后将测试数据输入训练好的网络模型中，得到多目标的估计跟踪结果。本发明的方法创新性的提出了新出生查询与自回归查询的机制，通过新出生查询来获取上一帧中不存在的目标初始化轨迹信息，使用自回归查询来跟踪上一帧中存在的轨迹信息，通过两种不同查询的循环迭代实现了对所有量测信息的充分有效利用。

本发明的方法从深度学习数据驱动的角度出发，跳出传统贝叶斯方法模型依赖、数据关联困难等局限性，解决了原MT3算法无法进行连续跟踪的问题、初始化时间长导致的航迹起始缓慢问题以及无法充分利用所有量测数据信息导致的跟踪后期精度下降问题，实现了对雷达多目标的高精度在线连续跟踪，拥有实时性、高精度、连续性等优点，可以应用在自动驾驶、车辆跟踪等诸多领域。

附图说明

图1为本发明的一种基于状态回归Transformer架构的多目标高精度连续跟踪方法的流程图。

图2为本发明实施例中SR-MT3网络模型在连续跟踪过程中的状态变化示意图。

图3为本发明实施例中SR-MT3网络模型的编码器架构示意图。

图4为本发明实施例中SR-MT3网络模型的解码器架构示意图。

图5为本发明实施例中自回归查询机制示意图。

图6为本发明实施例中基于存在概率的掩码机制示意图。

图7为本发明实施例中任务1的单帧预测结果示意图。

图8为本发明实施例中任务2、任务3的某个跟踪轨迹评估样本示意图。

图9为本发明实施例中任务2、任务3将SR-MT3算法结果与原MT3算法结果、传统算法结果对比得到的的OSPA误差曲线对比图。

具体实施方式

下面结合附图与实施例对本发明的方法进一步说明。

本实施例主要采用仿真实验的方法进行验证，所有步骤、结论都在Matlab2021b和Python3.9上验证正确。

如图1所示，本发明的一种基于状态回归Transformer架构的多目标高精度连续跟踪方法流程图，具体步骤如下：

S1、设计并获取雷达仿真数据，生成二维量测，通过场景预处理，从X-Y坐标量测中提取特征到高维向量；

S2、构建SR-MT3网络模型；

S3、将步骤S1中预处理后得到的高维向量特征输入步骤S2构建好的模型中，进行网络模型训练；

S4、生成测试数据输入步骤S3训练好的网络模型中，得到多目标的估计跟踪结果。

在本实施例中，所述步骤1具体如下：

首先通过标准的状态方程和量测方程生成大量雷达仿真数据作为深度学习网络的数据集。运动状态方程是描述物体在运动过程中位置、速度和加速度随时间变化的数学表达式。

把目标运动近似为匀速运动，目标i在第t帧处的状态向量为

其中，F

由于过程噪声的存在，目标的轨迹并不完全符合CV运动，而是允许一定的可操作性。在二维场景中，协方差矩阵Q

其中，

新目标根据泊松点过程到达，出生强度为λ

然后使用一个模拟传感器，在二维笛卡尔坐标系中生成量测值，且每个存在的目标最多只能产生一个真实量测，则真实量测的观测方程为：

其中，

杂波量测根据强度为λ

其中，C

目标i在第t帧的估计为

最后，本实施例中设置了三个任务进行场景预处理，分别是任务1、任务2、任务3，三个任务对应的参数表分别为表1、表2、表3；然后将二维量测在视场范围下归一化，使用线性层将X-Y坐标量测提取到高维特征向量。

表1

表2

表3

在本实施例中，所述步骤S2具体如下：

S21、设计SR-MT3网络模型整体架构；

本实施例中，本发明的方法提出的SR-MT3网络模型，是一种基于Transformer架构编码器-解码器的端到端多目标跟踪(MTT)方法。如图2所示，本发明方法的SR-MT3网络模型在连续跟踪过程中的状态变化示意图，通过场景预处理将X-Y坐标量测转换为高维向量特征，然后由Transformer编码器处理，生成嵌入，最后，Transformer解码器使用嵌入和查询来预测当前帧的目标状态，同时为下一帧的自回归查询与掩码做准备。

其中，SR-MT3网络模型的编码器架构示意图如图3所示，解码器架构示意图如图4所示。

所述SR-MT3网络模型基于MT3，为编码器-解码器架构，同样使用编码器处理量测序列，使用改进的DETR解码器隐式地执行数据关联，还使用交叉注意力与自注意力机制。

首先，将周期τ中的所有量测值

其中，

每个

z

其中，k表示预先设定好的值，即最多存在的目标个数，T表示总帧数。

S22、设计状态回归模块架构；

所述网络模型的输出由两种类型的查询转换而来，分别是：k个新生查询，它允许模型为上一帧中不存在的目标初始化轨迹；k个自回归查询，负责跟踪前一帧存在的轨迹。

其中，解码器查询o

为了防止存在概率较低的情况影响当前预测，当目标数量未达到查询数量时，采用基于存在概率的掩码机制，构建状态回归模块产生新生查询n

(1)通过新生查询实现跟踪初始化：

每个嵌入使用静态和学习的目标编码初始化，当前帧中出现的新目标由固定数量的k个输出嵌入检测。这确保了当前帧中的新生目标和前一帧中未跟踪到的目标都可以被检测到，然后可以在后续帧中被跟踪。在迭代过程中，每次输入解码器的新生查询均由n

(2)自回归查询在跟踪过程中迭代：

如图5所示，本实施例中自回归查询机制示意图，首先从最后一帧的存在概率P

其中，

根据视场范围进行归一化后，将选择的序列

其中，每个元素

(3)基于掩码的存在概率实现跟踪终止：

如图6所示，本实施例中基于存在概率的掩码机制示意图，为了去除终止的轨迹，并防止由于目标数量少于查询而导致的存在概率过低的输出影响解码器转换，本实施例采用一种基于存在概率的掩码机制，根据top-k机制选择k个最高存在概率

/>

其中，

其中，

S23、设计SR-MT3网络模型的损失函数；

给定在第T帧中所有目标的预测值及其存在概率a

其中，

然后使用匈牙利算法给出最佳匹配σ

其中，a

表示匹配损失，定义为：

然后使用与真实值之间的损失来监督所有跟踪预测，具体为：

其中，M表示输出目标的总数，

本实施例中，所述SR-MT3网络模型中的关键参数信息如表4所示。

表4

在本实施例中，所述步骤S3具体如下：

整个网络模型的训练过程分为前向传播和反向传播，通过步骤S1获取大量训练数据输入网络模型，同时利用损失函数不断修正各单元权重。

在本实施例中，经过步骤S4得到多目标的估计跟踪结果。

其中，图7为本实施例中任务1的单帧预测结果示意图，量测结果用较小的加号表示，在τ＝10模拟时间步长期间生成的量测结果均用较小的加号表示，颜色越深的加号对应于更近的量测结果，即更接近t＝T。圆圈表示地面真实目标位置，以及三种不同方法的预测结果：颜色较深的叉号为卡尔曼滤波(KF)预测结果，颜色较浅的叉号为MT3预测结果，大的加号为SR-MT3预测结果。

图8为本实施例中任务2、任务3(从左往右依次为任务2、任务3)的某个跟踪轨迹评估样本示意图，圆圈表示地面真实目标位置，以及三种不同方法的预测结果：颜色较深的叉号代表卡尔曼滤波(KF)预测结果，颜色较浅色的叉号代表MT3预测结果，加号代表SR-MT3预测结果，黑色的小圆圈代表杂波。

在本实施例中，本发明的方法还包括步骤S5，使用最优子模式分配(OSPA)度量来评估模型的性能，具体如下：

d

其中，D

在本实施例的所有任务中，均使用c＝1.5,p＝1，使用蒙特卡罗模拟1000次试验来评估不同跟踪器的估计性能。

图9为本实施例中任务2、任务3(从左往右依次为任务2、任务3)将SR-MT3算法结果与原MT3算法结果、传统算法结果对比得到的的OSPA误差曲线对比图。在图中25～30帧范围内，从上至下，依次代表原MT3算法(带有滑窗的MT3)结果、传统算法(KF+JPDA)结果、本发明的SR-MT3算法结果。

本实施例的任务1中各算法OSPA误差则如表5所示。

表5

综上，通过本发明的实施例可以看出，本发明的方法可以很好的实现对复杂多目标场景的精确目标跟踪。本发明的方法创新性的提出了新出生查询与自回归查询的机制，通过新出生查询来获取上一帧中不存在的目标初始化轨迹信息，使用自回归查询来跟踪上一帧中存在的轨迹信息，通过两种不同查询的循环迭代实现了对所有量测信息的充分有效利用。

本发明的方法利用了Transformer架构在处理序列信息时的提取能力，能够有效地捕获长距离依赖、全局上下文以及序列中不同部分之间的关系。本发明的方法从深度学习数据驱动的角度出发，跳出传统贝叶斯方法模型依赖、数据关联困难等局限性，解决了原MT3算法无法进行连续跟踪的问题、初始化时间长导致的航迹起始缓慢问题以及无法充分利用所有量测数据信息导致的跟踪后期精度下降问题，实现了对雷达多目标的高精度在线连续跟踪，拥有实时性、高精度、连续性等优点，可以应用在自动驾驶、车辆跟踪等诸多领域。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。