环境自适应感知的目标跟踪方法、系统及设备

技术领域

本申请涉及环境感知技术领域，特别是涉及一种环境自适应感知的目标跟踪方法、系统及设备。

背景技术

在自动驾驶和高级辅助驾驶系统(ADAS)中，环境感知是关键技术之一，它涉及使用各种传感器来检测车辆周围的对象和情况。在这些传感器中，激光雷达(LiDAR)和毫米波雷达是两种主要的传感器，因为它们可以在各种环境条件下提供高分辨率的三维信息。

然而，现有的多传感器融合技术通常倾向于将所有可用的传感器数据结合起来，使用不同的数据融合算法来提高定位和跟踪的准确性。

比如，一些系统(如Waymo的自动驾驶车辆技术)使用激光雷达、雷达、摄像机等传感器的组合来检测和分类物体(如车辆、行人和自行车)。这些系统通过融合来自不同传感器的数据来增强系统的鲁棒性和准确性。

还有某些方案中，已经探讨了根据环境条件自动调整传感器配置的概念。例如，当一种传感器(如激光雷达)受到特定天气条件影响时，系统可能会依赖其他传感器的数据。但是，这些系统通常不会完全关闭受影响的传感器，而是降低它们在决策过程中的权重。

尽管上述方法有助于提高系统的准确性和鲁棒性，但它们并没有特别针对烟雾等特定条件下的性能优化，也没有明确提出在某些条件下完全切换到单一传感器的方法。

发明内容

基于此，有必要针对上述技术问题，提供一种能够自适应调整传感器模式，提高复杂环境下目标跟踪准确性和稳定性的环境自适应感知的目标跟踪方法、系统及设备。

一种环境自适应感知的目标跟踪方法，所述方法包括：

构建环境感知与分析模型；

获取环境图像数据、激光雷达数据及4D毫米波雷达数据；

对所述图像数据进行检测，并判断是否存在视觉阻碍区域；若是，则通过4D毫米波雷达数据提取目标跟踪信息；若否，则通过激光雷达数据与4D毫米波雷达数据提取目标跟踪信息；

基于所述目标跟踪信息，采用CTRV车辆运动学模型进行车辆建模，并通过无迹卡尔曼滤波算法对跟踪目标进行状态估计，得到预测路径；

通过匈牙利匹配算法对目标的实际运动与预测路径进行关联和匹配，得到更新参数；

基于所述更新参数，对跟踪目标的状态进行更新。

其中一个实施例中，所述环境感知与分析模型表示为：

式中，E表示环境状态的随机变量集合；D表示传感器数据，e

其中一个实施例中，对所述图像数据进行检测，包括：

构建检测模型；

基于所述检测模型，通过对所述图像数据进行分类，并基于激活函数及预先构建的损失函数对所述检测模型进行训练，得到训练好的检测模型；训练过程中，采用激光雷达数据滤除虚假警报，并通过激光雷达数据定位存在视觉阻碍的实际位置；

通过所述训练好的烟雾检测模型对图像数据进行检测。

其中一个实施例中，采用激光雷达数据滤除虚假警报，并通过激光雷达数据定位存在视觉阻碍的实际位置，包括：

获取激光雷达数据，将所述激光雷达数据映射至所述图像数据中，得到关联信息；

根据所述关联信息计算存在视觉阻碍区域内激光点的数量，当激光雷达点数大于设定阈值，则判断该区域存在视觉阻碍；

设置评分函数，将存在视觉阻碍区域中的激光雷达点的位置通过评分函数进行计算，得到视觉阻碍区域的实际三维空间位置。

其中一个实施例中，根据所述关联信息表示计算存在视觉阻碍区域内激光点的数量，当激光雷达点数大于设定阈值，则判断该区域存在视觉阻碍，公式表示为：

式中，δ表示指示函数；(u

其中一个实施例中，设置评分函数，将存在视觉阻碍区域中的激光雷达点的位置通过评分函数进行计算，得到视觉阻碍区域的实际三维空间位置，公式表示为：

S(l

SmokeRegion＝{l

式中，S表示评分函数；l

其中一个实施例中，通过4D毫米波雷达数据提取目标跟踪信息，包括：

获取4D毫米波雷达数据，通过设定阈值滤除相对于地面静止的点，然后进行点云分割，得到若干被分割后的点云数据；

通过聚类算法对分割后的点云数据进行聚类，得到聚类信息；

所述聚类信息表示为：

C＝DBSCAN(P′，Eps，MinPts)；

式中，C表示检测到的聚类；P′表示分割后的点云数据；

然后设置阈值，通过所述设定的阈值确定所述聚类信息中的动态目标，提取目标跟踪信息；

动态目标表示为：

T＝{c∣c∈C,size(c)∈A,shape(c)∈Y,motion(c)∈M}；

式中，T表示识别出的动态目标集；S、Y和M分别表示尺寸、形状和运动模式的阈值范围。

其中一个实施例中，通过激光雷达数据与4D毫米波雷达数据提取目标跟踪信息，包括：

通过对激光雷达数据与4D毫米波雷达数据分别提取目标跟踪信息，将二者的目标跟踪信息进行融合，融合公式表示为：

X

式中，X

一种环境自适应感知的目标跟踪系统，所述系统包括：

模型构建模块，用于构建环境感知与分析模型；

数据获取模块，用于获取环境图像数据、激光雷达数据及4D毫米波雷达数据；

目标跟踪信息提取模块，用于对所述图像数据进行检测，并判断是否存在视觉阻碍区域；若是，则通过4D毫米波雷达数据提取目标跟踪信息；若否，则通过激光雷达数据与4D毫米波雷达数据提取目标跟踪信息；

路径预测模块，用于基于所述目标跟踪信息，采用CTRV车辆运动学模型进行车辆建模，并通过无迹卡尔曼滤波算法对跟踪目标进行状态估计，得到预测路径；

参数计算模块，用于根据目标的实际运动与预测路径进行关联和匹配，得到更新参数；

更新模块，用于基于所述更新参数，对跟踪目标的状态进行更新。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

上述环境自适应感知的目标跟踪方法、系统及设备，通过构建环境感知与分析模型；然后获取环境图像数据、激光雷达数据及4D毫米波雷达数据；对图像数据进行检测，并判断是否存在视觉阻碍区域；若是，则通过4D毫米波雷达数据提取目标跟踪信息；若否，则通过激光雷达数据与4D毫米波雷达数据提取目标跟踪信息；基于跟踪信息，采用CTRV车辆运动学模型进行车辆建模，并通过无迹卡尔曼滤波算法对跟踪目标进行状态估计，得到预测路径；根据目标的实际运动与预测路径进行关联和匹配，得到更新参数；基于更新参数，对跟踪目标的状态进行更新。

本发明首先对图像数据进行检测的方式来判断是否存在视觉阻碍区域，根据检测的结果来选择使用哪种传感器组合，可以快速调整跟踪策略和传感器配置。集成了激光雷达、4D毫米波雷达等传感器模式，通过有效的数据融合算法，确保多种信息的有效整合，实现了全天候、全方位的目标检测和跟踪，增强了对不同场景、不同目标的适应能力。通过CTRV车辆运动学模型、无迹卡尔曼滤波算法以及匈牙利匹配算法，通过动态地根据目标的实际运动与预测路径的差异，调整跟踪策略，能够为车辆跟踪提供了一个更准确、更可靠和更高效的解决方案，特别是在处理复杂交通场景和实时应用时，效果更为突出。本发明能够整体显著提高车辆在复杂环境下的目标跟踪准确性和稳定性，减少了因环境因素造成的误判，提供了一种结构简单、性能卓越、使用方便且生产质量高的多模态传感器融合目标跟踪方法。

附图说明

图1为一个实施例中环境自适应感知的目标跟踪方法的流程示意图；

图2为一个实施例中实验1提供的结果对照示意图；其中，图2(a)为烟雾检测结果示意图，图2(b)为本发明提供的方法跟踪结果示意图，图2(c)为纯毫米波跟踪结果示意图；

图3为一个实施例中实验2提供的结果对照示意图；其中，图3(a)为烟雾检测结果示意图，图3(b)为本发明提供的方法跟踪结果示意图，图3(c)为纯毫米波跟踪结果示意图；

图4为一个实施例中实验3提供的结果对照示意图；其中，图4(a)为烟雾检测结果示意图，图4(b)为本发明提供的方法跟踪结果示意图，图4(c)为纯毫米波跟踪结果示意图；

图5为一个实施例中环境自适应感知的目标跟踪系统的结构框架示意图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

发明人在实现本方案的技术过程中，发现现有技术在多目标跟踪和环境感知方面尽管取得了一定的进展，但仍存在一些技术上的不足，特别是在特定环境条件下的性能表现。

发明人分析了一些关键的技术缺点：

1.适应性不足：现有的传感器融合系统通常缺乏对不同环境条件的动态适应能力。例如，当激光雷达由于烟雾或其他恶劣天气受到干扰时，系统不一定能够自动识别这种情况并相应地调整传感器的使用策略。

2.处理复杂和能耗：连续整合所有传感器数据，即使某些数据由于环境因素而变得不那么可靠，会增加数据处理的复杂性，并可能导致不必要的能量消耗和延迟。

3.性能局限性：在特定情况下依赖单一传感器(例如在清晰环境中只使用激光雷达)，可能会忽略其他传感器(如4D毫米波雷达)在这些场景中可能提供的独特优势，如更广的探测范围或更好的速度探测能力。

针对这些缺点，本发明的目的是提供一种新型的环境自适应感知的目标跟踪方法，它能够：

1.环境感知与自适应性：通过先进的环境感知能力，自动判断当前环境条件(例如是否存在烟雾、尘埃)，并动态选择最适合的传感器配置。这不仅提高了系统的鲁棒性和可靠性，还优化了在复杂环境中的性能。

2.优化数据处理：通过智能地选择在给定环境中最重要的数据源，减少了对不必要数据的处理，从而降低系统的计算负担和能耗，同时加快了决策过程。

3.利用多传感器优势：该算法不是简单地融合所有可用的传感器数据，而是根据各自的优势和当前的环境条件，有针对性地利用不同传感器。这种方法提高了整体系统的效率和效果，确保在各种环境条件下都能实现最佳性能。

通过这三个关键目标，本发明克服了现有技术的局限性，为多目标跟踪和自动驾驶系统等领域提供一种更高效、可靠且适应性强的解决方案。

下面将结合本发明实施例图中的附图，对本发明实施方式进行详细说明。

在一个实施例中，如图1所示，提供了一种环境自适应感知的目标跟踪方法，包括以下步骤：

步骤202，构建环境感知与分析模型。

可以理解，在整个环境自适应感知的目标跟踪方法中，环境感知包括视觉感知，激光雷达感知和毫米波雷达感知，其中视觉感知主要是通过图像检测判断环境中是否存在视觉阻碍区域(如烟雾、尘埃等)；激光雷达感知和毫米波雷达感知用来检测环境中的动态目标。环境感知与分析模型主要用于感知周围环境并判断使用哪些传感器来做跟踪。

步骤204，获取环境图像数据、激光雷达数据及4D毫米波雷达数据。

可以理解，图像数据为通过车载相机所得到的数据，这样可以不必在车辆上额外增设摄像头，减少设备的数量；激光雷达数据为通过激光雷达传感器所获得的数据；4D毫米波雷达数据为通过4D毫米波雷达传感器所获得的数据。

步骤206，对图像数据进行检测，并判断是否存在视觉阻碍区域；若是，则通过4D毫米波雷达数据提取目标跟踪信息；若否，则通过激光雷达数据与4D毫米波雷达数据提取目标跟踪信息。

可以理解，激光雷达通过发射脉冲激光来测量周围物体的距离，激光雷达可以生成周围环境的精确三维图像。但是，激光雷达在雾、雨、烟雾等恶劣天气条件下的性能会大打折扣，因为这些条件会散射激光束，导致检测能力下降。

与激光雷达相比，4D毫米波雷达更能适应恶劣天气，并且可以检测、定位和跟踪多个物体。4D毫米波雷达是最新的进展，提供了三维空间信息以及目标的速度信息。

本步骤通过对图像数据进行检测，从而根据环境条件判断输出，当探测到特定的环境干扰时，能够自动切换到最佳的传感模式，从而动态选择最适合当前环境条件的传感器检测结果的输入或输入组合。显著提高了在复杂环境下的目标跟踪准确性和稳定性，减少了因环境因素造成的误判。

并且，通过集成激光雷达、4D毫米波雷达和视觉传感等多种传感模式，通过高级的数据融合算法，确保多种信息的有效整合。实现了全天候、全方位的目标检测和跟踪，弥补了单一传感方式的不足，增强了系统对不同场景、不同目标的适应能力

例如，在烟雾环境中屏蔽激光雷达，仅依赖4D毫米波雷达。对来自所选传感器的检测结果进行融合处理，提取出准确的跟踪信息。在清晰环境下，将激光雷达和4D毫米波雷达的检测结果进行智能融合，以提高跟踪的准确性。在清晰的环境条件下，虽然激光雷达可以提供精细的目标轮廓信息，但它的目标检测范围相对有限，通常仅限于50米内。相比之下，4D毫米波雷达能够扩展目标检测的有效距离至200米，大大超越了激光雷达的检测范围。然而，毫米波雷达通常只能提供目标的粗略轮廓，缺乏激光雷达所能提供的细节信息。因此，将激光雷达与4D毫米波雷达的检测结果进行融合，不仅可以充分利用激光雷达在近距离精细轮廓识别上的优势，同时也能借助毫米波雷达实现更远距离的目标检测。这种融合方法综合了两种不同雷达技术的优势，实现了更宽的检测范围与更准确的目标轮廓识别，为目标检测与跟踪提供了更全面、更准确的信息，特别是在自动驾驶和先进的驾驶辅助系统(ADAS)应用中具有重要意义。

步骤208，基于目标跟踪信息，采用CTRV车辆运动学模型进行车辆建模，并通过无迹卡尔曼滤波算法对跟踪目标进行状态估计，得到预测路径。

可以理解，通过使用无迹卡尔曼滤波算法(UKF)对动态目标的状态进行估计并使用CTRV对车辆进行运动学建模，UKF通过使用一组称为“sigma点”的样本来近似非线性变换的效果，从而提供了一种更精确的方式来预测非线性系统的状态。

UKF的核心思想是在概率分布的均值和协方差周围选择一组确定性样本(sigma点)。这些点通过非线性变换，并使用这些变换后的点来预测新的均值和协方差。这种方法避免了对非线性函数进行线性化的需要，从而提供了更准确的估计。

具体地，选择sigma点是UKF的第一步。这些点被选为代表当前状态估计的概率分布。通常，选择2n+1个sigma点，其中n是状态向量的维度。

均值点：

X

其他点：

对于i＝1,...,n

式中，x

接下来，每个sigma点通过系统的非线性函数进行变换：

Y

这里，f(·)是系统的非线性转移函数。变换后的sigma点用于预测新的均值和协方差：

式中，W

一旦获得了观测值，UKF将进行更新步骤，以纳入新的信息：

计算卡尔曼增益：

更新估计：

更新协方差：

这里，H表示观测模型；R表示观测噪声的协方差；z

无迹卡尔曼滤波通过使用一组经过精心选择和加权的sigma点来处理非线性系统，避免了Jacobian线性化的复杂性和潜在的不准确性。因此，它能够更准确地捕捉到由非线性变换引入的信息，从而提供更精确的状态估计。通过使用无迹卡尔曼滤波算法对每个跟踪目标进行状态估计，更有助于前后帧目标之间匹配。

CTRV(Constant Turn Rate and Velocity)运动学模型是一种常用于目标跟踪和自动驾驶系统中的运动模型。它假设目标对象的转向率和速度保持恒定。CTRV模型是非线性的，它比简单的线性模型能够更准确地描述车辆在二维空间中的运动，特别是在转弯时。但是由于CTRV模型考虑了转向率，它是非线性的，故采用无迹卡尔曼滤波来处理CTRV模型的状态估计。将二者进行结合，能够更精确的得到预测路径。

步骤210，通过匈牙利匹配算法对目标的实际运动与预测路径进行关联和匹配，得到更新参数。

可以理解，当使用无迹卡尔曼滤波算法对当前帧的跟踪目标进行状态估计之后，然后使用匈牙利算法对前后帧的目标进行关联和匹配。

匈牙利算法，也被称为Kuhn-Munkres算法，是一种在加权二分图中寻找最大(或最小)权重匹配的有效算法。匈牙利算法基于图论，通过一系列操作，逐步改进匹配的质量，直到找到最优解。算法主要针对一个“费用矩阵”，该矩阵表示二分图中每对可能匹配的元素之间的权重(或成本)。

具体地，首先初始化：从费用矩阵开始，如果是寻找最大权重匹配，则可以通过将所有权重取负值转换为最小权重匹配问题。

行列减法：对于矩阵中的每一行，找到该行的最小元素，并从该行的每个元素中减去它。然后，对于每一列，执行同样的操作。

寻找零元素：在调整后的矩阵中，找到所有零元素，并检查是否可以找到涵盖所有零元素的行和列的最小集合。这通常通过画线(称为“覆盖线”)来完成。

优化覆盖：如果覆盖线的数量等于矩阵的阶数，则找到了最佳匹配。否则，找到未被覆盖的元素中的最小值，并从未覆盖的每一行中减去该值，然后加到被覆盖的每一列上。这一步旨在改变矩阵的零元素分布。

重复步骤：返回步骤寻找零元素，继续这个过程，直到覆盖线的数量等于矩阵的阶数。确定匹配：一旦达到最佳覆盖，算法将确定哪些零元素代表最佳匹配。这些零元素在原始费用矩阵中对应的值的总和或总差将是最大或最小的。

通过CTRV车辆运动学模型+无迹卡尔曼滤波算法+匈牙利匹配算法，能够在复杂情况下自主做出判断，快速调整跟踪策略和传感器配置。大大缩短了系统的响应时间，提高了多目标跟踪和快速变化环境下的处理能力，减轻了对人工操作的依赖。

步骤212，基于更新参数，对跟踪目标的状态进行更新。

可以理解，通过步骤208与步骤210，能够从融合处理后的数据中识别出潜在的目标，并，为每个检测出来的目标指定一个跟踪策略，同时动态地根据目标的实际运动与预测路径的差异，调整跟踪策略。

本发明在处理车辆跟踪问题时，采用无迹卡尔曼滤波(UKF)算法、CTRV运动学模型和匈牙利匹配算法具有以下效果：

1.更精确的运动模型：CTRV运动学模型能够为非线性和非高斯系统提供更精确的运动估计。它能够处理转向和速度的变化，从而为车辆跟踪提供更准确的运动模型。相比之下，如果没有使用CTRV或其他适当的运动模型，可能会导致跟踪误差的累积。

2.更优的数据关联：匈牙利匹配算法是一种有效的数据关联方法，能够为目标和观测之间提供最优的一对一匹配。这有助于减小数据关联误差，提高车辆跟踪的准确性和稳定性。全局匹配方法可能不会提供最优的匹配，尤其是在复杂的交通场景中，可能会导致匹配错误和跟踪失效。

3.计算效率：匈牙利算法是一种已经经过优化的数据关联算法，具有良好的计算效率，特别是在处理大规模问题时。这使得它能够在实时或接近实时的应用中，如自动驾驶和交通监控，提供更快的数据关联解决方案。

4.更好的处理遮挡和交叉：通过使用匈牙利匹配算法和CTRV运动学模型，系统能够更好地处理遮挡和目标交叉的情况。匈牙利匹配算法可以通过优化分配来解决数据关联的问题，而CTRV模型可以提供在遮挡和交叉发生时的更准确的运动估计。

因此，本发明通过无迹卡尔曼滤波算法、CTRV运动学模型和匈牙利匹配算法的组合为车辆跟踪提供了一个更准确、更可靠和更高效的解决方案，特别是在处理复杂交通场景和实时应用时。

上述环境自适应感知的目标跟踪方法，通过构建环境感知与分析模型；然后获取环境图像数据、激光雷达数据及4D毫米波雷达数据；对图像数据进行检测，并判断是否存在视觉阻碍区域；若是，则通过4D毫米波雷达数据提取目标跟踪信息；若否，则通过激光雷达数据与4D毫米波雷达数据提取目标跟踪信息；基于跟踪信息，采用CTRV车辆运动学模型进行车辆建模，并通过无迹卡尔曼滤波算法对跟踪目标进行状态估计，得到预测路径；根据目标的实际运动与预测路径进行关联和匹配，得到更新参数；基于更新参数，对跟踪目标的状态进行更新。

本发明首先对图像数据进行检测的方式来判断是否存在视觉阻碍区域，根据检测的结果来选择使用哪种传感器组合，可以快速调整跟踪策略和传感器配置。集成了激光雷达、4D毫米波雷达等传感器模式，通过有效的数据融合算法，确保多种信息的有效整合，实现了全天候、全方位的目标检测和跟踪，增强了对不同场景、不同目标的适应能力。通过CTRV车辆运动学模型、无迹卡尔曼滤波算法以及匈牙利匹配算法，通过动态地根据目标的实际运动与预测路径的差异，调整跟踪策略，能够为车辆跟踪提供了一个更准确、更可靠和更高效的解决方案，特别是在处理复杂交通场景和实时应用时，效果更为突出。本发明能够整体显著提高车辆在复杂环境下的目标跟踪准确性和稳定性，减少了因环境因素造成的误判，是一种结构简单、性能卓越、使用方便且生产质量高的多模态传感器融合目标跟踪方法。

其中一个实施例中，环境感知与分析模型表示为：

式中，E表示环境状态的随机变量集合；D表示传感器数据，e

其中一个实施例中，对图像数据进行检测，包括：构建检测模型；基于检测模型，通过对图像数据进行分类，并基于激活函数及预先构建的损失函数对检测模型进行训练，得到训练好的检测模型；训练过程中，采用激光雷达数据滤除虚假警报，并通过激光雷达数据定位存在视觉阻碍的实际位置；通过训练好的烟雾检测模型对图像数据进行检测。

可以理解，检测模型是环境自适应的多模态传感器融合目标跟踪系统的重要组成部分，根据检测到是否有烟尘来选择使用哪种传感器。

具体地，该烟雾检测模型基于类激活图(CAM)提出了一种轻量级烟雾检测模型。通过设计一种活跃的注释方法，并与激活损失结合，以增强CAM的质量。使用Resnet18进行分类任务，移除了其最后的平均池化层。

定义输入为X，由Resnet18提取的特征图为F。分类结果通过以下公式获得：

p＝softmax(conv(W，GAP(F))),W＝cat{ω0+ω1}∈R

式中，GAP表示全局平均池化操作；conv表示卷积；W表示分类权重。

分类损失函数表示为：

l

烟雾激活图可以通过以下激活函数公式获得：

由于原始CAM的定位能力无法满足烟雾检测的要求，因此，通过设计了激活损失来增强CAM的质量。为了有效地获得计算激活损失所需的基础事实，提出了一种主动注释方法，大大减少了注释负担。激活损失函数定义如下：

l

式中，S表示通过稀疏像素标签注释的地面真实图。

然而，设计的该检测模型容易将天空中的云朵误判为烟雾，从而提供虚假警报。因此，在训练过程中，采用激光雷达数据滤除虚假警报，并通过激光雷达数据定位存在视觉阻碍区域的三维空间位置。最后通过训练好的烟雾检测模型对图像数据进行检测。

其中一个实施例中，采用激光雷达数据滤除虚假警报，并通过激光雷达数据定位存在视觉阻碍的实际位置，包括：获取激光雷达数据，将激光雷达数据映射至所述图像数据中，得到关联信息；根据关联信息计算存在视觉阻碍区域内激光点的数量，当激光雷达点数大于设定阈值，则判断该区域存在视觉阻碍；设置评分函数，将存在视觉阻碍区域中的激光雷达点的位置通过评分函数进行计算，得到视觉阻碍区域的实际三维空间位置。

具体实现流程如下所述：

获取激光雷达数据，表示为：

L＝{l

式中，l

获得激光雷达数据之后，把激光雷达数据投影至图像数据中，得到关联信息。激光雷达到图像的映射关系表示为：

M(l

其中一个实施例中，根据关联信息计算存在视觉阻碍区域内激光点的数量，当激光雷达点数大于一定的阈值的话，则断这块区域存在视觉阻碍，为真实的烟雾区域。具体表达式为：

式中，δ表示指示函数；(u

如果(u

其中一个实施例中，设置评分函数，将存在视觉阻碍区域中的激光雷达点的位置通过评分函数进行计算，得到视觉阻碍区域的实际三维空间位置，包括：

定义一个评分函数A，该函数基于激光雷达点的特征来评估该点是否与烟雾相关联。

然后通过找到评分高于某个阈值的激光雷达点来定位烟雾，具体表达式为：

S(l

SmokeRegion＝{l

式中，S表示评分函数；l

通过这两个公式，我们可以基于激光雷达数据来定位烟雾的空间区域。

其中一个实施例中，通过激光雷达数据、4D毫米波雷达数据提取目标跟踪信息。

可以理解，对于激光雷达(LiDAR)数据和4D毫米波雷达数据，主要步骤为地面点滤除、点云分割、聚类处理，以及动态目标的识别。除了在滤除阶段有差别外，其余步骤均相同。

首先对通过激光雷达数据提取目标跟踪信息进行说明。具体地：

从接收到的原始激光雷达点云数据中滤除地面点，这一步骤是为了减少后续处理的计算量，并提高动态物体检测的准确性。使用基于高度阈值的滤波器，排除低于某一设定高度(h)的所有点。这可以通过以下公式实现：

P′＝{p∣p∈P,p.z>h}；

式中，P′表示滤除地面点后的点云集；P表示原始点云集；p.z表示点云中每个点的高度坐标。

滤除地面点后，下一步是点云分割，旨在将点云数据分割成多个小区域，得到若干被分割后的点云数据，为后续的聚类分析做准备。使用欧几里得距离分割法，该方法基于每个点之间的欧几里得距离，如果距离小于某一阈值(d)，则认为它们属于同一区域。

如果dist(p

分割后的点云数据将被进一步处理，通过聚类算法将每个分割区域中的点聚合成不同的物体。通过邻域半径(Eps)和最小点数(MinPts)，将点云聚类，得到聚类信息，表示为：

C＝DBSCAN(P′,Eps，MinPts)；

其中，C是检测到的聚类，P′是分割后的点云数据。

最后通过分析每个聚类的特性(如尺寸、形状和运动模式)来识别动态目标，提取跟踪信息。可以设置特定的阈值范围来确定目标类别，公式表示为：

T＝{c∣c∈C,size(c)∈S,shape(c)∈Y,motion(c)∈M}；

式中，T表示识别出的动态目标集；S、Y和M分别表示尺寸、形状和运动模式的阈值范围。

4D毫米波雷达相比于传统的毫米波雷达，它能够提供更高维度的信息以及更好的分辨率和覆盖范围。使用4D毫米波实现动态目标检测和使用激光雷达实现动态目标检测的方法大致相同，不同的就是激光雷达首先滤除的是地面点，而4D毫米波雷达首先需要滤除相对于地面静止的点。滤除4D毫米波地面点的方法为：

考虑车辆的速度为v

v

这里，cos(θ

然后设定一个阈值v

其中一个实施例中，通过激光雷达数据与4D毫米波雷达数据提取目标跟踪信息，包括：通过对激光雷达数据与4D毫米波雷达数据分别提取目标跟踪信息，将二者的目标跟踪信息进行融合，融合公式表示为：

X

式中，X

其中一个实施例中，为了验证本方法的优越性，进行实验验证。

如图2至图4所示，通过对三组不同的传感器数据进行了精确的时间同步和空间校准，确保它们在对齐后的频率统一为10Hz。我们追踪的目标局限于前方120度的视野内，最大探测距离达到300米。在无迹卡尔曼滤波器中，我们选择了高斯噪声模型来配置噪声参数，以适应复杂的跟踪环境。

主要进行了两种策略的对比分析：一种是通过图像识别烟雾存在，据此选择特定的传感器进行目标检测和跟踪；另一种是直接采用多传感器融合技术进行目标跟踪。我们测试了包括烟雾环境在内的多种场景数据，结果发现，在烟雾密布的场景下，我们的算法表现优于其他对比算法，具体实验成果如图2至图4所示。

在实验结果报告中，我们展示了三组数据，每组包括三张图片。这些图片分别代表了烟雾检测效果、本发明提供的激光雷达与4D毫米波雷达融合的跟踪结果，以及纯4D毫米波雷达的跟踪结果。

在第一组数据中，我们观察到，一旦场景中出现烟雾，激光雷达检测到的目标位置会受到干扰，导致定位几乎停滞不前。这种现象在进行连续帧之间的目标匹配时尤为明显，因为系统倾向于将下一帧中的目标与上一帧中的位置匹配，从而导致跟踪结果停留在原点不前。

第二组数据显示了经过一段时间后的场景。当目标与烟雾的位置差异超过了匹配阈值时，原本是同一目标的实体会被误识别为新的目标。更令人关注的是，目标的跟踪轨迹出现了断层，这一现象印证了激光雷达在烟雾环境下的局限性。

第三组数据揭示了更为严重的问题。不仅目标的跟踪轨迹发生了缺失，而且由于烟雾浓度的增加，激光雷达开始将烟雾误判为新的跟踪目标，导致大量的误报。这一系列的问题均源于激光雷达对烟雾的敏感性。

针对上述问题，我们的解决方案是在检测到烟雾时，优先考虑依赖图像数据进行烟雾检测。一旦确认环境中存在烟雾，我们的系统会转而依赖4D毫米波雷达的检测结果，正如每组数据的第四张图片所展示的那样。通过这种方式，跟踪过程不会受到烟雾的干扰。

这一实验充分验证了我们算法的有效性。即使在烟雾密布的情况下，我们的方法也能实现目标的稳定跟踪，确保系统的可靠性和实用性。通过综合利用多种传感技术，我们成功克服了单一激光雷达系统在复杂环境中的局限，显著提升了目标跟踪的准确性和稳定性。

应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种环境自适应感知的目标跟踪系统，包括：模型构建模块402、数据获取模块404、目标跟踪信息提取模块406、路径预测模块408、参数计算模块410和更新模块412，其中：

模型构建模块402，用于构建环境感知与分析模型。

数据获取模块404，用于获取环境图像数据、激光雷达数据及4D毫米波雷达数据。

目标跟踪信息提取模块406，用于对图像数据进行检测，并判断是否存在视觉阻碍区域；若是，则通过4D毫米波雷达数据提取目标跟踪信息；若否，则通过激光雷达数据与4D毫米波雷达数据提取目标跟踪信息。

路径预测模块408，用于基于目标跟踪信息，采用CTRV车辆运动学模型进行车辆建模，并通过无迹卡尔曼滤波算法对跟踪目标进行状态估计，得到预测路径。

参数计算模块410，用于根据目标的实际运动与预测路径进行关联和匹配，得到更新参数。

更新模块412，用于基于更新参数，对跟踪目标的状态进行更新。

本发明提供的系统，将多种传感模式集成在一起，实现了在各种环境条件下对目标的高效、准确跟踪。

首先，本系统通过独特的自适应机制，根据环境变量(如烟雾、尘埃、光线变化等)自动调整传感器模式，确保在不利条件下也能保持对目标的准确识别和跟踪。这种自适应能力在传统的传感器技术中是缺乏的，它大大提高了系统的鲁棒性和可靠性。

其次，本系统不依赖单一传感技术，而是将激光雷达、4D毫米波雷达、以及视觉传感技术等多种模式融合使用。这种多模态融合可以补偿单一传感模式的不足，充分利用各自的优势，实现对目标的全方位、无死角的监控。

并且经过严格的测试和验证，本系统在烟尘环境条件下表现出色，能够有效处理复杂情况下的目标识别和跟踪问题。这一点不仅证明了本系统的高适应性，也展示了其在安全、交通、自动驾驶等领域的广泛应用前景。

虽然当前的系统已经具备强大的自适应跟踪能力，但本系统架构允许未来加入更多的传感模式和更先进的算法。这种开放性和可扩展性为系统的未来升级和应对更多元化的应用需求提供了可能性。

总之，本发明提出的的环境自适应多模态传感器融合目标跟踪系统是一个技术先进、应用广泛的创新成果。它标志着目标跟踪技术向更高层次的智能化、精确化发展迈出了坚实的一步，具有显著的实用价值和广阔的市场前景。

关于环境自适应感知的目标跟踪系统的具体限定可以参见上文中对于环境自适应感知的目标跟踪方法的限定，在此不再赘述。上述环境自适应感知的目标跟踪系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储环境自适应感知的目标跟踪数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种环境自适应感知的目标跟踪方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

步骤202，构建环境感知与分析模型。

步骤204，获取环境图像数据、激光雷达数据及4D毫米波雷达数据。

步骤206，对图像数据进行检测，并判断是否存在视觉阻碍区域；若是，则通过4D毫米波雷达数据提取目标跟踪信息；若否，则通过激光雷达数据与4D毫米波雷达数据提取目标跟踪信息。

步骤208，基于目标跟踪信息，采用CTRV车辆运动学模型进行车辆建模，并通过无迹卡尔曼滤波算法对跟踪目标进行状态估计，得到预测路径。

步骤210，通过匈牙利匹配算法对目标的实际运动与预测路径进行关联和匹配，得到更新参数。

步骤212，基于更新参数，对跟踪目标的状态进行更新。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。