一种基于自监督的多源传感器融合的多目标跟踪方法

技术领域

本发明涉及的是一种多元传感器融合处理领域的技术，具体是一种基于自监督的多源传感器融合的多目标跟踪方法及系统，可以用于自然场景的多目标跟踪中，比如，自动驾驶动态目标跟踪。

背景技术

现有的多目标跟踪方法一般均基于深度学习的方法训练实现，由于深度学习训练需要大量标注好的训练数据且有标注的数据集的跟踪场景受到一定的限制，从而导致训练出的模型缺乏一定的泛化能力。自监督视觉目标跟踪方法相应解决这些问题，着重于寻找一个合适的辅助任务以及自监督信号，并直接使用原始数据进行训练，因此采样训练数据以及训练方式将实质性影响模型的自监督训练，进而决定自监督多目标跟踪方法的效果。

现有的多目标跟踪算法大多是基于自监督学习,然而多目标跟踪数据集的标注需要逐帧寻找不同图像间的相同目标,需花费巨大的时间和经济成本。设计基于自监督学习的多目标跟踪算法有助于减少人工标注数据的开销,然而，由于缺乏对跟踪目标的先验知识,自监督多目标跟踪任务具有很大的挑战性。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于自监督的多源传感器的目标跟踪方法及系统，通过移除运动信息和IoU映射，学习并结合有效的数据增强操作进行循环一致性学习，辅以增强对比一致性的联合损失函数，不仅能让模型进行自监督训练，还能让模型学到不同数据增强下搜索响应的一致性，从而学到更加鲁棒的自监督表征并显著提高跟踪性能。

本发明技术方案实现，其特征在于，包括以下步骤：

A1.本发明涉及一种基于自监督的多源传感器融合的多目标跟踪方法，包括：融合阶段和跟踪阶段。

步骤1)融合阶段：获取不同传感器数据、构建多源传感器融合框架、设计联合损失函数以及训练模型，具体包括：

步骤1.1)对于获取的一个连续的2D和3D数据流，在预设的一段时间间隔内，采用随机采样的方式来选择两个帧数据作为一组训练数据，通过检测到的3D目标的反射噪声，和2D目标在图相中的位置来联合决定对于传感器融合模型框架的影响。

f(x,y)＝w

＝w

其中f(x,y)为道路目标反射噪声的物理参数和目标的位置参数对传感器融合模型的影响，w

步骤1.2)构建一个基于分类交叉熵损失函数和广义IoU回归损失函数的联合损失函数。

分类交叉熵损失函数：

CE_loss＝-Σ(y_i*log(p_i))

其中，Σ表示对所有检测框的求和，y_i表示真实类别标签的独热编码形式，log(p_i)表示模型对每个类别的对数概率

广义IoU回归损失函数：

GLoU_loss＝1-IoU(b_i,g_i)+(∣C_b_i∣∪∣C_g_i∣)/∣C_b_i∪C_g_i∣)

其中，IoU(b

联合损失函数：

Total_loss＝CE_loss+λ*GIoU_loss

其中：CE_loss是分类交叉熵损失，用于测量目标检测中的类别分类性能。GIoU_loss是广义IoU回归损失，用于测量目标检测中的边界框回归性能。λ是用来平衡分类损失和回归损失的超参数。这个超参数可以根据具体的任务和数据集来调整，以确定哪个损失的重要性更高。

A2.跟踪阶段包括：外观模型搭建，方法框架中的外观模型是使用具有ResNet50骨干的MoCo-v2模型，该模型从检测到的边界框中提取特征表示。

A3.构建预测框模型：

其中H

优选地，进一步将模型预测的跟踪框与测试集所对应的跟踪框标注进行对比，计算出目标跟踪的成功率和精确度。

本发明涉及一种实现上述方法的系统，包括：多源传感器融合框架、相关跟踪模块、损失函数模块，外观模型，其中：多源传感器融合框架与相关跟踪模块相连并传输融合数据，跟踪模块提取到的输入的特征信息进行自监督学习，完成外观模型；相关预测框的输出即为跟踪结果。

本发明的有益效果为：目前多源传感器的多目标跟踪算法精度还不是很高，于是基于自监督的多源传感器融合的多目标跟踪方法的研究应运而生，本发明通过自监督学习的跟踪模块，提升了目标跟踪的精度、效率，可为商用车和工业场景等提供更好的安全性和效率，减少事故发生的可能性。

附图说明

图1为本发明实施的方案流程图。

图2为本发明的多源传感器融合框架。

图3为本发明的自监督跟踪模块框架。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、模块和/或框架的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、模块和/或其集合的存在或添加。还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

一种基于自监督的多源传感器的目标跟踪方法，其特征在于，包括以下步骤：

A1.根据获取的2D和3D数据信息，解析反射噪声、目标的位置参数对传感器融合模型框架的影响：

f(x,y)＝w

＝w

其中f(x,y)为道路目标反射噪声的物理参数和目标的位置参数对传感器融合模型框架的影响，w

A2.数据处理，将坐标点分为x集合、y集合、z集合的3组数据，分别进行预测；

A3.构建预测框模型：

其中H

预测坐标点的模型：

其中

其中

步骤A1中的7个参数为传感器获取的参数，参数种类：目标的距离、中心点坐标、纵向坐标、横向坐标、反射噪声、纵向速度和横向速度。

步骤A1中的3个目标位置参数为目标检测的实际坐标，分别是获取的2D估计距离和3D的真实距离，通过坐标转换，最终获得实际位置。

步骤A3中的预测框模型的输出为预测的目标坐标点集。

所述的自监督的多源传感器的目标跟踪方法，是一个框架模型，包括：多源传感器的数据融合模型框架，自监督学习的跟踪模型框架；可以根据传感器输入的目标参数、位置信息参数，预测出目标轨迹的模型。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。