一种基于多重特征相似性匹配算法的视觉多目标跟踪方法

技术领域

本发明涉及自动驾驶感知和安防监控领域。

背景技术

多目标跟踪是自动驾驶感知、智能监控等领域的核心技术，目前产业化应用的多目标跟踪方法主要是两阶段方式：第一阶段检测，然后再检测的基础上进行关联。当前检测技术随着深度学习理论的发展已经趋于成熟，精度已经达到较高的程度。但是在关联阶段，以SORT、DEEPSORT等为代表的算法普遍仅考虑了纹理和运动特征的相似性，缺乏对检测目标和已存在跟踪轨迹之间的时空特征相关性的考量，极大的限制了多目标跟踪的关联准确性。

发明内容

本发明目的是为了解决现有多目标跟踪方法缺少对检测目标和已存在跟踪轨迹之间的时空特征相关性考量，存在跟踪准确率低的问题，提供了一种基于多重特征相似性匹配算法的视觉多目标跟踪方法。

本发明所述一种基于多重特征相似性匹配算法的视觉多目标跟踪方法，包括：

步骤一、采用CenterNet目标检测算法对待检测视频流中含有目标的图像进行采集，并将采集的含有目标的图像采用紧邻矩形框的方式进行目标标识，获取t时刻含有目标的图像中目标集合B

步骤二、采用ResNet50网络对t时刻含有目标的图像中目标集合B

步骤三、采用空间特征融合深度神经网络对t时刻图像中每个目标的纹理特征与该时刻图像中其他目标的纹理特征进行空间融合，获取t时刻图像中每个目标空间融合后的纹理特征；

采用时空特征融合深度神经网络对t时刻历史轨迹集合T

步骤四、采用多重特征关联深度神经网络将每条历史轨迹时空融合后的纹理特征分别与t时刻图像中所有目标纹理特征分别进行融合，获取每条历史轨迹与t时刻图像中每个目标的相似性得分；

步骤五、利用每条历史轨迹与t时刻图像中每个目标特征的相似性得分构建相似性得分矩阵；

步骤六、利用所述相似性得分矩阵构建待匹配二分图；

步骤七、利用匈牙利算法和待匹配二分图，将t时刻图像中的目标分别与所述历史跟踪轨迹匹配跟踪，完成多目标跟踪。

进一步地，本发明中，步骤三中，获取t时刻图像中每个目标空间融合后的纹理特征的具体过程为：为：

对t时刻的任意目标j的文理特征

计算目标j的纹理与目标o1的纹理的空间注意力分数s

采用公式：

计算目标j的文理特征与目标o1的文理特征的空间注意力系数α

采用公式：

计算目标j空间融合后的纹理特征

进一步地，本发明中，步骤三中，获取每条历史轨迹时空融合后的纹理特征的具体过程为：

首先，对t时刻目标轨迹集合的每条历史轨迹进行空间融合；

对于t时刻的历史轨迹中目标i时刻τ的纹理特征

采用：

计算目标i与目标o2时刻τ的空间注意力分数s

采用：

计算目标i时刻τ的空间注意力系数α

采用：

获取空间融合后的目标i时刻τ的纹理特征

采用：

计算目标i的时间注意力分数s

计算目标i的时间注意力系数α

采用：

计算目标i的历史轨迹时空融合后的纹理特征

进一步地，本发明中，步骤四、采用多重特征关联深度神经网络将每条历史轨迹的纹理特征分别与t时刻目标纹理特征进行融合的具体方法为：

分别对每个目标历史轨迹时空融合后的纹理特征

进一步地，本发明中，每个目标历史轨迹时空融合后的纹理特征

其中，W

进一步地，本发明中，每个目标历史轨迹时空融合后的纹理特征

W

进一步地，本发明中，每个目标历史轨迹时空融合后的纹理特征

已跟踪轨迹的最后一个时刻检测目标框

其中，

进一步地，本发明中，每个目标历史轨迹时空融合后的纹理特征

对于已跟踪轨迹的最后一个检测目标i检测框

进一步地，本发明中，步骤四中，计算获取每条历史轨迹与t时刻目标的相似性得分的具体方法为：将纹理特征的拼接融合结果

进一步地，本发明中，全连接神经网络的目标函数为二分类交叉熵误差函数。

本发明针对视频流中当前时刻的彩色图像目标检测的结果集合，选取集合中任意被检测到的目标，再选取系统中当前存储的已经跟踪到的轨迹集合中的任意一条轨迹，通过计算二者之间的相似性得分，从而构建被检测的多个目标和已经存在的多条轨迹之间的待匹配二分图，进一步采用算法进行最终的目标跟踪结果匹配，基于图卷积的方法，很好的融合检测框的时空融合特征，在拓扑相关性、形变相关性、位置相关性和时空特征相关性4个维度进行更高精度的匹配和关联，有效的提高了多目标跟踪的准确性。

附图说明

图1是本发明所述方法的图；

图2是相似性得分计算原理图；

图3是目标检测结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

具体实施方式一：下面结合图1至图3说明本实施方式，本实施方式所述一种基于多重特征相似性匹配算法的视觉多目标跟踪方法，包括：

步骤一、采用CenterNet目标检测算法对待检测视频流中含有目标的图像进行采集，并将采集的含有目标的图像采用紧邻矩形框的方式进行目标标识，获取t时刻含有目标的图像中目标集合B

步骤二、采用ResNet50网络对t时刻含有目标的图像中目标集合B

步骤三、采用空间特征融合深度神经网络对t时刻图像中每个目标的纹理特征与该时刻图像中其他目标的纹理特征进行空间融合，获取t时刻图像中每个目标空间融合后的纹理特征；

采用时空特征融合深度神经网络对t时刻历史轨迹集合T

步骤四、采用多重特征关联深度神经网络将每条历史轨迹时空融合后的纹理特征分别与t时刻图像中所有目标纹理特征分别进行融合，获取每条历史轨迹与t时刻图像中每个目标的相似性得分；

步骤五、利用每条历史轨迹与t时刻图像中每个目标特征的相似性得分构建相似性得分矩阵；

步骤六、利用所述相似性得分矩阵构建待匹配二分图；

步骤七、利用匈牙利算法和待匹配二分图，将t时刻图像中的目标分别与所述历史跟踪轨迹匹配跟踪，完成多目标跟踪。

本实施方式中，本实施方式中所述历史轨迹集合T

进一步地，本实施方式中，步骤三中，获取t时刻图像中每个目标空间融合后的纹理特征的具体过程为：

对t时刻的任意目标j的文理特征

计算目标j的纹理与目标o1的纹理的空间注意力分数s

采用公式：

计算目标j的文理特征与目标o1的文理特征的空间注意力系数α

采用公式：

计算目标j空间融合后的纹理特征

进一步地，本实施方式中，步骤三中，获取每条历史轨迹时空融合后的纹理特征的具体过程为：

首先，对t时刻目标轨迹集合的每条历史轨迹进行空间融合；

对于t时刻的历史轨迹中目标i时刻τ的纹理特征

采用：

计算目标i与目标o2时刻τ的空间注意力分数s

采用：

计算目标i时刻τ的空间注意力系数α

采用：

获取空间融合后的目标i时刻τ的纹理特征

采用：

计算目标i的时间注意力分数s

采用：

计算目标i的时间注意力系数α

采用：

计算目标i的历史轨迹时空融合后的纹理特征

进一步地，本实施方式中，步骤四、采用多重特征关联深度神经网络将每条历史轨迹的纹理特征分别与t时刻目标纹理特征进行融合的具体方法为：

分别对每个目标历史轨迹时空融合后的纹理特征

进一步地，本发明中，每个目标历史轨迹时空融合后的纹理特征

其中，W

进一步地，本实施方式中，每个目标历史轨迹时空融合后的纹理特征

W

进一步地，本实施方式中，每个目标历史轨迹时空融合后的纹理特征

已跟踪轨迹的最后一个时刻检测目标框

其中，

进一步地，本实施方式中，每个目标历史轨迹时空融合后的纹理特征

对于已跟踪轨迹的最后一个检测目标i检测框

进一步地，本实施方式中，步骤四中，计算获取每条历史轨迹与t时刻目标的相似性得分的具体方法为：将纹理特征的拼接融合结果

进一步地，本实施方式中，全连接神经网络的目标函数为二分类交叉熵误差函数。

本发明中，为了将被检测的目标与已经存在的轨迹进行关联匹配，需要将它们分别输入到一个特征网络进行纹理特征的提取。这里采用ResNet50网络进行特征提取。具体做法是：首先在ImageNet数据集上做分类任务，训练得到ResNet50的基本网络，进一步，利用跟踪的数据集(取决于应用本发明的具体数据集)对所获得的ResNet50基本网络在分类任务下进一步微调，去掉最终的softmax分类层，从而获得最后的特征提取层。将特征提取层输出的向量作为纹理特征向量。

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。