掌桥专利:专业的专利平台
掌桥专利
首页

一种目标跟踪方法、装置、设备及介质

文献发布时间:2023-06-19 19:30:30


一种目标跟踪方法、装置、设备及介质

技术领域

本发明涉及计算机视觉技术领域,特别涉及一种目标跟踪方法、装置、设备及介质。

背景技术

目前应用最成熟的跟踪方法是:基于检测的跟踪方式。第一阶段使用检测模型得到检测结果;第二阶段使用距离或者特征匹配的方法,将检测结果和上一帧跟踪结果进行匹配。然而现有的跟踪方法存在以下问题:在多帧连续丢失后,当跟踪目标重新出现时,检测目标与跟踪预测结果没有交集,从而无法匹配,最终导致丢失目标无法再次进行匹配,造成跟踪ID切换的问题。

综上,如何增加匹配成功率,以持续的进行目标跟踪,避免丢失目标无法再次进行匹配是目前有待解决的问题。

发明内容

有鉴于此,本发明的目的在于提供一种目标跟踪方法、装置、设备及介质,能够增加匹配成功率,以持续的进行目标跟踪,避免丢失目标无法再次进行匹配。其具体方案如下:

第一方面,本申请公开了一种目标跟踪方法,包括:

对当前帧中的各目标进行检测以获取检测结果集合,并确定所述检测结果集合中的高分检测结果集合和低分检测结果集合;

将所述高分检测结果集合与上一帧的预测结果进行匹配,将匹配成功的高分检测结果更新对应预测结果,并将更新后的预测结果放入跟踪集合,以及将匹配失败的高分检测结果和预测结果分别放入第一检测遗留集合和第一预测结果集合;

将所述低分检测结果集合和所述第一预测结果集合进行匹配,将匹配成功的低分检测结果更新对应预测结果,并将更新后的预测结果放入所述跟踪集合,以及丢弃匹配失败的低分检测结果,并将匹配失败的预测结果放入第二预测结果集合;

将所述第一检测遗留集合与所述第二预测结果集合进行匹配,将匹配成功的高分检测结果更新对应预测结果,并将更新后的预测结果放入所述跟踪集合,以及将匹配失败的高分检测结果和预测结果分别放入第二检测遗留集合和丢失跟踪集合;

初始化所述第二检测遗留集合中的高分检测结果,并将初始化后的高分检测结果放入所述跟踪集合,以便基于所述跟踪集合返回目标跟踪结果;

其中,所述将所述第一检测遗留集合与所述第二预测结果集合进行匹配,包括:

基于CIoU方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的CIoU距离代价;

基于余弦相似度方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的外观特征距离代价;

从所述CIoU距离代价和所述外观特征距离代价中确定出目标代价值,并基于目标代价值确定出匹配结果。

可选的,所述对当前帧中的各目标进行检测以获取检测结果集合,包括:

利用目标检测器对当前帧进行检测以获取与各目标对应的检测结果和检测分数,并基于各所述检测结果构建检测结果集合。

可选的,所述确定所述检测结果集合中的高分检测结果集合和低分检测结果集合,包括:

确定预先设置的检测分数阈值,并基于所述检测分数阈值和与各目标对应的检测分数确定出所述检测结果集合中的高分检测结果集合和低分检测结果集合。

可选的,所述将所述高分检测结果集合与上一帧的预测结果进行匹配之前,还包括:

利用卡尔曼预测方法对上一帧的跟踪结果进行预测,以得到上一帧的预测结果。

可选的,所述从所述CIoU距离代价和所述外观特征距离代价中确定出目标代价值,并基于目标代价值确定出匹配结果,包括:

将所述CIoU距离代价和所述外观特征距离代价中的较小值作为目标代价值,并判断所述目标代价值是否小于预设代价阈值;

若所述目标代价值小于所述预设代价阈值,则匹配结果为匹配成功;

若所述目标代价值不小于所述预设代价阈值,则匹配结果为匹配失败。

可选的,所述基于余弦相似度方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的外观特征距离代价,包括:

利用预设CIoU阈值和预设外观特征阈值确定出余弦相似度;

判断所述余弦相似度和所述CIoU距离是否分别小于对应的所述预设外观特征阈值和所述预设CIoU阈值;

若是,则利用所述余弦相似度和预设系数确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的外观特征距离待代价;

若否,则将所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的外观特征距离代价确定为1。

第二方面,本申请公开了一种目标跟踪装置,包括:

检测结果获取模块,用于对当前帧中的各目标进行检测以获取检测结果集合,并确定所述检测结果集合中的高分检测结果集合和低分检测结果集合;

第一匹配模块,用于将所述高分检测结果集合与上一帧的预测结果进行匹配,将匹配成功的高分检测结果更新对应预测结果,并将更新后的预测结果放入跟踪集合,以及将匹配失败的高分检测结果和预测结果分别放入第一检测遗留集合和第一预测结果集合;

第二匹配模块,用于将所述低分检测结果集合和所述第一预测结果集合进行匹配,将匹配成功的低分检测结果更新对应预测结果,并将更新后的预测结果放入所述跟踪集合,以及丢弃匹配失败的低分检测结果,并将匹配失败的预测结果放入第二预测结果集合;

第三匹配模块,用于将所述第一检测遗留集合与所述第二预测结果集合进行匹配,将匹配成功的高分检测结果更新对应预测结果,并将更新后的预测结果放入所述跟踪集合,以及将匹配失败的高分检测结果和预测结果分别放入第二检测遗留集合和丢失跟踪集合;

跟踪结果获取模块,用于初始化所述第二检测遗留集合中的高分检测结果,并将初始化后的高分检测结果放入所述跟踪集合,以便基于所述跟踪集合返回目标跟踪结果;

其中,所述第三匹配模块,具体用于:

基于CIoU方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的CIoU距离代价;

基于余弦相似度方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的外观特征距离代价;

从所述CIoU距离代价和所述外观特征距离代价中确定出目标代价值,并基于目标代价值确定出匹配结果。

第三方面,本申请公开了一种电子设备,包括:

存储器,用于保存计算机程序;

处理器,用于执行所述计算机程序,以实现前述公开的目标跟踪方法的步骤。

第四方面,本申请公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的目标跟踪方法的步骤。

可见,本申请对当前帧中的各目标进行检测以获取检测结果集合,并确定所述检测结果集合中的高分检测结果集合和低分检测结果集合;将所述高分检测结果集合与上一帧的预测结果进行匹配,将匹配成功的高分检测结果更新对应预测结果,并将更新后的预测结果放入跟踪集合,以及将匹配失败的高分检测结果和预测结果分别放入第一检测遗留集合和第一预测结果集合;将所述低分检测结果集合和所述第一预测结果集合进行匹配,将匹配成功的低分检测结果更新对应预测结果,并将更新后的预测结果放入所述跟踪集合,以及丢弃匹配失败的低分检测结果,并将匹配失败的预测结果放入第二预测结果集合;将所述第一检测遗留集合与所述第二预测结果集合进行匹配,将匹配成功的高分检测结果更新对应预测结果,并将更新后的预测结果放入所述跟踪集合,以及将匹配失败的高分检测结果和预测结果分别放入第二检测遗留集合和丢失跟踪集合;初始化所述第二检测遗留集合中的高分检测结果,并将初始化后的高分检测结果放入所述跟踪集合,以便基于所述跟踪集合返回目标跟踪结果。其中,所述将所述第一检测遗留集合与所述第二预测结果集合进行匹配,包括:基于CIoU方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的CIoU距离代价;基于余弦相似度方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的外观特征距离代价;从所述CIoU距离代价和所述外观特征距离代价中确定出目标代价值,并基于目标代价值确定出匹配结果。

由此可见,本申请将当前帧的高分检测结果集合和低分检测结果集合先后分别与上一帧的预测结果进行匹配后,得到由未匹配成功的高分检测结果构成的第一检测遗留集合以及由未匹配成功的预测结果构成的第二预测结果集合;然后再将第一检测遗留集合和第二预测结果集合进行再次匹配,若匹配成功,则利用对应的高分检测结果更新预测结果,并将更新后的预测结果放入跟踪集合,若匹配失败,则将对应的高分检测结果和预测结果分别放入第二检测遗留集合和丢失跟踪集合,最后初始化第二检测遗留集合中的高分检测结果,并将初始化后的高分检测结果放入跟踪集合,以便基于跟踪集合返回最终的目标跟踪结果。具体的,在将第一检测遗留集合与第二预测结果集合进行匹配时,计算距离时使用到的匹配方法是CIoU方法,计算检测目标与跟踪目标的外观特征距离时,用到了余弦相似度的计算方式,并从CIoU距离代价和外观特征距离代价中确定出最终的目标代价值,并基于目标代价值确定出匹配结果,以使得目标代价值能够准确反应检测目标与上一帧跟踪目标之间的最终代价,增加匹配成功率,减少跟踪目标ID切换现象。也即,本申请在原有跟踪流程的基础上,还增加了第一检测遗留集合和第二预测结果集合的匹配流程,能够进一步将匹配范围扩大到周边区域,以增加匹配成功率,解决丢失目标无法再次进行匹配导致的目标无法持续跟踪的问题,并减少跟踪目标ID切换的现象。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为本申请公开的一种目标跟踪方法流程图;

图2为本申请公开的一种具体的匹配流程图;

图3为本申请公开的一种检测目标和跟踪目标的位置示意图;

图4为本申请公开的一种目标跟踪装置结构示意图;

图5为本申请公开的一种电子设备结构图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

现有的跟踪方法存在以下问题:在多帧连续丢失后,当跟踪目标重新出现时,检测目标与跟踪预测结果没有交集,从而无法匹配,最终导致丢失目标无法再次进行匹配,造成跟踪ID切换的问题。为此,本申请实施例公开了一种目标跟踪方法、装置、设备及介质,能够增加匹配成功率,以持续的进行目标跟踪,避免丢失目标无法再次进行匹配。

参见图1所示,本申请实施例公开了一种目标跟踪方法,该方法包括:

步骤S11:对当前帧中的各目标进行检测以获取检测结果集合,并确定所述检测结果集合中的高分检测结果集合和低分检测结果集合。

本实施例中,获取待遍历的视频

在具体实施方式中,上述对当前帧中的各目标进行检测以获取检测结果集合,具体包括:利用目标检测器对当前帧进行检测以获取与各目标对应的检测结果和检测分数,并基于各所述检测结果构建检测结果集合。

进一步的,在具体实施方式中,上述确定所述检测结果集合中的高分检测结果集合和低分检测结果集合,包括:确定预先设置的检测分数阈值,并基于所述检测分数阈值和与各目标对应的检测分数确定出所述检测结果集合中的高分检测结果集合和低分检测结果集合。

可以理解的是,本实施例利用目标检测器

步骤S12:将所述高分检测结果集合与上一帧的预测结果进行匹配,将匹配成功的高分检测结果更新对应预测结果,并将更新后的预测结果放入跟踪集合,以及将匹配失败的高分检测结果和预测结果分别放入第一检测遗留集合和第一预测结果集合。

本实施例中,将高分检测结果集合

需要指出的是,在具体实施方式中,上述将所述高分检测结果集合与上一帧的预测结果进行匹配之前,还包括:利用卡尔曼预测方法对上一帧的跟踪结果进行预测,以得到上一帧的预测结果。可以理解的是,上一帧的预测结果是通过将上一帧的跟踪结果

步骤S13:将所述低分检测结果集合和所述第一预测结果集合进行匹配,将匹配成功的低分检测结果更新对应预测结果,并将更新后的预测结果放入所述跟踪集合,以及丢弃匹配失败的低分检测结果,并将匹配失败的预测结果放入第二预测结果集合。

本实施例中,将低分检测结果集合

步骤S14:将所述第一检测遗留集合与所述第二预测结果集合进行匹配,将匹配成功的高分检测结果更新对应预测结果,并将更新后的预测结果放入所述跟踪集合,以及将匹配失败的高分检测结果和预测结果分别放入第二检测遗留集合和丢失跟踪集合。

本实施例中,将第一检测遗留集合

具体的,参见图2所示,本申请实施例给出了在将第一检测遗留集合与所述第二预测结果集合进行匹配的具体步骤,包括:

步骤S141:基于CIoU方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的CIoU距离代价;基于余弦相似度方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的外观特征距离代价。

本实施例中,在将第一检测遗留集合与第二预测结果集合进行匹配时,使用到的匹配方法是CIoU方法。通过使用CIoU方法能够更好的反应检测目标框与跟踪目标框的距离,并且在检测目标框与跟踪目标框没有相交时,也能得到距离参数,进行匹配。首先基于CIoU方法确定出第一检测遗留集合中高分检测结果和第二预测结果集合中预测结果之间的CIoU距离代价,并基于余弦相似度方法确定出第一检测遗留集合中高分检测结果和第二预测结果集合中预测结果之间的外观特征距离代价。可以理解的是,匹配数值的计算有两部分,一部分是距离计算,本实施例额外的匹配使用的是CIoU;第二部分是计算检测目标与跟踪目标的外观特征距离,本实施例使用余弦相似度的计算方式。

在具体实施方式中,上述基于余弦相似度方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的外观特征距离代价,包括:利用预设CIoU阈值和预设外观特征阈值确定出余弦相似度;判断所述余弦相似度和所述CIoU距离是否分别小于对应的所述预设外观特征阈值和所述预设CIoU阈值;若是,则利用所述余弦相似度和预设系数确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的外观特征距离待代价;若否,则将所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的外观特征距离代价确定为1。本实施例中,特征相似度计算方式是特征的余弦距离,由于ByteTrack 只计算距离,不使用特征相似度,之所以不延续ByteTrack跟踪流程中的匹配方式,是因为匹配的范围扩大了,有可能计算CIoU时,其他目标检测框也匹配到了,因此使用特征的余弦相似度来进一步约束匹配。在余弦相似度小于预设外观特征阈值,且CIoU距离也小于预设CIoU阈值时,外观特征距离待代价为预设系数与余弦相似度的乘积;否则,则将外观特征距离代价设置为1。可以理解的是,当余弦相似度和CIoU距离不小于各自对应的阈值时,说明检测结果和跟踪结果对应的并非同一个目标,因此,通过设置代价值为1,以确保后续匹配结果为匹配失败。

具体公式如下:

其中,

例如参见图3中所示,跟踪目标丢失并再次出现时,由于预测误差或者检测误差的问题,跟踪目标的预测框和对应的检测框并不一定有重叠区域,造成 IoU长度值是0,导致两者无法匹配到,而本申请通过增加额外的匹配流程可以有效地解决这一问题。图中实线框表示检测目标,分别表示为1’、2’、3’,虚线框表示跟踪目标,分别表示为1、2、3,相同数字为同一目标。在实线框与虚线框没有相交时,通过设定CIoU阈值,也可以进行匹配。并且,本申请中额外的匹配流程没有干扰原有跟踪流程的匹配逻辑,可以适用于当前大部分的跟踪流程里,实现即插即用。

步骤S142:从所述CIoU距离代价和所述外观特征距离代价中确定出目标代价值,并基于目标代价值确定出匹配结果。

本实施例中,上述从所述CIoU距离代价和所述外观特征距离代价中确定出目标代价值,并基于目标代价值确定出匹配结果,具体包括:将所述CIoU距离代价和所述外观特征距离代价中的较小值作为目标代价值,并判断所述目标代价值是否小于预设代价阈值;若所述目标代价值小于所述预设代价阈值,则匹配结果为匹配成功;若所述目标代价值不小于所述预设代价阈值,则匹配结果为匹配失败。可以理解的是,本实施例对CIoU距离代价和外观特征距离代价进行融合,选取CIoU距离代价和外观特征距离代价中的较小值,作为最终的目标代价值,并在目标代价值满足代价阈值条件时才可成功匹配。具体的,若目标代价值小于预设代价阈值,则匹配结果为匹配成功;若目标代价值不小于预设代价阈值,则匹配结果为匹配失败。相比于现有技术中使用加权平均的方式将距离代价和特征代价进行加权和得到最终代价值的方案,本申请得到的目标代价值能够准确反应检测目标与上一帧跟踪目标之间的最终代价,有效增加了匹配成功率,减少跟踪目标ID切换现象。

步骤S15:初始化所述第二检测遗留集合中的高分检测结果,并将初始化后的高分检测结果放入所述跟踪集合,以便基于所述跟踪集合返回目标跟踪结果。

本实施例中,初始化第二检测遗留集合

可见,本申请对当前帧中的各目标进行检测以获取检测结果集合,并确定所述检测结果集合中的高分检测结果集合和低分检测结果集合;将所述高分检测结果集合与上一帧的预测结果进行匹配,将匹配成功的高分检测结果更新对应预测结果,并将更新后的预测结果放入跟踪集合,以及将匹配失败的高分检测结果和预测结果分别放入第一检测遗留集合和第一预测结果集合;将所述低分检测结果集合和所述第一预测结果集合进行匹配,将匹配成功的低分检测结果更新对应预测结果,并将更新后的预测结果放入所述跟踪集合,以及丢弃匹配失败的低分检测结果,并将匹配失败的预测结果放入第二预测结果集合;将所述第一检测遗留集合与所述第二预测结果集合进行匹配,将匹配成功的高分检测结果更新对应预测结果,并将更新后的预测结果放入所述跟踪集合,以及将匹配失败的高分检测结果和预测结果分别放入第二检测遗留集合和丢失跟踪集合;初始化所述第二检测遗留集合中的高分检测结果,并将初始化后的高分检测结果放入所述跟踪集合,以便基于所述跟踪集合返回目标跟踪结果。其中,所述将所述第一检测遗留集合与所述第二预测结果集合进行匹配,包括:基于CIoU方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的CIoU距离代价;基于余弦相似度方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的外观特征距离代价;从所述CIoU距离代价和所述外观特征距离代价中确定出目标代价值,并基于目标代价值确定出匹配结果。

由此可见,本申请将当前帧的高分检测结果集合和低分检测结果集合先后分别与上一帧的预测结果进行匹配后,得到由未匹配成功的高分检测结果构成的第一检测遗留集合以及由未匹配成功的预测结果构成的第二预测结果集合;然后再将第一检测遗留集合和第二预测结果集合进行再次匹配,若匹配成功,则利用对应的高分检测结果更新预测结果,并将更新后的预测结果放入跟踪集合,若匹配失败,则将对应的高分检测结果和预测结果分别放入第二检测遗留集合和丢失跟踪集合,最后初始化第二检测遗留集合中的高分检测结果,并将初始化后的高分检测结果放入跟踪集合,以便基于跟踪集合返回最终的目标跟踪结果。具体的,在将第一检测遗留集合与第二预测结果集合进行匹配时,计算距离时使用到的匹配方法是CIoU方法,计算检测目标与跟踪目标的外观特征距离时,用到了余弦相似度的计算方式,并从CIoU距离代价和外观特征距离代价中确定出最终的目标代价值,并基于目标代价值确定出匹配结果,以使得目标代价值能够准确反应检测目标与上一帧跟踪目标之间的最终代价,增加匹配成功率,减少跟踪目标ID切换现象。也即,本申请在原有跟踪流程的基础上,还增加了第一检测遗留集合和第二预测结果集合的匹配流程,能够进一步将匹配范围扩大到周边区域,以增加匹配成功率,解决丢失目标无法再次进行匹配导致的目标无法持续跟踪的问题,并减少跟踪目标ID切换的现象。

参见图4所示,本申请实施例公开了一种目标跟踪装置,该装置包括:

检测结果获取模块11,用于对当前帧中的各目标进行检测以获取检测结果集合,并确定所述检测结果集合中的高分检测结果集合和低分检测结果集合;

第一匹配模块12,用于将所述高分检测结果集合与上一帧的预测结果进行匹配,将匹配成功的高分检测结果更新对应预测结果,并将更新后的预测结果放入跟踪集合,以及将匹配失败的高分检测结果和预测结果分别放入第一检测遗留集合和第一预测结果集合;

第二匹配模块13,用于将所述低分检测结果集合和所述第一预测结果集合进行匹配,将匹配成功的低分检测结果更新对应预测结果,并将更新后的预测结果放入所述跟踪集合,以及丢弃匹配失败的低分检测结果,并将匹配失败的预测结果放入第二预测结果集合;

第三匹配模块14,用于将所述第一检测遗留集合与所述第二预测结果集合进行匹配,将匹配成功的高分检测结果更新对应预测结果,并将更新后的预测结果放入所述跟踪集合,以及将匹配失败的高分检测结果和预测结果分别放入第二检测遗留集合和丢失跟踪集合;

跟踪结果获取模块15,用于初始化所述第二检测遗留集合中的高分检测结果,并将初始化后的高分检测结果放入所述跟踪集合,以便基于所述跟踪集合返回目标跟踪结果;

其中,所述第三匹配模块13,具体用于:

基于CIoU方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的CIoU距离代价;

基于余弦相似度方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的外观特征距离代价;

从所述CIoU距离代价和所述外观特征距离代价中确定出目标代价值,并基于目标代价值确定出匹配结果。

可见,本申请对当前帧中的各目标进行检测以获取检测结果集合,并确定所述检测结果集合中的高分检测结果集合和低分检测结果集合;将所述高分检测结果集合与上一帧的预测结果进行匹配,将匹配成功的高分检测结果更新对应预测结果,并将更新后的预测结果放入跟踪集合,以及将匹配失败的高分检测结果和预测结果分别放入第一检测遗留集合和第一预测结果集合;将所述低分检测结果集合和所述第一预测结果集合进行匹配,将匹配成功的低分检测结果更新对应预测结果,并将更新后的预测结果放入所述跟踪集合,以及丢弃匹配失败的低分检测结果,并将匹配失败的预测结果放入第二预测结果集合;将所述第一检测遗留集合与所述第二预测结果集合进行匹配,将匹配成功的高分检测结果更新对应预测结果,并将更新后的预测结果放入所述跟踪集合,以及将匹配失败的高分检测结果和预测结果分别放入第二检测遗留集合和丢失跟踪集合;初始化所述第二检测遗留集合中的高分检测结果,并将初始化后的高分检测结果放入所述跟踪集合,以便基于所述跟踪集合返回目标跟踪结果。其中,所述将所述第一检测遗留集合与所述第二预测结果集合进行匹配,包括:基于CIoU方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的CIoU距离代价;基于余弦相似度方法确定出所述第一检测遗留集合中高分检测结果和所述第二预测结果集合中预测结果之间的外观特征距离代价;从所述CIoU距离代价和所述外观特征距离代价中确定出目标代价值,并基于目标代价值确定出匹配结果。

由此可见,本申请将当前帧的高分检测结果集合和低分检测结果集合先后分别与上一帧的预测结果进行匹配后,得到由未匹配成功的高分检测结果构成的第一检测遗留集合以及由未匹配成功的预测结果构成的第二预测结果集合;然后再将第一检测遗留集合和第二预测结果集合进行再次匹配,若匹配成功,则利用对应的高分检测结果更新预测结果,并将更新后的预测结果放入跟踪集合,若匹配失败,则将对应的高分检测结果和预测结果分别放入第二检测遗留集合和丢失跟踪集合,最后初始化第二检测遗留集合中的高分检测结果,并将初始化后的高分检测结果放入跟踪集合,以便基于跟踪集合返回最终的目标跟踪结果。具体的,在将第一检测遗留集合与第二预测结果集合进行匹配时,计算距离时使用到的匹配方法是CIoU方法,计算检测目标与跟踪目标的外观特征距离时,用到了余弦相似度的计算方式,并从CIoU距离代价和外观特征距离代价中确定出最终的目标代价值,并基于目标代价值确定出匹配结果,以使得目标代价值能够准确反应检测目标与上一帧跟踪目标之间的最终代价,增加匹配成功率,减少跟踪目标ID切换现象。也即,本申请在原有跟踪流程的基础上,还增加了第一检测遗留集合和第二预测结果集合的匹配流程,能够进一步将匹配范围扩大到周边区域,以增加匹配成功率,解决丢失目标无法再次进行匹配导致的目标无法持续跟踪的问题,并减少跟踪目标ID切换的现象。

图5为本申请实施例提供的一种电子设备的结构示意图。具体可以包括:至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载并执行,以实现前述任一实施例公开的由电子设备执行的目标跟踪方法中的相关步骤。

本实施例中,电源23用于为电子设备20上的各硬件设备提供工作电压;通信接口24能够为电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。

其中,处理器21可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器21可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器21还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。

另外,存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源包括操作系统221、计算机程序222及数据223等,存储方式可以是短暂存储或者永久存储。

其中,操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222,以实现处理器21对存储器22中海量数据223的运算与处理,其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的目标跟踪方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部设备传输进来的数据,也可以包括由自身输入输出接口25采集到的数据等。

进一步的,本申请实施例还公开了一种计算机可读存储介质,所述存储介质中存储有计算机程序,所述计算机程序被处理器加载并执行时,实现前述任一实施例公开的由目标跟踪过程中执行的方法步骤。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的一种目标跟踪方法、装置、设备及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

技术分类

06120115936173