目标检测与跟踪方法、装置、电子设备及存储介质

技术领域

本公开涉及图像技术领域，具体涉及一种目标检测与跟踪方法、装置、电子设备及存储介质。

背景技术

随着互联网技术的发展，目标的检测跟踪越来越被广泛的应用于各种场景。目标的检测跟踪作为图像处理技术中的重要组成，包含目标检测和目标跟踪两个子任务。目标检测可以理解为在图像中检测出目标对象后将其分类的过程。而目标跟踪则可以理解为以一图像序列的某一图像帧为起点，利用手动选定或者目标检测给出的目标，在后续帧中不断得到目标的运动状态的过程。

单独使用目标检测方法虽然能很好地得到所有目标的位置并且标注其类别，但是检测的处理速度偏慢。单独使用目标检测与跟踪方法需要手动给定要跟踪的目标初始位置，其次对于新出现的目标无法进行处理，虽然速度较快，但是无法应对实际场景。

已有技术中虽然有将目标检测与目标跟踪融合到同一个系统的方案，例如通过对图像帧序列进行抽样检测，进而根据检测结果进行跟踪的方案，但是这种方案的目标跟踪速度慢，无法达到多路实时跟踪的效果，因此无法应用于交通等实时抓拍场景中。因此，如何提高目标跟踪的实时处理速度以适应交通等实时抓拍场景的需求是本领域需要解决的技术问题之一。

发明内容

本公开实施例提供一种目标检测与跟踪方法、装置、电子设备及计算机可读存储介质。

第一方面，本公开实施例中提供了一种目标检测与跟踪方法，包括：

接收图像序列，所述图像序列包括图像采集时间连续的多张图像帧；

对所述图像序列进行周期划分，将每个周期的第N个图像帧标识为检测帧，且将所述检测帧之后连续预定数量个图像帧标识为与所述检测帧属于同一周期的跟踪帧；其中，N为正整数；

按照图像采集时间的先后顺序对所述图像序列进行目标检测与跟踪处理，获得目标检测与跟踪信息；其中，在目标检测与跟踪处理过程中，从所述检测帧中检测目标，并从与所述检测帧同属同一周期的预定数量个所述跟踪帧中跟踪所检测出来的所述目标。

进一步地，在目标检测与跟踪处理过程中，将上一周期中跟踪到、且未在当前周期的检测帧中成功匹配到的目标确定为已完成跟踪目标，并在所述当前周期的跟踪帧中继续跟踪未完成跟踪目标，所述未完成跟踪目标包括与当前周期的检测帧中检测到的目标属于同一目标且上一周期中跟踪到的目标，以及当前周期的检测帧中检测到而上一周期中未跟踪到的目标。

进一步地，按照图像采集时间的先后顺序对所述图像序列进行目标检测与跟踪处理，获得目标检测与跟踪信息，包括：

从所述图像序列中获取未处理且图像采集时间最早的图像帧；

在所述图像帧为检测帧时，从所述检测帧中检测目标；

在所述图像帧为跟踪帧时，在所述跟踪帧中跟踪同一周期中所述检测帧中检测到的所述目标。

进一步地，所述在所述图像帧为检测帧时，从所述检测帧中检测目标，包括：

从所述检测帧中检测得到第一目标；

将所述第一目标与上一周期中跟踪到的第二目标进行匹配；

将与所述第一目标未匹配的所述第二目标作为已完成跟踪目标，并输出所述已完成跟踪目标在上一周期中跟踪得到的目标检测与跟踪信息。

进一步地，所述在所述图像帧为检测帧时，从所述检测帧中检测目标，包括：

利用预训练的目标检测模型从所述检测帧中获取目标检测框；

利用预训练的目标识别模型获取所述目标检测框内的图像对应的目标类别；

根据所述目标类别从所述目标检测框筛选出所述目标。

进一步地，根据所述目标类别从所述目标检测框筛选出所述目标，包括：

从所述目标检测框中筛选出所述目标类别为预设类别的候选检测框；

将所述目标检测模型输出的置信度大于第二置信度阈值的所述候选检测框确定为所述目标对应的目标检测框；所述第二置信度阈值大于第一置信度阈值，所述第一置信度阈值为所述目标检测模型从检测帧检测所述目标检测框时所使用的置信度阈值。

进一步地，所述目标为人体或者人脸。

进一步地，按照图像采集时间的先后顺序对所述图像序列进行目标检测与跟踪处理，获得目标检测与跟踪信息，包括：

按照图像采集时间的先后顺序对所述图像序列进行人体检测与跟踪处理获得人体检测与跟踪信息，以及按照图像采集时间的先后顺序对所述图像序列进行人脸检测与跟踪处理获得人脸检测与跟踪信息；

将属于同一人的人脸检测与跟踪信息和人体检测与跟踪信息进行关联；

根据关联结果输出每一图像帧中的目标检测与跟踪信息。

进一步地，将属于同一人的人脸检测与跟踪信息和人体检测与跟踪信息进行关联，包括：

针对同一图像帧，根据人脸检测与跟踪信息和人体检测与跟踪信息确定人脸和人体在所述图像帧中的重叠区域；

根据所述重叠区域的面积大小建立所述人脸检测与跟踪信息和所述人体检测与跟踪信息之间的初始关联关系；

在所述初始关联关系基础上，利用匈牙利算法确定具有匹配关系的所述人脸检测与跟踪信息和所述人体检测与跟踪信息；

针对具有匹配关系的所述人脸检测与跟踪信息和所述人体检测与跟踪信息，确定所述人体检测与跟踪信息中的人脸和所述人脸检测与跟踪信息中的人脸在图像帧中的相似度；

在所述相似度大于相似度阈值的所述人体检测与跟踪信息和所述人脸检测与跟踪信息之间建立最终的目标关联关系。

第二方面，本发明实施例中提供了一种目标检测与跟踪装置，其中，包括：

接收模块，被配置为接收图像序列，所述图像序列包括图像采集时间连续的多张图像帧；

划分模块，被配置为对所述图像序列进行周期划分，将每个周期的第N个图像帧标识为检测帧，且将所述检测帧之后连续预定数量个图像帧标识为与所述检测帧属于同一周期的跟踪帧；其中，N为正整数；

处理模块，被配置为按照图像采集时间的先后顺序对所述图像序列进行目标检测与跟踪处理，获得目标检测与跟踪信息；其中，在目标检测与跟踪处理过程中，从所述检测帧中检测目标，并从与所述检测帧同属同一周期的预定数量个所述跟踪帧中跟踪所检测出来的所述目标。

所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，上述装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持上述装置执行上述对应方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。上述装置还可以包括通信接口，用于上述装置与其他设备或通信网络通信。

第三方面，本公开实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器上的计算机程序，其中，所述处理器执行所述计算机程序以实现上述任一方面所述的方法。

第四方面，本公开实施例提供了一种计算机可读存储介质，用于存储上述任一装置所用的计算机指令，该计算机指令被处理器执行时用于实现上述任一方面所述的方法。

第五方面，本公开实施例提供了一种计算机程序产品，其包含计算机指令，该计算机指令被处理器执行时用于实现上述任一方面所述的方法。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开实施例针对采集到的图像序列进行目标检测与跟踪的过程中，通过将图像序列按照图像采集时间的先后顺序划分成多个周期后，对每个周期中的第N个图像帧(N为正整数，如第一帧)也即检测帧进行目标检测，而对同周期中的后续帧也即跟踪帧进行目标跟踪，由于目标检测的处理速度较慢，而目标跟踪的处理速度较快，因此通过这种方式，可以提高目标检测与跟踪的处理速度，能够保证实时性，使得这种目标检测与跟踪方案能够适用于现场的实时抓拍场景中。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：

图1示出根据本公开一实施方式的目标检测与跟踪方法的流程图。

图2示出根据本公开一实施方式中目标检测与跟踪处理的实现流程示意图。

图3示出根据本公开一实施方式的目标检测与跟踪处理过程的实现流程示意图。

图4示出根据本公开一实施方式的目标检测与跟踪装置的结构框图。

图5是适于用来实现根据本公开一实施方式的目标检测与跟踪方法的电子设备的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。

在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

下面通过具体实施例详细介绍本公开实施例的细节。

图1示出根据本公开一实施方式的目标检测与跟踪方法的流程图。如图1所示，该目标检测与跟踪方法包括以下步骤：

在步骤S101中，接收图像序列，所述图像序列包括图像采集时间连续的多张图像帧；

在步骤S102中，对所述图像序列进行周期划分，将每个周期的第N个图像帧标识为检测帧，且将所述检测帧之后连续预定数量个图像帧标识为与所述检测帧属于同一周期的跟踪帧；其中，N为正整数；

在步骤S103中，按照图像采集时间的先后顺序对所述图像序列进行目标检测与跟踪处理，获得目标检测与跟踪信息；其中，在目标检测与跟踪处理过程中，从所述检测帧中检测目标，并从与所述检测帧同属同一周期的预定数量个所述跟踪帧中跟踪所检测出来的所述目标。

本实施例中，图像序列可以是图像采集设备在采集现场实时采集的图像采集时间连续的多张图像。图像采集设备可以是固定安装在采集现场例如建筑、道路等的摄像头，也可以是可移动的图像采集设备，例如带有图像采集功能的手持电子设备、车辆等。图像采集设备可以持续不断地采集目标场所的图像或视频，并将所采集到的图像或视频传送至处理设备进行处理。图像序列可以是图像采集设备持续不断采集到的具有先后时间顺序关系的多张图像帧，也可以是图像采集设备采集到的一段视频中的多张连续图像帧。

处理设备在接收到图像采集设备实时采集的图像序列后，可以将图像序列按照图像采集时间的先后顺序存储在缓存中。例如，可以以先进先出的方式存储在缓存队列中。

在一些实施例中，为了加快处理速度，将图像序列按照周期进行划分，每个周期包括一个检测帧以及该检测帧之后连续的预定数量个跟踪帧，其中，可以将每个周期的第N帧(N为正整数)标识为检测帧，其他帧标识为该周期内的跟踪帧。例如，一个周期总共包括10个图像帧，其中可以将第1个帧标识为检测帧，后续9个帧标识为跟踪帧。在一些实施例中，还可以将缓存大小设置为存储一个周期中多个图像帧的大小，例如缓存可以为存储10张图像帧的大小。

本公开实施例在实现的过程中，可以包括两个处理流程，也即图像接收与缓存的处理流程与目标检测与跟踪流程，并且该两个处理流程可以分别由不同的处理线程并行执行。在图像接收与缓存的处理流程中，每接收到一个图像帧，相应的线程可以先判断当前缓存是否已满，也即是否已经接收到一个周期的图像序列，如果已满，则丢弃当前帧，如果未满，则将当前接收到的图像帧存储至缓存队列中。

在目标检测与跟踪处理流程中，可以按照图像采集时间的先后顺序从缓存队列中提取图像帧，也即按照先进先出的原则从缓存队列中提取图像帧。每从缓存队列提取一个图像帧，相应的线程则可以对该图像帧进行目标检测与跟踪处理。在处理过程中，可以先判断该图像帧是否为一个周期里的检测帧，如也即一个周期的第一帧，如果是检测帧，则可以利用预先设定的目标检测方式例如预先训练的目标检测模型从该检测帧中检测目标。目标可以是人、车辆、动物、建筑等中的一种或多种，具体可以根据实际需求而定，在此不做限制。例如，在道路交通场景下，目标可以是人或者车辆。

从检测帧中检测到目标之后，可以在该检测帧之后的跟踪帧中跟踪所检测到的目标。也即，针对同一个周期中的图像帧，利用目标检测方式从检测帧检测目标，之后再利用目标跟踪方式例如预先训练的目标跟踪模型从该周期中的跟踪帧中跟踪该目标。

下面举例说明一下本实施例中目标检测与跟踪方法的实现过程。

图2示出根据本公开一实施方式中目标检测与跟踪处理的实现流程示意图。如图2所示，假设处理设备上申请一块大小为存储一个周期图像帧的缓存队列，处理设备可以启动主线程和子线程，分别用于实现图像接收与缓存的处理流程和目标检测与跟踪的处理流程。

可以预先启动一主线程用于图像接收与缓存的处理流程，主线程接收到图像帧之后，判断缓存队列是否已满，如果已满则丢弃当前接收到的图像帧；如果缓存队列未满，则将当前接收到的图像帧存储至缓存队列中，并且向子线程发送信号量，该信号量用于通知子线程当前向缓存队列存储了一个图像帧。

还可以预先启动一子线程用于目标检测与跟踪的处理流程，子线程在检测到从外部接收到一个图像帧之后，先判断缓存是否为空，如果为空，则继续等待；如果不为空则从缓存队列中取出一个图像帧进行处理。需要说明的是，从缓存队列中取图像帧的原则是先进先出的原则，也即先取出图像采集时间靠前的进行处理，后取出图像采集时间靠后的进行处理。

子线程在对取出的图像帧进行处理的过程中，首先判断当前的图像帧是否为检测帧，如果为检测帧则利用预设的目标检测方式从检测帧中检测目标，以确定该检测帧中出现的一个或多个目标；如果是跟踪帧，则利用目标跟踪方式对当前周期的检测帧中所检测到的目标进行跟踪，以获得目标在跟踪帧中的信息。在检测帧和跟踪帧中通过检测和跟踪获得的目标检测与跟踪信息可以包括但不限于目标在图像帧中的位置信息以及图像帧标识等，例如目标为人脸时，目标检测与跟踪信息可以包括在标识为X的图像帧中的人脸框。

在一些实施例中，主线程在存储图像帧至缓存队列的过程中，可以根据接收到的先后顺序将图像帧标识为检测帧或者跟踪帧，例如接收到的第一个图像帧被标识为检测帧，后续的预定数量个图像帧可以被标识为跟踪帧，之后的一个图像帧再被标识为下一周期的检测帧，以此循环。而在另一些实施例中，子线程在从缓存队列中提取图像帧时，可以根据取出的先后顺序将图像帧标识为检测帧或者跟踪帧，例如取出的第一个图像帧被标识为检测帧，而后续的预定数量个图像帧被标识为跟踪帧，之后的一个图像帧再被标识为下一周期的检测帧，以此循环。

本公开实施例针对采集到的图像序列进行目标检测与跟踪的过程中，通过将图像序列按照图像采集时间的先后顺序划分成多个周期后，对每个周期中的第N个图像帧(N为正整数，例如可以为第一帧)也即检测帧进行目标检测，而对同周期中的后续帧也即跟踪帧进行目标跟踪，由于目标检测的处理速度较慢，而目标跟踪的处理速度较快，因此通过这种方式，可以提高目标检测与跟踪的处理速度，能够保证实时性，使得这种目标检测与跟踪方案能够适用于现场的实时抓拍场景中。

在本实施例的一个可选实现方式中，在目标检测与跟踪处理过程中，将上一周期中跟踪到、且未在当前周期的检测帧中成功匹配到的目标确定为已完成跟踪目标，并在所述当前周期的跟踪帧中继续跟踪未完成跟踪目标，所述未完成跟踪目标包括与当前周期的检测帧中检测到的目标属于同一目标且上一周期中跟踪到的目标，以及当前周期的检测帧中检测到而上一周期中未跟踪到的目标。

该可选的实现方式中，对于每个周期中的检测帧，均可以利用预先确定的目标检测方式例如预训练的目标检测模型检测得到一个或多个目标，该目标可以利用包括图像帧中的位置信息的目标信息来表示。对于图像序列中的第一个周期，可以先从第一帧也即检测帧中检测目标，而在后续跟踪帧中对从检测帧中检测到的目标进行跟踪；而对于其他周期，在从该其他周期的第一帧也即检测帧中检测到目标之后，可以利用预设的匹配策略将该目标与上一周期中跟踪的目标进行相关性匹配，进而再利用判定相匹配的两个目标是否属于同一目标，如果上一周期跟踪的目标在当前周期的检测帧中能够匹配到，并且被判定为属于同一目标，则可以认为该目标在当前周期中还存在，该目标可以确定为未完成跟踪目标，可以继续在当前周期中进行跟踪。在一些实施例中，可以利用匈牙利匹配算法对上一周期中跟踪的目标与当前周期的检测帧中检测到的目标进行相关性匹配，同时在匈牙利匹配算法中可以利用ReID(行人重识别，Person re-identification)深度学习模型对匹配置信度进行判断两者是否为同一目标，由于匈牙利匹配算法以及ReID深度学习模型是已有技术，在此不再赘述。如果上一周期跟踪的目标在当前周期的检测帧中未匹配到，也即当前周期的检测帧中未检测到上一周期所跟踪的某个或某些目标，则可以认为该目标已经离开图像采集现场，可以结束对该目标的跟踪，因此该目标可以确定为已完成跟踪目标，则当前周期的跟踪帧中可以不再跟踪该已完成跟踪目标。需要说明的是，已完成跟踪目标的目标检测与跟踪信息可以依据在上一周期中跟踪的结果得到，并且可以输出该已完成跟踪目标的目标检测与跟踪信息。

还需要说明的是，除了上述已完成跟踪目标和未完成跟踪目标之外，还存在一类目标，也即当前周期中新出现的目标。当前周期中新出现的目标是在当前周期的检测帧中检测到而在上一周期中未跟踪到的目标。当前周期中新出现的目标也可以认为是未完成跟踪目标，可以在当前周期的跟踪帧中进行跟踪。

在本实施例的一个可选实现方式中，步骤S103，即按照图像采集时间的先后顺序对所述图像序列进行目标检测与跟踪处理，获得目标检测与跟踪信息的步骤，进一步包括以下步骤：

从所述图像序列中获取未处理且图像采集时间最早的图像帧；

在所述图像帧为检测帧时，从所述检测帧中检测目标；

在所述图像帧为跟踪帧时，在所述跟踪帧中跟踪同一周期中所述检测帧中检测到的所述目标。

该可选的实现方式中，图像序列可以包括已经接收并存储在缓存队列中的多个连续图像帧。在目标检测与跟踪处理过程中，对于图像序列中未处理的图像帧按照图像采集实现的先后顺序进行目标检测与跟踪。因此，可以从未处理的图像帧中获得图像采集时间最早的图像帧进行目标检测与跟踪处理。在处理过程中，先确定该图像帧是否为检测帧，如果为检测帧则可以进行目标检测处理，也即利用预设的目标检测方式从该图像帧中检测目标。如果为跟踪帧，则可以利用目标跟踪方式在该跟踪帧中跟踪其所在周期的检测帧中检测出来的目标。在实际应用过程中，在判断出图像帧为检测帧之后，可以将该图像帧送入预训练的目标检测模型中进行目标检测，而判断出该图像帧为跟踪帧之后，可以将该图像帧送入预训练的目标跟踪模型中继续进行目标跟踪。目标检测模型在检测出目标之后，还可以将所检测出的目标的信息送入目标跟踪模型，以便目标跟踪模型能够根据新接收到的目标的信息对后续的跟踪帧进行目标跟踪。

在本实施例的一个可选实现方式中，所述在所述图像帧为检测帧时，从所述检测帧中检测目标的步骤，进一步包括以下步骤：

从所述检测帧中检测得到第一目标；

将所述第一目标与上一周期中跟踪到的第二目标进行匹配；

将与所述第一目标未匹配的所述第二目标作为已完成跟踪目标，并输出所述已完成跟踪目标在上一周期中跟踪得到的目标检测与跟踪信息。

该可选的实现方式中，利用目标检测方式从检测帧中检测得到一个或多个第一目标之后，在该检测帧所在的周期不为第一个周期时，可以将该检测帧中检测到的第一目标与上一周期中所跟踪的第二目标进行相关性匹配。该匹配的过程可以理解为确定在当前周期的检测帧中检测到的第一目标与上一周期中所跟踪的第二目标是否为同一个目标的过程。在一些实施例中，以人为检测目标时，可以采用基于IOU的匈牙利匹配算法进行相关性匹配，同时在匈牙利匹配算法中可以利用ReID(行人重识别，Person re-identification)深度学习模型对匹配置信度进行判断，由于匈牙利匹配算法以及ReID深度学习模型是已有技术，在此不再赘述。这种通过将行人重识别算法应用到序列跟踪问题上的方式，降低了跟踪断裂的问题。

如上文中所述，如果上一周期跟踪的第二目标在当前周期的检测帧中能够匹配到，则可以认为该第二目标在当前周期中还存在，该第二目标可以确定为未完成跟踪目标，可以继续在当前周期中进行跟踪。

如果上一周期跟踪的第二目标在当前周期的检测帧中未匹配到，也即当前周期的检测帧中不存在与第二目标相匹配的第一目标，则可以认为该第二目标已经离开图像采集现场，可以结束对该第二目标的跟踪，因此该第二目标可以确定为已完成跟踪目标，则当前周期的跟踪帧中可以不再跟踪该已完成跟踪目标。需要说明的是，已完成跟踪目标的目标检测与跟踪信息可以依据在上一周期中跟踪的结果得到，并且可以输出该已完成跟踪目标的目标检测与跟踪信息。

在本实施例的一个可选实现方式中，所述在所述图像帧为检测帧时，从所述检测帧中检测目标的步骤，进一步包括以下步骤：

利用预训练的目标检测模型从所述检测帧中获取目标检测框；

利用预训练的目标识别模型获取所述目标检测框内的图像对应的目标类别；

根据所述目标类别从所述目标检测框筛选出所述目标。

该可选的实现方式中，在当前提取的图像帧为检测帧时，可以利用目标检测模型检测该图像帧中的目标检测框。目标检测模型可以输出图像帧中的目标检测框，该目标检测框内的图像可以被认为是目标所在的图像区域。为了使得目标检测与跟踪更加高效及跟踪结果更加准确，可以利用预训练的目标识别模型对所检测得到的目标检测框内的图像进行目标类别的识别。进而再根据目标检测框中图像的目标类别筛选出最终要跟踪的目标，目标类别可以基于应用的实际需求分为目标较为完整、目标不完整、非目标等多个类别，并且在一些实施例中，可以将目标较为完整的类别对应的目标检测框筛选出来，作为后续继续跟踪的目标。所筛选出的目标检测框作为最终目标对应的目标检测框而提供给目标跟踪模型，以便目标跟踪模型从该检测帧后续的跟踪帧中对该目标进行跟踪。通过这种方式，可以降低目标的误检率。

在本实施例的一个可选实现方式中，根据所述目标类别从所述目标检测框筛选出所述目标的步骤，进一步包括以下步骤：

从所述目标检测框中筛选出所述目标类别为预设类别的候选检测框；

将所述目标检测模型输出的置信度大于第二置信度阈值的所述候选检测框确定为所述目标对应的目标检测框；所述第二置信度阈值大于第一置信度阈值，所述第一置信度阈值为所述目标检测模型从检测帧检测所述目标检测框时所使用的置信度阈值。

该可选的实现方式中，为了进一步提高目标检测与跟踪的效率以及准确度，可以针对目标类别所筛选出的候选检测框进一步进行筛选。该实施例中，由目标识别模型识别出各个目标检测框中的目标类别之后，可以将目标较为完整的目标类别对应的目标检测框确定为候选检测框，进而再从候选检测框中筛选最终要进行跟踪的目标。

在一些实施例中，筛选的条件可以是利用候选检测框在目标检测模型输出的置信度来确定，可以将置信度大于第二置信度阈值的候选检测框确定为目标对应的目标检测框，并且第二置信度阈值设置为大于第一置信度阈值，第一置信度阈值为目标检测模型用于判断图像帧中某块区域是否为目标检测框的置信度阈值，可以理解的是，目标检测模型输出的目标检测框的置信度均大于该第一置信度阈值。本公开实施例中，目标检测模型一开始利用较小的第一置信度阈值筛选出目标检测框，而后续又实用较大的第二置信度阈值对候选检测框进行过滤，一方面通过第一置信度阈值可以降低目标检测的漏检率，另一方面通过第二置信度阈值又可以提高目标检测的准确率。

下面举例说明。

图3示出根据本公开一实施方式的目标检测与跟踪处理过程的实现流程示意图。如图3所示，进行目标检测与跟踪处理过程的子线程可以从缓存队列中按缓存顺序提取图像帧，如果所提取到的是检测帧，则将该检测帧输入至目标检测模型，以检测该图像帧中的目标。在一些实施例中，可以将目标检测模型中用于判断是否为目标的第一置信度阈值设定为f1(0≤f1≤1)，假如得到d个目标的目标检测框，d为大于等于0的整数，将该d个目标检测框记录为R1。然后，对每个目标检测框在图像帧中对应的区域进行抠图，将对应的抠图区域输入至目标识别模型中进行目标类别的识别。以人体为例，假如目标识别类型的输出包括以下8种分类：

a、完整人体；

b、较完整人体；

c、完整骑车人体；

d、不完整骑车人体；

e、上半身人体；

f、下半身人体；

g、人体残肢；

h、非人体。

通过目标识别模型可以得到图像帧中每个目标检测框的目标类别，将其记录为R2。

从R2中选择目标检测框中的目标较为完整的目标，以上面的8中类别为例，从R2中选择目标类别为a、b、c、d、e的目标检测框，并从所选出的这些目标检测框中按照上述目标检测模型所输出的置信度进一步进行筛选，筛选的原则是置信度大于第二置信度阈值f2(f2>f1)的目标检测框，最终得到筛选出来的目标检测框，最终筛选出来的目标检测框满足新建目标的条件，因此可以针对最终筛选出来的目标检测框新建目标，并初始化目标跟踪器，为每个新建的目标分配目标标识，目标跟踪器可以选择任意已知的目标跟踪算法，然后继续从缓存队列提取图像帧，如果提取到的是跟踪帧，则持续跟踪，并记录本周期内目标最完整同时目标在图像帧中所在区域面积最大的图像帧为该目标出现的最优帧，记录最优帧目标标识，直到该跟踪帧为本周期内的最后一帧，记录该最后一帧中所跟踪的每个目标的目标信息。目标跟踪算法例如可以利用已有技术中的KCF算法。

上述处理过程中，对于不满足新建目标条件的目标检测框，可以直接删除相关信息。并且对于满足新建目标条件的目标检测框，如果是目标检测与跟踪处理的第一个周期，则将新建目标的相关信息直接放入跟踪队列中，由目标跟踪算法进行目标跟踪；而不是第一个周期时，则将当前周期检测帧中检测到的目标与上一周期的跟踪目标进行匹配，如果匹配则由目标跟踪算法继续跟踪，而如果不匹配，则判断该上一周期跟踪的目标是否已离开图像采集现场，如果当前检测帧中未检测到该上一周期中跟踪的目标，则可以认为该目标已经离开，否则可以认为未离开。

如果已经离开，则将该离开的目标对应的最优目标检测与跟踪信息记录下来，用于提取目标特征，将该目标特征存储至特征库中。以目标为人为例，该最优目标检测与跟踪信息可以用来提取人的ReID特征，并将其保存至特征库中。

如果没有离开，则从当前周期的检测帧中检测到的目标检测框中提取目标特征，并利用该目标特征与特征库中的目标特征进行相似度比较，如果有相似的目标特征，则可以认为当前周期的检测帧中的该目标检测框对应于上一周期中相似的目标特征对应的跟踪目标，该跟踪目标确定为未完成跟踪目标，进而放入跟踪队列继续跟踪，其目标标识依然为上一周期中的目标标识；而如果特征库中没有相似的目标特征，则可以认为当前周期的检测帧中的该目标检测框对应于新的目标，则将该新的目标放到跟踪队列中，继续进行跟踪。

在本实施例的一个可选实现方式中，所述目标为人体或者人脸。

针对人进行目标检测与跟踪的应用场景中，本公开实施例中的目标可以为人脸或者人体。传统的目标检测方法或者目标跟踪方法中，以人为检测目标的场景下，通常会将目标设定为整个人体，该人体包括人脸。需要说明的是，人脸检测与跟踪过程中，目标仅涉及人的头部区域，而人体检测与跟踪过程中，目标涉及整个人体，包括头部和身体区域。而本公开实施例中，则针对人脸和人体分别进行目标检测与跟踪，之后可以通过将属于同一人的人脸和人体进行关联绑定的方式得到最终的目标检测与跟踪信息，通过这种人脸和人体分别进行检测与跟踪的方式，能够使得两个过程相互辅助，稳定跟踪效果，并且能够跟踪到更多有效的目标信息。

在本实施例的一个可选实现方式中，步骤S103，即按照图像采集时间的先后顺序对所述图像序列进行目标检测与跟踪处理，获得目标检测与跟踪信息的步骤，进一步包括以下步骤：

按照图像采集时间的先后顺序对所述图像序列进行人体检测与跟踪处理获得人体检测与跟踪信息，以及按照图像采集时间的先后顺序对所述图像序列进行人脸检测与跟踪处理获得人脸检测与跟踪信息；

将属于同一人的人脸检测与跟踪信息和人体检测与跟踪信息进行关联；

根据关联结果输出每一图像帧中的目标检测与跟踪信息。

该可选的实现方式中，对于人的检测与跟踪应用场景中，为了能够得到更准确的目标检测与跟踪信息，本公开实施例通过将人体和人脸看成两个跟踪问题，利用本公开实施例提出的目标检测与跟踪方法分别对图像序列中的人脸和人体进行检测与跟踪，进而再将人体检测与跟踪信息与人脸检测与跟踪信息进行关联，以便将属于同一个人的人脸和人体之间建立关联信息，使得人体检测与跟踪和人脸检测与跟踪两个过程可以互相辅助，在稳定检测跟踪人的同时，能够获取到更多有效的检测与跟踪信息。

在实际实现过程中，子线程从缓存队列中提取出图像帧之后，如果是检测帧，则可以分别送入人脸检测器以及人体检测器中，人脸检测器可以选用已有的人脸检测模型进行人脸检测，而人体检测器则可以选用已有的人体检测模型进行人体检测。人脸检测器的检测结果送入人脸跟踪器中进行人脸跟踪，而人体检测器的检测结果送入人体跟踪器中进行人体跟踪；如果从缓存队列中取出的是跟踪帧，则分别送入人脸跟踪器进行人脸跟踪以及送入人体跟踪器进行人体跟踪。

针对每一图像帧，在获得人脸检测与跟踪信息以及人体检测与跟踪信息之后，可以进行人脸和人体的关联，也即可以将属于同一人的人脸和人体进行关联，输出时将相关联的人脸和人体对应的人脸检测与跟踪信息和人体检测与跟踪信息关联输出。需要说明的是，图像帧对应的人脸检测与跟踪信息可以包括人脸在图像帧中的位置信息(可以通过人脸边框的形式输出)、该人脸对应的目标标识以及该信息对应的图像帧标识等，而人体检测与跟踪信息可以包括人体在图像帧中的位置信息(可以通过人体边框的形式输出)、该人体对应的目标标识以及该信息对应的图像帧标识等。

在实际应用过程中，人脸检测与跟踪和人体检测与跟踪可以并行执行，并且在获得同一图像帧的人脸检测与跟踪信息与人体检测与跟踪信息后，即可对该图像帧中的人脸和人体进行关联。需要说明的是，对于检测帧，人脸检测与跟踪信息和人体检测与跟踪信息则可以是由目标检测算法输出的目标检测信息获得，而对于跟踪帧，人脸检测与跟踪信息以及人体检测与跟踪信息则可以由目标跟踪算法输出的目标检测与跟踪信息获得。

还需要说明的是，在最终输出的目标检测结果中，可以包括一个周期中的最优目标检测与跟踪信息，该最优检测与目标检测与跟踪信息可以包括最优人脸检测与跟踪信息以及最优人体检测与跟踪信息(例如在多个跟踪帧中目标最完整、面积最大的人脸框或人体框)、目标标识、以及该最优目标检测与跟踪信息所在图像帧的标识等。此外，进行人体和人脸关联之后，可以输出最优人脸关联的人体检测与跟踪信息或最优人体关联的人脸检测与跟踪信息。例如，一个周期中跟踪到目标A的最优检测与人脸检测与跟踪信息在跟踪帧X中，而最优人体检测与跟踪信息在跟踪帧Y中，并且在跟踪帧X帧中关联了目标A的人体检测与跟踪信息，在跟踪帧Y中关联了目标A的人脸检测与跟踪信息，针对该周期输出的目标检测与跟踪信息包括目标A在跟踪帧X中的最优人脸检测与跟踪信息以及关联的人体检测与跟踪信息、在跟踪帧Y中的最优人体检测与跟踪信息以及关联的人脸检测与跟踪信息。当然，可以理解的是，对于未找到相关联的人脸或人体的目标，可以仅输出最优人脸检测与跟踪信息或最优人体检测与跟踪信息。

在本实施例的一个可选实现方式中，将属于同一人的人脸检测与跟踪信息和人体检测与跟踪信息进行关联的步骤，进一步包括以下步骤：

针对同一图像帧，根据人脸检测与跟踪信息和人体检测与跟踪信息确定人脸和人体在所述图像帧中的重叠区域；

根据所述重叠区域的面积大小建立所述人脸检测与跟踪信息和所述人体检测与跟踪信息之间的初始关联关系；

在所述初始关联关系基础上，利用匈牙利算法确定具有匹配关系的所述人脸检测与跟踪信息和所述人体检测与跟踪信息；

针对具有匹配关系的所述人脸检测与跟踪信息和所述人体检测与跟踪信息，确定所述人体检测与跟踪信息中的人脸和所述人脸检测与跟踪信息中的人脸在图像帧中的相似度；

在所述相似度大于相似度阈值的所述人体检测与跟踪信息和所述人脸检测与跟踪信息之间建立最终的目标关联关系。

该可选的实现方式中，为了建立同一人对应的人脸检测与跟踪信息和人体检测与跟踪信息之间的关联关系，本公开实施例中可以利用匈牙利算法找到人脸检测与跟踪信息和人体检测与跟踪信息之间的最优匹配关系。在匈牙利算法中，首先需要确定进行匹配的两组信息之间的初始关联关系，之后再利用匈牙利算法的思想对该初始关联关系进行优化，最终得到最优匹配关系。

上述初始关联关系可以利用人脸检测与跟踪信息中人脸框和人体检测与跟踪信息中人体框之间的重叠区域的面积大小来确定。在一些实施例中，可以利用人脸和人体之间的IOU大小来确定上述初始关联关系。IOU的计算方式可以为在图像帧中的人脸框和人体框之间的重叠面积与人脸框和人体框面积之和的比值。该IOU值越大，说明该人脸检测与跟踪信息和人体检测与跟踪信息越相关，也即该人脸检测与跟踪信息中的人脸和人体检测与跟踪信息中的人体越有可能属于同一个人。可以预先设定一阈值，在IOU值大于阈值时，认为该人脸检测与跟踪信息和人体检测与跟踪信息之间具有初始关联关系，否则该人脸检测与跟踪信息和人体检测与跟踪信息之间不具有初始关联关系。上述过程可以理解为，在有可能属于同一人的人脸检测与跟踪信息和人体检测与跟踪信息之间建立初始关联关系。需要说明的是，该初始关联关系中可以存在一对多或者多对多的关联关系。

之后，可以利用匈牙利算法从具有上述初始关联关系的人脸检测与跟踪信息和人体检测与跟踪信息中寻找最优匹配关系，也即最有可能是同一个人的人脸检测与跟踪信息和人体检测与跟踪信息之间的匹配关系，通过这种方式可以得到具有一对一的匹配关系。

为了进一步确定匈牙利算法得到的匹配关系的有效性，本公开实施例还通过相似度计算的方式对该匹配关系进行验证。需要说明的是人体检测与跟踪信息中包括人体在图像帧中的位置信息，可以理解为图像帧中的人体框，该人体框内可以包括整个人的图像信息。而人脸检测与跟踪信息中包括人脸在图像帧中的位置信息，可以理解为图像帧中的人脸框，该人脸框内仅包括人头部分的图像信息。为了确定具有匹配关系的人脸检测与跟踪信息中包括的人脸与人体检测与跟踪信息中包括的人体是否为同一人，则可以计算人脸检测与跟踪信息中包括的人脸在图像帧中的图像区域与人体检测与跟踪信息中包括的人体内的人脸在图像帧中的图像区域之间的相似度。在一些实施例中，针对人体检测与跟踪信息，可以选取人体框内上方区域人脸所在位置的一部分图像区域，以及计算该图像区域与对应的人脸检测与跟踪信息中包括的人脸在图像帧中图像区域之间的相似度。在相似度大于或等于相似度阈值的情况下，可以认为该人体检测与跟踪信息和人脸检测与跟踪信息属于同一人，可以建立最终的目标关联关系。而对于相似度小于相似度阈值的情况，可以认为该人体检测与跟踪信息和人脸检测与跟踪信息并不属于同一人，不存在目标关联关系。

下述为本公开装置实施例，可以用于执行本公开方法实施例。

图4示出根据本公开一实施方式的目标检测与跟踪装置的结构框图，如图4所示，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。该目标检测与跟踪装置包括：

接收模块401，被配置为接收图像序列，所述图像序列包括图像采集时间连续的多张图像帧；

划分模块402，被配置为对所述图像序列进行周期划分，将每个周期的第N个图像帧标识为检测帧，且将所述检测帧之后连续预定数量个图像帧标识为与所述检测帧属于同一周期的跟踪帧；其中，N为正整数；

处理模块403，被配置为按照图像采集时间的先后顺序对所述图像序列进行目标检测与跟踪处理，获得目标检测与跟踪信息；其中，在目标检测与跟踪处理过程中，从所述检测帧中检测目标，并从与所述检测帧同属同一周期的预定数量个所述跟踪帧中跟踪所检测出来的所述目标。

本实施例中的目标检测与跟踪装置与上文中的目标检测与跟踪装置方法对应一致，具体细节可以参见上述对目标检测与跟踪装置的描述，在此不再赘述。

图5是适于用来实现根据本公开实施方式的目标检测与跟踪方法的电子设备的结构示意图。

如图5所示，电子设备500包括处理单元501，其可实现为CPU、GPU、FPGA、NPU等处理单元。处理单元501可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行本公开上述任一方法的实施方式中的各种处理。在RAM503中，还存储有电子设备500操作所需的各种程序和数据。处理单元501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本公开的实施方式，上文参考本公开实施方式中的任一方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行本公开实施方式中任一方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。

附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。