一种多目标跟踪方法与系统

技术领域

本发明属于目标跟踪技术领域，具体涉及一种多目标跟踪方法与系统。

背景技术

现如今，智能安防系统广泛部署于室内场所中，确保商场、银行、火车站等室内场所的人员安全。多目标跟踪方法作为智能安防系统的重要组成部分，近期受到了众多研究人员的关注。

在对视频中的某一类目标进行跟踪时，该类目标在场景中的数量会影响跟踪算法的精度。(当该类目标在场景中的数量较多时，该类目标间易相互遮挡导致跟踪算法发生跟踪偏移或失败的问题)。场景中跟踪目标数量的不同将导致跟踪算法结果的不同，这直接决定了多目标跟踪算法跟踪精度的高低。因此根据场景中的目标数量设置不同的跟踪策略是十分重要的。

场景中的目标数量可根据目标检测算法输出的目标数量得到。本发明提出的多目标跟踪方法可依据上述步骤获取得到的目标数量设置最优的跟踪策略。

近年来，大量多目标跟踪方法被研究人员提出，其中主要以Sort、DeepSort为代表性的逐帧检测类多目标跟踪方法。该类方法将目标跟踪任务转化为目标检测任务和目标关联任务，该类方法的具体步骤、来源其原理可参见以下论文：

Bewley A,Ge Z,Ott L,et al.Simple online andrealtime tracking[C]//2016IEEE International Conference on Image Processing(ICIP).IEEE,2016:3464-3468.

Wojke N,Bewley A,Paulus D.Simple online and realtime tracking with adeep association metric[C]//2017IEEE international conference on imageprocessing(ICIP).IEEE,2017:3645-3649.

但是，上述方法的跟踪质量十分依靠目标检测算法的精度。在目标数量较多的跟踪场景中，目标间的相互遮挡情况会导致目标检测方法出现漏检或误检问题，该问题会导致上述多目标跟踪方法输出的轨迹出现轨迹断连或轨迹偏移问题。

为解决上述问题，部分研究学者提出将多目标跟踪任务转化为目标检测任务和多个单目标跟踪任务。该类方法将目标检测结果和多个目标的轨迹进行结合，当目标相互遮挡导致目标检测算法出现漏检或误检问题时，他们通过单目标跟踪方法估算目标的运动轨迹，确保多目标跟踪算法可以输出较为完整的轨迹，避免多目标跟踪方法输出的轨迹出现轨迹断连或轨迹偏移问题。

现有代表性技术如下：

相关发明1：基于孪生网络和长短期线索的在线多目标跟踪方法和系统(申请号：202010404941.7)

本发明公开了基于孪生网络和长短期线索的在线多目标跟踪方法和系统，属于多目标跟踪领域。包括：孪生网络模块，用于将跟踪目标模板与搜索区域进行互相关得到响应图，获取初步预测的每个目标的跟踪轨迹；校正模块，用于将初步轨迹和观测框组合在一起，通过行人回归网络修正行人框；数据关联模块，用于计算跟踪轨迹和观测行人的相似度，通过分别提取跟踪轨迹和观测行人的长短期线索并将其进行融合，进而计算其相似度，为每个跟踪轨迹分配对应的观测行人框；轨迹后处理模块，用于对跟踪轨迹进行更新、补充和删减，完成当前帧的跟踪。本发明完善了多目标跟踪任务中表观特征融合及行人交互遮挡，大尺度变化问题，提升准确度，缓解特征不对齐的问题。该发明的具体步骤如图2所示，其中专利的改进之处已使用颜色进行标注。

该发明利用基于孪生网络的单目标跟踪算法跟踪场景中的目标。首先，为解决现有逐帧检测类多目标跟踪算法因目标检测模块发生漏检或误检错误导致轨迹频繁中断的问题，该发明整合目标检测结果和目标跟踪结果，在一定程度上减少了轨迹的中断次数。其次，为解决行人交互遮挡导致轨迹身份信息错误转换的问题，该发明提取并融合目标的长短期线索以提升跟踪算法的目标辨别能力。

但是，该发明仍存在一些问题还未得到妥善解决。该发明包含多次特征提取步骤，存在计算复杂度高的问题。具体的，该发明在视频序列每一帧中均需要重复提取三次目标的外观特征，分别位于目标检测子模块、基于孪生网络的目标跟踪子模块以及Re-id特征相似度计算子模块。

相关发明2：一种结合单目标轨迹的多目标跟踪方法(申请号：201911055886.9)

本发明公开了一种结合单目标轨迹的多目标跟踪方法，涉及目标跟踪技术领域。包括以下步骤：获取第t+1帧图像；对该第t+1帧图像进行多目标检测，构建第一目标位置集；对第t帧图像进行单目标跟踪，预测该目标在第t+1帧图像中的位置，构建第二目标位置集；将第一目标位置集和第二目标位置集进行合并，得到新目标位置集；将新目标与现有的单目标轨迹进行匹配，将新目标分配给匹配度最高的单目标轨迹中。本发明提高了轨迹分配的准确性，减少了目标漏检的情况发生。该发明的具体步骤如图3所示，其中专利的改进之处已使用颜色进行标注。

该发明利用单目标跟踪方法(SiamFC)跟踪场景中的目标，同时该发明利用轨迹间的位置关系和直方图特征，设计了目标轨迹关联模块以避免该发明输出过多重复轨迹，提升轨迹质量。

但是，该发明仍存在一些问题还未得到妥善解决。首先，该发明在跟踪视频序列中的目标时，需要在视频序列每一帧中同时进行目标检测和目标跟踪两项任务，加大了该发明的计算复杂度。其次，直方图特征作为低级语义特征难以有效区分相互遮挡的目标身份信息。当跟踪目标的数量较多且其外观信息高度相似时(例如人员头部)，这些轨迹对应图像区域的颜色分布趋势大致相同(人员头部具有相似的发色、肤色)。相应的，这些目标运动轨迹的直方图特征差异较小，无法作为区分目标轨迹身份信息的依据。

发明内容

本发明要解决的技术问题如下：

(1)现有多目标跟踪方法无法自动根据场景的目标数量进行针对性调整。当场景内目标数量较多时，现有方法输出的目标轨迹易发生偏移、重复等问题。与相关专利相比，本发明设计了待跟踪数据预处理模块，该模块能够根据场景内的待跟踪目标数量自动设置最佳的跟踪策略，降低了目标轨迹发生偏移、重复问题的次数。

(2)现有多目标跟踪方法存在计算冗余问题。现有方法需要在视频序列每一帧图像上进行二至三次特征提取任务，存在计算复杂度过高问题。与相关专利相比，本发明改进了目标轨迹生成模块。具体的，本发明将该模块的输入数据由一张图像数据更换为视频子序列数据。同时，本发明还设计了跟踪任务判断子模块。该模块有效减少冗余的特征提取过程，降低了跟踪方法的计算量。

(3)现有多目标跟踪方法的目标轨迹质量判断方式准确度较差，难以根据目标轨迹质量优化输出结果。当场景内存在大量外观特征相似的目标时，现有方法的目标轨迹质量判断方式的准确度不足，容易输出大量低质量的轨迹。与相关专利相比，本发明改进了目标轨迹关联模块。具体的，本发明在轨迹关联子模块后设计了基于时序信息的轨迹分析子模块，该模块能够借助时序上下文信息识别不同质量的目标轨迹，并对不同质量的目标轨迹自动优化，从而提升输出的目标轨迹质量。

本发明实现了一种多目标跟踪方法，所述方法包括读取待跟踪数据、预处理待跟踪数据、生成目标轨迹以及关联目标轨迹。

本发明采用的技术方案为一种多目标跟踪方法，包括以下步骤：

步骤1，读取待跟踪数据。

从摄像装置或存储设备中读取得到待跟踪数据，判断待跟踪数据类型并根据其数据类型使用不同的方法将得到的待跟踪数据以图像形式保存在计算机存储设备中。保存得到的视频序列将作为步骤2的输入。读取待跟踪数据的步骤如下：

步骤1.1，读取摄像装置或存储设备中的待跟踪数据，判断待跟踪数据类型。若待跟踪数据类型为视频类型，则进行步骤1.2；若待跟踪数据类型为图像类型，则进行步骤1.3。

步骤1.2，若待跟踪数据为视频数据，则对视频数据进行分帧处理。具体的，首先将视频数据转换为图像数据，随后将转化后得到的图像数据保存在计算机或存储设备中。

步骤1.3，若待跟踪数据为图像数据，则将读取得到的图像数据保存在计算机或存储设备中。

步骤2，预处理待跟踪数据。

将步骤1中输出的待跟踪图像序列和步骤4中输出的k-1

步骤2.1，读取步骤1输出的待跟踪图像序列和步骤4中输出的k-1

步骤2.2，若不存在k-1

步骤2.3，若存在k-1

步骤2.4，读取步骤2.2或步骤2.3输出的当前场景跟踪轨迹数量N，并根据当前场景跟踪轨迹数量N设置视频子序列长度L。

步骤2.5，读取步骤2.4输出的视频子序列长度L，并根据视频子序列长度L切分并保存视频子序列。

步骤3，生成目标轨迹。

将步骤2中输出的k

步骤3.1，读取步骤2输出的k

步骤3.2，读取步骤3.1读取的图像，判断该帧图像是否为视频子序列的第一帧图像。若该帧图像是k

步骤3.3，若步骤3.1读取的图像是k

步骤3.4，根据跟踪任务标志Flag状态(Flag＝1)，读取步骤3.1读取的图像，并使用目标检测算法对场景内的目标进行检测，目标检测结果将传入步骤4中。

步骤3.5，若步骤3.1读取的图像不是k

步骤3.6，根据跟踪任务标志Flag状态(Flag＝2)，读取步骤3.1读取的图像，使用单目标跟踪算法对场景中的每一个目标进行迭代跟踪。

步骤3.7，读取步骤3.1读取的图像，判断该帧图像是否为视频子序列的最后一帧图像。若该帧图像是k

步骤3.8，若步骤3.7读取的图像是k

步骤4，关联目标轨迹。

将步骤3中输出的k-1

步骤4.1，读取步骤3输出的k-1

步骤4.2，读取步骤4.1输出的损失矩阵M，并将其作为匈牙利算法的输入，得到关联匹配结果，形成目标轨迹集T。

步骤4.3，根据传入k-2

步骤4.3.1，读取步骤4.3传入的k-2

步骤4.3.2，若三段视频子序列中该条目标轨迹均成功关联，则标注该条轨迹为高质量轨迹。

步骤4.3.3，判断k-2

步骤4.3.4，若k-2

步骤4.3.5，若k-2

步骤4.4，读取步骤4.3传入的目标轨迹，判断该条轨迹是否为错误/消失轨迹。若该条轨迹是错误/消失轨迹，则进行步骤4.5；若该条轨迹不是错误/消失轨迹，则进行步骤4.6。

步骤4.5，若该条轨迹是错误/消失轨迹，则从现有目标轨迹集T中删去该条轨迹。

步骤4.6，若该条轨迹是错误/消失轨迹，则判断该条轨迹是否为低质量轨迹。若该条轨迹是低质量轨迹，则进行步骤4.7；若该条轨迹不是低质量轨迹，则进行步骤4.8。

步骤4.7，若该条轨迹是低质量轨迹，则在现有目标轨迹集T中标记该条轨迹为低质量轨迹。

步骤4.8，判断所有轨迹是否分析处理完毕。若所有轨迹已经分析处理完毕，则进行步骤4.9；所有轨迹尚未分析处理完毕，则重复进行步骤4.4。

步骤4.9，整合优化现有的目标轨迹集T，并将当前多目标跟踪方法输出的轨迹数量传入至步骤2中。具体的，针对标注为低质量轨迹的目标轨迹，多目标跟踪方法将不输出该条轨迹信息(不显示、不保存结果)；针对未被标注为低质量轨迹的目标轨迹，多目标跟踪方法将输出该条轨迹信息(显示并保存结果)。

本发明还提供了一种多目标跟踪系统，该系统包括待跟踪数据读取模块、待跟踪数据预处理模块、目标轨迹生成模块以及目标轨迹关联模块，其中：

所述的待跟踪数据读取模块，用于从摄像装置或存储设备中读取得到待跟踪数据，并根据待跟踪数据类型使用不同的方法将读取得到的待跟踪数据转换为图像形式保存在计算机存储设备中。

所述的待跟踪数据预处理模块，用于根据当前场景跟踪轨迹数量对数据读取模块保存的待跟踪图像进行预处理，形成多个长短不一的视频子序列，为目标轨迹的生成做准备。

所述的目标轨迹生成模块，用于根据待跟踪数据预处理模块得到的视频子序列计算得到场景的目标检测结果及目标跟踪结果。

所述的目标轨迹关联模块，用于将目标轨迹生成模块得到的目标跟踪结果和目标跟踪结果进行关联，形成完整的目标轨迹。同时，该模块还基于时序信息对现有目标轨迹质量进行判断，优化现有目标轨迹以提升跟踪质量。

本发明原理是通过计算场景内的目标数量得到最适合此场景的视频子序列长度。随后将视频子序列输入至目标轨迹生成模块和目标轨迹关联模块中，形成高质量目标轨迹。

与现有技术相比较，本发明提出的多目标跟踪方法可适应多种场景，不需要使用者根据场景手动调整视频子序列长度，并且本发明改进的目标轨迹生成模块减少了冗余的特征提取任务，减轻监控系统需要承担的计算量。另外，本发明改进的目标轨迹关联模块借助时序信息对目标轨迹质量进行判断，其判断过程计算简单，不会为监控系统增加过多的计算量。综上所述，本发明提出的多目标跟踪方法使用相对简便，具有良好的跟踪结果。

附图说明

图1本发明提出的一种多目标跟踪方法实施例的专利代表图。

图2本发明引用的相关发明1的专利代表图

图3本发明引用的相关发明2的专利代表图

图4本发明提出的一种多目标跟踪方法实施例步骤S10的子流程图。

图5本发明提出的一种多目标跟踪方法实施例步骤S20的子流程图。

图6本发明提出的一种多目标跟踪方法实施例步骤S30的子流程图。

图7本发明提出的一种多目标跟踪方法实施例步骤S40的子流程图。

图8本发明提出的一种多目标跟踪方法实施例步骤S430的子流程图。

图9本发明提出的一种多目标跟踪系统实施例的组成框图。

具体实施方式

为了能够更加清楚的说明本发明的方法流程，下面结合具体实施例进行进一步描述，所说明的实施例仅用于说明本发明的技术方案，实施例设置的参数数值并非限定本发明。

本发明实施方式的专利代表图如图1所示，包括以下步骤：

步骤S10，读取待跟踪数据；

步骤S20，预处理待跟踪数据；

步骤S30，生成目标轨迹；

步骤S40，关联目标轨迹。

实施方式的读取待跟踪数据步骤S10还包括以下步骤，实施步骤如图4所示：

步骤S110，读取摄像装置或存储设备中的待跟踪数据，判断待跟踪数据类型。若待跟踪数据类型为视频类型，则进行步骤S120；若待跟踪数据类型为图像类型，则进行步骤S130。

步骤S120，若待跟踪数据为视频数据，则对视频数据进行分帧处理。具体的，首先将视频数据转换为图像数据，随后将转化后得到的图像数据保存在计算机或存储设备中。

步骤S130，若待跟踪数据为图像数据，则将读取得到的图像数据保存在计算机或存储设备中。

实施方式的预处理待跟踪数据步骤S20还包括以下步骤，实施步骤如图5所示：

步骤S210，读取步骤S10输出的待跟踪图像序列和步骤S40中输出的k-1

步骤S220，若不存在k-1

步骤S230，若存在k-1

步骤S240，读取步骤S220或步骤S230输出的当前场景跟踪轨迹数量N，并根据当前场景跟踪轨迹数量N设置视频子序列长度L。本实施例中，当N>10时，视频子序列长度L设置为5；当5≤N≤10时，视频子序列长度L设置为7；当N<5时，视频子序列长度L设置为9。

步骤S250，读取步骤S240输出的视频子序列长度L，并根据视频子序列长度L切分并保存视频子序列。

实施方式的生成目标轨迹调整步骤S30还包括以下步骤，实施步骤如图6所示：

步骤S310，读取步骤S20输出的k

步骤S320，读取步骤S310读取的图像，判断该帧图像是否为视频子序列的第一帧图像。若该帧图像是k

步骤S330，若步骤S310读取的图像是k

步骤S340，根据跟踪任务标志Flag状态(Flag＝1)，读取步骤S310读取的图像，并使用目标检测算法对场景内的目标进行检测，目标检测结果将传入步骤S40中。

步骤S350，若步骤S310读取的图像不是k

步骤S360，根据跟踪任务标志Flag状态(Flag＝2)，读取步骤S310读取的图像，使用单目标跟踪算法对场景中的每一个目标进行迭代跟踪。

步骤S370，读取步骤S310读取的图像，判断该帧图像是否为视频子序列的最后一帧图像。若该帧图像是k

步骤S380，若步骤S370读取的图像是k

实施方式的关联目标轨迹调整步骤S40还包括以下步骤，实施步骤如图7所示：

步骤S410，读取步骤S30输出的k-1

步骤S420，读取步骤S410输出的损失矩阵M，并将其作为匈牙利算法的输入，得到关联匹配结果，形成目标轨迹集T。

步骤S430，根据传入k-1

步骤S4310，读取步骤S430传入的k-2

步骤S4320，若三段视频子序列中该条目标轨迹均成功关联，则标注该条轨迹为高质量轨迹。

步骤S4330，判断k-2

步骤S4340，若k-2

步骤S4350，若k-2

步骤S440，读取步骤S430传入的目标轨迹，判断该条轨迹是否为错误/消失轨迹。若该条轨迹是错误/消失轨迹，则进行步骤S450；若该条轨迹不是错误/消失轨迹，则进行步骤S460。

步骤S450，若该条轨迹是错误/消失轨迹，则从现有目标轨迹集T中删去该条轨迹。

步骤S460，若该条轨迹是错误/消失轨迹，则判断该条轨迹是否为低质量轨迹。若该条轨迹是低质量轨迹，则进行步骤S470；若该条轨迹不是低质量轨迹，则进行步骤S480。

步骤S470，若该条轨迹是低质量轨迹，则在现有目标轨迹集T中标记该条轨迹为低质量轨迹。

步骤S480，判断所有轨迹是否分析处理完毕。若所有轨迹已经分析处理完毕，则进行步骤S490；所有轨迹尚未分析处理完毕，则重复进行步骤S440。

步骤S490，整合优化现有的目标轨迹集T，并将当前多目标跟踪方法输出的轨迹数量传入至步骤S20中。具体的，针对标注为低质量轨迹的目标轨迹，多目标跟踪方法将不输出该条轨迹信息(不显示、不保存结果)；针对未被标注为低质量轨迹的目标轨迹，多目标跟踪方法将输出该条轨迹信息(显示并保存结果)。

上述多目标跟踪方法流程是本发明给出的方法实施例，相应地，本发明还给出了多目标跟踪系统实施例。参见附图9，本系统500实施例包括：待跟踪数据读取模块510、待跟踪数据预处理模块520、目标轨迹生成模块530和目标轨迹关联模块540，其中：

待跟踪数据读取模块510，用于从摄像装置或存储设备中读取得到待跟踪数据，并根据待跟踪数据类型使用不同的方法将读取得到的待跟踪数据转换为图像数据保存在计算机存储设备中。

待跟踪数据预处理模块520，用于根据当前场景跟踪轨迹数量对数据读取模块保存的待跟踪图像进行预处理，形成多个长短不一的视频子序列，为目标轨迹的生成做准备。

目标轨迹生成模块530，用于根据待跟踪数据预处理模块得到的视频子序列计算得到场景的目标检测结果及目标跟踪结果。

目标轨迹关联模块540，用于将目标轨迹生成模块得到的目标跟踪结果和目标跟踪结果进行关联，形成完整的目标轨迹。同时，该模块还基于时序信息对现有目标轨迹质量进行判断，优化现有目标轨迹以提升跟踪质量。

上述系统实施例500的工作过程是：

首先，待跟踪数据读取模块510读取摄像装置或存储设备中的待跟踪数据，并根据待跟踪数据类型使用不同的方法将读取得到的待跟踪数据转换为图像数据保存在计算机存储设备中，随后将保存的图像数据传输给待跟踪数据预处理模块520。

然后，待跟踪数据预处理模块520根据当前场景跟踪轨迹数量对待跟踪数据读取模块510保存的待跟踪图像进行预处理，形成多个长短不一的视频子序列。待跟踪数据预处理模块520生成的多个视频子序列将传输至目标轨迹生成模块530。

随后，目标轨迹生成模块530先读取待跟踪数据预处理模块520输出的视频子序列，然后通过目标检测子模块和目标跟踪子模块生成该条视频子序列的目标检测结果及目标跟踪结果。上述结果将传输至目标轨迹关联模块540。

最后，目标轨迹关联模块540接收目标轨迹生成模块530得到的目标检测结果及目标跟踪结果，首先计算目标检测结果与目标跟踪结果间的损失矩阵并将其输入至匈牙利算法中已得到轨迹关联结果。然后，根据时序信息对现有轨迹质量进行判断，优化现有目标轨迹以提升跟踪质量。

该系统实施例同样取得了上述方法实施例的技术效果，为避免重复，此处不再赘述。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在发明的保护范围之内。