评估目标检测模型的方法、获取测试集的方法和装置

技术领域

本申请涉及计算机技术领域，特别是涉及一种评估轨迹跟踪系统中目标检测模型的方法和装置，以及一种获取测试集的方法和装置。

背景技术

目标检测模型，能够检测出图片中的目标(如：人、车等)。轨迹跟踪系统借助目标检测模型以及轨迹生成逻辑，以获得视频中目标在空间的移动轨迹。轨迹跟踪系统中的目标检测模型的精度对于轨迹跟踪系统的影响至关重要，目前，评价目标检测模型的参数，通常是以目标检测模型所检测的目标的检测框为粒度的，体现的是目标检测模型好坏，而不能反映目标检测模型是否达到了轨迹跟踪系统的使用要求。

基于此，亟待提供一种能够反映目标检测模型在轨迹跟踪系统中工作情况的技术方案，用于评估轨迹跟踪系统中目标检测模型的好坏，使得优质的轨迹跟踪系统被用户使用且为用户提供较好的服务。

发明内容

本申请实施例提供了一种评估轨迹跟踪系统中目标检测模型的方法和装置，通过新定义的指标，能够合理的评估轨迹跟踪系统中目标检测模型的工作情况，从而使得为用户提供优质的轨道跟踪系统成为可能。

此外，本申请实施例还提供了一种获取测试集的方法和装置，通过将多张图片输入已有的轨迹跟踪系统，并将轨迹跟踪系统输出的结果进行校正即可获得具有轨迹标识的标注结果，该多张图片和对应的标注结果作为评估轨迹跟踪系统中目标检测模型的方法所使用的测试集，节约了目前人工标注的方式生成测试集所消耗的人力成本，提高了生成测试集以及评估轨迹跟踪系统中目标检测模型的效率。

第一方面，本申请实施例提供了一种评估轨迹跟踪系统中目标检测模型的方法，包括：

基于测试集中的多张图片和轨迹跟踪系统的目标检测模型，获得测试结果，所述测试集包括所述多张图片的标注结果，所述测试结果和所述标注结果均包括图片在视频帧中的编号和检测框位置信息，标注记过还包括轨迹标识；

根据所述测试结果和所述标注结果，获得所述目标检测模型的轨迹评估指标的值，所述轨迹评估指标用于体现所述目标检测模型在所述轨迹跟踪系统中的工作情况。

可选地，所述轨迹评估指标包括轨迹召回率和/或轨迹断开率，所述轨迹召回率取召回轨迹数量和总轨迹数量之比，所述轨迹断开率取所有轨迹的断开总次数和召回轨迹数量之比，目标连续N帧被检测到则该目标记作一个召回轨迹，所述N为大于或等于1的整数。

可选地，所述基于测试集中的多张图片和轨迹跟踪系统的目标检测模型，获得测试结果，包括：

将所述测试集中的多张图片输入所述轨迹跟踪系统的所述目标检测模型，获得第一中间结果；

基于第一阈值，剔除所述第一中间结果中无效的检测框，获得所述测试结果。

可选地，所述基于第一阈值，剔除所述第一中间结果中无效的检测框，获得所述测试结果，包括：

基于所述第一阈值，剔除所述第一中间结果中无效的检测框，获得第二中间结果；

为所述第二中间结果中的每个检测框添加目标轨迹标识，获得所述测试结果。

可选地，所述根据所述测试结果和所述标注结果，计算所述目标检测模型的轨迹评估指标的值，包括：

根据所述测试结果和所述标注结果获得评估结果，所述评估结果包括：每个轨迹标识、该轨迹出现在所述测试结果中的编号以及该轨迹出现在所述标注结果中的编号之间的对应关系，所述评估结果用于表征各轨迹在所述测试结果和所述标注结果中的出现情况；

根据所述评估结果计算所述目标检测模型的轨迹评估指标的值。

可选地，所述测试集中包括第一图片，所述测试结果中包括所述第一图片的第一测试框，所述标注结果中包括所述第一图片的第一标注框，针对所述第一图片，所述根据所述测试结果和所述标注结果获得评估结果，包括：

计算所述第一测试框与所述第一标注框的第一重叠度(Intersection overUnion，IoU)；

确定所述第一IoU选择满足预设条件，将所述第一测试框的轨迹标识设置为所述第一标注框的第一轨迹标识，所述预设条件包括：IoU中的最大值大于第二阈值。

可选地，所述测试集中包括第一图片，所述测试结果中包括所述第一图片的第一测试框和第二测试框，所述标注结果中包括所述第一图片的第一标注框和第二标注框，针对所述第一图片，所述根据所述测试结果和所述标注结果，获得评估结果，包括：

计算所述第一测试框与所述第一标注框的第一IoU、所述第一测试框与所述第二标注框的第二IoU、所述第二测试框与所述第一标注框的第三IoU以及所述第二测试框与所述第二标注框的第四IoU；

从所述第一IoU和所述第二IoU中选择满足预设条件的第一IoU，将所述第一测试框的轨迹标识设置为所述第一标注框的第一轨迹标识；并且，从所述第三IoU和所述第四IoU中选择满足预设条件的第四IoU，将所述第二测试框的轨迹标识设置为所述第二标注框的第二轨迹标识，所述评估结果包括所述第一测试框的所述第一轨迹标识和所述第二测试框的所述第二轨迹标识。可选地，所述预设条件包括：IoU中的最大值大于第二阈值。那么，第一IoU满足预设条件，可以指所述第一IoU的值大于第二IoU的值，且第一IoU的值大于第二阈值；第四IoU满足预设条件，可以指所述第四IoU的值大于第三IoU的值，且第四IoU的值大于第二阈值。

可选地，所述第一图片还包括第三测试框，针对所述第一图片，所述根据所述测试结果和所述标注结果，获得评估结果，还包括：

计算所述第三测试框与所述第一标注框的第五IoU以及所述第三测试框与所述第二标注框的第六IoU；

确定所述第五IoU和所述第六IoU中的IoU均不满足所述预设条件，则，为所述第三测试框的轨迹标识设置为目标轨迹标识，所述评估结果还包括所述第三测试框的所述目标轨迹标识。假设第五IoU的值大于第六IoU的值，那么，所述确定所述第五IoU和所述第六IoU中的IoU均不满足所述预设条件，可以指第五IoU的值不大于第二阈值；假设第五IoU的值小于第六IoU的值，那么，所述确定所述第五IoU和所述第六IoU中的IoU均不满足所述预设条件，可以指第六IoU的值不大于第二阈值。

可选地，所述测试集通过如下步骤获得：

将所述多张图片输入所述轨迹跟踪系统的所述目标检测模块，获得所述多张图片中每张图片的初始标注框的信息，所述初始标注框的信息包括图片在视频帧中的编号、检测框位置信息和轨迹标识；

根据预设的检测框补充模型和所述多张图片中每张图片的所述初始标注框的信息，对所述多张图片中有标注框缺失现象的图片进行标注框补充，获得所述多张图片中每张图片的中间标注框的信息，所述中间标注框的信息包括所述初始标注框的信息，所述中间标注框的信息还包括补充框的信息；

根据所述多张图片及其对应的所述中间标注框的信息获得测试集。

可选地，一种情况下，所述标注结果包括所述多张图片中每张图片的中间标注框的信息；另一种情况下，所述根据所述中间标注框的信息获得测试集，包括：修正所述中间标注框的信息获得最终标注框的信息；根据所述最终标注框的信息获得所述测试集，所述测试集中的所述标注结果包括所述多张图片中每张图片的最终标注框的信息。

第二方面，本申请实施例还提供了一种评估轨迹跟踪系统中目标检测模型的装置，包括：

第一获得单元，用于基于测试集中的多张图片和轨迹跟踪系统的目标检测模型，获得测试结果，所述测试集包括所述多张图片的标注结果，所述测试结果和所述标注结果均包括图片在视频帧中的编号和检测框位置信息，所述标注结果还包括轨迹标识；

第二获得单元，用于根据所述测试结果和所述标注结果，获得所述目标检测模型的轨迹评估指标的值，所述轨迹评估指标用于体现所述目标检测模型在所述轨迹跟踪系统中的工作情况。

可选地，所述轨迹评估指标包括轨迹召回率和/或轨迹断开率，所述轨迹召回率取召回轨迹数量和总轨迹数量之比，所述轨迹断开率取所有轨迹的断开总次数和召回轨迹数量之比，目标连续N帧被检测到则该目标记作一个召回轨迹，所述N为大于或等于1的整数。

可选地，所述第一获得单元，包括：

第一获得子单元，用于将所述测试集中的多张图片输入所述轨迹跟踪系统的所述目标检测模型，获得第一中间结果；

筛选子单元，用于基于第一阈值，剔除所述第一中间结果中无效的检测框，获得所述测试结果。

可选地，所述筛选子单元，具体用于：

基于所述第一阈值，剔除所述第一中间结果中无效的检测框，获得第二中间结果；

为所述第二中间结果中的每个检测框添加目标轨迹标识，获得所述测试结果。

可选地，所述第二获得单元，包括：

第二获得子单元，用于根据所述测试结果和所述标注结果获得评估结果，所述评估结果包括：每个轨迹标识、该轨迹出现在所述测试结果中的编号以及该轨迹出现在所述标注结果中的编号之间的对应关系，所述评估结果用于表征各轨迹在所述测试结果和所述标注结果中的出现情况；

计算子单元，用于根据所述评估结果计算所述目标检测模型的轨迹评估指标的值。

可选地，所述测试集中包括第一图片，所述测试结果中包括所述第一图片的第一测试框，所述标注结果中包括所述第一图片的第一标注框，针对所述第一图片，所述第二获得子单元，具体用于：

计算所述第一测试框与所述第一标注框的第一IoU；

确定所述第一IoU选择满足预设条件，将所述第一测试框的轨迹标识设置为所述第一标注框的第一轨迹标识，所述预设条件包括：IoU中的最大值大于第二阈值。

可选地，所述测试集中包括第一图片，所述测试结果中包括所述第一图片的第一测试框和第二测试框，所述标注结果中包括所述第一图片的第一标注框和第二标注框，针对所述第一图片，所述第二获得子单元，具体用于：

计算所述第一测试框与所述第一标注框的第一重叠度IoU、所述第一测试框与所述第二标注框的第二IoU、所述第二测试框与所述第一标注框的第三IoU以及所述第二测试框与所述第二标注框的第四IoU；

从所述第一IoU和所述第二IoU中选择满足预设条件的所述第一IoU，将所述第一测试框的轨迹标识设置为所述第一标注框的第一轨迹标识；并且，从所述第三IoU和所述第四IoU中选择满足所述预设条件的所述第四IoU，将所述第二测试框的轨迹标识设置为所述第二标注框的第二轨迹标识，所述评估结果包括所述第一测试框的所述第一轨迹标识和所述第二测试框的所述第二轨迹标识。可选地，所述预设条件包括：IoU中的最大值大于第二阈值。

可选地，所述第一图片还包括第三测试框，针对所述第一图片，所述第二获得子单元，还用于：

计算所述第三测试框与所述第一标注框的第五IoU以及所述第三测试框与所述第二标注框的第六IoU；

确定所述第五IoU和所述第六IoU中的IoU均不满足所述预设条件，则，为所述第三测试框的轨迹标识设置为目标轨迹标识，所述评估结果还包括所述第三测试框的所述目标轨迹标识。

可选地，所述装置还包括第三获得单元，用于获得所述测试集，其中，所述第三获得单元，包括：

第三获得子单元，用于将所述多张图片输入所述轨迹跟踪系统的所述目标检测模块，获得所述多张图片中每张图片的初始标注框的信息，所述初始标注框的信息包括图片在视频帧中的编号、检测框位置信息和轨迹标识；

第四获得子单元，用于根据预设的检测框补充模型和所述多张图片中每张图片的所述初始标注框的信息，对所述多张图片中有标注框缺失现象的图片进行标注框补充，获得所述多张图片中每张图片的中间标注框的信息，所述中间标注框的信息包括所述初始标注框的信息，所述标注结果包括所述多张图片中每张图片的中间标注框的信息，所述中间标注框的信息还包括补充框的信息；

第五获得子单元，用于根据所述多张图片及其对应的所述中间标注框的信息获得测试集。

可选地，所述标注结果包括所述多张图片中每张图片的中间标注框的信息；

或者，

所述第五获得子单元，具体用于：

修正所述中间标注框的信息获得最终标注框的信息；

根据所述最终标注框的信息获得所述测试集，所述标注结果包括所述多张图片中每张图片的最终标注框的信息。

第三方面，本申请实施例还提供了一种获取测试集的方法，该方法例如可以包括：

将多张图片输入轨迹跟踪系统，获得所述多张图片中每张图片的初始标注框的信息，所述初始标注框的信息包括图片在视频帧中的编号、检测框位置信息和轨迹标识；

根据预设的检测框补充模型和所述多张图片中每张图片的所述初始标注框的信息，对所述多张图片中有标注框缺失现象的图片进行标注框补充，获得所述多张图片中每张图片的中间标注框的信息，所述中间标注框的信息包括所述初始标注框的信息，所述中间标注框的信息还包括补充框的信息；

根据所述多张图片及其对应的所述中间标注框的信息获得测试集。

可选地，所述测试集被用于上述第一方面提供的方法中。

可选地，一种情况下，所述标注结果包括所述多张图片中每张图片的中间标注框的信息。或者，另一种情况下，所述根据所述中间标注框的信息获得测试集，包括：修正所述中间标注框的信息获得最终标注框的信息；根据所述最终标注框的信息获得所述测试集，所述测试集中的所述标注结果包括所述多张图片中每张图片的最终标注框的信息。

第四方面，本申请实施例还提供了一种获取测试集的装置，该装置可以包括：

第一获得单元，用于将多张图片输入轨迹跟踪系统，获得所述多张图片中每张图片的初始标注框的信息，所述初始标注框的信息包括图片在视频帧中的编号、检测框位置信息和轨迹标识；

第二获得单元，用于根据预设的检测框补充模型和所述多张图片中每张图片的所述初始标注框的信息，对所述多张图片中有标注框缺失现象的图片进行标注框补充，获得所述多张图片中每张图片的中间标注框的信息，所述中间标注框的信息包括所述初始标注框的信息，所述中间标注框的信息还包括补充框的信息；

第三获得单元，用于根据所述多张图片及其对应的所述中间标注框的信息获得测试集，所述测试集包括所述多张图片和所述多张图片中每张图片的标注结果。

可选地，所述测试集被用于上述第一方面提供的方法中。

可选地，

所述标注结果包括所述多张图片中每张图片的中间标注框的信息；

或者，

所述第三获得单元，包括：

修正子单元，用于修正所述中间标注框的信息获得最终标注框的信息；

获得子单元，用于根据所述最终标注框的信息获得所述测试集，所述测试集中的所述标注结果包括所述多张图片中每张图片的最终标注框的信息。

第五方面，本申请实施例还提供了一种电子设备，所述电子设备包括处理器以及存储器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序执行上述第一方面或第三方面提供的所述方法。

第六方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述第一方面或第三方面提供的所述方法。

由此可见，本申请实施例具有如下有益效果：

本申请实施例提供了一种评估轨迹跟踪系统中目标检测模型的方法，包括：基于测试集中的多张图片和轨迹跟踪系统的目标检测模型，获得测试结果，所述测试集包括所述多张图片的标注结果，所述测试结果和所述标注结果均包括图片在视频帧中的编号、轨迹标识和检测框位置信息；接着，根据所述测试结果和所述标注结果，获得所述目标检测模型的轨迹评估指标的值，所述轨迹评估指标用于体现所述目标检测模型在所述轨迹跟踪系统中的工作情况。可见，通过该方法，新定义的目标检测模型的轨迹评估指标(如轨迹召回率和/或轨迹断开率)，该轨迹评估指标用于评估轨迹跟踪系统中目标检测模型的好坏，即，该轨迹评估指标不仅反映目标检测模型的状态，还反映包括该目标检测模型的轨迹跟踪的状态，如此，借助新定义的该轨迹评估指标，能够合理的评估轨迹跟踪系统中目标检测模型的工作情况，从而使得为用户提供优质的轨道跟踪系统成为可能。

此外，本申请实施例提供的一种获取测试集的方法和装置，通过将多张图片输入已有的轨迹跟踪系统，并将轨迹跟踪系统输出的结果进行校正即可获得具有轨迹标识的标注结果，该多张图片和对应的标注结果作为评估轨迹跟踪系统中目标检测模型的方法所使用的测试集，节约了目前人工标注的方式生成测试集所消耗的人力成本，提高了生成测试集以及评估轨迹跟踪系统中目标检测模型的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为IoU的含义示意图；

图2为本申请实施例提供的一种评估轨迹跟踪系统中目标检测模型的方法的流程示意图；

图3为本申请实施例提供的一种评估轨迹跟踪系统中目标检测模型的装置的结构示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，并非对本申请的限定。另外，还需要说明的是，为便于描述，附图中仅示出了与本申请相关的部分，并非全部结构。

目标检测模型，用于检测图片中目标的位置。其中，目标可以是人体、车辆等的全部或局部，例如，人体检测模型能检测到图片中的人体，人脸检测模型能检测到图片中的人脸，车辆检测模型能检测到图片中的车辆，车牌检测模型能检测到图片中的车牌。目标检测模型的输入是图片，输出是图片中的目标的位置信息，具体可以是带有检测框的图片，检测框包括目标的全部或部分

轨迹跟踪系统，用于展示目标在空间中的移动轨迹。轨迹跟踪系统包括至少一个目标检测模型和轨迹生成模块，轨迹生成模块中集成根据目标在各个图片中的位置生成轨迹的逻辑，用于基于目标检测模型的输出生成轨迹。需要说明的是，轨迹跟踪系统包括的目标检测模型可以针对一种目标(如人体)，以实现对着一种目标的轨迹跟踪；轨迹跟踪系统包括的目标检测模型也可以针对多种目标(如人体、车辆等)，以实现对着多种目标的轨迹跟踪，具体可以基于实际需求进行设计。

目前，轨迹跟踪系统中的目标检测模型的好坏，通常沿用独立的目标检测模型的评价指标，例如，准确度(Accuracy)、精度(Precision)、召回率(Recall Rate)，PR曲线，正确率(Average Precision，AP)，平均正确率(mean Average Precision，mAP)等。在评估目标检测模型的场景中，可以先随机选取图片作为测试集，标注人员将测试集中的图片中的所有目标的位置标出来，标出的位置可以称作标注框；接着，将测试集中的图片输入到待评价的目标检测模型中，获得图片的测试框；然后，可以通过比对测试集中所有图片的标注框和测试框，计算相应标注框和测试框的IoU，计算出mAP等指标的值。其中，IoU可以理解为交并比，如图1所示，假设标注框为1，测试框为2，那么，1和2的交集为A，1和2的并集为B，那么，1和2的IoU可以等于A比B。标注框和测试框都可以认为是目标在图片中的检测框，范围包括了图片中的目标的全部或主要部分。

但是，通过目前的方式所得的目标检测模型的评价，并不会关联到检测框所属的轨迹，只能反映目标检测模型单独工作时对目标的检测情况，而不能反映目标检测模型在轨迹跟踪系统的工作情况，即，不能体现目标检测模型是否能够达到所属的轨迹跟踪系统的使用要求。

为了更好的描述，下文中以对行人的轨迹跟踪系统为例进行说明，那么，目标检测模型也对应人体检测模型。基于对目前轨迹跟踪系统以及轨迹跟踪系统中目标检测模型的研究，发明人发现，轨迹跟踪系统中目标检测模块的评价，应该考虑下述两个问题：第一、某段时间内轨迹跟踪系统是否能够跟踪到所有的人，第二，某段时间内轨迹跟踪系统是否能够跟踪到某个人出现的任何时间的位置，即，跟踪出现的所有人的轨迹的完整度。

基于此，本申请实施例提供了一种评估轨迹跟踪系统中目标检测模型的方法，包括：基于测试集中的多张图片和轨迹跟踪系统的目标检测模型，获得测试结果，所述测试集包括所述多张图片的标注结果，所述测试结果和所述标注结果均包括图片在视频帧中的编号和检测框位置信息，标注结果还包括轨迹标识；接着，根据所述测试结果和所述标注结果，获得所述目标检测模型的轨迹评估指标的值，所述轨迹评估指标用于体现所述目标检测模型在所述轨迹跟踪系统中的工作情况。

可见，通过该方法，新定义的目标检测模型的轨迹评估指标(如轨迹召回率和/或轨迹断开率)，该轨迹评估指标用于评估轨迹跟踪系统中目标检测模型的好坏，即，该轨迹评估指标不仅反映目标检测模型的状态，还反映包括该目标检测模型的轨迹跟踪的状态，如此，借助新定义的该轨迹评估指标，能够合理的评估轨迹跟踪系统中目标检测模型的工作情况，从而使得为用户提供优质的轨道跟踪系统成为可能。

为便于理解本申请实施例提供的评估轨迹跟踪系统中目标检测模型的方法的具体实现，下面将结合附图进行说明。

需要说明的是，实施该评估轨迹跟踪系统中目标检测模型的方法的主体可以为本申请实施例提供的评估轨迹跟踪系统中目标检测模型的装置，该装置可以承载于电子设备或电子设备的功能模块中。本申请实施例中的电子设备，可以是任意的能够实施本申请实施例中的评估轨迹跟踪系统中目标检测模型的方法的设备，例如可以是IoT设备。

图2为本申请实施例提供的一种评估轨迹跟踪系统中目标检测模型的方法流程示意图。该方法可以应用于如图3所示的评估轨迹跟踪系统中目标检测模型的装置300中，或者，也可以应用于图4所示的电子设备400中。

如图2所示，该方法可以包括下述S201～S202：

S201，基于测试集中的多张图片和轨迹跟踪系统的目标检测模型，获得测试结果，所述测试集包括所述多张图片的标注结果，所述测试结果和所述标注结果均包括图片在视频帧中的编号和检测框位置信息，所述标注结果还包括轨迹标识。

测试集，包括至少一段视频，所述至少一段视频中的多张图片均包括标注结果，标注结果包括标注框和标注信息。其中，标注框的区域中包括一个目标的全部或大部分。例如，如果目标为人体，那么，测试集中的每张图片中包括标注框，每个标注框的区域中覆盖了一个人的人体的全部或大部分(如人的上半身)。标注信息包括图片在视频帧中的编号、标注框(或者也可以称为检测框)位置信息和轨迹标识。

本申请实施例中的测试集，一种情况下，可以是基于目前的测试集获得方式进行标注并手动标注轨迹标识获得的；另一种情况下，为了降低获得测试集的工作量，本申请实施例还提供了一种新的获得测试集的方法。

作为一个示例，获得测试集的过程可以包括：对视频进行抽样得到多张图片，并对抽样所得的每张图片进行目标标注，得到测试集，例如，对于一段10分钟的视频，假设视频的帧率为每秒25帧，那么，该视频共(25*60*10＝15000)帧，可以从15000帧图片中抽取1000帧图片，并对所抽取的1000帧图片进行目标标注，并进行轨迹标识的标注，得到测试集。但是，该方式所得到的测试集体现的信息不全面，不可能完全覆盖该视频所对应的时间内的所有目标的信息。或者，获得测试集的过程也可以包括：不对视频抽样，将视频包括的所有图片都进行目标标注，并进行轨迹标识的标注，得到测试集。但是，目前获得测试集的方法中，对图片的标注通常是人工完成的，那么，该获得测试集的方式会导致标注的工作量十分巨大。假设一个标注人员1小时能标注250张图片，那么，抽样1000张图片，需要一个标注人员连续工作4小时才能完成标注；而不抽样进行全量标注，需要一个标注人员连续工作60小时才能完成标注。而且，虽然对测试集涉及的视频不抽样进行全量标注能够使得测试集的样本携带的信息更加丰富，但是，根据该方式获得的测试集也只能计算出检测框整体的精度、召回率、mAP等，并不能再关联到轨迹跟踪系统的性能，无法细致到有多少轨迹被检测到。

而且，为了细致到有多少轨迹被检测到，在测试集的每张图片中需要额外标注每个检测框的轨迹标识(也可以记作轨迹id)，轨迹标识用于唯一标识轨迹，但这无疑又是一个很大的标注成本，尤其对于目标较多的场景，例如，在大型招聘会、机场、火车站等人员密集的场景，对这些场景下的视频进行人体检测和轨迹跟踪，标注的成本是巨大的。基于此，本申请实施例设计了低标注成本的测试集构建方法。

作为另一个示例，本申请实施例提供的获取测试集的方式中，例如可以包括：S11，将所述多张图片输入所述轨迹跟踪系统的所述目标检测模块，获得所述多张图片中每张图片的初始标注框的信息，所述初始标注框的信息包括图片在视频帧中的编号、检测框位置信息和轨迹标识；S12，根据预设的检测框补充模型和所述多张图片中每张图片的所述初始标注框的信息，对所述多张图片中有标注框缺失现象的图片进行标注框补充，获得所述多张图片中每张图片的中间标注框的信息，所述中间标注框的信息包括所述初始标注框的信息，所述中间标注框的信息还包括补充框的信息，其中，补充框可以指图片经过S11之后未被识别出的目标被检测框补充模型识别并标记的检测框；S13，根据所述中间标注框的信息获得测试集，所述测试集包括所述多张图片和所述多张图片中每张图片的标注结果。所述标注结果包括所述多张图片中每张图片的中间标注框的信息；可选地，还可以包括S13，根据所述中间标注框的信息修正得到最终标注框的信息，所述标注结果包括所述多张图片中每张图片的最终标注框的信息，所述最终标注框的信息根据所述中间标注框的信息修正得到。

对于S11，一种情况下，可以基于目前存在的检测模型和行人重识别(Person Re-identification，ReID)模型，实现行人轨迹跟踪的功能，为视频中的每个行人的人体标记检测框和轨迹标识，获得测试集中每张图片的初始标注框的信息；或者，另一种情况下，也可以使用待评价的轨迹跟踪系统，实现行人轨迹跟踪的功能，为视频中的每个行人的人体标记检测框和轨迹标识，获得测试集中每张图片的初始标注框的信息。其中，初始标注框的信息可以包括：图片在视频帧中的编号、标注框在图片中的坐标位置以及轨迹标识，例如，初始标注框的信息可以包括：{“1”，[[1445,121,105,134],9],[[1698,202,112,134],10]},其中，“1”代表该图片是该视频的第1帧，[[1445,121,105,134],9]代表轨迹标识为9的行人在该图片中的坐标位置为[1445,121,105,134]，同理，[[1698,202,112,134],10]代表轨迹标识为10的行人在该图片中的坐标位置为[1698,202,112,134]。坐标位置通常为[x,y,w,h]的数组，其中，x和y代表这个人在图片中标注框的左上角坐标，w和h分别代表该标注框的宽和高。轨迹和目标一一对应，如果图片中有三个行人，那么，该图片的初始标注框的信息中，可以包括三个标注框，这三个标注框分别对应一个轨迹标识。

对于S12，预设的检测框补充模型可以是针对S11输出结果设计的程序模块，用于检查S11的输出结果中每一张图片是否遗漏检测框，如果有遗漏，则，该程序模块为遗漏检测框的图片进行自动补充检测框的操作。该检测框补充模型的输入为S11的输出结果，输出为自动补充检测框后得到的中间标注框的信息。其中，检测框补充模型中设计的自动补充检测框的策略可以包括但不限于：方式一，选择离缺失检测框的图片1最近的有检测框1的图片2的检测框作为该图片1中的检测框2，使得图片1包括检测框2，检测框2的信息即检测框1的信息，图片1的检测框2即为补充框；方式二，计算离缺失检测框的图片1最近的有检测框的多张图片(如图片2和图片3)的检测框的平均值作为该图片1的检测框2，例如，计算离缺失检测框的图片1最近的有检测框的图片2和图片3的检测框2和检测框3的平均值检测框1’，使得图片1包括检测框1’的信息，检测框1’的信息即检测框2的信息和检测框3的信息的平均值，图片1的检测框1’即为补充框。

一种情况下，可以基于S11～S13获得测试集，那么，S13所得的测试集中的每张图片包括S11所得的初始检测框的信息以及S12所得的中间检测框的信息。

另一种情况下，为了使得测试集中的样本更加准确，S13还可以包括对于S12输出的结果进行人工校验和校正。S13例如可以包括：对于S12输出结果中检测框特别不准的，重新调整检测框的位置；对于S12输出结果中检测框缺失明显的进行重新标记检测框；对于S12输出结果中轨迹标识等明显错误的进行纠正；对于S12中完全没有轨迹的人进行补标检测框，并生成对应的轨迹标识。

需要说明的是，基于S11～S13生成的测试集中，检测框并不必然是准确的检测框，而可以理解为是相对准确的检测框，在测试集的样本十分庞大的情况下，可以忽略检测框不是完全准确的缺点，视作完全准确的检测框使用，即，该方式所获得测试集可以被用于对轨迹跟踪系统中的目标检测模型进行评价。

需要说明的是，S11之后，可以仅基于预设的检测框补充模型对初始标注框的信息进行完善，S13中不再执行校验和补充，直接生成测试集；或者，S11之后，也可以不基于预设的检测框补充模型对初始标注框的信息进行完善，仅在S13中对初始标注框的信息进行修正，生成测试集；又或者，S11之后，可以既基于预设的检测框补充模型对初始标注框的信息进行完善，S13中也对初始标注框的信息执行校验和补充，而基于预设的检测框补充模型对初始标注框的信息进行完善和S13中对初始标注框的信息的修正顺序可以不作限定。

以下详细描述本申请实施例提供的获取测试集的方式：

第一步，数据获取：抽取需要测试集中每段视频中的每一张图片，例如，可以使用opencv2的VideoCapture()函数，将视频作为VideoCapture()函数的输入，该VideoCapture()函数输出该视频的每张图片。

第二步，每张图片的初始标注框的信息：将视频中的每张图片按照顺序输入给轨迹跟踪系统，输出每一张图片中所有人的轨迹，输出的结果可以以字典的形式保存在json文件，例如可以命名为gt.json。字典的key值为每张图片在该段视频中的帧号，每个key对应的value值为该图片包括的每个人的检测框的位置坐标及其轨迹标识。例如，输出的gt.json可以为：{"1":[[[1445,121,105,134],9],[[1698,202,112,134],10]],"2":[[[1673,203,109,137],10]],"3":[[[1403,141,107,128],9],[[1640,199,110,139],11]]}，代表在该视频的第1帧图片有两个人，这两个人的轨迹标识分别为9和10；第2帧图片有1个人，轨迹标识为10；第3帧图片有两个人，这两个人的轨迹标识分别为9和11。

第三步，人工标注，例如，将1个人断开的轨迹标识进行合并和拆分，假设gt.json{"1":[[[1445,121,105,134],9],[[1698,202,112,134],10]],"2":[[[1673,203,109,137],10]],"3":[[[1403,141,107,128],9],[[1640,199,110,139],11]]}中，如果10和11实际标识的是一个人的轨迹，则可以将轨迹标识10和11合并为10，即gt.json的内容可以修改为：{"1":[[[1445,121,105,134],9],[[1698,202,112,134],10]],"2":[[[1673,203,109,137],10]],"3":[[[1403,141,107,128],9],[[1640,199,110,139],10]]}；如果第二张图片中9和10是重叠的，实际是两个人的轨迹，则，gt.json的内容可以修改为：{"1":[[[1445,121,105,134],9],[[1698,202,112,134],10]],"2":[

又例如，检测框特别不准的，重新调整检测框的位置；检测框缺失明显或明显错误的轨迹标识进行重标检测框。完全没有轨迹的人进行重新补标检测框，并生成新的轨迹标识。如，针对上述举例，重新修改后的gt.json的内容可以为：{"1":[[[1445,121,105,134],9],[[1698,202,112,134],10]],"2":[

第四步，编写脚本(即上文中的程序模块或预设的检测框补充模型)：读取gt.json，对每个轨迹标识的连续性进行检查，例如检查到轨迹标识为9的行人在第1和第3张图片中存在，但第2张图片中没有，则，补充第2张图片中轨迹标识为9的行人的检测框。需要说明的是，在测试集足够大的情况下，即使发生个别图片中检测框缺失或无法补足的情况，其对最终的指标结果影响也可以忽略不计。

通过本申请实施例提供的获得测试集的方式，能够大大的降低目标获得测试集的过程中的标注工作量，仍然以一段10分钟的视频为例，一个标注人员进行全量标注的时间可以从60小时缩短至8小时，成本降低大约7.5倍。

需要说明的是，本申请实施例提供的获取测试集的方法，可以作为单独的技术方案实施，通过将样本输入到已有的模型中，对模型的输出结果进行修正以获得较为准确的测试集，相比目前人工标注的方式生成测试集，大大的节约了人工标注的成本，提高了生成测试集的效率。而且，将该测试集应用于本申请实施例提供的评估轨迹跟踪系统中目标检测模型的方法中，由于测试集的样本丰富且获取测试集迅速，所以，提高了评估轨迹跟踪系统中目标检测模型的准确性的效率。

对于S201，具体可以包括：S2011，将所述测试集中的多张图片输入所述轨迹跟踪系统的所述目标检测模型，获得第一中间结果；S2012，基于第一阈值，剔除所述第一中间结果中无效的检测框，获得所述测试结果。其中，S2012例如可以包括：S201a，基于所述第一阈值，剔除所述第一中间结果中无效的检测框，获得第二中间结果；S201b，为所述第二中间结果中的每个检测框添加目标轨迹标识，获得所述测试结果。其中，第一阈值例如可以是上线的正常使用的轨迹跟踪系统中目标检测模型中对有效检测框设置的阈值。

对于S2011，例如将测试集中每张图片分别输入到opencv的dnn模块调用模型，获得待评价的轨迹跟踪系统的目标检测模型在图片上检测到的结果，记作第一中间结果。并且，还可以将第一中间结果保存到txt文件中，保存格式例如可以为：图片名称+置信度+类别+坐标，如：img/ch08003_20200108153031_15261.jpg 0.919154 1 1449 124 103 1340.889048 1 1693 200 112 130 0.8733 1 0 806 126 160 0.006487 1 1290 170 73 84，其中，按照出现顺序，分别介绍各个数字的含义：img/ch08003_20200108153031_15261.jpg为图片名称，0.919154为第一个检测框的置信度，即第一个检测框中属于该类别的概率，1代表第一个检测框的类别，1449 124 103 134代表第一个检测框的在该图片中的位置坐标；0.889048为第二个检测框的置信度，即第二个检测框中属于该类别的概率，1代表第二个检测框的类别，1693 200 112 130代表第二个检测框的在该图片中的位置坐标；0.8733为第三个检测框的置信度，即第三个检测框中属于该类别的概率，1代表第三个检测框的类别，0 806 126 160代表第三个检测框的在该图片中的位置坐标；0.006487为第四个检测框的置信度，即第四个检测框中属于该类别的概率，1代表第四个检测框的类别，1290 170 7384代表第四个检测框的在该图片中的位置坐标。

对于S2012，可以使用第一阈值将S1011中检测到的无效的检测框滤除，对应S201a，得到的第二中间结果即可记作测试结果，例如，测试结果可以记作dt.json，dt.json可以为{"1":[[1449,124,103,134],,[1693,200,112,130],,[0,806,126,160]]}；或者，可选地，为了给后续过程做铺垫，还可以执行S201b，为S201a所得的每个检测框标记目标轨迹标识，例如，目标轨迹标识为-1，测试结果dt.json可以为{"1":[[[1449,124,103,134],-1],[[1693,200,112,130],-1],[[0,806,126,160],-1]]}。需要说明的是，为了后续的计算方便，可以保持测试结果和测试集中标注结果的格式相同，所以，S201b中添加的目标轨迹标识并不指示真实的轨迹。

S202，根据所述测试结果和所述标注结果，获得所述目标检测模型的轨迹评估指标的值，所述轨迹评估指标用于体现所述目标检测模型在所述轨迹跟踪系统中的工作情况。

具体实现时，S202可以包括：S2021，根据所述测试结果和所述标注结果获得评估结果，所述评估结果包括：每个轨迹标识、该轨迹出现在所述测试结果中的编号以及该轨迹出现在所述标注结果中的编号之间的对应关系，所述评估结果用于表征各轨迹在所述测试结果和所述标注结果中的出现情况；S2022，根据所述评估结果计算所述目标检测模型的轨迹评估指标的值。

对于S2021，例如可以包括：对测试集中的每张图片，计算该图片的dt.json中的每个检测框与gt.json中该图片的所有检测框的IoU，假设该图片在dt.json中有n个检测框，在gt.json中有m个检测框，那么，可以得到n*m个IoU，n*m个IoU可以组成n行m列的数组，该数组中的行号表示dt.json中检测框的编号，列号表示gt.json中检测框的编号；接着，遍历该n*m的数组，从每行中选择满足预设条件的IoU，将满足预设条件的IoU的列号对应的检测框的轨迹标识赋值给该IoU的行号对应的检测框，如果某行的IoU均不满预设条件，则，将目标轨迹标识赋值给该行的检测框，如此，使得所有dt.json中的检测框具有轨迹标识。

其中，预设条件可以包括：IoU的最大值大于第二阈值(例如0.5)。上述“从每行中选择满足预设条件的IoU”，可以指n*m的数组中，判断每行的IoU的最大值是否大于第二阈值。

作为一个示例，以测试集包括第一图片，测试结果中包括所述第一图片的第一测试框，所述标注结果中包括所述第一图片的第一标注框为例，针对所述第一图片，S2021例如可以包括：计算所述第一测试框与所述第一标注框的第一IoU；确定所述第一IoU满足预设条件，则，将所述第一测试框的轨迹标识设置为所述第一标注框的第一轨迹标识。其中，第一IoU满足预设条件可以包括：第一IoU中的值大于第二阈值。

作为另一个示例，以测试集包括第一图片，测试结果中包括所述第一图片的第一测试框和第二测试框，所述标注结果中包括所述第一图片的第一标注框和第二标注框为例，针对所述第一图片，S2021例如可以包括：S20211，计算所述第一测试框与所述第一标注框的第一IoU、所述第一测试框与所述第二标注框的第二IoU、所述第二测试框与所述第一标注框的第三IoU以及所述第二测试框与所述第二标注框的第四IoU；S20212，从所述第一IoU和所述第二IoU中选择满足预设条件的第一IoU，将所述第一测试框的轨迹标识设置为所述第一标注框的第一轨迹标识；并且，从所述第三IoU和所述第四IoU中选择满足预设条件的第四IoU，将所述第二测试框的轨迹标识设置为所述第二标注框的第二轨迹标识，所述评估结果包括所述第一测试框的所述第一轨迹标识和所述第二测试框的所述第二轨迹标识。其中，所述预设条件可以包括：IoU的值大于第二阈值。

作为另一个示例，如果第一图片还包括第三测试框，那么，针对所述第一图片，所述S2021除了上述S20211和S20212，还可以包括：S20213，计算所述第三测试框与所述第一标注框的第五IoU以及所述第三测试框与所述第二标注框的第六IoU；S20214，确定所述第五IoU和所述第六IoU中的IoU均不满足所述预设条件，则，为所述第三测试框的轨迹标识设置为目标轨迹标识(例如-1)，所述评估结果还包括所述第三测试框的所述目标轨迹标识。该目标轨迹标识可以与前述目标轨迹标识取相同的值，也可以取不同的值。

以经过S201得到的dt.json为{"1":[[[1449,124,103,134],-1],[[1693,200,112,130],-1],[[0,806,126,160],-1]]}为例，经过S202得到的pt.json例如可以为：{"1":[[[1449,124,103,134],9],[[1693,200,112,130],10],[[0,806,126,160],-1]]}，即，位置坐标为[1449,124,103,134]的检测框和该图片的标注结果中轨迹标识为9的检测框的IoU满足预设条件；位置坐标为[1693,200,112,130]的检测框和该图片的标注结果中轨迹标识为10的检测框的IoU满足预设条件；位置坐标为[0,806,126,160]的检测框和该图片的标注结果中的任何检测框的IoU均不满足预设条件。

对于S2022，作为一个示例，所述S2022例如可以包括：根据所述评估结果，确定各轨迹的相关信息，所述各轨迹的相关信息包括各轨迹标识和该轨迹出现在所述测试结果中的图片编号以及该轨迹出现在所述标注结果中的图片编号；基于所述各轨迹的相关信息计算所述轨迹评估指标的值。

其中，所述轨迹评估指标包括轨迹召回率和/或轨迹断开率，所述轨迹召回率取召回轨迹数量和总轨迹数量之比，所述轨迹断开率取所有轨迹的断开总次数和召回轨迹数量之比，目标连续N帧被检测到则该目标记作一个召回轨迹，所述N为大于或等于1的整数。

在介绍轨迹召回率之前，本申请实施例先定义轨迹召回。轨迹召回是指一段轨迹中，只要有连续N帧图片对目标的检测无误，则，确定该轨迹为召回的轨迹，轨迹召回数量加一。根据设计需求，N可以设置为大于或等于1的任何数值，例如，N可以等于1、5或10。轨迹召回率＝轨迹召回数量/总轨迹数量，轨迹召回率大于或等于0且小于或等于1。轨迹召回率越大，表征待评价的轨迹跟踪系统的目标检测模型越稳定，输出的轨迹完整度越好。其中，对目标的检测无误，例如可以指：该图片中标注结果中该目标的标注框和测试结果中该目标的测试框的IoU小于第三阈值(如0.6)。

对于轨迹断开率，轨迹断开率＝视频中所有轨迹的断开次数/视频中召回的所有轨迹总数，例如，一段视频中共有10个人的轨迹，其中召回了9个人，3个人的轨迹是不连续的，不连续的轨迹中一个人的轨迹断成3段，其他两人的断成了2个，即9段轨迹断成了(6+3+2+2)＝13段，那么，轨迹断开率＝13/9。轨迹断开率越大，代表待评价的轨迹跟踪系统的目标检测模型的稳定性越差，输出的轨迹完整度越差。连续M帧图片检测到目标，确定轨迹未断开，M大于或等于0且小于或等于1，M的值可以根据实际需求进行设置，例如M可以设置为1、2或4。举例来说，假设测试集仅包括1段轨迹，这段轨迹有10帧图片，其中检测到目标的图片在视频帧中的编号(也可以称为帧号)为1、2、3、5、7和10，该段轨迹发生轨迹召回，如果M设置为1，则该轨迹断成了4段，其中，1、2和3为一段、5、7和10分别为一段，轨迹断开率为(4/1)＝4；如果M设置为2，则该轨迹断成了2段，其中，1、2、3、5和7为一段，10为另一段，轨迹断开率为(2/1)＝2；如断开率为2；如果M设置为4，则该轨迹断成了1段，其中，1、2、3、5、7和10为一段，轨迹断开率为(1/1)＝1。

举例来说，对于S2022，可以先将S2021所得的评估结果进行整理，例如，以轨迹标识为单位，比较标注结果gt.json与评估结果pt.json，生成一个以轨迹标识为关键值(key)，以该轨迹标识出现在gt.json中的key和出现在pt.json中的key作为值(value)，其中，gt.json中的key和pt.json中的key可以指图片在视频帧中的编号。如果轨迹标识在pt.json中未出现，则，value中对应填0。

假设经过S2021所得的pt.json为{"1":[[[1449,124,103,134],9],[[1693,200,112,130],10],[[0,806,126,160],-1]]}，S201所得的gt.json为{"1":[[[1445,121,105,134],9],[[1698,202,112,134],10]],"2":[[[1445,121,105,134],9],[[0,20,100,100],11],[[1698,203,109,137],10]],"3":[[[1403,141,107,128],9],[[1640,199,110,139],10]]}，那么，经过整理所得的各轨迹的相关信息可以为：{9:{"1":"1","2":0,"3":0},10:{"1":“1”,"2":0,"3":0},11:{"2":0},-1:{"1":[0,806,126,160]}}。其中，key为轨迹标识，value的格式为该轨迹标识所指示的轨迹出现在标注结果中的编号(或帧号):该轨迹标识所指示的轨迹出现在评估结果中的编号(或帧号)，key为目标轨迹标识(如-1)的轨迹，出现在评价结果pt.json中但未出现在测试结果gt.json中，极大可能是误检框，所以，直接指示该轨迹在评价结果pt.json中出现的帧号和位置坐标。

那么，该举例中，一共存在轨迹标识为9、10和11三个轨迹，假设N＝1，则，轨迹标识9和10召回，故，轨迹召回率为2/3。假设M＝1,则轨迹标识9对应的轨迹断开了2次，轨迹标识10对应的轨迹断开了2次，轨迹标识11对应的轨迹未召回，故，召回的轨迹数量为1，则，轨迹断开率为(2+2)/2＝2。

需要说明的是，本申请实施例还可以基于轨迹召回率和/或轨迹断开率，确定轨迹跟踪系统中的目标检测模型是否符合轨迹跟踪系统的使用需求，如果不符合，则，对目标检测模型进行进一步训练和调优，以使得包括了该目标检测模型的轨迹跟踪系统为用户提供更加优质的服务。

可见，通过本申请实施例提供的方法，新定义的目标检测模型的轨迹评估指标(如轨迹召回率和/或轨迹断开率)，该轨迹评估指标用于评估轨迹跟踪系统中目标检测模型的好坏，即，该轨迹评估指标不仅反映目标检测模型的状态，还反映包括该目标检测模型的轨迹跟踪的状态，如此，借助新定义的该轨迹评估指标，能够合理的评估轨迹跟踪系统中目标检测模型的工作情况，从而使得为用户提供优质的轨道跟踪系统成为可能。

相应的，本申请实施例还提供了一种评估轨迹跟踪系统中目标检测模型的装置300，参见图3所示。该装置300包括：

第一获得单元301，用于基于测试集中的多张图片和轨迹跟踪系统的目标检测模型，获得测试结果，所述测试集包括所述多张图片的标注结果，所述测试结果和所述标注结果均包括图片在视频帧中的编号和检测框位置信息，所述标注结果还包括轨迹标识；

第二获得单元302，用于根据所述测试结果和所述标注结果，获得所述目标检测模型的轨迹评估指标的值，所述轨迹评估指标用于体现所述目标检测模型在所述轨迹跟踪系统中的工作情况。

可选地，所述轨迹评估指标包括轨迹召回率和/或轨迹断开率，所述轨迹召回率取召回轨迹数量和总轨迹数量之比，所述轨迹断开率取所有轨迹的断开总次数和召回轨迹数量之比，目标连续N帧被检测到则该目标记作一个召回轨迹，所述N为大于或等于1的整数。

可选地，所述第一获得单元301，包括：

第一获得子单元，用于将所述测试集中的多张图片输入所述轨迹跟踪系统的所述目标检测模型，获得第一中间结果；

筛选子单元，用于基于第一阈值，剔除所述第一中间结果中无效的检测框，获得所述测试结果。

可选地，所述筛选子单元，具体用于：

基于所述第一阈值，剔除所述第一中间结果中无效的检测框，获得第二中间结果；

为所述第二中间结果中的每个检测框添加目标轨迹标识，获得所述测试结果。

可选地，所述第二获得单元302，包括：

第二获得子单元，用于根据所述测试结果和所述标注结果获得评估结果，所述评估结果包括：每个轨迹标识、该轨迹出现在所述测试结果中的编号以及该轨迹出现在所述标注结果中的编号之间的对应关系，所述评估结果用于表征各轨迹在所述测试结果和所述标注结果中的出现情况；

计算子单元，用于根据所述评估结果计算所述目标检测模型的轨迹评估指标的值。

可选地，所述测试集中包括第一图片，所述测试结果中包括所述第一图片的第一测试框，所述标注结果中包括所述第一图片的第一标注框，针对所述第一图片，所述第二获得子单元，具体用于：

计算所述第一测试框与所述第一标注框的第一IoU；

确定所述第一IoU选择满足预设条件，将所述第一测试框的轨迹标识设置为所述第一标注框的第一轨迹标识，所述预设条件包括：IoU中的最大值大于第二阈值。

可选地，所述测试集中包括第一图片，所述测试结果中包括所述第一图片的第一测试框和第二测试框，所述标注结果中包括所述第一图片的第一标注框和第二标注框，针对所述第一图片，所述第二获得子单元，具体用于：

计算所述第一测试框与所述第一标注框的第一重叠度IoU、所述第一测试框与所述第二标注框的第二IoU、所述第二测试框与所述第一标注框的第三IoU以及所述第二测试框与所述第二标注框的第四IoU；

从所述第一IoU和所述第二IoU中选择满足预设条件的所述第一IoU，将所述第一测试框的轨迹标识设置为所述第一标注框的第一轨迹标识；并且，从所述第三IoU和所述第四IoU中选择满足所述预设条件的所述第四IoU，将所述第二测试框的轨迹标识设置为所述第二标注框的第二轨迹标识，所述评估结果包括所述第一测试框的所述第一轨迹标识和所述第二测试框的所述第二轨迹标识。可选地，所述预设条件包括：IoU的最大值大于第二阈值。

可选地，所述第一图片还包括第三测试框，针对所述第一图片，所述第二获得子单元，还用于：

计算所述第三测试框与所述第一标注框的第五IoU以及所述第三测试框与所述第二标注框的第六IoU；

确定所述第五IoU和所述第六IoU中的IoU均不满足所述预设条件，则，为所述第三测试框的轨迹标识设置为目标轨迹标识，所述评估结果还包括所述第三测试框的所述目标轨迹标识。

可选地，所述装置300还包括第三获得单元，用于获得所述测试集，其中，所述第三获得单元，包括：

第三获得子单元，用于将所述多张图片输入所述轨迹跟踪系统的所述目标检测模块，获得所述多张图片中每张图片的初始标注框的信息，所述初始标注框的信息包括图片在视频帧中的编号、检测框位置信息和轨迹标识；

第四获得子单元，用于根据预设的检测框补充模型和所述多张图片中每张图片的所述初始标注框的信息，对所述多张图片中有标注框缺失现象的图片进行标注框补充，获得所述多张图片中每张图片的中间标注框的信息，所述中间标注框的信息包括所述初始标注框的信息，所述中间标注框的信息还包括补充框的信息；

第五获得子单元，用于根据所述多张图片及其对应的所述中间标注框的信息获得测试集。

可选地，所述标注结果包括所述多张图片中每张图片的中间标注框的信息；

或者，

所述第五获得子单元，具体用于：

修正所述中间标注框的信息获得最终标注框的信息；

根据所述最终标注框的信息获得所述测试集，所述测试集中的所述标注结果包括所述多张图片中每张图片的最终标注框的信息所述标注结果包括所述多张图片中每张图片的最终标注框的信息。

需要说明的是，该装置300中获得测试集的部分，可以作为单独的装置体现，即，本申请实施例还提供了获取测试集的装置，该装置可以包括：

第一获得单元，用于将多张图片输入轨迹跟踪系统，获得所述多张图片中每张图片的初始标注框的信息，所述初始标注框的信息包括图片在视频帧中的编号、检测框位置信息和轨迹标识；

第二获得单元，用于根据预设的检测框补充模型和所述多张图片中每张图片的所述初始标注框的信息，对所述多张图片中有标注框缺失现象的图片进行标注框补充，获得所述多张图片中每张图片的中间标注框的信息，所述中间标注框的信息包括所述初始标注框的信息，所述中间标注框的信息还包括补充框的信息；

第三获得单元，用于根据所述多张图片及其对应的所述中间标注框的信息获得测试集。

可选地，所述测试集被用于本申请实施例提供的评估轨迹跟踪系统中的目标检测模型的方法。

其中，

所述标注结果包括所述多张图片中每张图片的中间标注框的信息；

或者，

所述第三获得单元，包括：

修正子单元，用于修正所述中间标注框的信息获得最终标注框的信息；

获得子单元，用于根据所述最终标注框的信息获得所述测试集，所述测试集中的所述标注结果包括所述多张图片中每张图片的最终标注框的信息。

此外，本申请实施例还提供了一种电子设备400，如图4所示，所述电子设备400包括处理器401以及存储器402：

所述存储器402用于存储计算机程序；

所述处理器401用于根据所述计算机程序执行本申请实施例提供的方法。

此外，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行本申请实施例提供的方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例和设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请的优选实施方式，并非用于限定本申请的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。