一种应用于交通场景的目标检测后处理方法及系统

技术领域

本发明涉及智能停车管理领域，特别涉及一种应用于交通场景的目标检测后处理方法及系统。

背景技术

目标检测为多种视觉任务中最为重要的基础性任务，高精度的检测结果可为后续多种视觉任务、逻辑算法设计提供必要的输入数据支撑。目前，通常采用的是基于NMS的后处理算法，但是基于NMS的后处理技术同样存在一定缺陷，比如当数据集内图片中目标密度分布方差较大的情况下，单一的NMS阈值设定则会造成一定的检测偏差，如设定值偏高则会出现冗余检测、反之则会出现漏检；另一种方法是基于Transformer设计结构的目标检测模型，它可以提供端到端的推理能力而避免使用后处理算法，但该类模型存在如模型精度、收敛速度、推理速度较慢等问题，并且使用该类模型还需要重新进行模型训练，无法适配当前业务中已有的算法模型达到快速提升模型表现的目的，通用性较差。

发明内容

为解决上述技术问题，本发明提供一种应用于交通场景的目标检测后处理方法及系统，可以解决现有目标检测后处理的检测精度较低、通用性较差的问题。

为实现上述目的，一方面，本发明一种应用于交通场景的目标检测后处理方法，所述方法包括：

根据不同组预测概率阈值和预测框重叠阈值，获取各个图片对应的多组目标检测结果；

根据各个图片对应的多组目标检测结果，获取各个目标的空间结构分布属性信息、图片内目标最优匹配结果、重加权最优修正成本值、以及图片中未匹配目标的最大逆偏移参数；

根据所述图片重加权最优修正成本值、未匹配目标个数、未匹配目标的最大逆偏移参数，判断该图片是否需要修正检测结果；

若是，则将修正后的多组目标检测结果进行合并更新。

进一步地，所述根据各个图片对应的多组目标检测结果获取图片中未匹配目标的最大逆偏移参数的步骤包括：

根据各个图片对应的多组目标检测结果获取成功匹配目标序列、未成功匹配的目标序列、以及未匹配目标个数；

根据成功匹配目标序列、未成功匹配的目标序列、以及未匹配目标个数获取图片中未匹配目标的最大逆偏移参数。

进一步地，所述根据各个图片对应的多组目标检测结果，获取各个目标的空间结构分布属性信息、图片内目标最优匹配结果、重加权最优修正成本值、以及图片中未匹配目标的最大逆偏移参数的步骤包括：

根据各个图片对应的多组目标检测结果，分别获取各检测目标对应的多种空间结构分布属性信息、目标匹配矩阵、目标修正代价矩阵；

根据所述目标匹配矩阵和所述目标修正代价矩阵，更新修正代价加权矩阵，并分别获取不同组检测结果之间的未匹配目标序列以及对应的目标类型、不同组检测结果之间成功匹配且对应的目标修正代价值大于阈值的目标序列、对应的目标类型、以及所有匹配成功目标的对应加权矩阵值；

根据低质量匹配目标序列和类型序列更新未匹配序列、匹配序列、目标匹配矩阵、加权矩阵；

根据所述目标匹配矩阵、目标修正代价矩阵、加权矩阵，以及算法超参，计算图片的重加权最优修正成本值。

进一步地，所述根据所述图片重加权最优修正成本值、未匹配目标个数、未匹配目标的最大逆偏移参数，判断该图片是否需要修正检测结果的步骤包括：

当获取的未匹配目标位置偏移图片视觉中心大于预设阈值时，将图片重加权最优修正成本值；

如果未匹配目标个数大于零并且图片重加权最优修正成本值大于筛选阈值，则需要修正检测结果。

进一步地，所述将修正后的多组目标检测结果进行合并更新的步骤包括：

将初始检测结果配置为第一组目标检测结果中成功配对的目标检测框；

通过处第一组目标检测结果外的其他组目标检测结果中未匹配成功的检测结果对所述初始检测结果进行更新；

将第一组目标检测结果中未成功配对的检测结果对更新后的初始检测结果进行二次更新。

另一方面，本发明提供一种应用于交通场景的目标检测后处理系统，所述系统包括：获取单元，用于根据不同组预测概率阈值和预测框重叠阈值，获取各个图片对应的多组目标检测结果；

所述获取单元，还用于根据各个图片对应的多组目标检测结果，获取各个目标的空间结构分布属性信息、图片内目标最优匹配结果、重加权最优修正成本值、以及图片中未匹配目标的最大逆偏移参数；

判断单元，用于根据所述图片重加权最优修正成本值、未匹配目标个数、未匹配目标的最大逆偏移参数，判断该图片是否需要修正检测结果；

合并更新单元，用于若是，则将修正后的多组目标检测结果进行合并更新。

进一步地，所述获取单元，具体用于根据各个图片对应的多组目标检测结果获取成功匹配目标序列、未成功匹配的目标序列、以及未匹配目标个数；根据成功匹配目标序列、未成功匹配的目标序列、以及未匹配目标个数获取图片中未匹配目标的最大逆偏移参数。

进一步地，所述获取单元，具体还用于根据各个图片对应的多组目标检测结果，分别获取各检测目标对应的多种空间结构分布属性信息、目标匹配矩阵、目标修正代价矩阵；根据所述目标匹配矩阵和所述目标修正代价矩阵，更新修正代价加权矩阵，并分别获取不同组检测结果之间的未匹配目标序列以及对应的目标类型、不同组检测结果之间成功匹配且对应的目标修正代价值大于阈值的目标序列、对应的目标类型、以及所有匹配成功目标的对应加权矩阵值；根据低质量匹配目标序列和类型序列更新未匹配序列、匹配序列、目标匹配矩阵、加权矩阵；根据所述目标匹配矩阵、目标修正代价矩阵、加权矩阵，以及算法超参，计算图片的重加权最优修正成本值。

进一步地，所述判断单元，具体用于当获取的未匹配目标位置偏移图片视觉中心大于预设阈值时，将图片重加权最优修正成本值；如果未匹配目标个数大于零并且图片重加权最优修正成本值大于筛选阈值，则需要修正检测结果。

进一步地，所述合并更新单元，具体用于将初始检测结果配置为第一组目标检测结果中成功配对的目标检测框；通过处第一组目标检测结果外的其他组目标检测结果中未匹配成功的检测结果对所述初始检测结果进行更新；将第一组目标检测结果中未成功配对的检测结果对更新后的初始检测结果进行二次更新。

本发明提供的一种应用于交通场景的目标检测后处理方法及系统，实现基于现有目标检测模型结果，结合多组目标检测模型结果中各个目标的空间结构分布属性信息、图片内目标最优匹配结果、重加权最优修正成本值、以及图片中未匹配目标的最大逆偏移参数进行配对分析，然后基于分析结果筛选需要修正的目标图片，从而可以提升该图片中稠密目标分布区域的有效召回率，并抑制错误检测的输出，提升后处理的精准度，并且可以直接配置到现有目标检测算法后处理中，实现即插即用，提升了现有后处理算法的通用性。

附图说明

图1是本发明提供的一种应用于交通场景的目标检测后处理方法的流程图；

图2是本发明提供的一种应用于交通场景的目标检测后处理系统的结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

如图1所示，本发明实施例提供的一种应用于交通场景的目标检测后处理方法，包括如下步骤：

101、根据不同组预测概率阈值和预测框重叠阈值，获取各个图片对应的多组目标检测结果。

例如，选取一种针对交通场景进行训练的高质量的目标检测模型(如YOLOv5)，针对后处理参数对thr_list＝[score_thr，nms_thr](分别为预测概率阈值score_thr和NMS的预测框重叠阈值nms_thr)，分别选取两组值，比如thr_list1＝[0.3,0.4],thr_list2＝[0.5,0.7]，对目标检测模型的直接输出结果进行后处理操作，获取每张图片的两组检测结果det1、det2，其中det1和det2的检测目标个数分别为num1、num2。

102、根据各个图片对应的多组目标检测结果，获取各个目标的空间结构分布属性信息、图片内目标最优匹配结果、重加权最优修正成本值、以及图片中未匹配目标的最大逆偏移参数。

具体地，根据各个图片对应的多组目标检测结果获取成功匹配目标序列、未成功匹配的目标序列、以及未匹配目标个数；根据成功匹配目标序列、未成功匹配的目标序列、以及未匹配目标个数获取图片中未匹配目标的最大逆偏移参数。进一步地，所述根据各个图片对应的多组目标检测结果，获取各个目标的空间结构分布属性信息、图片内目标最优匹配结果、重加权最优修正成本值、以及图片中未匹配目标的最大逆偏移参数的步骤包括：根据各个图片对应的多组目标检测结果，分别获取各检测目标对应的多种空间结构分布属性信息、目标匹配矩阵、目标修正代价矩阵；根据所述目标匹配矩阵和所述目标修正代价矩阵，更新修正代价加权矩阵，并分别获取不同组检测结果之间的未匹配目标序列以及对应的目标类型、不同组检测结果之间成功匹配且对应的目标修正代价值大于阈值的目标序列、对应的目标类型、以及所有匹配成功目标的对应加权矩阵值；根据低质量匹配目标序列和类型序列更新未匹配序列、匹配序列、目标匹配矩阵、加权矩阵；根据所述目标匹配矩阵、目标修正代价矩阵、加权矩阵，以及算法超参，计算图片的重加权最优修正成本值。

例如，依然选取上述两组检测结果，步骤102.1：针对两组检测结果det1、det2，分别计算各检测目标的两种空间结构分布属性信息obj_attr_p、obj_attr_ap，计算方法如下所述：根据图片尺寸信息img_size＝[w,h]，针对每一组检测结果获取的目标检测框坐标值box＝[x1,y1,x2,y2]，分别计算其到图片中心点的归一化距离dist以及图片尺寸归一化的检测框面积ss，具体计算公式为：dist＝sqrt(((x1+x2)/w-1)^2+((y1+y2)/h-1)^2)；

ss＝(x2-x1)/w*(y2-y1)/h.利用目标归一化距离dist，计算目标空间位置逆偏移参数obj_attr_p＝1/dist；利用目标归一化距离dist和归一化的检测框面积ss，计算目标空间分布重要性参数obj_attr_ap＝((ss/mean(ss))/((dist/mean(dist))。

步骤102.2：利用两组检测结果det1、det2，获取目标匹配矩阵P和目标修正代价矩阵M，具体计算方法可参考最优修正成本值计算方法(Optimal Correction Cost forObject Detection Evaluation，CVPR2022)，其中为了适应当前算法需求设定算法超参alpha＝0.9，beta＝alpha*0.2，用于侧重关注检测框位置偏移量信息；

步骤102.3：利用上述步骤获取的目标匹配矩阵P和目标修正代价矩阵M，更新修正代价加权矩阵W(尺寸与P一致，初始化为0矩阵)，并分别获取如下三类数据:det1相对于det2未匹配目标序列fn_objids以及对应的目标类型fn_objids_cls，更新对应的矩阵值W[i,num2]＝obj_attr_ap1[i](i隶属于fn_objids)，并利用obj_attr_p1属性获取图片目标id隶属于fn_objids的最大值max_fn_weight；det2相对于det1未匹配目标序列fp_objids以及对应的目标类型fp_objids_cls，更新对应的矩阵值W[num1,i]＝obj_attr_ap2[i](i隶属于fp_objids)，并利用obj_attr_p2属性获取图片目标id隶属于fp_objids的最大值max_fp_weight；det1与det2成功匹配(mtc_objids)但对应的目标修正代价值大于阈值的目标序列：gt_badids、pd_badids，以及对应的目标类型gt_badids_cls、pd_badids_cls；并计算所有匹配成功目标的对应加权矩阵值W[i,j]＝(obj_attr_ap1[i]+obj_attr_ap2[j])/2(i,j隶属于mtc_objids)。

步骤102.4：根据低质量匹配目标序列及其类型序列gt_badids、pd_badids、gt_badids_cls、pd_badids_cls，更新未匹配序列fn_objids、fp_objids和匹配序列mtc_objids，目标匹配矩阵P和加权矩阵W，具体计算方法为：如果低质量匹配对的目标类型不一致(gt_badids_cls[i]！＝pd_badids_cls[i])，则分别将目标gt_badids[i]新增到fn_objids序列中，将目标pd_badids[i]新增到fp_objids序列中，计算fn_num＝len(fn_objids)，fp_num＝len(fp_objids)，更新图片中未匹配目标的最大逆偏移参数max_fn_weight、max_fp_weight；

更新矩阵M:

W[gt_badids[i],num2]＝obj_attr_ap1[gt_badids[i]],

W[num1,pd_badids[i]]＝obj_attr_ap2[pd_badids[i]],

W[gt_badids[i],pd_badids[i]]＝0.0；

以及更新矩阵P:

P[gt_badids[i],num2]＝1.0

P[num1,pd_badids[i]]＝1.0,

P[gt_badids[i],pd_badids[i]]＝0.0。

步骤102.5：利用上述计算的目标匹配矩阵P、目标修正代价矩阵M和加权矩阵W，以及算法超参beta，计算图片的重加权最优修正成本值rewgt_otc＝sum(M((PW)/sum(P)))/beta。

103、根据所述图片重加权最优修正成本值、未匹配目标个数、未匹配目标的最大逆偏移参数，判断该图片是否需要修正检测结果。

具体地，当获取的未匹配目标位置偏移图片视觉中心大于预设阈值时，将图片重加权最优修正成本值；如果未匹配目标个数大于零并且图片重加权最优修正成本值大于筛选阈值，则需要修正检测结果。

例如，步骤103.1：当获取的未匹配目标位置足够偏移图片视觉中心时，将rewgt_otc重置为最小值min_cost＝min(rewgt_otc_thr1,rewgt_otc_thr2)，rewgt_otc_thr1和rewgt_otc_thr2均为筛选阈值，其中满足如下条件之一即可：如果fp_num＝＝0并且fn_num>0并且max_fn_weight0并且max_fp_weight0并且max_fn_weight0并且max_fp_weight

步骤103.2：初始化if_badcase＝0，如果满足下列条件之一时，则判断该图片需要检测结果修正，更新if_badcase＝1：fn_num>0并且rewgt_otc>rewgt_otc_thr1；fp_num>0并且rewgt_otc>rewgt_otc_thr2。

104、若是，则将修正后的多组目标检测结果进行合并更新。

具体地，将初始检测结果配置为第一组目标检测结果中成功配对的目标检测框；通过处第一组目标检测结果外的其他组目标检测结果中未匹配成功的检测结果对所述初始检测结果进行更新；将第一组目标检测结果中未成功配对的检测结果对更新后的初始检测结果进行二次更新。

例如，步骤104.1：利用上述步骤筛选的成功匹配目标序列mtc_objids，初始化检测结果det_new为det1中成功配对的目标检测框；

步骤104.2：筛选det2中未匹配检测结果更新det_new：首先使用fp_objids对应的检测框按预测概率值从大到小进行排序，然后逐一目标与det_new中全部检测目标进行类型和位置相关性判断，剔除不满足预测概率阈值以及物理分布相关性的目标(比如根据预测类型产生的不合理的包含关系或是与det_new中已有目标检测框的重叠度、形态一致性过大等)，将满足条件的目标增加到det_new序列中；

步骤104.3：筛选det1中未匹配检测结果更新det_new，步骤同上述步相同，最终输出修正后的检测结果det_new。

本发明提供的一种应用于交通场景的目标检测后处理方法，实现基于现有目标检测模型结果，结合多组目标检测模型结果中各个目标的空间结构分布属性信息、图片内目标最优匹配结果、重加权最优修正成本值、以及图片中未匹配目标的最大逆偏移参数进行配对分析，然后基于分析结果筛选需要修正的目标图片，从而可以提升该图片中稠密目标分布区域的有效召回率，并抑制错误检测的输出，提升后处理的精准度，并且可以直接配置到现有目标检测算法后处理中，实现即插即用，提升了现有后处理算法的通用性。

为实现本发明实施例提供的方法，本发明实施例提供一种应用于交通场景的目标检测后处理系统，如图2所示，该系统包括：获取单元21、判断单元22、合并更新单元23。

获取单元21，用于根据不同组预测概率阈值和预测框重叠阈值，获取各个图片对应的多组目标检测结果；

所述获取单元21，还用于根据各个图片对应的多组目标检测结果，获取各个目标的空间结构分布属性信息、图片内目标最优匹配结果、重加权最优修正成本值、以及图片中未匹配目标的最大逆偏移参数；

判断单元22，用于根据所述图片重加权最优修正成本值、未匹配目标个数、未匹配目标的最大逆偏移参数，判断该图片是否需要修正检测结果；

合并更新单元23，用于若是，则将修正后的多组目标检测结果进行合并更新。

进一步地，所述获取单元21，具体用于根据各个图片对应的多组目标检测结果获取成功匹配目标序列、未成功匹配的目标序列、以及未匹配目标个数；根据成功匹配目标序列、未成功匹配的目标序列、以及未匹配目标个数获取图片中未匹配目标的最大逆偏移参数。

进一步地，所述获取单元21，具体还用于根据各个图片对应的多组目标检测结果，分别获取各检测目标对应的多种空间结构分布属性信息、目标匹配矩阵、目标修正代价矩阵；根据所述目标匹配矩阵和所述目标修正代价矩阵，更新修正代价加权矩阵，并分别获取不同组检测结果之间的未匹配目标序列以及对应的目标类型、不同组检测结果之间成功匹配且对应的目标修正代价值大于阈值的目标序列、对应的目标类型、以及所有匹配成功目标的对应加权矩阵值；根据低质量匹配目标序列和类型序列更新未匹配序列、匹配序列、目标匹配矩阵、加权矩阵；根据所述目标匹配矩阵、目标修正代价矩阵、加权矩阵，以及算法超参，计算图片的重加权最优修正成本值。

进一步地，所述判断单元22，具体用于当获取的未匹配目标位置偏移图片视觉中心大于预设阈值时，将图片重加权最优修正成本值；如果未匹配目标个数大于零并且图片重加权最优修正成本值大于筛选阈值，则需要修正检测结果。

进一步地，所述合并更新单元23，具体用于将初始检测结果配置为第一组目标检测结果中成功配对的目标检测框；通过处第一组目标检测结果外的其他组目标检测结果中未匹配成功的检测结果对所述初始检测结果进行更新；将第一组目标检测结果中未成功配对的检测结果对更新后的初始检测结果进行二次更新。

本发明提供的一种应用于交通场景的目标检测后处理系统，实现基于现有目标检测模型结果，结合多组目标检测模型结果中各个目标的空间结构分布属性信息、图片内目标最优匹配结果、重加权最优修正成本值、以及图片中未匹配目标的最大逆偏移参数进行配对分析，然后基于分析结果筛选需要修正的目标图片，从而可以提升该图片中稠密目标分布区域的有效召回率，并抑制错误检测的输出，提升后处理的精准度，并且可以直接配置到现有目标检测算法后处理中，实现即插即用，提升了现有后处理算法的通用性。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。。