一种基于检测框密度优化的目标检测应用方法

技术领域

本发明涉及基于深度学习方法的计算机视觉领域，尤其是一种基于检测框密度优化的目标检测应用方法。

背景技术

深度学习技术在近年来迎来了井喷式的发展，其中基于深度学习的计算机视觉领域的发展尤为显著。目标检测是计算机视觉领域最基本的任务之一，学术界也有很多年的研究历史。目标检测不单单要识别出是什么，还要定位图像的位置。目标检测技术在工业界有很重要的作用，还在安防、自动驾驶、医疗方面起到重要的推动作用。

但目标检测过程中有很多不确定的因素，包括同一类物体的不同应用场景，不同姿态外观等都会产生一定的干扰。所以目标检测算法进行落地有一定的难度。目前各种复杂的网络模型层出不穷，但受限于计算能力的限制以及实时性的要求。实际的应用场景中多以简单高效的轻量化模型为主，但在实际场景中，其效果还有很大的提升空间。主要体现在误检过多。也即通过增大检出来减少漏检的时候，误检也会随之增多。在实际的应用中，误检过多带来的问题就是效率极其低下。

在实际的连续帧检测中，误检的存在是不稳定的。也即在连续的几帧中，某一帧可能会误检背景为物体，下一帧误检框可能就会消失，非常的不稳定。而正检则是非常稳定的存在着，直到物体完全消失都一直存在着。本发明以这种现象为基础，提出了一种基于框的密度的过滤方法去除误检。

发明内容

针对上述现有技术中存在的不足，本发明的目的在于提供一种利用检测框的密度特征进行误检的过滤，从而大大减少误检，优化神经网络的表达效果的目标检测应用方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于检测框密度优化的目标检测应用方法，包括以下步骤：

S1、收集训练数据，提前收集好标注完成的图像数据；

S2、数据集预处理，将图像数据进行调整，所述调整包括扩增数据、增强模型的拟合能力以及过滤无用数据；

S3、训练目标检测网络模型，进行不少于200 Epoch的迭代，同时需适时地调整学习率让模型收敛，等到模型收敛的时候在测试集上进行精度的测试，直至满足需求；

S4、框的密度计算，首先将每一个检测框的框位由框的几何中心点来表示，然后对每一个检测框定义一个敏感区域，所述敏感区域的圆心即是对应检测框的几何中心点，而直径则是检测框的长宽两边汇总较短边，每一个检测框都存在其敏感区域和中心点，每个检测框的密度定义为同种类别检测框且中心点在此检测框的敏感区域的框的个数；

S5、密度过滤，进行NMS算法过滤，优先设置合适密度筛选阈值，统计每一个检测框的密度，在NMS算法过程中保留密度大于密度筛选阈值，丢弃密度较小的检测框，最终输出结果。

优选地，所述收集训练数据步骤中的图像数据标注格式为Pascal VOC或者MSCOCO。

优选地，所述训练目标检测网络模型步骤中，若精度较差，不符合需求，则调整原始网络的复杂度和参数量，随后再次进行训练，直至满足需求。

优选地，在连续帧下进行检测时，将模型迁移至实际的摄像头的前端中，对摄像头的每帧数据进行步骤S1-S5进行推理。

由于采用了上述方案，本发明对于每一个检测框进行全新的密度变量定义，在NMS算法处理过程中，借助密度定义所产生的数值，以及依据误检物体停留时间较短，所存在检测框的数量也较少，从而其检测框的密度也随之较小，从而在NMS算法中，利用阈值的设定，丢弃一些密度较小的框，从而误检物体则将不呈现出检测框，从而在不改变原始模型的基础上大大减少误检的数量，获得更为舒适的体验。

附图说明

图1是本发明实施例的步骤流程示意图。

图2是本发明实施例的密度定义的原理示意图。

图3是本发明实施例的不加入密度过滤器的效果示意图。

图4是本发明实施例的不加入密度过滤器但提高NMS阈值为1的效果示意图。

图5是本发明实施例的加入密度过滤器且NMS阈值和图3同样后的效果示意图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。

如图1至图3所示，本实施例提供的一种基于检测框密度优化的目标检测应用方法，包括以下步骤：

S1、收集训练数据，由于本实施例是针对目标检测层面的应用，所述需提前收集好标注完成的图像数据，图像数据标注格式为Pascal VOC或者MS COCO；

S2、数据集预处理，将图像数据进行调整，所述调整包括扩增数据、增强模型的拟合能力以及过滤无用数据，具体表现为对图像的调节，如各种对比度参数调节；

S3、训练目标检测网络模型，进行不少于200 Epoch的迭代，同时需适时地调整学习率让模型收敛，等到模型收敛的时候在测试集上进行精度的测试，若精度较差，不符合需求，则调整原始网络的复杂度和参数量，随后再次进行训练，直至满足需求；

S4、框的密度计算，首先将每一个检测框的框位由框的几何中心点来表示，然后对每一个检测框定义一个敏感区域，这个区域如图2所示的圆形区域100，所述敏感区域的圆心即是对应检测框的几何中心点，而直径则是检测框的长宽两边汇总较短边，每一个检测框都存在其敏感区域和中心点，每个检测框的密度定义为同种类别检测框且中心点在此检测框的敏感区域的框的个数，如图2所示表示的框A的密度为4；

S5、密度过滤，进行NMS算法过滤，优先设置合适密度筛选阈值，统计每一个检测框的密度，在NMS算法过程中保留密度大于密度筛选阈值，丢弃密度较小的检测框，最终输出结果。具体表现为密度过滤嵌入在NMS算法中。NMS算法去掉了与某一置信度为极大值的框重叠度较高的框，导致最后看到的框都是单一存在的。虽然与极大值框重叠度较高没什么用，最后都会被NMS算法过滤掉，但是与极大值框重叠度高的框越多，则极大值框为正检的概率就越大。这是符合逻辑的。因为对于某一物体，其很多特征都可以让模型预测为物体。提取大量特征会在物体周围产生密集的检测框。而误检的周围框的密度显然没有那么高，否则也不会特别不稳定地存在。由于这一特性，本实施例根据上部分提到检测框的密度设计成密度过滤器。也即输出在经过NMS的时候，会统计每一个框的密度，在这个过程中保留密度大于密度过滤器阈值的框，丢弃一些密度较小的框，进而这一过程减少了大量的误检。

为更好的说明效果，本实施例的密度效果如图3-5所示，这里用辅助驾驶中车辆后视镜中的行人检测为例。取同样的连续四帧图像样本，在三种后处理方式下分别得到三种不同的输出效果。图3是不加入密度过滤器的效果，可以看出第二帧中有别的人物进入，从而出现误检。图4则是不加入密度过滤器但提高NMS阈值为1的效果（NMS阈值越高，其过滤掉框的个数越少，当NMS阈值为1时，NMS的作用就完全消失，此时可以反应出正检和误检周围框的密集程度），可以看出第二帧误检框周围框的密集程度很低，而正检周围则充满了密集的框。如图5则是加入密度过滤器且NMS阈值和图3同样后的效果，可以看出，误检和正检在密度上有很明显的不同，第二帧则不会存在误检。因此若不加以处理，则车辆在行驶的过程中会产生错误的判断，从而影响模型的表达效果以及人的体验感，加入密度过滤器后可以将误检过滤掉，从而使人获得更为舒适的体验。

优选地，在连续帧下进行检测时，将模型迁移至实际的摄像头的前端中，对摄像头的每帧数据用上诉的步骤代替原始的推理方式。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。