占道经营检测方法、装置及电子设备

技术领域

本发明涉及目标检测与跟踪技术领域，尤其涉及一种占道经营检测方法、装置及电子设备。

背景技术

现阶段的占道经营识别模型都是采用通用的目标检测方法对占道经营摊位进行识别，再根据重叠度（英文：Intersection over Union，简称：IOU）对前一帧检测目标进行跟踪匹配判断，当连续M帧都匹配上才认为存在占道经营。

但上述方法存在下述问题：现有的占道经营检测方法通常没有对占道经营的特性进行判别，并且通常采用单帧跟踪，在摊位只是临时走过或者短暂停留的情况下，容易造成误报。此外，现有的占道经营检测方法通常采用IOU匹配逻辑，存在匹配错误的可能性；经营行为必然会有很多人走动，IOU变化会很大，导致现有的占道经营检测方法容易造成漏报。

发明内容

本发明的目的在于提供一种占道经营检测方法、装置及电子设备，以及现有的占道经营检测方法容易造成误报、漏报的问题。

为实现上述目的，本发明首先提供一种占道经营检测方法，包括如下步骤：

步骤S1、读取实时监控视频中的图像，初始化跟踪队列Q1和静止队列Q2，设置监控区域Z；其中，跟踪队列Q1用于保存实时监控视频前N帧中，识别占道经营模型检测到的在监控区域内的疑似占道经营目标；静止队列Q2用于保存实时监控视频当前帧中，识别占道经营模型检测到的疑似占道经营目标与跟踪队列Q1中疑似占道经营目标匹配的结果；

步骤S2、使用识别占道经营模型对输入图像进行检测，并判断检测到的疑似占道经营目标的中心点是否在监控区域Z内；如果所述中心点在监控区域Z内，将所述输入图像与所述输入图像的box坐标信息放入到跟踪队列Q1中并且存入到集合D中；

步骤S3、对集合D中的疑似占道经营目标与跟踪队列Q1中的疑似占道经营目标进行IOU匹配和特征匹配；如果最终匹配成功，对静止队列Q2存入匹配成功标志以及当前时刻t；如果最终匹配失败，对静止队列Q2存入匹配失败标志以及当前时刻t；

步骤S4、计算静止队列Q2中匹配成功标志的比例，判断该比例是否大于占道经营阈值；如果该比例大于占道经营阈值，检测疑似占道经营目标存在时间是否大于设定存在时间阈值，如果疑似占道经营目标存在时间大于设定存在时间阈值，判定存在占道经营行为。

进一步地，步骤S3所述IOU匹配包括：

将集合D中的疑似占道经营目标与跟踪队列Q1中的疑似占道经营目标进行计算得到IOU；

判断IOU是否大于设定的IOU阈值；

如果IOU大于或等于设定的IOU阈值，判定为初步匹配成功；

如果IOU小于设定的IOU阈值，判定为初步匹配失败。

进一步地，将集合D中的疑似占道经营目标与跟踪队列Q1中的疑似占道经营目标进行计算得到IOU，包括：

根据

式中，A是集合D中的疑似占道经营目标的面积，B是跟踪队列Q1中的疑似占道经营目标的面积，C是A和B交集的面积。

进一步地，步骤S3所述特征匹配包括：

提取集合D中IOU初步匹配成功的疑似占道经营目标的特征向量d1；

提取跟踪队列Q1中IOU初步匹配成功的疑似占道经营目标的特征向量q1；

根据相似度计算公式，计算d1与q1的相似度s；

判断相似度s是否大于预设的相似度阈值；

如果相似度s大于或等于预设的相似度阈值，判定为最终匹配成功；

如果相似度s小于预设的相似度阈值，判定为最终匹配失败。

进一步地，根据相似度计算公式，计算d1与q1的相似度s，包括：

根据余弦相似度公式s=max{d1

式中，相似度s为当前疑似占道经营目标与跟踪队列Q1中所有疑似占道经营目标的余弦相似度的最大，d1为集合D中IOU初步匹配成功的疑似占道经营目标的特征向量，q1为跟踪队列Q1中IOU初步匹配成功的所有疑似占道经营目标的特征向量，q1

进一步地，步骤S2中所述识别占道经营模型的构建方法包括：

对城市中监控得到的存在占道经营的视频数据进行切分标注，获得图像样本数据集；

使用图像样本数据集对通用的目标检测网络模型进行训练，获得识别占道经营模型。

本发明还提供一种占道经营检测装置，包括：

实时监控单元，用于读取实时监控视频中的图像，初始化跟踪队列Q1和静止队列Q2，设置监控区域Z；其中，跟踪队列Q1用于保存实时监控视频前N帧中，识别占道经营模型检测到的在监控区域内的疑似占道经营目标；静止队列Q2用于保存实时监控视频当前帧中，识别占道经营模型检测到的疑似占道经营目标与跟踪队列Q1中疑似占道经营目标匹配的结果；

监控区域判断单元，用于使用识别占道经营模型对输入图像进行检测，并判断检测到的疑似占道经营目标的中心点是否在监控区域Z内；如果所述中心点在监控区域Z内，将所述输入图像与所述输入图像的box坐标信息放入到跟踪队列Q1中并且存入到集合D中；

占道经营匹配单元，用于对集合D中的疑似占道经营目标与跟踪队列Q1中的疑似占道经营目标进行IOU匹配和特征匹配；如果最终匹配成功，对静止队列Q2存入匹配成功标志以及当前时刻t；如果最终匹配失败，对静止队列Q2存入匹配失败标志以及当前时刻t；

判定输出单元，用于计算静止队列Q2中匹配成功标志的比例，判断该比例是否大于占道经营阈值；如果该比例大于占道经营阈值，检测疑似占道经营目标存在时间是否大于设定存在时间阈值，如果疑似占道经营目标存在时间大于设定存在时间阈值，判定存在占道经营行为。

本发明还提供一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。

本发明的有益效果：本发明提供的一种占道经营检测方法、装置及电子设备，通过读取实时监控视频中的图像，初始化跟踪队列Q1和静止队列Q2，设置监控区域Z，跟踪队列Q1用于保存实时监控视频前N帧中，识别占道经营模型检测到的在监控区域内的疑似占道经营目标，静止队列Q2用于保存实时监控视频当前帧中，识别占道经营模型检测到的疑似占道经营目标与跟踪队列Q1中疑似占道经营目标匹配的结果，使用识别占道经营模型对输入图像进行检测，并判断检测到的疑似占道经营目标的中心点是否在监控区域Z内，如果中心点在监控区域Z内，将输入图像与输入图像的box坐标信息放入到跟踪队列Q1中并且存入到集合D中，对集合D中的疑似占道经营目标与跟踪队列Q1中的疑似占道经营目标进行IOU匹配和特征匹配，最终匹配成功则对静止队列Q2存入匹配成功标志以及当前时刻t，最终匹配失败则对静止队列Q2存入匹配失败标志以及当前时刻t，计算静止队列Q2中匹配成功标志的比例，判断该比例是否大于占道经营阈值，如果该比例大于占道经营阈值，检测疑似占道经营目标存在时间是否大于设定存在时间阈值，如果疑似占道经营目标存在时间大于设定存在时间阈值，判定存在占道经营行为；通过设定疑似占道经营目标的存在时间阈值，当疑似占道经营目标存在时间大于该阈值才会认为存在占道经营，可减少疑似占道经营目标只是临时走过或者短暂停留造成的误报；设定多帧图像跟踪矩阵，不采用单帧跟踪，减少误报；增加特征匹配，提升匹配的正确性；增加静止队列与占道经营阈值，根据静止队列中的静止比例与占道经营阈值进行占道经营判断；匹配原则更加全面，鲁棒性、准确率较高。

附图说明

为了能更进一步了解本发明的特征以及技术内容，请参阅以下有关本发明的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本发明加以限制。

附图中，

图1为本发明的占道经营检测方法的总体流程图；

图2为本发明的占道经营检测方法的具体流程图；

图3为本发明的占道经营检测方法中识别占道经营模型的训练流程图；

图4为本发明的占道经营检测方法IOU匹配示意图；

图5为本发明的占道经营检测方法特征匹配流程图；

图6为本发明的占道经营检测方法当前疑似占道经营目标与跟踪队列Q1中所有疑似占道经营目标的余弦相似度的最大值坐标图；

图7为本发明的占道经营检测装置的示意图；

图8为本发明的电子设备的示意图；

图9为本发明的占道经营检测方法实际应用时的一种场景图

图10为本发明的占道经营检测方法实际应用时的另一种场景图。

具体实施方式

为更进一步阐述本发明所采取的技术手段及其效果，以下结合本发明的优选实施例及其附图进行详细描述。

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

请参阅图1和图2，本发明提供一种占道经营检测方法，包括如下步骤：

步骤S1、读取实时监控视频中的图像，初始化跟踪队列Q1和静止队列Q2，设置监控区域Z。

其中，跟踪队列Q1用于保存实时监控视频前N帧中，识别占道经营模型检测到的在监控区域内的疑似占道经营目标；静止队列Q2用于保存实时监控视频当前帧中，识别占道经营模型检测到的疑似占道经营目标与跟踪队列Q1中疑似占道经营目标匹配的结果。

步骤S2、使用识别占道经营模型对输入图像进行检测，并判断检测到的疑似占道经营目标的中心点是否在监控区域Z内；如果所述中心点在监控区域Z内，将所述输入图像与所述输入图像的box坐标信息放入到跟踪队列Q1中并且存入到集合D中。

具体地，请参阅图3，步骤S2中所述识别占道经营模型的构建方法包括：对城市中监控得到的存在占道经营的视频数据进行切分标注，获得图像样本数据集；使用图像样本数据集对通用的目标检测网络模型进行训练，获得识别占道经营模型。

首先从视频数据中提取图片帧，标注图片中出现的占道经营摊位进行样本标注，获得图像样本数据集，使用图像样本数据集对通用的目标检测模型进行训练，进行模型训练与调优，前向推理得到疑似占道经营摊位检测目标的置信度、坐标位置，利用前N帧BOX的与当前帧BOX的IOU阈值与特征矩阵进行摊位静止判断，之后根据静止矩阵静止比例与占道经营阈值大小确定占道经营摊位，最后根据检测到摊位存在时间与设定摊位存在时间阈值进行最后判断，进行报警并保存。

步骤S3、对集合D中的疑似占道经营目标与跟踪队列Q1中的疑似占道经营目标进行IOU匹配和特征匹配；如果最终匹配成功，对静止队列Q2存入匹配成功标志以及当前时刻t；如果最终匹配失败，对静止队列Q2存入匹配失败标志以及当前时刻t。

请参阅图4，步骤S3所述IOU匹配包括：将集合D中的疑似占道经营目标与跟踪队列Q1中的疑似占道经营目标进行计算得到IOU；判断IOU是否大于设定的IOU阈值；如果IOU大于或等于设定的IOU阈值，判定为初步匹配成功；如果IOU小于设定的IOU阈值，判定为初步匹配失败。

具体地，将集合D中的疑似占道经营目标与跟踪队列Q1中的疑似占道经营目标进行计算得到IOU，包括：

根据

式中，A是集合D中的疑似占道经营目标的面积，B是跟踪队列Q1中的疑似占道经营目标的面积，C是A和B交集的面积。

请参阅图5和图6，步骤S3所述特征匹配包括：

步骤S31，提取集合D中IOU初步匹配成功的疑似占道经营目标的特征向量d1。

步骤S32，提取跟踪队列Q1中IOU初步匹配成功的疑似占道经营目标的特征向量q1。

步骤S33，根据相似度计算公式，计算d1与q1的相似度s。

具体地，根据相似度计算公式，计算d1与q1的相似度s，包括：根据余弦相似度公式s=max{d1

步骤S34，判断相似度s是否大于预设的相似度阈值。

步骤S35，如果相似度s大于或等于预设的相似度阈值，判定为最终匹配成功。

步骤S36，如果相似度s小于预设的相似度阈值，判定为最终匹配失败。

具体地，如果最终匹配成功，可对静止队列Q2存入匹配成功标志“True”以及当前时刻t；如果最终匹配失败，对静止队列Q2存入匹配失败标志“False”以及当前时刻t。

步骤S4、计算静止队列Q2中匹配成功标志的比例，判断该比例是否大于占道经营阈值；如果该比例大于占道经营阈值，检测疑似占道经营目标存在时间是否大于设定存在时间阈值，如果疑似占道经营目标存在时间大于设定存在时间阈值，判定存在占道经营行为。

由以上实施例可知，本发明的占道经营检测方法，通过设定疑似占道经营目标的存在时间阈值，当疑似占道经营目标存在时间大于该阈值才会认为存在占道经营，可减少疑似占道经营目标只是临时走过或者短暂停留造成的误报；设定多帧图像跟踪矩阵，不采用单帧跟踪，减少误报；增加特征匹配，提升匹配的正确性；增加静止队列与占道经营阈值，根据静止队列中的静止比例与占道经营阈值进行占道经营判断；匹配原则更加全面，鲁棒性、准确率较高。

请参阅图7，本发明还提供一种占道经营检测装置，包括：

实时监控单元10，用于读取实时监控视频中的图像，初始化跟踪队列Q1和静止队列Q2，设置监控区域Z；其中，跟踪队列Q1用于保存实时监控视频前N帧中，识别占道经营模型检测到的在监控区域内的疑似占道经营目标；静止队列Q2用于保存实时监控视频当前帧中，识别占道经营模型检测到的疑似占道经营目标与跟踪队列Q1中疑似占道经营目标匹配的结果；

监控区域判断单元20，用于使用识别占道经营模型对输入图像进行检测，并判断检测到的疑似占道经营目标的中心点是否在监控区域Z内；如果所述中心点在监控区域Z内，将所述输入图像与所述输入图像的box坐标信息放入到跟踪队列Q1中并且存入到集合D中；

占道经营匹配单元30，用于对集合D中的疑似占道经营目标与跟踪队列Q1中的疑似占道经营目标进行IOU匹配和特征匹配；如果最终匹配成功，对静止队列Q2存入匹配成功标志以及当前时刻t；如果最终匹配失败，对静止队列Q2存入匹配失败标志以及当前时刻t；

判定输出单元40，用于计算静止队列Q2中匹配成功标志的比例，判断该比例是否大于占道经营阈值；如果该比例大于占道经营阈值，检测疑似占道经营目标存在时间是否大于设定存在时间阈值，如果疑似占道经营目标存在时间大于设定存在时间阈值，判定存在占道经营行为。

由以上实施例可知，本发明的占道经营检测装置，通过设定疑似占道经营目标的存在时间阈值，当疑似占道经营目标存在时间大于该阈值才会认为存在占道经营，可减少疑似占道经营目标只是临时走过或者短暂停留造成的误报；设定多帧图像跟踪矩阵，不采用单帧跟踪，减少误报；增加特征匹配，提升匹配的正确性；增加静止队列与占道经营阈值，根据静止队列中的静止比例与占道经营阈值进行占道经营判断；匹配原则更加全面，鲁棒性、准确率较高。

请参阅图8，本发明还提供一种电子设备，包括：存储器200和处理器100，所述存储器200存储有计算机程序，所述计算机程序被所述处理器100执行时，使得所述处理器100执行本发明提供的占道经营检测方法的各实施例中的部分或全部步骤。

实际应用时，首先，接收待检测图像，并将其输入识别占道经营模型，得到在监控区域内的检测图像，然后，进行IOU匹配和特征匹配，计算静止队列Q2中匹配成功标志“True”的比例，并且判断该比例是否大于占道经营阈值，当大于时，检测到摊位存在时间是否大于设定摊位存在时间阈值，当最后大于时，则判定存在占道经营行为。

举例来说，如图9所示，通过人为设置的外框区域判断是否存在占道经营摊位，通过IOU匹配和特征匹配，计算静止队列Q2中匹配成功标志“True”的比例和检测到摊位存在时间大于设定摊位存在时间阈值，判定该区域有占道经营行为，如图10所示，该摊位是可以移动的，在移动过程中检测到，通过持续时间的判断，因为其并没有影响交通，因此不需要进行报警。

由以上实施例可知，本发明的电子设备，通过设定疑似占道经营目标的存在时间阈值，当疑似占道经营目标存在时间大于该阈值才会认为存在占道经营，可减少疑似占道经营目标只是临时走过或者短暂停留造成的误报；设定多帧图像跟踪矩阵，不采用单帧跟踪，减少误报；增加特征匹配，提升匹配的正确性；增加静止队列与占道经营阈值，根据静止队列中的静止比例与占道经营阈值进行占道经营判断；匹配原则更加全面，鲁棒性、准确率较高。

综上所述，本发明提供的一种占道经营检测方法、装置及电子设备，可基于城市监控对占道经营进行实时检测，根据设定区域进行占道经营摊位的检测，通过目标检测算法、IOU判断、持续时间判断、特征匹配进行判定，可以减少很多误报。本发明通过设定疑似占道经营目标的存在时间阈值，当疑似占道经营目标存在时间大于该阈值才会认为存在占道经营，可减少疑似占道经营目标只是临时走过或者短暂停留造成的误报；设定多帧图像跟踪矩阵，不采用单帧跟踪，减少误报；增加特征匹配，提升匹配的正确性；其中的IOU判断是当前IOU与当前时刻前n帧的IOU判断。增加静止队列与占道经营阈值，根据静止队列中的静止比例与占道经营阈值进行占道经营判断；匹配原则更加全面，鲁棒性、准确率较高。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中各个实施例之间相同相似的部分互相参见即可。本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于占道经营检测装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例中的说明即可。

以上所述，对于本领域的普通技术人员来说，可以根据本发明的技术方案和技术构思作出其他各种相应的改变和变形，而所有这些改变和变形都应属于本发明权利要求的保护范围。