一种基于深度学习的无牌车识别方法及系统

技术领域

本发明涉及智能交通管理领域，特别涉及一种基于深度学习的无牌车识别方法及系统。

背景技术

随着科学技术的发展和经济的腾飞，车辆的数量越来越多，交通管理成为了社会管理的重要部分。在当前的交通管理系统中，越来越呈现出自动化、智能化的特点，他们主要依靠各类视频采集设备，加上精准的自动分析算法和软件，实现了在线管理、实时管理、高效管理的管理方式，为智慧城市、智慧社会的建设助力。目前，各管理系统主要依靠对采集的图像帧的高效处理算法，基本能够做到对人、车、物的准确检测和识别，以达到快速化、无人化的效果。但是，由于道路上路况复杂、各类型非正规车辆较多，再加上期中存在一定数量的无牌车辆，这些都对于算法的检测和识别造成了困扰，进而影响管理系统的准确和效率。受场景中各种目标的遮挡和视场角度的影响，系统需检测的感兴趣目标可能被遮挡，可能被误检或漏检，因此，算法需要考虑很多的复杂情况，尤其是面对无牌车的情况时，需要快速正确的区分有牌车辆和无牌车辆。

面对有牌车辆和无牌车辆的算法需求，目前常用的方法是通过在车辆的检测框区域内，是否能够检测到车牌为主要判断依据。但是，如果场景过于复杂存在目标遮挡情况，或者光照条件较为恶劣造成成像质量不佳，会造成车牌目标的误检或漏检，导致对于有牌车和无牌车的区分发生错误，进而影响交通管理系统的决策和行动。

发明内容

为解决上述技术问题，本发明提供一种基于深度学习的无牌车识别方法及系统，可以解决现有无牌车识别精准度较低、受环境干扰较大的问题。

为实现上述目的，一方面，本发明提供一种基于深度学习的无牌车识别方法，所述方法包括：

获取通过路侧停车设备采集的监控区域的多个视频帧；

对监控区域的多个视频帧中不同类别目标分别标注车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域；

根据所述车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域对预置卷积神经网络模型进行训练，并通过训练后的预置卷积神经网络模型对所述多个视频帧进行各车辆目标的检测识别分析；

根据检测识别结果，确认监控区域是否存在无牌车辆。

进一步地，所述对监控区域的多个视频帧中不同类别目标分别标注车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域的步骤包括：

根据监控区域的多个视频帧中目标对应的类别分别通过预置矩形框标注车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域，并配置对应的类别号。

进一步地，所述通过训练后的预置卷积神经网络模型对所述多个视频帧进行各车辆目标的检测识别分析的步骤包括：

通过训练后的预置卷积神经网络模型对所述多个视频帧进行各车辆目标的检测识别分析，得到每个检测目标的分类信息和外接矩形框信息。

进一步地，所述根据检测识别结果，确认监控区域是否存在无牌车辆的步骤包括：

根据所述检测识别结果，确定检测到的各车辆目标和/或无车牌的车牌部位目标；

逐个遍历检测各车辆目标区域内，是否存在车牌目标或者无车牌的车牌部位目标；

根据车牌目标对应的车牌和/或无车牌的车牌部位目标的交并比，确认所述监控区域是否存在无牌车辆。

进一步地，所述根据车牌目标对应的车牌或者无车牌的车牌部位目标的交并比，确认所述监控区域是否存在无牌车辆的步骤包括：

当车辆和无车牌的车牌部位目标的交并比大于零时则确定所述监控区域存在无牌车辆；

当车辆与车牌和无车牌的车牌部位均相交或者均不相交时，则输出告警信息。

另一方面，本发明提供一种基于深度学习的无牌车识别系统，所述系统包括：获取单元，用于获取通过路侧停车设备采集的监控区域的多个视频帧；

标注单元，用于对监控区域的多个视频帧中不同类别目标分别标注车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域；

检测单元，用于根据所述车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域对预置卷积神经网络模型进行训练，并通过训练后的预置卷积神经网络模型对所述多个视频帧进行各车辆目标的检测识别分析；

确认单元，用于根据检测识别结果，确认监控区域是否存在无牌车辆。

进一步地，所述标注单元，具体用于根据监控区域的多个视频帧中目标对应的类别分别通过预置矩形框标注车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域，并配置对应的类别号。

进一步地，所述检测单元，具体用于通过训练后的预置卷积神经网络模型对所述多个视频帧进行各车辆目标的检测识别分析，得到每个检测目标的分类信息和外接矩形框信息

进一步地，所述确认单元，具体用于根据所述检测识别结果，确定检测到的各车辆目标和/或无车牌的车牌部位目标；逐个遍历检测各车辆目标区域内，是否存在车牌目标或者无车牌的车牌部位目标；根据车牌目标对应的车牌和/或无车牌的车牌部位目标的交并比，确认所述监控区域是否存在无牌车辆。

进一步地，所述确认单元，具体还用于当车辆和无车牌的车牌部位目标的交并比大于零时则确定所述监控区域存在无牌车辆；当车辆与车牌和无车牌的车牌部位均相交或者均不相交时，则输出告警信息。

本发明提供的一种基于深度学习的无牌车识别方法及系统，根据标注的车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域对预置卷积神经网络模型进行训练，并通过训练后的预置卷积神经网络模型对所述多个视频帧进行各车辆目标的检测识别分析以及无牌车辆的判断，实现了无牌车辆的实时检测和处理，无牌车辆的的实时监测，并且可以快速准确区分有牌车辆和无牌车辆，在保证正确率的同时又避免了大量运算带来的硬件成本，能够高效率高准确度的为交通管理的自动化提供技术支持。

附图说明

图1是本发明提供的一种基于深度学习的无牌车识别方法的流程图；

图2是本发明提供的一种基于深度学习的无牌车识别系统的结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

下面对方法步骤进行详细阐述，如图1所示，本发明实施例提供的一种基于深度学习的无牌车识别方法，包括如下步骤：

101、获取通过路侧停车设备采集的监控区域的多个视频帧。

具体地，通过不同场景、不同角度的多个视频设备在不同时间段、不同光照条件、不同天气情况等条件下采集视频帧。

102、对监控区域的多个视频帧中不同类别目标分别标注车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域。

具体地，根据监控区域的多个视频帧中目标对应的类别分别通过预置矩形框标注车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域，并配置对应的类别号。

103、根据所述车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域对预置卷积神经网络模型进行训练，并通过训练后的预置卷积神经网络模型对所述多个视频帧进行各车辆目标的检测识别分析。

具体地，通过训练后的预置卷积神经网络模型对所述多个视频帧进行各车辆目标的检测识别分析，得到每个检测目标的分类信息和外接矩形框信息。

例如，标注视频帧是指将获得的视频帧里的感兴趣目标用矩形框标注，代表某感兴趣目标的位置属性，矩形框是本目标最外边界的最小外接矩形框。标注视频帧时，将视频帧里的感兴趣目标分类标注，代表某感兴趣目标的类别属性，本发明方法中，车辆、车牌和无牌车辆的车牌部位是感兴趣目标，分别将它们标注类别为0类、1类、2类。

104、根据检测识别结果，确认监控区域是否存在无牌车辆。

具体地，根据所述检测识别结果，确定检测到的各车辆目标和/或无车牌的车牌部位目标；逐个遍历检测各车辆目标区域内，是否存在车牌目标或者无车牌的车牌部位目标；根据车牌目标对应的车牌和/或无车牌的车牌部位目标的交并比，确认所述监控区域是否存在无牌车辆。

其中，所述根据车牌目标对应的车牌或者无车牌的车牌部位目标的交并比，确认所述监控区域是否存在无牌车辆的步骤包括：当车辆和无车牌的车牌部位目标的交并比大于零时则确定所述监控区域存在无牌车辆；当车辆与车牌和无车牌的车牌部位均相交或者均不相交时，则输出告警信息。

需要说明的是，利用神经网络模型进行视频帧的计算和分析，得到视频帧的感兴趣目标的检测结果，是指将待检测视频帧，输入到神经网络模型进行计算，得到每个检测目标的分类信息和外接框信息，这些信息是进行后续处理的数据基础。有牌车和无牌车判断方法如下：逐个遍历各车辆目标区域内，是否存在车牌目标或者无车牌的车牌部位目标。根据车辆和车牌或者无车牌的车牌部位目标的交并比(intersection over union，简称IOU)，从而判断此车辆是否为无牌车。车辆和车牌、无牌车辆的车牌部位之间的位置关系用交并比来表示；当某车辆和某车牌的IOU＞0时，就可以认为该车辆和车牌相交，有重叠区域，意味着该车辆为有牌车；当某车辆和某无车牌的车牌部位目标的IOU＞0时，就可以认为该车辆和无车牌的车牌部位相交，有重叠区域，意味着该车辆为无牌车；特别地，当某车辆与车牌和无车牌的车牌部位两类目标都相交时，就认为存在不确定性，报警提请系统处理；特别地，当某车辆与车牌和无车牌的车牌部位两类目标都不相交时，也认为存在不确定性，报警提请系统处理。

对于本发明实施例，具体的应用场景可以如下所示，但不限于此，包括：设备获取待检测视频帧，输入到神经网络模型进行计算，提取出车辆、车牌和无车牌的车牌部位目标的检测框，即目标的位置信息，并记录下来。车辆的目标类别记作A，车牌的目标类别记作B，无车牌的车牌部位目标记作C。然后逐个遍历车辆目标A，分别计算每个车辆目标和每个车牌目标的交并比，判断是否可能为有牌车辆，记为结果一；分别计算每个车辆目标和每个无车牌的车牌部位目标的交并比，判断是否可能为无牌车辆，记为结果二；如果结果一和结果二矛盾，则报警系统处理。本实施例中，目标车辆为一正常有牌车辆，但车牌被路旁树干遮挡。根据检测结果，检测到车辆A0，但是在车辆A0的区域内，既没有检测到车牌Bi，也没有检测到无车牌的车牌部位目标Ci。根据我们前边的定义所述，既不能判断该车辆为有牌车，也不能判断该车辆为无牌车，报警系统处理。本实施例中，避免了以往算法中只依据车牌的检测结果来判断的弊端，以免当车牌被遮挡时，错误的判断车辆为无牌车。

再例如，目标车辆为一老年代步车。根据检测结果，因为老年代步车和正常车辆差别极小，被错误的检测为车辆A0；在车辆A0的区域内，检测到无车牌的车牌部位目标Ci。经过计算，车辆A0和无车牌的车牌部位目标Ci IOU＞0，根据我们前边的定义所述，判断该车辆为无牌车。本实施例中，因为感兴趣目标中有了无车牌的车牌部位这一分类，避免了以往算法中将老年代步车等非正规相似车牌误检测为车牌，从而导致错误的判断车辆为有牌车。

本发明实施例提供的一种基于深度学习的无牌车识别方法，根据标注的车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域对预置卷积神经网络模型进行训练，并通过训练后的预置卷积神经网络模型对所述多个视频帧进行各车辆目标的检测识别分析以及无牌车辆的判断，实现了无牌车辆的实时检测和处理，无牌车辆的的实时监测，并且可以快速准确区分有牌车辆和无牌车辆，在保证正确率的同时又避免了大量运算带来的硬件成本，能够高效率高准确度的为交通管理的自动化提供技术支持。

为实现本发明实施例提供的方法，本发明实施例提供一种基于深度学习的无牌车识别系统，如图2所示，该系统包括：获取单元21、标注单元22、检测单元23、确认单元24。

获取单元21，用于获取通过路侧停车设备采集的监控区域的多个视频帧；

标注单元22，用于对监控区域的多个视频帧中不同类别目标分别标注车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域；

检测单元23，用于根据所述车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域对预置卷积神经网络模型进行训练，并通过训练后的预置卷积神经网络模型对所述多个视频帧进行各车辆目标的检测识别分析；

确认单元24，用于根据检测识别结果，确认监控区域是否存在无牌车辆。

进一步地，所述标注单元22，具体用于根据监控区域的多个视频帧中目标对应的类别分别通过预置矩形框标注车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域，并配置对应的类别号。

进一步地，所述检测单元23，具体用于通过训练后的预置卷积神经网络模型对所述多个视频帧进行各车辆目标的检测识别分析，得到每个检测目标的分类信息和外接矩形框信息

进一步地，所述确认单元24，具体用于根据所述检测识别结果，确定检测到的各车辆目标和/或无车牌的车牌部位目标；逐个遍历检测各车辆目标区域内，是否存在车牌目标或者无车牌的车牌部位目标；根据车牌目标对应的车牌和/或无车牌的车牌部位目标的交并比，确认所述监控区域是否存在无牌车辆。

进一步地，所述确认单元24，具体还用于当车辆和无车牌的车牌部位目标的交并比大于零时则确定所述监控区域存在无牌车辆；当车辆与车牌和无车牌的车牌部位均相交或者均不相交时，则输出告警信息。

本发明提供的一种基于深度学习的无牌车识别系统，根据标注的车辆目标信息、车辆目标对应的标识信息、和/或无车辆标识信息车辆对应的标识位置区域对预置卷积神经网络模型进行训练，并通过训练后的预置卷积神经网络模型对所述多个视频帧进行各车辆目标的检测识别分析以及无牌车辆的判断，实现了无牌车辆的实时检测和处理，无牌车辆的的实时监测，并且可以快速准确区分有牌车辆和无牌车辆，在保证正确率的同时又避免了大量运算带来的硬件成本，能够高效率高准确度的为交通管理的自动化提供技术支持。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑系统，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算系统的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储系统，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。