一种无牌车辆判别方法、装置以及电子设备

技术领域

本发明涉及计算机视觉领域，尤其涉及一种无牌车辆判别方法、装置以及电子设备。

背景技术

无牌车识别是一种根据输入的车辆图像，来确定图像中车辆是否有牌技术，可应用于高速公路逃费稽查、无牌车闯红灯、肇事车辆快速查找等交通方面。自然场景中的车牌受使用时长、光照和灰尘的影响容易造成污损，同时由于人为因素车牌存在遮挡的情况，不同车型的车牌的安装位置也不尽相同。现有的利用传统的方法进行车辆颜色识别的技术大都遵循以下技术路线，确定车牌的区域位置后在提取颜色特征、HOG等图像特征，最后采用分类器进行分类。该类方法依赖于车牌区域定位的准确性，以及所提取的图像特征是否具有代表性。在现有技术选取车牌区域的过程中，车牌颜色模型类别囊括不完备，缺少新能源车牌类型(绿底黑字，黄绿双色底黑字)，使得候选车牌区域的判别存在遗漏。同时在使用颜色精确定位车牌的上下左右四个边界的时候，难度较大。上述公开的现有技术中，至少存在如下技术问题，由于车牌信息提取不准确导致无车牌识别准确率不高的问题。

发明内容

为了解决现有技术中车牌信息提取不准确导致无车牌识别准确率不高的问题，本申请实施例通过提供一种无牌车辆判别方法、装置以及电子设备，实现了车牌信息的准确提取，从而提高无车牌识别准确率。

根据本发明实施例的第一方面，提供一种无牌车辆判别方法，包括以下步骤：

获取视频中目标车辆的车脸区域图和车牌区域图；

将所述车脸区域图和车牌区域图进行拼接，得到拼接图；

将所述拼接图输入预先训练好的的深度学习网络模型，生成用来标识车牌类别的标签，其中，所述训练好的深度学习网络模型通过包含车辆的车脸区域图和车牌区域图的拼接图以及用来标识车牌类别标签的样本数据训练生成的；

根据所述模型生成的车牌类别标签，判断所述车辆是否为无牌车辆，其中，所述车牌类别标签包括无牌车标签、有牌车标签。

根据本发明实施例的第二方面，提供一种无牌车辆判别装置，包括，车辆图像获取单元、拼接单元、车牌类别识别单元和车牌类别标签获取单元：

车辆图像获取单元，用于获取视频中目标车辆的车脸区域图和车牌区域图；

拼接单元，用于将目标车辆的车脸区域图和车牌区域图进行拼接，得到拼接图；

车牌类别识别单元，用于将所述车脸区域图和车牌区域图的拼接图输入预先训练好的的深度学习网络模型，生成用来标识车牌类别的标签，其中所述训练好的深度学习网络模型通过包含车辆的车脸区域图和车牌区域图的拼接图以及用来标识车牌类别的标签的样本数据训练生成的；

无牌车辆判断单元，用于根据所述模型生成的车牌类别标签，判断所述车辆是否为无牌车辆，其中，所述车牌类别标签包括无牌车标签、有牌车标签。

根据本发明实施例的第三方面，提供一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机指令；所述处理器用于调用并执行所述一条或多条计算机指令，从而实现如上述任一实施例所述的方法。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

根据本发明实施例的一种无牌车辆判别方法，通过将车脸区域图和车牌区域图进行拼接形成拼接图，再让拼接图以及用来标识车牌类别的标签作为样本数据输入深度学习网络模型进行模型训练。由于拼接图地信息更加完善，能提取更多的全局信息和局部信息，进而获取更准确的车牌信息，从而使得训练好的模型能输出更加准确的无车牌判别结果。

附图说明

通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。

图1为本发明根据一示例性实施例示出的一种无牌车辆判别方法的流程图；

图2为本发明根据一示例性实施例示出的一种无牌车辆判别方法中Tiny-DSOD的骨干结构图；

图3a为本发明根据一示例性实施例示出的一种无牌车辆判别方法中Tiny-DSOD的DDB结构图；

图3b为本发明根据一示例性实施例示出的一种无牌车辆判别方法中Tiny-DSOD的另一个DDB结构图；

图4为本发明根据一示例性实施例示出的一种无牌车辆判别方法中深度学习网络模型的teacher-student结构图；

图5为本发明根据一示例性实施例示出的一种无牌车辆判别装置示意图框图；

图6为本发明根据一示例性实施例示出的一种计算设备的结构示意图；

附图标记：

电子设备300；

存储器310；操作系统311；应用程序312；

处理器320；网络接口330；输入设备340；硬盘350；显示设备360。

具体实施方式

下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面将结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

在介绍本发明的具体实现方式之前，先就本发明中的英文简称进行统一说明。

Tiny-DSOD，其对应的英文名称为：Lightweight Object Detection forResource-Restricted Usages，中文释义为：一种用于资源受限的轻量级目标检测；

DDB，其对应的英文名称为：depthwise denseblock,中文释义为：逐深度密集模块；

HOG，其对应的英文名称为：Histogram of Oriented Gradient,中文释义为：方向梯度直方图；

SVM，其对应的英文名称为：Support Vector Machine,中文释义为：支持向量机；

MAP，其对应的英文名称为：Mean Average Precision，中文释义为：均值平均精度。

本发明提供了一种无牌车辆判别方法，可以实现车牌信息的准确提取，提高无车牌识别准确率。

图1是本发明根据一示例性实施例示出的一种无牌车辆判别方法的流程图。

如图1所示，该方法包括以下步骤：

在S101中，获取视频中目标车辆的车脸区域图和车牌区域图；

在一个优选实方式中，本步骤获取视频中目标车辆的车脸区域图可以是如下方法实现：

在本优选实方式中，使用Tiny-DSOD方法获取视频中的目标车辆，并采用Tiny-DSOD方法检测提取所述目标车辆的车脸区域图。Tiny-DSOD对应的英文名称为：Lightweight Object Detection for Resource-Restricted Usages。Tiny-DSOD方法采用了如图2所示的骨干网络结构，该骨干网络结构的输入图像大小为3×300×300。该结构的每个卷积操作后紧随着批量归一化和ReLU激活函数层，另外在Extractor部分有四个Depthwise dense blocks(DDB)阶段，同时每个DDB阶段包含了几个DDB块。每个DDB块后面有一个transition层去融合从最后几个阶段的Channels-wise信息并压缩通道的数目，用于提高计算效率。

另外，Tiny-DSOD把深度可分离卷积(depth-wise separable convolution)引入到普通的Dense block，提出了两种类型的Depthwise dense blocks(DDB)结构，分别为如图3a所示的DDB-a(w,g)和如图3b所示的DDB-b(g)。这两种结构的说明如下，在矩形当中“S”代表卷积的步长，“C”代表输出的通道数，拼接结点下的数目(圆形的绿C)代表了拼接操作后输出通道的数目。DDB-a以增长率g和扩大比例W为参数，DDB-b则以增长率g为参数。g的分配策略为在大的空间尺寸的浅层阶段分配一个更小的g,随着阶段变深g线性增加，该结构的损失函数采用softmax损失和smooth L1损失之和。这个设计不仅减少了计算量，同时也保持了用于高效训练的深监督。

在本优选实施方式中通过采用Tiny-DSOD的目标检测方法将目标车辆从含有多个目标车辆的视频图像中检测出来，由于该方法的检测优于现有技术中采用提取HOG特征然后采用线性SVM进行分类训练，分类检测的目标车辆MAP更高，从而使得对各种场景地车辆视频图像鲁棒性更高。

在一个优选实施方式中，本步骤获取视频中目标车辆的车牌区域图可以是如下方法实现：

通过特征提取网络的关键点回归方法对所述目标车辆进行车牌关键点位置回归，得到关键点构成的车牌位置区域。在一个优选实施方式中这里的特征提取网络采用ResNet18，由于采用了基于裁减的ResNet18的车牌关键点回归方法，使得回归的车牌位置更准确。本发明还可以采用其他的特征提取网络算法得到车牌位置区域。

完成S101之后，进入S102中，将所述车脸区域图和车牌区域图进行拼接，得到拼接图；

完成S102之后，进入S103中，将所述拼接图输入预先训练好的的深度学习网络模型，生成用来标识车牌类别的标签，其中，所述训练好的深度学习网络模型通过包含车辆的车脸区域图和车牌区域图的拼接图以及用来标识车牌类别标签的样本数据训练生成的。

在一个优选实施方式中，S103步骤中的深度学习网络模型采用如图4所示的teacher-student结构。该网络结构上部分是教师网络(大网络)，下部分是学生网络(小网络)。训练思路是先使用教师网络在已有的样本集上训练得到一个效果最佳的网络，然后依据网络模型压缩的需求，在大网络的基础上进行裁减得到学生网络，用已经训练好的教师网络模型初始化教师网络，然后采用上述网络结构让教师网络采用KL散度损失函数指导学生网络进行知识蒸馏训练优化。也就是说，需要预先获得一些车辆的所述拼接图样本数据，并且该样本数据还包括用来标识车牌类别的标签，通过预先获得的样本数据训练好一个深度学习网络模型，使得该模型，在输入目标车辆的所述拼接图之后，既可生成用来标识车牌类别的标签。该优选实施方式采用了知识蒸馏的方法，使得训练好的无牌车判别模型能够很好地在计算资源受限的计算端进行运算。

最后进入S104中，获取所述模型生成的车牌类别标签，其中所述车牌类别标签包括无牌车标签，有牌车标签。

由该实施例可见，本发明提供一种无牌车辆判别方法，预先训练好一个深度学习网络模型，使用训练好的模型来识别无牌车辆。在模型训练时，使用的样本数据均包括：样本图像和用来标识车牌类别的标签，且样本图像是通过将车辆的车脸区域图和车牌区域图进行拼接得到的拼接图。最后在无牌车辆判别时，将目标车辆的车脸区域图和车牌区域图拼接形成的拼接图输入训练好的模型，即可得到模型的输出结果，从而得到目标车辆的无车牌判别结果。

在一个优选实施例中，将所述车脸区域图和车牌区域图进行拼接，得到拼接图，具体为：将所述车脸区域图和车牌区域图进行上下拼接，得到拼接图。

本实施例中，拼接图同时具有车脸区域的全局图，以及车牌位置的局部图，将拼接后的图像作为样本训练图像训练深度学习网络模型时，能提高提取车牌信息的准确率，进而提高无车牌识别准确率。

在一个优选实施例中，将所述车脸区域图和车牌区域图进行拼接，得到拼接图之前，还包括：

将所述车牌区域图进行M*N倍扩大，得到扩大后的车牌区域图，具体为将车牌位置区域的宽度扩大为M倍，将车牌位置区域的高度扩大为N倍，其中M和N为大于0的数；

其中，将所述车脸区域图和车牌区域图的进行拼接，得到拼接图为：

将所述扩大后的车牌区域图与所述车脸区域图进行拼接，得到拼接图。优选的M为3，N为2。

在本实施例中，由于扩大的车牌区域尽可能多地包含车牌信息，从而拼接图地信息更加完善，使得本发明实施例中的深度学习网络模型能够提取更多的局部信息，从而训练好的模型能输出更加准确的无车牌判别结果。

在一个优选实施例中，所述车牌类别标签，还包括喷漆车标签。如果识别为喷漆车，也代表该车辆为有牌车。

在本实施例中，使用三分类的标签作为样本数据训练深度学习模型，相比仅有无牌车，有牌车标签而言，使得模型可识别的车牌类别差异性更大，从而训练好的模型能输出更加准确的无车牌判别结果。

在一个优选实施例中，所述预先训练好的深度学习网络模型生成过程还包括测试阶段，所述测试阶段的测试数据包括包含车辆的车脸区域图和车牌区域图的拼接图以及用来标识车牌类别的标签。

在本实施例中，通过对深度学习模型的进一步测试，使得训练好的模型能输出更加准确的无车牌判别结果。

与前述应用功能实现方法实施例相对应，本发明还提供了一种无牌车辆判别装置及相应的实施例。

图5是本发明根据一示例性实施例示出的一种无牌车辆判别装置的示意图框图。

参照图5，一种无牌车辆判别装置可以包括：车辆图像获取单元501、拼接单元502、车牌类别识别单元503和无牌车辆判断单元504：

车辆图像获取单元501，用于获取视频中目标车辆的车脸区域图和车牌区域图；

拼接单元502，用于将所述车脸区域图和车牌区域图进行拼接，得到拼接图；

车牌类别识别单元503，用于将所述拼接图输入预先训练好的深度学习网络模型，生成用来标识车牌类别的标签，其中，所述训练好的深度学习网络模型通过包含车辆的车脸区域图和车牌区域图的拼接图以及用来标识车牌类别标签的样本数据训练生成的；

无牌车辆判断单元504，用于根据所述模型生成的车牌类别标签，判断所述车辆是否为无牌车辆，其中，所述车牌类别标签包括无牌车标签、有牌车标签。

在一个优选实施例中，所述无牌车辆判别装置还包括车牌区域图扩大单元505，包括：放大装置；

放大装置，用于将所述车牌区域图进行M*N倍扩大，得到放大后的车牌区域图，具体为，将车牌位置区域的宽度扩大为M倍，将车牌位置区域的高度扩大为N倍；

由该实施例可见，本发明的装置预先训练好一个深度学习网络模型，使用训练好的模型来识别无牌车辆。在模型训练时，使用的样本数据均包括：样本图像和用来标识车牌类别的标签，且样本图像是通过将车辆的车脸区域图和车牌区域图进行拼接得到的拼接图。在无牌车辆判别时，利用车辆图像获取单元，获取目标车辆的车脸区域图和车牌区域图，再利用拼接单元，将所述车脸区域图和车牌区域图进行拼接，得到拼接图；将拼接图输入无牌车辆判断单元，既可利用预先训练好的深度学习网络模型，生成用来标识车牌类别的标签。最后通过无牌车辆判断单元，根据所述模型生成的车牌类别标签，判断所述车辆是否为无牌车辆，其中，所述车牌类别标签包括无牌车标签、有牌车标签。在一个优选实施方式中，所述无牌车辆判别装置还包括车牌区域图扩大单元中的放大装置，可以进一步用于将所述车牌区域图进行M*N倍扩大，再将所述扩大后的车牌区域图与所述车脸区域图进行拼接，得到拼接图，输入预先训练好的深度学习网络模型中，得到模型的输出结果，从而得到目标车辆的无车牌判别结果。

此外，本发明还提供一种计算机存储介质，所述计算机存储介质包括一条或多条计算机指令，所述一条或多条计算机指令在执行时实现上述任一所述的无牌车辆判别方法。也就是说，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行上述任一所述的无牌车辆判别方法。

如图6所示，本发明实施例提供了一种电子设备300，包括存储器310和处理器320，所述存储器310用于存储一条或多条计算机指令，所述处理器320用于调用并执行所述一条或多条计算机指令，从而实现上述任一所述的方法。

也就是说，电子设备300包括：处理器320和存储器310，在所述存储器310中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器320执行上述任一所述的方法。

进一步地，如图6所示，电子设备300还包括网络接口330、输入设备340、硬盘350、和显示设备360。

上述各个接口和设备之间可以通过总线架构互连。总线架构可以是可以包括任意数量的互联的总线和桥。具体由处理器320代表的一个或者多个中央处理器(CPU)，以及由存储器310代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。

所述网络接口330，可以连接至网络(如因特网、局域网等)，从网络中获取相关数据，并可以保存在硬盘350中。

所述输入设备340，可以接收操作人员输入的各种指令，并发送给处理器320以供执行。所述输入设备340可以包括键盘或者点击设备(例如，鼠标，轨迹球(trackball)、触感板或者触摸屏等。

所述显示设备360，可以将处理器320执行指令获得的结果进行显示。

所述存储器310，用于存储操作系统运行所必须的程序和数据，以及处理器320计算过程中的中间结果等数据。

可以理解，本发明实施例中的存储器310可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器310旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器310存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统311和应用程序312。

其中，操作系统311，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序312，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序312中。

本发明上述实施例揭示的方法可以应用于处理器320中，或者由处理器320实现。处理器320可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器320中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器320可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器310，处理器320读取存储器310中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

具体地，处理器320还用于读取所述计算机程序，执行上述任一所述的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。