一种基于深度神经网络的车牌识别虚警过滤算法

技术领域

本发明涉及车牌识别技术领域，具体为一种基于深度神经网络的车牌识别虚警过滤算法。

背景技术

近年来，随着社会经济的不断发展，车牌识别在我们的生活中扮演着越来越重要的角色。它广泛应用于生活的各个方面：交通管理、数字安全监控、车辆识别以及城市停车管理等。现如今，车牌识别技术已经有了巨大的进步，而且能够在复杂的环境中实现高精度的识别。

但是，车牌识别技术仍面临着许多挑战，其中之一就是虚警。虚警就是车牌识别场景中的非车牌区域被识别为车牌，给城市停车管理带了极大的不便。产生虚警的主要原因是非车牌区域的复杂背景纹理以及各种场景文字与车牌区域特征的相似性。

针对上述问题，急需在原有过滤算法结构的基础上进行创新设计。

发明内容

本发明的目的在于提供一种基于深度神经网络的车牌识别虚警过滤算法，以解决上述背景技术中提出的车牌识别技术仍面临着许多挑战，其中之一就是虚警。虚警就是车牌识别场景中的非车牌区域被识别为车牌，给城市停车管理带了极大的不便。产生虚警的主要原因是非车牌区域的复杂背景纹理以及各种场景文字与车牌区域特征的相似性的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度神经网络的车牌识别虚警过滤算法，包括FAFNet输入图像的裁剪规则和FAFNet网络设计；

S1：裁剪规则

FAFNet的输入图像是根据车牌识别获得的车牌坐标以及裁剪参数在原始图像上截取得到。而且，我们主要利用真实车牌周围区域的车头特征来分辨真实车牌和虚警车牌。

根据裁剪规则以及大量的经验测试，我们发现m＝3，n＝8是最适合中国车牌的裁剪参数。

S2：FAFNet网络设计

DenseNet的参数更少，模型尺寸更小，计算速度快，满足了构建轻量级网络的要求。而且其独特的密集结构加深了网络的深度，并同时使得模型具有隐性监督和正则化的效果，能够使模型保持高质量的精度。

a.密集块

密集块(Denseblock)是本网络的主要组成部分，它是许多密集细胞(DenseCell)的串联组成。我们定义网络中的密集细胞为[1×1conv，3×3conv]。在本文中，s×sconv是一个复合函数(s是卷积核大小)，它包含三个部分：s×s卷积(Convolutioal)、批量归一化操作(BatchNormalization，BN)[10]和泄露修正线性单元(LeakyRectifieLinearUnit，LeakyReLU)。在网络中，1×1conv作为瓶颈层(BottleneckLayer)，其位置在3×3conv之前，文献[7，8]中指出，瓶颈层可以减少输入特征图的数量，从而提高计算效率。

b.转换层

转换层(TrainsitionLayer)是FAFNet的重要组成部分，它的主要作用连接网络中的密集块，并对密集块的特征进行融合和降采样。转换层包括一个1×1conv层和一个2×2的最大池化层，其中1×1conv的主要作用是将密集块中串联的特征进行融合，并且同时也增加了网络的深度，其输出特征图个数与密集块的输出相同；2×2的最大池化层用来进行特征的下采样。

c.实现细节

AFNet有4个密集块和3个转换层。它的输入图像大小为112×112×3。在第一个密集块之前，我们设计了一个卷积核大小为3×3，输出为8通道的conv层来处理输入图像。对于3×3的卷积层，设置其步长为1，输入的每一边都由一个像素填充为0，以保持特征图大小不变。我们将转换层设置在两个相邻的密集块之间，每个转换层后都增加一倍的输出通道数。密集细胞在每个密集块中的个数分别是{1，2，4，4}，对于每个密集细胞，我们设定k＝8，λ＝2。在最后一个密集块后，我们设计了一个1×1的卷积层和一个线性激活层，其输出通道数等于分类标签的个数；然后应用全局平均池化层，再使用softmax分类器进行分类。

S3：实验与结果

介绍了训练数据和训练的细节；其次将FAFNet与经典分类网络LeNet、AlexNet进行对比，在数据集上验证FAFNet在精度和速度上的强大性能；最后我们探讨了车牌、车头颜色、边缘二值图对FAFNet模型的影响，研究FAFNet模型提取的主要特征和模型的鲁棒性。

a.数据集合预处理

正样本包含白天夜间情况下不同车型的车牌识别场景，以及一些特殊情况下的识别场景，例如高噪声，低光照，雨雾天气等；

负样本数据由三部分组成，第一部分是一些无车的自然场景，包括绿化带、道路减速带和道路栏杆等；第二部分为相机采集的虚警数据，主要是车身文字，以及其他的自然场景文字；第三部分为COCO-Text数据集中的部分自然场景文字图片。

为了进一步扩大负样本的数据量，提高数据的多样性，我们对负样本进行了样本增广，主要操作有随机旋转、尺度缩放以及随机剪切等

b.训练细节

在训练过程中，我们采用随机梯度下降法来训练FAFNet模型，设定批量训练大小(BatchSize)为128，初始学习率(LearningRate)为〖10〗^(-3)，上一次的梯度权重(momentum)[12]为0.9，仿照[13]设定权重衰减项(WeightDecay)为5×〖10〗^(-4)。训练迭代的最大次数为105w，学习率分别在20w次和60次时乘以0.1。

c.与LeNet、AlexNet的结果对比

FAFNet的强大性能，在模型大小方面，FAFNet模型大小仅有0.11MB，相较于LeNet与AlexNet的模型大小，分别下降了542倍和1036倍；同时在识别率方面，FAFNet略高于AlexNet，相比于LeNet高了0.14％，这说明FAFNet有效的避免了网络参数冗余，极大的提高了参数利用率；在浮点运算量方面，FAFNet完成一次前向传播的运算量仅为0.024GFlops，远远低于LeNet和AlexNet；在识别速度方面，我们分别对比了FAFNet在GPU、CPU和HISI上的识别速度，由表看出在GPU上，LeNet由于网络结构简单，识别速度较快，AlexNet和FAFNet识别速度相差不大，但是在CPU和HISI上，我们可以明显看出FAFNet的识别速度远远快于LeNet和AlexNet，并且能够在HISI上实现实时的虚警处理。

d.车牌区域、车头颜色、边缘二值图对模型的影响

(1)车牌区域

车牌填充后的识别率与未填充之前的识别率相差不大，因此我们可以得出FAFNet主要提取的是车头信息，车牌区域对模型基本上没有影响

(2)车头颜色

屏蔽掉车头颜色信息后，模型的虚警过滤能力依然保持着强大的效果，这说明FAFNet模型对于车头颜色信息也有很强的鲁棒性

(3)边缘二值图

基于边缘二值图的模型的虚警效果与基于彩色图像的模型的虚警效果相差不大，所以我们可以得出FAFNet模型主要提取的就是车头的边缘轮廓特征。

车牌区域信息与车头颜色信息对于模型均影响很小，对于边缘二值图模型来说，如果对边缘检测和二值化算法进行进一步的优化，那么基于边缘二值图的虚警过滤模型应该比基于彩色图的虚警过滤模型有更好的效果

S4：模型国际化

实现了虚警过滤模型的国际化，它相较于方案一有以下两个方面的优势：

(1)降低了数据收集成本，不需要对每个国家的车牌数据进行收集；

(2)降低了训练成本，不需要对每个国家单独训练对应的模型。

因此我们只需要训练一个国家的虚警过滤模型，然后通过虚拟车牌的方法，就可以让其适用于其他国家。

S5：结论

FAFNet，它是基于深度卷积神经网络构造而成，是一个轻量级的神经网络，能够进行端到端的训练。在本文中，我们首先展示了FAFNet的设计细节，其独特的网络架构不仅极大的降低了参数量和计算速度，而且加深了网络深度，使得模型能够实现高精度；然后我们针对虚警过滤模型国际化问题，我们提出一种虚拟车牌的解决方法，能够使得虚警过滤模型适用于其他国家，避免了数据的重复收集和训练。最后通过在工业数据集上的实验，我们验证了FAFNet优秀的虚警过滤性能和在不同硬件设备上(GPU，CPU，HISI)的识别速度，结果表明FAFNet完全适用于嵌入式设备，并且能实现高效实时的过滤功能。

优选的，所述根据车牌坐标截取输入图像的规则如下：对于正面车辆图像，根据车牌坐标截取的图像必须是完整的车头图像。

优选的，所述实验环境为Ubuntu16.04系统，CPUIntel(R)Xeon(R)CPUE5-2603v4@1.70GHz，GPUNVIDIAGTX1080Ti，并同时在嵌入式设备HISI3516AV200上测试不同模型的运行速度。

优选的，所述目前数据集总共有215675张图片，其中正样本117255张，负样本98420张。所有的图片大小在输入网络时均调整为112×112

与现有技术相比，本发明的有益效果是：该基于深度神经网络的车牌识别虚警过滤算法；

1.针对车牌识别中的虚警问题，提出了一种高精度和实时性的虚警过滤方法；

2.提出了一种模型国际化的方法，解决了由于不同国家车牌尺寸大小不同导致的虚警过滤模型无法通用的问题；

3.制作了一个大型样本数据集，数据样本均来自于工业界，并包各种场景：模糊图像、低光照条件、物理因素影响、以及各种天气场景等；

3.FAFNet，它是基于深度卷积神经网络构造而成，是一个轻量级的神经网络，能够进行端到端的训练。在本文中，我们首先展示了FAFNet的设计细节，其独特的网络架构不仅极大的降低了参数量和计算速度，而且加深了网络深度，使得模型能够实现高精度；然后我们针对虚警过滤模型国际化问题，我们提出一种虚拟车牌的解决方法，能够使得虚警过滤模型适用于其他国家，避免了数据的重复收集和训练。

附图说明

图1为本发明车牌识别虚警过滤示意图；

图2为本发明垂直方向中心点计算示意图；

图3为本发明根据裁剪规则截取图像示例示意图；

图4为本发明“conv”、密集块以及密集细胞的具体结构示意图；

图5为本发明FAFNet网络结构示意图；

图6为本发明LeNet、AlexNet的结果对比示意图；

图7为本发明FAFNet输入图像及其填充图、灰度图、二值图示意图；

图8为本发明原图、车牌填充图、灰度图、边缘二值图结果对比示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-8，本发明提供一种技术方案：一种基于深度神经网络的车牌识别虚警过滤算法，包括FAFNet输入图像的裁剪规则和FAFNet网络设计；(如图1所示)

S1：裁剪规则

FAFNet的输入图像是根据车牌识别获得的车牌坐标以及裁剪参数在原始图像上截取得到。而且，我们主要利用真实车牌周围区域的车头特征来分辨真实车牌和虚警车牌。

根据裁剪规则以及大量的经验测试，我们发现m＝3，n＝8是最适合中国车牌的裁剪参数。(如图2和图3所示)

S2：FAFNet网络设计

DenseNet的参数更少，模型尺寸更小，计算速度快，满足了构建轻量级网络的要求。而且其独特的密集结构加深了网络的深度，并同时使得模型具有隐性监督和正则化的效果，能够使模型保持高质量的精度。

a.密集块

密集块(Denseblock)是本网络的主要组成部分，它是许多密集细胞(DenseCell)的串联组成。我们定义网络中的密集细胞为[1×1conv，3×3conv]。在本文中，s×sconv是一个复合函数(s是卷积核大小)，它包含三个部分：s×s卷积(Convolutioal)、批量归一化操作(BatchNormalization，BN)[10]和泄露修正线性单元(LeakyRectifieLinearUnit，LeakyReLU)。在网络中，1×1conv作为瓶颈层(BottleneckLayer)，其位置在3×3conv之前，瓶颈层可以减少输入特征图的数量，从而提高计算效率。

b.转换层

转换层(TrainsitionLayer)是FAFNet的重要组成部分，它的主要作用连接网络中的密集块，并对密集块的特征进行融合和降采样。转换层包括一个1×1conv层和一个2×2的最大池化层，其中1×1conv的主要作用是将密集块中串联的特征进行融合，并且同时也增加了网络的深度，其输出特征图个数与密集块的输出相同；2×2的最大池化层用来进行特征的下采样。(如图4所示)

c.实现细节

AFNet有4个密集块和3个转换层。它的输入图像大小为112×112×3。在第一个密集块之前，我们设计了一个卷积核大小为3×3，输出为8通道的conv层来处理输入图像。对于3×3的卷积层，设置其步长为1，输入的每一边都由一个像素填充为0，以保持特征图大小不变。我们将转换层设置在两个相邻的密集块之间，每个转换层后都增加一倍的输出通道数。密集细胞在每个密集块中的个数分别是{1，2，4，4}，对于每个密集细胞，我们设定k＝8，λ＝2。在最后一个密集块后，我们设计了一个1×1的卷积层和一个线性激活层，其输出通道数等于分类标签的个数；然后应用全局平均池化层，再使用softmax分类器进行分类。(如图5所示)

S3：实验与结果

介绍了训练数据和训练的细节；其次将FAFNet与经典分类网络LeNet、AlexNet进行对比，在数据集上验证FAFNet在精度和速度上的强大性能；最后我们探讨了车牌、车头颜色、边缘二值图对FAFNet模型的影响，研究FAFNet模型提取的主要特征和模型的鲁棒性。

a.数据集合预处理

正样本包含白天夜间情况下不同车型的车牌识别场景，以及一些特殊情况下的识别场景，例如高噪声，低光照，雨雾天气等；

负样本数据由三部分组成，第一部分是一些无车的自然场景，包括绿化带、道路减速带和道路栏杆等；第二部分为相机采集的虚警数据，主要是车身文字，以及其他的自然场景文字；第三部分为COCO-Text数据集中的部分自然场景文字图片。

为了进一步扩大负样本的数据量，提高数据的多样性，我们对负样本进行了样本增广，主要操作有随机旋转、尺度缩放以及随机剪切等

b.训练细节

在训练过程中，我们采用随机梯度下降法来训练FAFNet模型，设定批量训练大小(BatchSize)为128，初始学习率(LearningRate)为〖10〗^(-3)，上一次的梯度权重(momentum)[12]为0.9，仿照[13]设定权重衰减项(WeightDecay)为5×〖10〗^(-4)。训练迭代的最大次数为105w，学习率分别在20w次和60次时乘以0.1。

c.与LeNet、AlexNet的结果对比

FAFNet的强大性能，在模型大小方面，FAFNet模型大小仅有0.11MB，相较于LeNet与AlexNet的模型大小，分别下降了542倍和1036倍；同时在识别率方面，FAFNet略高于AlexNet，相比于LeNet高了0.14％，这说明FAFNet有效的避免了网络参数冗余，极大的提高了参数利用率；在浮点运算量方面，FAFNet完成一次前向传播的运算量仅为0.024GFlops，远远低于LeNet和AlexNet；在识别速度方面，我们分别对比了FAFNet在GPU、CPU和HISI上的识别速度，由表看出在GPU上，LeNet由于网络结构简单，识别速度较快，AlexNet和FAFNet识别速度相差不大，但是在CPU和HISI上，我们可以明显看出FAFNet的识别速度远远快于LeNet和AlexNet，并且能够在HISI上实现实时的虚警处理。(如图6所示)

d.车牌区域、车头颜色、边缘二值图对模型的影响

(1)车牌区域

车牌填充后的识别率与未填充之前的识别率相差不大，因此我们可以得出FAFNet主要提取的是车头信息，车牌区域对模型基本上没有影响

(2)车头颜色

屏蔽掉车头颜色信息后，模型的虚警过滤能力依然保持着强大的效果，这说明FAFNet模型对于车头颜色信息也有很强的鲁棒性(如图7所示)。

(3)边缘二值图

基于边缘二值图的模型的虚警效果与基于彩色图像的模型的虚警效果相差不大，所以我们可以得出FAFNet模型主要提取的就是车头的边缘轮廓特征。

车牌区域信息与车头颜色信息对于模型均影响很小，对于边缘二值图模型来说，如果对边缘检测和二值化算法进行进一步的优化，那么基于边缘二值图的虚警过滤模型应该比基于彩色图的虚警过滤模型有更好的效果(如图8所示)

S4：模型国际化

实现了虚警过滤模型的国际化，它相较于方案一有以下两个方面的优势：

(1)降低了数据收集成本，不需要对每个国家的车牌数据进行收集；

(2)降低了训练成本，不需要对每个国家单独训练对应的模型。

因此我们只需要训练一个国家的虚警过滤模型，然后通过虚拟车牌的方法，就可以让其适用于其他国家。

S5：结论

FAFNet，它是基于深度卷积神经网络构造而成，是一个轻量级的神经网络，能够进行端到端的训练。在本文中，我们首先展示了FAFNet的设计细节，其独特的网络架构不仅极大的降低了参数量和计算速度，而且加深了网络深度，使得模型能够实现高精度；然后我们针对虚警过滤模型国际化问题，我们提出一种虚拟车牌的解决方法，能够使得虚警过滤模型适用于其他国家，避免了数据的重复收集和训练。最后通过在工业数据集上的实验，我们验证了FAFNet优秀的虚警过滤性能和在不同硬件设备上(GPU，CPU，HISI)的识别速度，结果表明FAFNet完全适用于嵌入式设备，并且能实现高效实时的过滤功能。

根据车牌坐标截取输入图像的规则如下：对于正面车辆图像，根据车牌坐标截取的图像必须是完整的车头图像。

实验环境为Ubuntu16.04系统，CPUIntel(R)Xeon(R)CPUE5-2603v4@1.70GHz，GPUNVIDIAGTX1080Ti，并同时在嵌入式设备HISI3516AV200上测试不同模型的运行速度。

目前数据集总共有215675张图片，其中正样本117255张，负样本98420张。所有的图片大小在输入网络时均调整为112×112。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。