基于动态调整和局部特征向量联合的车牌检测识别方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于动态调整和局部特征向量联合的车牌检测识别方法。

背景技术

人类经历了第二此工业革命后，汽车被创造出来，极大的改变了人们的生活方式，并且扩大了人们的活动范围，进入21世纪以来我们汽车拥有量呈爆炸性增长，车辆管理工作也随之增大，城市交通压力也变重。依赖于车牌识别的例如监控定位、跟踪、乱停乱放、违反交规等行为的查处以及跟踪逃犯等需要大量的人工对成千上万的摄像头进行排查，其造成了大量人力成本的浪费，人为因素也有着极大的影响。随着第三次工业革命的发展，对车牌进行识别变得可能。

车牌识别技术最早从20世纪80年代提出，对其已经进行了广泛研究。最开始的车牌识别技术使用了传统的算法进行识别，对于环境、车牌位置角度、车牌本身的污染缺损也会影响正确率。目前典型的车牌识别系统首先对包含车牌的图片进行切割，然后对切割后的图片进行识别，这种方式往往需要严格的切割操作以降低对正确率的影响。

发明内容

为了克服上述缺陷，本发明提出一种基于动态调整和局部特征向量联合的车牌检测识别方法，采用优化的卷积神经网络模型，使得网络网络检测提取到的特征能够在识别阶段复用，从而提高车牌检测识别的速度和正确率。

本发明第一方面，提供一种基于动态调整和局部特征向量联合的车牌检测识别方法，采用以下步骤进行：

将含有车牌图像的图片通过卷积网络进行特征提取；提取到的特征图分别被送到车牌定位网络和车牌识别网络进行处理，所述车牌定位网络在所述特征图中获取车牌位置，所述车牌识别网络对车牌的内容进行识别；根据特征图中车牌所在位置，对所述车牌识别网络输出的识别特征图进行切割，经过动态调整，使切割得到的特征图区域对应到原图片中车牌的位置；对所述特征图区域进行识别，得到车牌识别结果。

进一步，所述车牌定位网络在所述特征图中获取车牌位置的具体过程为，对所述特征图中的特征点进行分类，判断特征点所属类别是否为车牌；以判断为车牌类别的像素点所在位置为中点，对车牌区域进行框回归，得到车牌的准确位置。

进一步，所述根据特征图中车牌所在位置，对所述车牌识别网络输出的识别特征图进行切割，具体为：根据车牌所在位置得到车牌位置列表；按照所述车牌位置列表对所述识别特征图进行切割，获取与车牌数量相应的特征列表。

进一步的，对所述特征图区域进行识别具体为：将所述特征图区域调整成宽度固定的特征属性；利用卷积网络对所述特征图区域进行二次提取，获得高为1的二维特征向量；对所述二维特征向量进行分类，判断单像素点的类别，并编码成车牌识别结果。

进一步的，还包括以下步骤：利用损失函数对切割后的特征图区域进行车牌识别训练。

进一步的，所述车牌定位网络和所述车牌识别网络为同一个卷积网络复用。

更进一步的，所述卷积网络包括卷积层、池化层、激活层和归一化层，其中所述卷积层用于提取图片的空间特征属性，所述池化层用于降低特征图平面维度，所述激活层为非线性函数，使所述卷积网络具有非线性表达能力，所述归一化层用来重新排列数据的分布以健壮表达特征图。

本发明第二方面，提供一种存储介质，包括存储在该存储介质中的程序，在所述程序运行时控制所述存储介质所在的设备执行上述任一技术方案所述的车牌检测识别方法。

本发明第三方面，提供一种车牌检测识别设备，包括处理器，所述处理器用于运行程序，所述程序运行时执行上述任一技术方案所述的车牌检测识别方法。

本发明的有益效果：

1)利用卷积网络的卷积层、池化层、归一化层设计识别网络对图片进行特征提取。其中卷积结构提取特征属性、池化结构降低平面维度、归一化结构增强数据之间的联系，使得识别方法在各种环境条件下具有鲁棒性，并降低车牌倾斜角度、车牌缺损、图片失真等因素对正确率的影响。

2)通过卷积网络各层之间的作用以及联系，优化了模型的网络层数、精简了网络的结构、通过利用池化层不断降低特征图的平面维度以降低模型的计算量。在不影响识别正确率情况下，优化后的特征提取模型能够在移动设备上实时运行检测。

3)本发明使用的损失函数ctc loss能够大大降低人工标注的工作量，无需对车牌图片进行细致切割字符，能够降低切割对正确率的影响。

4)复用识别特征图，能够对车牌旋转具有极强鲁棒性。

5)端到端的车牌检测识别，即车牌检测和识别在同一个卷积网络中实现，能够从图片直接获取到检测和识别结果，不需要对原图进行切割后再识别，极大的降低了计算量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例基于动态调整和局部特征向量联合的车牌检测识别方法流程图；

图2为图1实施例中卷积网络的结构；

图3为图1实施例中特征图的处理流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了提高车牌检测识别的速度以及正确率，对不同光照强度(黑暗、强光、局部失真)、各种天气环境以及车牌较大角度等的车牌识别正确率，本实施例提供一种基于动态调整和局部特征向量联合的车牌检测识别方法，如图1所示，该方法包括以下步骤，

S1、将含有车牌图像的图片通过卷积网络进行特征提取。

本实施例中的卷积网络包括卷积层、池化层、激活层和归一化层，其中卷积层提取图片的空间特征属性，池化层能够降低特征图平面维度，同时池化层和激活层有一共同作用，使所述卷积网络具有非线性表达能力，所述激活层为非线性函数；归一化层能够重新排列数据的分布以健壮表达特征图。

如图2所示的是上述卷积网络的层结构，为不包括激活层的卷积网络结构，各个颜色分别代表了卷积层、池化层、归一化层。以下举例说明图片进入卷积网络提取特征的过程，假设原始图片的维度为64x 128，图片输入卷积网络后，首先通过卷积层进行卷积，然后通过池化层进行池化，此时的特征图平面维度为32x64。接着重复进行卷积以及池化使得最终的特征图维度变为1x16x512，分别表示特征图的高、宽以及通道数。然后对提取到的高度为1的特征图继续卷积，仅仅改变通道维度，并放入sotmax中进行分类，再对分类结果进行训练。其中在特征属性为8x16x256时使用了归一化层以增强特征图的表达能力。

通常的，卷积网络的结构可以设置为包括激活层，在每个卷积层卷积后紧接着激活层。激活层是非线性函数，能够增强卷积网络的的非线性表达能力。在通常的实施方式中，面对的都是非线性问题，具有激活层还可以防止过拟合，增强网络的鲁棒性。在此模型中，可以认为低层次结构提取到的特征属性图能够表达图片的低级语义特征，例如图片组成的点线面，而深层次的卷积网络提取到的特征图为高级语义特征，例如图片各个部分的关联型等。在本实施例中最终通过提取到的高级语义特征进行识别。

本实施例采用的卷积网络结构是一种精简的轻量型的特征提取模型，仅仅使用了经典的卷积层、池化层、归一化层等结构，未使用循环神经网络结构，降低了计算量，能够运行于各种移动平台，同时使得本实施例的车牌识别方法在各种环境条件下具有鲁棒性，并降低车牌倾斜角度、车牌缺损、图片失真等因素对正确率的影响。

S2、提取到的特征图分别被送到车牌定位网络和车牌识别网络进行处理，其中车牌定位网络在特征图中获取车牌位置，车牌识别网络对车牌的内容进行识别。

在本实施例中，车牌定位网络和车牌识别网络共同复用一个卷积网络，是一种基于动态调整的局部特征向量的联合车牌检测识别算法，不仅能够降低人工标注的工作量，而且即使在定位不准确情况下也能够正确的对车牌进行识别。

具体的，车牌定位网络在特征图中获取车牌位置的具体过程为：

S21、对特征图中的特征点进行分类，判断特征点所属类别是否为车牌；

S22、以判断为车牌类别的像素点所在位置为中点，对车牌区域进行框回归，得到车牌的准确位置。

S3、根据特征图中车牌所在位置，对车牌识别网络输出的识别特征图进行切割，经过动态调整，使切割得到的局部特征向量即特征图区域对应到原图片中车牌的位置。

具体的，根据特征图中车牌所在位置，对车牌识别网络输出的识别特征图进行切割的过程具体为：

S31、根据车牌所在位置得到车牌位置列表；

S32、按照所述车牌位置列表对所述识别特征图进行切割，获取与车牌数量相应的特征列表。

S4、对特征图区域进行识别，得到车牌识别结果。

具体的，对特征图区域进行识别包括以下步骤：

S41、将特征图区域调整成宽度固定的特征属性；

S42、利用卷积网络对特征图区域进行二次特征提取，获得高为1的二维特征向量；

S43、对所述二维特征向量进行分类，判断单像素点的类别，并编码成车牌识别结果。

进行车牌识别时，卷积网络能够充分学习车牌周围信息，即使定位不太准确，识别算法也能够识别正确的结果。在车牌识别阶段，车牌特征提取时，使用基于定位的动态调整对不同环境条件下的车牌识别更加具有鲁棒性，能够实时的运行于嵌入式设备上以满足商业化需求。

在一些具体实施方式中，还包括利用损失函数对切割后的特征图区域进行车牌识别训练。本实施例采用的损失函数为ctc loss，大大降低了人工标注的工作量，且无需对车牌图片进行细致切割字符，降低了切割对正确率的影响。

车牌识别传统的解决方案首先对图片进行切割字符图片，然后分别单独进行识别字符，最终综合识别结果，此种方式存在巨大的缺陷，具体在于繁杂的过程将影响识别的最终结果。而本实施例使用直接预测序列结果，不需要对图片进行二值化、切割、识别、综合识别结果等操作，直接通过收集到的车牌送入卷积网路中，对提取到的结果首先通过softmax进行分类，然后通过编码器对整个车牌序列长度进行编码，编码完成直接返回车牌图片的整个识别到的序列化结果，输出的是整个车牌序列标签，不需要做后期处理，这种方式精简了样本收集工作和中间的图片切割等过程，因为有其他单字符预测补偿预测错误的结果，而不关心中间的预测结果，因此单字符的预测数据预测错误并不会影响预测结果。

本发明还提供一种存储介质和一种车牌识别设备，其中存储介质包括程序，在所述程序运行时控制所述存储介质所在的设备执行上述任一技术方案所述的车牌识别方法。该存储介质可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；也可以是非易失性存储器(non-volatilememory)，例如快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；还可以包括上述种类的存储器的组合。

车牌识别设备包括处理器，所述处理器用于运行程序，所述程序运行时执行上述任一技术方案所述的车牌识别方法。处理器还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic,GAL)或其任意组合。

本发明实施例是参照根据本发明实施例的方法、装置、设备(系统)或计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器如智能手机、平板电脑等，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。