一种基于卷积神经网络的车牌识别方法及系统

技术领域

本公开涉及车牌识别技术领域，具体涉及一种基于卷积神经网络的车牌识别方法及系统。

背景技术

车牌识别是现代智能交通系统中的重要组成部分之一，应用十分广泛。它以数字图像处理、模式识别、计算机视觉等技术为基础，对摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成识别过程。目前，现有的车牌识别方法有诸多问题，如由于车牌较远，或者由于低端相机导致的文件分辨率低，图像模糊，尤其是运动图像模糊等。现需要一种方法解决由于车牌动态不便识别提取，导致车牌识别准确率低的问题。

发明内容

本公开提供了一种基于卷积神经网络的车牌识别方法及系统，用以解决由于车牌动态不便识别提取，导致车牌识别准确率低的技术问题，实现提高识别准确率的技术效果。

根据本公开的第一方面，提供了一种基于卷积神经网络的车牌识别方法，包括：通过所述动态感应图像采集器连续捕捉目标车辆动态图像，获得W个目标车辆动态图像，其中，W为大于1的正整数；分别对所述W个目标车辆动态图像进行关键帧分析，确定N个关键帧，其中N为大于0的正整数；根据所述N个关键帧对所述目标车辆进行多个车牌特征提取，根据所述多个车牌特征在所述W个目标车辆动态图像中进行标识，获取多个车牌标识图像；基于卷积神经网络，对所述多个车牌标识图像进行卷积分区，依次遍历卷积分区结果，获取目标车辆的M个分区图像；提取所述目标车辆的M个分区图像中的车牌信息，将所述车牌信息进行区域拼接后，根据拼接图像对所述目标车辆的车牌进行识别。

根据本公开的第二方面，提供了一种基于卷积神经网络的车牌识别系统，包括：第一获得模块，通过动态感应图像采集器连续捕捉目标车辆动态图像，获得W个目标车辆动态图像，其中，W为大于1的正整数；第二获得模块，分别对所述W个目标车辆动态图像进行关键帧分析，确定N个关键帧，其中N为大于0的正整数；第三获得模块，根据所述N个关键帧对所述目标车辆进行多个车牌特征提取，根据所述多个车牌特征在所述W个目标车辆动态图像中进行标识，获取多个车牌标识图像；第四获得模块，基于卷积神经网络，对所述多个车牌标识图像进行卷积分区，依次遍历卷积分区结果，获取目标车辆的M个分区图像；第一处理模块，提取所述目标车辆的M个分区图像中的车牌信息，将所述车牌信息进行区域拼接后，根据拼接图像对所述目标车辆的车牌进行识别。

本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：

根据本公开采用的一种基于卷积神经网络的车牌识别方法及系统，通过动态感应图像采集器连续捕捉目标车辆动态图像，获得W个目标车辆动态图像并对其进行关键帧分析，确定N个关键帧；对目标车辆进行多个车牌特征提取，在W个目标车辆动态图像中进行标识，获取多个车牌标识图像；基于卷积神经网络，对多个车牌标识图像进行卷积分区，依次遍历卷积分区结果，获取目标车辆的M个分区图像；提取目标车辆的M个分区图像中的车牌信息，将车牌信息进行区域拼接后，对目标车辆的车牌进行识别，本申请可以解决由于车牌动态不便识别提取，导致车牌识别准确率低的技术问题，实现提高车牌识别准确率的效果。

应当理解，本部分所描述的内容并非旨在标示本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其他特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本公开实施例提供的一种基于卷积神经网络的车牌识别方法的流程示意图；

图2为本公开实施例一种基于卷积神经网络的车牌识别方法中获得所述N个关键帧的流程示意图；

图3为本公开实施例提供的一种基于卷积神经网络的车牌识别系统的结构示意图。

附图标记说明：第一获得模块11，第二获得模块12，第三获得模块13，第四获得模块14，第一处理模块15。

具体实施方式

以下结合附图对本公开的示范性实施例作出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为了解决由于车牌动态不便识别提取，导致车牌识别准确率低的技术问题，本公开的发明人经过创造性的劳动，得到了本公开的一种基于卷积神经网络的车牌识别方法及系统：

实施例一

图1为本申请实施例提供的一种基于卷积神经网络的车牌识别方法的流程示意图，如图1所示，所述方法包括：

步骤S100：通过所述动态感应图像采集器连续捕捉目标车辆动态图像，获得W个目标车辆动态图像，其中，W为大于1的正整数；

具体地，动态感应图像采集器为将光学图像信息转换成电信号的设备，用于数码相机和其他电子光学设备。举例而言，动态感应图像采集器可以为地感线圈、红外或雷达等装置。其中，基于动态感应图像采集器，对连续经过的目标车辆进行动态感应捕捉并采集图像。进一步地，目标车辆为行驶经过的待进行动态感应图像采集的车辆。进一步地，获得W个目标车辆动态图像，其中，获取至少连续2个目标车辆的动态图像。因此，W为大于1的正整数。

步骤S200：分别对所述W个目标车辆动态图像进行关键帧分析，确定N个关键帧，其中N为大于0的正整数；

具体地，关键帧为将图像坐标系中每个“视频帧”进行叠加，镜头中视频帧的特征矢量会在空间中呈现一个轨迹的状态，而与轨迹中特征值进行对应的帧为关键帧。其中，分别对W个目标车辆动态图像进行镜头边界检测，获得多个镜头边界，去除若干图像切片中的镜头边界，将剩余的中的图像切片作为关键帧，进而确定N个关键帧。其中，P个动态图像信息至少有一个镜头边界，因此，N为大于0的正整数。

步骤S300：根据所述N个关键帧对所述目标车辆进行多个车牌特征提取，根据所述多个车牌特征在所述W个目标车辆动态图像中进行标识，获取多个车牌标识图像；

具体地，基于N个关键帧，对N个关键帧中目标车辆的车牌特征进行特征值计算，车牌特征的特征值为车牌在图像中的显示程度。其中，基于不同特征值的车牌特征，识别车牌的精确度不同。举例而言，特征值为一根射线在另外一个坐标系下的影子，是其每一轴都会有投影分量，把所有分量组合还原成影子，会跟其自身共线，且影子和射线的长度比值永远固定，这个比值就是特征值。进一步地，基于目标车辆的N个关键帧的特征值不同，对目标车辆的N个关键帧按照特征值进行排序处理。其中，提取排序处理的N个关键帧，对W个目标车辆动态图像进行标识，获得多个车牌标识图像。

步骤S400：基于卷积神经网络，对所述多个车牌标识图像进行卷积分区，依次遍历卷积分区结果，获取目标车辆的M个分区图像；

具体地，卷积神经网络为一种深度学习模型或类似人工神经网络的多层感知器。其中，基于卷积神经网络，对多个车牌标识图像进行卷积分区，获得卷积分区结果。可选的，分区方法可以为等比例分区，或根据不同像素进行分区。进一步地，对卷积分区结果进行依次访问，获得多个车牌标识图像的车牌信息。提取多个车牌标识图像的车牌信息，获取目标车辆的M个分区图像。

步骤S500：提取所述目标车辆的M个分区图像中的车牌信息，将所述车牌信息进行区域拼接后，根据拼接图像对所述目标车辆的车牌进行识别。

具体地，提取目标车辆的M个分区图像中的车牌信息，将车牌信息进行区域拼接。其中，区域拼接可以是一对描绘相同场景之间的几张图像的几何对应关系，进一步地，区域拼接可以包括图像匹配、重投影、缝合和融合等步骤。进一步地，基于拼接的车牌信息，对所述目标车辆的车牌进行识别，获得车牌识别结果。

其中，车牌识别方法可以有效解决车牌动态不便识别提取，导致车牌识别准确率低的技术问题，实现提高识别准确率的技术效果。

如图2所示，本申请实施例提供的方法中的步骤S200包括：

S210：基于镜头边界检测算法对所述W个目标车辆动态图像进行分割，获取P个动态图像信息，其中，P大于W；

S220：对所述P个动态图像信息中的关键帧进行提取，获得所述N个关键帧。

具体地，镜头边界为镜头中图像的一个区域的终结和另一个区域的开始，图像中相邻区域之间的像素集合构成了图像的边界。镜头边界检测算法用于检测镜头图像边界。举例而言，镜头边界检测算法可以为绝对帧间差法，也可以为颜色直方图法，还可以为感知哈希法等。其中，基于镜头边界检测算法，对W个目标车辆动态图像进行分割，去除W个目标车辆动态图像中的镜头边界，获取P个动态图像信息。相应的，每个目标车辆动态图像中有多个动态图像信息，因此，动态图像信息的数量P大于目标车辆动态图像的数量W。示例性的，基于镜头边界检测算法，输入一个视频，其中，视频包含多个目标车辆动态图像，对视频进行分割，获得多个动态图像信息，将多个动态图像信息输入镜头边界检测算法，获得每一动态图像信息是否是镜头边界的概率，以此计算完整段视频后，对大于镜头边界阈值的目标车辆动态图像，则判定为镜头边界。

进一步地，去除P个动态图像信息中的镜头边界，将剩余的动态图像信息作为关键帧，对关键帧进行提取，获得N个关键帧。举例而言，提取关键帧的方法可以为全图像序列法，也可以为压缩视频法，还可以为自定义值聚类和内容分析的关键帧提取方法。

本申请实施例提供的方法中的步骤S300包括：

S310：在N个关键帧中提取I帧图像；

S320：按照预设分块标准对所述I帧图像进行分割，确定目标I帧图像块；

S330：基于所述目标I帧图像块通过第一离散余弦变化系数计算公式、第二离散余弦变化系数计算公式，获得第一特征值、第二特征值；

S340：所述第一离散余弦变化系数计算公式如下：

T

S350：所述第二离散余弦变化系数计算公式如下：

其中，T

S360：根据所述第一特征值、所述第二特征值，利用特征值计算公式，计算I帧图像特征值；

S370：将所述I帧图像特征值添加至所述多个车牌特征中。

具体地，将N个关键帧进行提取，获得I帧图像。基于预设分块标准，对I帧图像进行分割，其中，预设分块标准可以为将I帧图像等块分割成多块图像，确定目标I帧图像块。也可以为基于区域，对I帧图像以寻找区域为基础进行分割，确定目标I帧图像块。其中，基于区域分割的方法可以有两种形式，一种是区域生长，从单个像素出发，逐步合并以形成所需要的分割区域；另一种是从全局出发，逐步切割至所需的分割区域。

进一步地，第一离散余弦变化系数计算公式、第二离散余弦变化系数计算公式用于计算目标I帧图像块的特征值。基于第一离散余弦变化系数计算公式，输入目标I帧图像块，进行计算后，获得第一特征值。基于第二离散余弦变化系数计算公式，输入目标I帧图像块，进行计算后，获得第二特征值。

进一步地，第一离散余弦变化系数计算公式中，将第一I帧图像的所有子块的特征点相加，获得第一I帧图像的第一特征值。第二离散余弦变化系数计算公式中，将第二I帧图像的所有子块的特征点相加，获得第二I帧图像的第二特征值。进一步地，基于特征值计算公式，输入第一特征值和第二特征值，计算获得I帧图像特征值。其中，特征值计算公式为矩阵特征值计算公式(λE-M)x＝0。进一步地，将I帧图像特征值添加到多个车牌特征中，用以提高识别车牌的准确度。

其中，获取I帧图像特征值有助于提高识别车牌特征的精准度。

本申请实施例提供的方法中的步骤S300包括：

S380：根据所述I帧图像特征值对所述N个关键帧进行权重训练，将具有权重的所述N个关键帧进行序列化处理，获得序列关键帧；

S390：根据所述序列关键帧，同步对所述多个车牌特征进行排序，获得序列车牌特征；

S3100：按照所述序列车牌特征在所述W个目标车辆动态图像中进行标识，获取所述多个车牌标识图像。

具体地，基于I帧图像特征值，对特征值高的N个关键帧分配更高权重。进一步地，对N个关键帧进行权重训练，获得不同权重的N个关键帧。其中，将未经排序的N个关键帧进行序列化处理，可选的，可以对多个未经排序的N个关键帧对应的数值大小进行降序依次排列，获得多个未经排序的值的位次顺序，依次提取排列位次第一的值，作为序列化处理结果，进而获得序列关键帧。进一步地，基于序列关键帧，同步对序列关键帧对应的多个车牌特征进行排序，获得序列车牌特征。

进一步地，基于序列车牌特征，在W个目标车辆动态图像中对应的目标车辆动态图像进行标识。提取标识的目标车辆动态图像，获得多个车牌标识图像。

其中，获取车牌标识图像有助于提高车牌识别准确度。

本申请实施例提供的方法中的步骤S400包括：

S410：依次对所述多个车牌标识图像进行卷积网格划分，获取卷积分区结果；

S420：基于卷积核，对所述卷积分区结果进行遍历识别，获取网格图像识别信息；

S430：设定目标颜色种类区间；

S440：对所述网格图像识别信息进行多通道颜色识别，判断识别结果是否处于所述目标颜色种类区间；

S450：若处于，则将在所述目标颜色种类区间的所述网格图像识别信息进行提取，获取所述目标车辆的M个分区图像。

具体地，卷积网格划分为输入一幅图像f(x,y)，经过网格划分的卷积核g(x,y)进行卷积处理以后，输出图像将会获得模糊，边缘强化等效果。其中，依次对多个车牌标识图像进行卷积网格划分，获取多个卷积分区结果。可选的，划分方法可以为等网格划分方法。

进一步地，卷积核为对某个局部的加权求和，是对应局部感知，其在观察某个物体时先从局部开始认识。基于卷积核，对多个车牌标识图像中卷积分区结果进行依次访问，并进行识别，生成识别信息。提取识别信息，获得网格图像识别信息。

进一步地，基于大数据，获取多个车牌颜色。举例而言，根据网络搜索，可以获得蓝色、绿色、黄色等车牌颜色。其中，提取车牌颜色作为目标颜色种类区间。

进一步地，对网格图像识别信息进行多通道颜色识别。其中，基于BP神经网络，构建拐点识别模型，进一步地，基于神经网络模型，构建多通道颜色识别神经网络，由第一通道、第二通道和第三通道构成，其中将第一通道的结果进行数据变换后，可通过侧向连接送入第二通道，并与第二通道的数据相融合，以此类推，第二通道与第三通道融合。输入网格图像识别信息，基于第一通道，输出数据为第一车牌颜色，基于第二通道，输出数据为第二车牌颜色，基于第三通道，输出数据为第三车牌颜色，拐点识别模型的输出数据为识别结果。

进一步地，判断识别结果是否处于目标颜色种类区间，若网格图像识别信息处于目标颜色种类区间，则输出第一车牌颜色、第二车牌颜色或第三车牌颜色。其中，将在目标颜色种类区间的网格图像识别信息中第一车牌颜色、第二车牌颜色或第三车牌颜色进行提取，获取目标车辆的M个分区图像。

其中，获取目标车辆的M个分区图像有助于提高识别车牌颜色的准确度。

本申请实施例提供的方法中的步骤S500包括：

S510：对所述拼接图像进行拼接位置偏离校正，获得偏离校正结果；

S520：基于所述偏离校正结果对所述拼接图像进行拼接位置校正，获得校正拼接图像信息；

S530：根据所述校正拼接图像对所述拼接图像进行拼接位置的优化。

具体地，对拼接图像进行拼接位置偏离校正，以防止拼接图像为不同时间不同位置的图像，或者由多个传感器同时捕捉获得的多张图像。进而获得偏离校正结果。进一步地，基于偏离校正结果，对拼接图像进行拼接位置校正。其中，可以通过合并重叠部分的像素值并保持没有重叠的像素值使之生成更大画布的图像。进而获得校正拼接图像信息。进一步地，根据校正拼接图像，对拼接图像进行拼接位置的优化。其中，由于通过几何和光度偏移错误通常导致对象的不连续，并在两个图像之间的边界附近产生可见的接缝。因此，为了减小接缝的出现，可以在缝合时或缝合之后使用混合算法。

其中，优化车牌识别方法可以有效解决车牌动态不便识别提取，导致车牌识别准确率低的技术问题，实现提高识别准确率的技术效果。

实施例二

基于与前述实施例中一种基于卷积神经网络的车牌识别方法同样的发明构思，如图3所示，本申请还提供了一种基于卷积神经网络的车牌识别系统，所述系统包括：

第一获得模块11，通过动态感应图像采集器连续捕捉目标车辆动态图像，获得W个目标车辆动态图像，其中，W为大于1的正整数；

第二获得模块12，分别对所述W个目标车辆动态图像进行关键帧分析，确定N个关键帧，其中N为大于0的正整数；

第三获得模块13，根据所述N个关键帧对所述目标车辆进行多个车牌特征提取，根据所述多个车牌特征在所述W个目标车辆动态图像中进行标识，获取多个车牌标识图像；

第四获得模块14，基于卷积神经网络，对所述多个车牌标识图像进行卷积分区，依次遍历卷积分区结果，获取目标车辆的M个分区图像；

第一处理模块15，提取所述目标车辆的M个分区图像中的车牌信息，将所述车牌信息进行区域拼接后，根据拼接图像对所述目标车辆的车牌进行识别。

进一步地，所述系统还包括：

第五获得模块，基于镜头边界检测算法对所述W个目标车辆动态图像进行分割，获取P个动态图像信息，其中，P大于W；

第六获得模块，对所述P个动态图像信息中的关键帧进行提取，获得所述N个关键帧。

进一步地，所述系统还包括：

第七获得模块，在N个关键帧中提取I帧图像；

第二处理模块，按照预设分块标准对所述I帧图像进行分割，确定目标I帧图像块；

第八获得模块，基于所述目标I帧图像块通过第一离散余弦变化系数计算公式、第二离散余弦变化系数计算公式，获得第一特征值、第二特征值；

第一计算模块，所述第一离散余弦变化系数计算公式如下：

T

第二计算模块，所述第二离散余弦变化系数计算公式如下：

T

第三计算模块，根据所述第一特征值、所述第二特征值，利用特征值计算公式，计算I帧图像特征值；

第三处理模块，将所述I帧图像特征值添加至所述多个车牌特征中。

进一步地，所述系统还包括：

第九获得模块，根据所述I帧图像特征值对所述N个关键帧进行权重训练，将具有权重的所述N个关键帧进行序列化处理，获得序列关键帧；

第十获得模块，根据所述序列关键帧，同步对所述多个车牌特征进行排序，获得序列车牌特征；

第十一获得模块，按照所述序列车牌特征在所述W个目标车辆动态图像中进行标识，获取所述多个车牌标识图像。

进一步地，所述系统还包括：

第十二获得模块，依次对所述多个车牌标识图像进行卷积网格划分，获取卷积分区结果；

第十三获得模块，基于卷积核，对所述卷积分区结果进行遍历识别，获取网格图像识别信息；

第四处理模块，设定目标颜色种类区间；

第一判断模块，对所述网格图像识别信息进行多通道颜色识别，判断识别结果是否处于所述目标颜色种类区间；

第十四获得模块，若处于，则将在所述目标颜色种类区间的所述网格图像识别信息进行提取，获取所述目标车辆的M个分区图像。

进一步地，所述系统还包括：

第十五获得模块，对所述拼接图像进行拼接位置偏离校正，获得偏离校正结果；

第十六获得模块，基于所述偏离校正结果对所述拼接图像进行拼接位置校正，获得校正拼接图像信息；

第五处理模块，根据所述校正拼接图像对所述拼接图像进行拼接位置的优化。

前述实施例一中的一种基于卷积神经网络的车牌识别方法具体实例同样适用于本实施例的一种基于卷积神经网络的车牌识别系统，通过前述对一种基于卷积神经网络的车牌识别方法的详细描述，本领域技术人员可以清楚地知道本实施例中一种基于卷积神经网络的车牌识别系统，所以为了说明书的简洁，在此不再详述。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述得比较简单，相关之处参见方法部分说明即可。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所做的修改、等同替换和改进等，均应包含在本公开保护范围之内。