基于级联神经网络的视频流实时车牌识别系统及方法

技术领域

本发明涉及车牌识别技术领域，特别涉及一种基于级联神经网络的视频流实时车牌识别系统及方法。

背景技术

随着人们生活水平的不断提升，路上的车辆越来越多，车牌是车辆的重要身份识别信息；伴随着科学技术的进步，导致车牌识别的相关技术在越来越多的场景下被使用，例如各种停车场、道路卡口等，车牌识别技术的进步对于减少人工登记、违法监控和事后追溯等有极大的作用，但是，伴随着技术的不断进步和使用环境的不断变化对于车牌识别的时效性与准确性也提出了有极高的要求。

现有技术一，CN202010479156.8车牌识别方法、车牌识别装置、车牌识别设备及存储介质，在获取待检测车辆的车牌区域图后，将车牌区域图输入预先训练的第一分类模型，得到待检测车辆的遮挡污损识别结果；其中，遮挡污损识别结果为遮挡车牌或污损车牌或正常车牌；并将车牌区域图输入预先训练的字符识别模型，得到待检测车辆的字符识别结果；将字符识别结果中未识别到的字符用与遮挡污损识别结果对应的符号代替，得到待检测车辆的车牌识别结果并输出，该车牌识别结果不仅包含待检测车牌的车牌号码，还表明了待检测车辆的车牌是否存在遮挡或污损的情况，当车牌遮挡或车牌污损时，有助于对于车牌违章的具体情况进行具体处理，完善车牌违章监控流程。

现有技术二，CN201410742690.8一种车牌识别方法及车牌识别设备，根据原始车牌分类器检测现场的无车场景，收集现场的静态负样本；将静态负样本添加到车牌识别设备的原始训练集中，得到第一训练集，根据第一训练集训练第一车牌分类器；根据第一车牌分类器检测现场的有车场景，收集现场的动态负样本，将动态负样本添加到第一训练集中，得到第二训练集，根据第二训练集训练第二车牌分类器，并根据第二车牌分类器进行车牌识别。这样，利用第二训练集训练的第二车牌分类器能够去除静态负样本和动态负样本，此时现场可能出现的绝大部分负样本都能够被第二车牌分类器拒绝，从而达到对车牌的精确识别，减少车牌识别设备的误检率。

现有技术三，CN201911282626.5车牌识别模型的训练方法及装置、车牌识别方法及装置，该车牌识别模型的训练方法包括：获取车辆图像训练样本，车辆图像训练样本中包含具有车牌图像的正样本图像及不具有车牌图像的负样本图像；根据车辆图像训练样本提取第一目标训练特征；根据第一目标训练特征对第一深度学习网络模型进行训练，得到车牌识别模型；对车牌识别模型输出的车牌图像进行分割，得到目标训练字符；根据目标训练字符提取第二目标训练特征；根据第二目标训练特征对深度可分离卷积神经网络模型进行训练，得到深度可分离卷积车牌识别模型。通过采用可分离卷积神经网络模型，可以实现空间信息和深度信息解耦合，减少网络参数量，提高训练准确率。

目前现有技术一、现有技术二和现有技术三的车牌识别仅仅针对特定场景及角度，对设备的部署要求极高，使得应用具有局限性；车牌识别的精度依赖于图像清晰度，对于高光、缺损、干扰等情况下的车牌识别的鲁棒性比较差，因而，本发明采用一个包含简化的yolov4-tiny、简化的DenseNet和简化的DenseNet+CTC的级联神经网络，提高多环境的车牌识别的精度。

发明内容

为了解决上述技术问题，本发明提供了一种基于级联神经网络的视频流实时车牌识别方法，包括：

采用改进的yolov4-tiny网络在整体车辆目标区域检测出车牌的目标区域；

基于单目视觉拍摄车辆的移动，得到车辆的视频流，利用视频流中车辆移动的空间位置变换信息，得到车牌由远及近在空间中的位置和大小变换，判断是否为真实车牌；

采用改进的网络密集连接的卷积网络，通过透视变换方法对车牌的完整图像进行矫正，得到车牌的正面图像；改进的网络密集连接的卷积网络和连接时序分类，对矫正得到的车牌的正面图像进行识别，对车牌的字符识别并确认。

可选的，改进的yolov4-tiny网络去掉了yolov4-tiny网络的rote层，增加一个yolo层，实现了对车辆大目标和车牌小目标的检测。

可选的，若不是真实车牌，则返回采用改进的yolov4-tiny网络在整体车辆目标区域检测出车牌的目标区域；若是真实车牌，则进行采用改进的网络密集连接的卷积网络，通过透视变换方法对车牌的完整图像进行矫正。

可选的，对检测出的真实的车牌目标区域，基于改进的网络密集连接的卷积网络检测出车牌的四个定点位置，得到车牌的完整图像，采用透视变换方法对车牌的完整图像进行矫正，得到仅包含车牌的正面图像。

可选的，控制器通过对车牌的每一帧识别结果进行分析，综合多帧的车牌的识别结果，过滤其中有误识别字符的结果，得到最终的车牌的识别结果。

可选的，根据车辆和车牌的大小分别设置对应的候选框，在车辆目标模型识别时，采用了六个候选框；在车牌目标模型识别时，采用了九个候选框。

可选的，检测出整体车辆目标区域，即检测车辆的边界框，具体包括：

对输入的车辆及车牌的图像划分边界框，将车辆的图像分为多个单元格，在每个单元格预测出车辆边界框，车辆边界框的置信度的表达式为：

式中，

可选的，网络密集连接的卷积网络DenseNet包括：

密集连接模块，密集连接网络是在残差网络基础上演变而来的，残差网络的连接方式是每层与其前面的一或两层通过相加的方法进行短路连接，即增加了来自上一层的输入：

x

与其不同的是网络密集连接的卷积网络采用密集连接机制，互相连接所有的层，每一层都会和前面的所有层在通道维度上进行连接，实现特征重用，即：x

其中，x

标准卷积模块，1个层的网络拥有L个连接；密集连接模块，通过前馈的方式来将层与层紧密相连；

过滤模块，作用是压缩模型，2个相同尺寸的特征图的密集块之间，在2×2的池化层之前引入一个1×1的卷积层来对尺寸大小进行降维处理。

可选的，改进的网络密集连接的卷积网络提取车牌区域的图像卷积序列特征，连接时序分类网络引入blank字符，解决有些位置没有字符的问题，使得训练样本无需对齐。

本发明提供的基于级联神经网络的视频流实时车牌识别系统，包括：

摄像机，通过单目视觉拍摄车辆的移动，得到车辆的视频流；检测出整体车辆目标区域，在车辆目标区域内检测车牌目标区域；

目标区域预处理模块，采用改进的yolov4-tiny网络，检测出整体车辆目标区域，在车辆目标区域内检测车牌目标区域；利用视频流中车辆移动的空间位置变换信息，得到车牌由远及近在空间中的位置和大小变换，判断是否为真实车牌；对检测出的真实的车牌目标区域，基于改进的网络密集连接的卷积网络检测出车牌的四个定点位置，得到车牌的完整图像，采用透视变换方法对车牌的完整图像进行矫正，得到仅包含车牌的正面图像；

控制器，基于改进的网络密集连接的卷积网络和连接时序分类及跳变点算法，对矫正得到的车牌的正面图像进行识别，对车牌的字符识别并确认；通过对车牌的每一帧识别结果进行分析，综合多帧的车牌的识别结果，过滤其中有误识别字符的结果，得到最终的车牌的识别结果。

本发明采用改进的yolov4-tiny网络(You Only Look Once vision4-tiny)，检测出车辆的整体目标区域，再在整体目标区域进行车牌的区域检测，在车辆的大目标图像中直接检测出车牌的小目标，较好的解决了车牌容易漏检的问题，由于车辆上贴有较多的标识(蓝色或黄色)容易被系统误认为是车牌，造成错检，本发明通过在车辆的大目标中检测车牌的小目标，能够很好的避免漏检和错检的问题，提高车牌检测的精度和准确率。本发明使用一台摄像机实现车辆和车牌的单目视觉拍摄，增加了车辆和车牌的检测视野，能够得到完整的车辆和车牌的图像，同时基于包含车辆移动的空间信息的视频流，实现对车辆移动轨迹及车牌位置和大小的变化判断车牌的真伪，提高了车牌管理的品质及效率，减少了车牌误检的几率。

本发明对检测出的准确的车牌目标区域，首先基于改进的DenseNet网络，检测出车牌的4个定点位置，通过透视变换进行矫正车牌得到仅包含车牌的正面图像，避免了车辆其他字符对车牌识别结果的镜像，提高了车牌的字符识别精度。本发明基于改进的DenseNet+CTC与跳变点算法，对矫正完的车牌区域图像进行识别，结合传统算法与深度学习算法的结果，通过逐字符比对，并根据国标的车牌规则，对两次识别的字符分数进行比较，取一个合适的阈值，对两次识别的结果进行融合，提升识别准确率，对各种情形下的车牌都有很好的效果。本发明采用极简网络的高实时性，可以做到每帧图像都进行识别，对前后帧的结果进行比对，能有效过滤个别字符错误造成的误识别。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中基于级联神经网络的视频流实时车牌识别方法流程图；

图2为本发明实施例中网络密集连接的卷积网络DenseNet示意图；

图3为本发明实施例中基于级联神经网络的视频流实时车牌识别系统的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

在本申请实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请实施例。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

实施例1

如图1所示，本发明实施例提供了一种基于级联神经网络的视频流实时车牌识别方法，包括以下步骤：

S100：采用改进的yolov4-tiny网络，检测出整体车辆目标区域，在车辆目标区域内检测车牌目标区域；

S200：基于单目视觉拍摄车辆的移动，得到车辆的视频流，利用视频流中车辆移动的空间位置变换信息，得到车牌由远及近在空间中的位置和大小变换，判断是否为真实车牌；若不是真实车牌，则返回步骤S100；若是真实车牌，则进行步骤S300；

S300：对检测出的真实的车牌目标区域，基于改进的DenseNet(网络密集连接的卷积网络)检测出车牌的四个定点位置，得到车牌的完整图像，采用透视变换方法对车牌的完整图像进行矫正，得到仅包含车牌的正面图像；

S400：基于改进的DenseNet+CTC(网络密集连接的卷积网络+连接时序分类)和跳变点算法，对矫正得到的车牌的正面图像进行识别，对车牌的字符识别并确认；

S500：控制器通过对车牌的每一帧识别结果进行分析，综合多帧的车牌的识别结果，过滤其中有误识别字符的结果，得到最终的车牌的识别结果。

上述技术方案的工作原理和有益效果为：本发明采用改进的yolov4-tiny网络(You Only Look Once vision4-tiny)，检测出车辆的整体目标区域，再在整体目标区域进行车牌的区域检测，在车辆的大目标图像中直接检测出车牌的小目标，较好的解决了车牌容易漏检的问题，由于车辆上贴有较多的标识(蓝色或黄色)容易被系统误认为是车牌，造成错检，本发明通过在车辆的大目标中检测车牌的小目标，能够很好的避免漏检和错检的问题，提高车牌检测的精度和准确率。本发明使用一台摄像机实现车辆和车牌的单目视觉拍摄，增加了车辆和车牌的检测视野，能够得到完整的车辆和车牌的图像，同时基于包含车辆移动的空间信息的视频流，实现对车辆移动轨迹及车牌位置和大小的变化判断车牌的真伪，提高了车牌管理的品质及效率，减少了车牌误检的几率。本发明的级联神经网络由改进的yolov4-tiny网络、改进的DenseNet网络和改进的DenseNet+CTC组成。

本发明对检测出的准确的车牌目标区域，首先基于改进的DenseNet网络，检测出车牌的4个定点位置，通过透视变换进行矫正车牌得到仅包含车牌的正面图像，避免了车辆其他字符对车牌识别结果的镜像，提高了车牌的字符识别精度。本发明基于改进的DenseNet+CTC与跳变点算法，对矫正完的车牌区域图像进行识别，结合传统算法与深度学习算法的结果，通过逐字符比对，并根据国标的车牌规则，对两次识别的字符分数进行比较，取一个合适的阈值，对两次识别的结果进行融合，提升识别准确率，对各种情形下的车牌都有很好的效果。本发明采用极简网络的高实时性，可以做到每帧图像都进行识别，对前后帧的结果进行比对，能有效过滤个别字符错误造成的误识别。

实施例2

在实施例1的基础上，本发明实施例提供的改进的yolov4-tiny网络去掉了原有yolov4-tiny网络的适配不友好的rote层，增加了一个yolo层，实现了对车辆大目标和车牌小目标的检测。

上述技术方案的工作原理和有益效果为：本发明去掉多平台适配不友好的rote层，简化了yolov4-tiny网络的结构，提高了车辆的检测精度和速度，将idle系统的负载，提升了系统的运行效率；增加了一个yolo层，实现了对小目标的检测精度，提高了车牌的检测速度，尤其是对车牌的检测，对于老年代步车和电动车比较小的车牌也能够很好的检测和识别。

实施例3

在实施例1的基础上，本发明实施例提供的步骤S100中检测出整体车辆目标区域，即检测车辆的边界框，具体包括：

对输入的车辆及车牌的图像划分边界框，将车辆的图像分为多个单元格，在每个单元格预测出车辆边界框，车辆边界框的置信度的表达式为：

式中，

上述技术方案的工作原理和有益效果为：本发明通过计算车辆边界框的置信度，提高车辆边界框的计算精度，为后面车牌的检测提供技术基础，当车辆的边界框预测出来后，再对车牌进行检测，避免了对车牌的误检，对提高车牌的检测精度有很好的促进作用。

实施例4

在实施例1的基础上，本发明实施例根据车辆和车牌的大小分别设置了对应的候选框anchor，在车辆目标模型识别时，采用了六个候选框；在车牌目标模型识别时，采用了九个候选框。

上述技术方案的工作原理和有益效果为：本发明通过设置不同大小的候选框，提高了车辆即车牌的识别效率和准确率，与不同场景的识别目标特征相适应，使用不同大小、不同长宽比的候选框在车辆即车牌的图像上进行穷尽式的滑窗，然后提取窗口内的特征，再送入控制器判断该车牌的真伪，方法简单易操作，使得车牌识别系统能够适应更多的场景。

实施例5

在实施例1的基础上，本发明实施例提供的视频流中的视频帧图像采用均值漂移算法实现对车辆的移动跟踪，在初始帧框选车辆的目标区域，统计得到车辆图像的Hue直方图，反向投影得到概率密度分布图；再对视频帧进行差分计算，得到标定范围内的漂移向量，对漂移向量求均值，均值向量指向目标概率密度增长最快的方向，迭代可得目标车辆的更新位置，进行跟踪，相对于摄像头目标车辆的更新位置M(x)为：

其中，S表示初始选定的迭代区域，k表示范围S内概率密度大小的像素点的个数，x

车牌到摄像头的镜头中心的距离D计算公式：

其中，f为摄像头的焦距，a为摄像头的俯仰角度，h为摄像头的安装高度，y为车牌相对于摄像头像平面的纵坐标，y

其中，W表示车牌的宽度，h’表示初始选定的迭代区域中心线的高度，车牌的高度不变。

根据上述两式计算同一时间段内车辆的位置变化及车牌宽度的变化，车辆的位置变化时是相对于摄像头而言的，由于真实的车牌的宽度时固定的，可以预先将真实车牌的宽度输入，当得到一定时间段内车牌宽度的第一变化比例及车辆到摄像头的距离的第二变化比例，当第一变化比例与第二变化比例为反向变化，则判断车牌为真实车牌。

上述技术方案的工作原理和有益效果为：本发明的每次车辆及车牌中心的迭代都是依据S范围内所有像素点的漂移向量相加求均值，得到指向更新位置的均值向量。目标位置迭代在范围S内进行，对Hue直方图进行反向投影得到目标概率密度信息，根据概率密度迭代运算得到目标的位置更新信息；利用视频流中的车辆与车牌的轨迹、位置与大小的变化等信息，得出车辆到摄像头的距离与车牌宽度的变化，设定一定的阈值误差范围来判断是否为真实车牌，比如车牌的宽度与车辆到摄像头的距离成一定的反向比例，排除非车牌，有效过滤误检测，提升识别效率。

实施例6

在实施例1的基础上，单目视觉拍摄车辆的移动，车牌由远及近在空间中的位置和大小变换中车牌像素点数量的处理方法为：为简化统计车牌图像的像素点的数量，自适应关键帧算法对车牌图像中所有像素点进行二值化处理，二值化时要设定灰度阈值Th

式中，Th

式中，Q表示当前车牌视频帧是否为关键帧的标志，Th

上述技术方案的工作原理和有益效果为：本发明通过单目视觉拍摄车辆的移动，车牌由远及近在空间中的位置和大小变换中车牌像素点数量的处理方法，制定了冗余视频帧设定统一的筛选标准，提高了车牌识别的效率，简化了统计车牌图像的像素点的数量，降低了摄像头的工作负荷，为车牌的准确识别提供了技术基础。

实施例7

如图2所示，在实施例1的基础上，本发明实施例提供的网络密集连接的卷积网络DenseNet包括：

密集连接模块，密集连接网络是在残差网络基础上演变而来的，残差网络的连接方式是每层与其前面的一或两层通过相加的方法进行短路连接，即增加了来自上一层的输入：

x

与其不同的是DenseNet采用密集连接机制，互相连接所有的层，每一层都会和前面的所有层在通道维度上进行连接，实现特征重用，即：

x

其中，x

标准卷积模块，1个层的网络拥有L个连接；密集连接模块，通过前馈的方式来将层与层紧密相连；

过滤模块，作用是压缩模型，2个相同尺寸的特征图的密集块之间，在2×2的池化层之前引入一个1×1的卷积层来对尺寸大小进行降维处理。

改进的DenseNet+CTC，基于上述DenseNet的结构，在过滤模块之后接一个CTC模型，用于序列学习，对没有对齐的数据进行自动对齐，主要用在没有事先对齐的序列化数据训练上。改进的网络密集连接的卷积网络提取车牌区域的图像卷积序列特征，连接时序分类网络引入blank字符，解决有些位置没有字符的问题，使得训练样本无需对齐。

上述技术方案的工作原理和有益效果为：本发明的DenseNet(网络密集连接的卷积网络)极大程度上对网络的参数量进行了缩减，对车牌的目标特征的极致利用达到了更好的效果；DenseNet检测出车牌的四个定点位置，得到车牌的完整图像，采用透视变换方法对车牌的完整图像进行矫正，得到仅包含车牌的正面图像；对于车牌顶点定位与识别模型，简化的DenseNet减少了网络宽度与深度，加大对如颜色、大小、形状等顶层特征的关注，降低了网络复杂度，提升识别效率。

实施例8

如图3所示，在实施例1的基础上，本发明实施例提供的基于级联神经网络的视频流实时车牌识别系统包括：

摄像机，通过单目视觉拍摄车辆的移动，得到车辆的视频流；检测出整体车辆目标区域，在车辆目标区域内检测车牌目标区域；

目标区域预处理模块，采用改进的yolov4-tiny网络，检测出整体车辆目标区域，在车辆目标区域内检测车牌目标区域；利用视频流中车辆移动的空间位置变换信息，得到车牌由远及近在空间中的位置和大小变换，判断是否为真实车牌；对检测出的真实的车牌目标区域，基于改进的DenseNet(网络密集连接的卷积网络)检测出车牌的四个定点位置，得到车牌的完整图像，采用透视变换方法对车牌的完整图像进行矫正，得到仅包含车牌的正面图像；

控制器，基于改进的DenseNet+CTC(网络密集连接的卷积网络+连接时序分类)及跳变点算法，对矫正得到的车牌的正面图像进行识别，对车牌的字符识别并确认；通过对车牌的每一帧识别结果进行分析，综合多帧的车牌的识别结果，过滤其中有误识别字符的结果，得到最终的车牌的识别结果。

上述技术方案的工作原理和有益效果为：本发明对检测出的准确的车牌目标区域，首先基于改进的DenseNet网络，检测出车牌的4个定点位置，通过透视变换进行矫正车牌得到仅包含车牌的正面图像，避免了车辆其他字符对车牌识别结果的镜像，提高了车牌的字符识别精度。本发明基于改进的DenseNet+CTC与跳变点算法，对矫正完的车牌区域图像进行识别，结合传统算法与深度学习算法的结果，通过逐字符比对，并根据国标的车牌规则，对两次识别的字符分数进行比较，取一个合适的阈值，对两次识别的结果进行融合，提升识别准确率，对各种情形下的车牌都有很好的效果。本发明采用极简网络的高实时性，可以做到每帧图像都进行识别，对前后帧的结果进行比对，能有效过滤个别字符错误造成的误识别。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。