一种基于自动字符区域感知的车牌识别方法

技术领域

本发明涉及光学字符识别技术领域，尤其涉及一种基于自动字符区域感知的车牌识别方法。

背景技术

光学字符识别(Optical Character Recognition，OCR)由文字检测识别两个子任务构成。文字检测主要通过算法判断自然场景中在单词或者文本行层面是否含有文字实例并标出文本行边界框的区域的过程，文字识别是在文字检测的基础上把文字区域转化为计算机可读和标记的符号的过程。

车牌检测识别是上述自然场景中文字检测识别的具体应用。车牌识别系统(Vehicle License Plate Recognition，VLPR)是指能够检测到受监控路面的车辆并自动提取车辆牌照信息(含汉字字符、英文字母、阿拉伯数字及号牌颜色)进行处理的技术。车牌识别是现代智能交通系统中的重要组成部分之一，应用十分广泛。它以数字图像处理、模式识别、计算机视觉等技术为基础，对摄像机所拍摄的车辆图像或者视频序列进行分析，得到每一辆汽车唯一的车牌号码，从而完成识别过程。

现有的车牌识别系统普遍基于“检测-识别”两个模型联合实现，在训练模型时需要不同的数据集分别对车牌检测模型以及车牌识别模型进行训练，耗费资源和算力巨大，同时也增加了推理识别阶段的时间，效率较低。现有的车牌检测识别过程中，一般需要人工手动分割字符，复杂度较大，检测识别结果的准确性以及稳定性较差。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种基于自动字符区域感知的车牌识别方法，用以解决现有车牌检测识别过程中需要分别对检测模型以及识别模型单独训练，并且字符分割过程需要人为调参，耗费资源以及效率较低的问题。

一方面，本发明实施例提供了一种基于自动字符区域感知的车牌识别方法，包括以下步骤：

基于第一数据集对初始车牌检测识别模型进行预训练，获得预训练后的车牌检测识别模型；其中，所述第一数据集包括第一车牌图像以及与所述第一车牌图像对应的字符标注位置信息；

基于第二数据集对所述预训练后的车牌检测识别模型进行正式训练，获得正式训练后的车牌检测识别模型；其中，所述第二数据集包括第二车牌图像和车牌边界框位置信息；

利用所述正式训练后的车牌检测识别模型，对待识别车牌图像进行识别，获得待识别车牌信息。

进一步，所述基于第一数据集对初始车牌检测识别模型进行预训练，获得预训练后的车牌检测识别模型，包括：

将所述第一数据集输入初始车牌检测识别模型，获得第一预测字符区域高斯热力图、第一预测字符联通高斯热力图以及所述第一车牌图像的预测车牌字符；

利用预训练过程中的损失函数，根据所述第一预测字符区域高斯热力图、第一标准字符区域高斯热力图、第一预测字符联通高斯热力图、第一标准字符联通高斯热力图、第一车牌图像的预测车牌字符以及第一车牌图像的真实车牌字符，计算预训练过程中的误差值；

利用误差反向传播机制，根据所述预训练过程中的误差值，获得预训练后的车牌检测识别模型。

进一步，所述初始车牌检测识别模型包括初始共享卷积层模块以及初始分类器模块；

所述将所述第一数据集输入初始车牌检测识别模型，获得第一预测字符区域高斯热力图、第一预测字符联通高斯热力图以及所述第一车牌图像的预测车牌字符，包括：

基于第一数据集中的第一车牌图像，所述初始共享卷积层模块输出第一预测字符区域高斯热力图、第一预测字符联通高斯热力图以及第一特征图；

基于第一数据集中的字符标注位置信息以及所述第一特征图，所述初始分类器模块输出所述第一车牌图像的预测车牌字符。

进一步，所述预训练过程中的误差值包括预训练检测过程中的误差值以及预训练识别过程中的误差值；

所述计算预训练过程中的误差值，包括：

利用预训练检测过程中的损失函数，计算第一预测字符区域高斯热力图中每一点的像素值与第一标准字符区域高斯热力图中对应点的像素值的均方误差以及第一字符联通高斯热力图中每一点的像素值与第一标准字符联通高斯热力图中对应点的像素值的均方误差，获得预训练检测过程中的误差值；

利用预训练识别过程中的损失函数，计算所述第一车牌图像的预测车牌字符中每个字符对应的概率分布与所述第一车牌图像的真实车牌字符中的对应的字符的概率分布的交叉熵，获得预训练识别过程中的误差值。

进一步，所述基于第二数据集对所述预训练后的车牌检测识别模型进行正式训练，获得正式训练后的车牌检测识别模型，包括：

将所述第二数据集输入预训练后的车牌检测识别模型，获得第二伪标准字符区域高斯热力图、第二伪标准字符联通高斯热力图、第二预测字符区域高斯热力图、第二预测字符联通高斯热力图以及所述第二车牌图像的预测车牌字符；

利用正式训练过程中的损失函数，根据所述第二预测字符区域高斯热力图、第二伪标准字符区域高斯热力图、第二预测字符联通高斯热力图、第二伪标准字符联通高斯热力图、所述第二车牌图像的预测车牌字符以及所述第二车牌图像的真实车牌字符，计算正式训练过程中的误差值；

利用误差反向传播机制，根据所述正式训练过程中的误差值，获得正式训练后的车牌检测识别模型。

进一步，所述预训练后的车牌检测识别模型包括预训练后的共享卷积层模块以及预训练后的分类器模块，所述将所述第二数据集输入预训练后的车牌检测识别模型，获得第二伪标准字符区域高斯热力图、第二伪标准字符联通高斯热力图、第二预测字符区域高斯热力图、第二预测字符联通高斯热力图以及第二车牌图像的预测车牌字符，包括：

根据所述第二车牌图像中的车牌边界框位置信息，获得裁剪车牌图像；

基于所述裁剪车牌图像，利用预训练后的共享卷积层模块对所述第二车牌图像进行自动分割字符，获得与第二车牌图像对应的字符标注位置信息、第二伪标准字符区域高斯热力图以及第二伪标准字符联通高斯热力图；

基于所述第二车牌图像，所述预训练后的共享卷积层模块输出第二预测字符区域高斯热力图、第二预测字符联通高斯热力图以及第二特征图；

基于所述与第二车牌图像对应的字符标注位置信息以及所述第二特征图，所述预训练后的分类器模块输出所述第二车牌图像的预测车牌字符。

进一步，所述正式训练过程中的误差值包括正式训练检测过程中的误差值以及正式训练识别过程中的误差值；

所述计算正式训练过程中的误差值，包括：

利用正式训练检测过程中的损失函数，计算第二预测字符区域高斯热力图中每一点的像素值与第二伪标准字符区域高斯热力图中对应点的像素值的均方误差以及第二预测字符联通高斯热力图中每一点的像素值与第二伪标准字符联通高斯热力图中对应点的像素值的均方误差，获得正式训练检测过程中的误差值；

利用正式训练识别过程中的损失函数，计算所述第二车牌图像的预测车牌字符中每个字符对应的概率分布与所述第二车牌图像的真实车牌字符的每个字符的概率分布的交叉熵，获得正式训练识别过程中的误差值。

进一步，还包括设定置信度阈值，利用置信度计算公式，基于第二车牌图像自动分割字符后的字符框数量以及第二车牌图像对应的真实车牌字符的数量，计算得到置信度；

当所述置信度大于等于所述置信度阈值时，采用所述预训练后的车牌检测识别模型产生的所述第二伪标准字符区域高斯热力图以及第二伪标准字符联通高斯热力图对正式训练进行监督；

当所述置信度小于所述置信度阈值时，则采用矫正方法重新对所述第二车牌图像进行字符分割。

进一步，所述利用所述正式训练后的车牌检测识别模型，对待识别车牌图像进行识别，获得待识别车牌信息，包括：

将所述待识别车牌图像输入所述正式训练后的车牌检测识别模型；

在检测过程中，所述正式训练后的车牌检测识别模型输出字符区域高斯热力图以及字符联通高斯热力图；

基于所述字符区域高斯热力图以及所述字符联通高斯热力图，得到二值分割图像，基于所述二值分割图像，得到所述待识别车牌的边界框信息；

在识别过程中，所述正式训练后的车牌检测识别模型输出待识别车牌字符。

进一步，所述待识别车牌的边界框信息包括边界框位置信息以及边界框颜色，所述识别方法还包括：

基于边界框颜色识别函数，判断待识别车牌的边界框颜色。

与现有技术相比，本发明至少可实现如下有益效果之一：

1、将车牌检测与识别在同一个车牌检测识别模型中完成，实现了“车牌检测—识别”一体化，提高了对车牌检测识别模型的训练效率；

2、通过车牌检测识别模型主动分割出车牌中字符的位置，无需人为调整分割过程中的相关参数，使得检测识别结果更加准确稳定。

本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1为本申请实施例中一种基于自动字符区域感知的车牌识别方法的流程图

图2为根据第一数据集生成第一标准字符区域高斯热力图以及第一标准字符联通高斯热力图的示意图；

图3为初始共享卷积层模块的结构图以及具体参数示意图；

图4为本申请实施例中预训练以及正式训练的过程示意图；

图5为本申请实施例中利用预训练后的车牌检测识别模型，对第二数据集中的第二车牌图像进行自动分割字符的示意图；

图6为本申请实施例中对自动分割字符的质量评价的流程图；

图7为本申请实施例中利用正式训练后的车牌检测识别模型，对待识别车牌图像进行识别，获取待识别车牌信息的流程图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

本发明的一个实施例，公开了一种基于自动字符区域感知的车牌识别方法，包括以下步骤：基于第一数据集对初始车牌检测识别模型进行预训练，获得预训练后的车牌检测识别模型；其中，第一数据集包括第一车牌图像以及与第一车牌图像对应的字符标注位置信息；基于第二数据集对预训练后的车牌检测识别模型进行正式训练，获得正式训练后的车牌检测识别模型；其中，第二数据集包括第二车牌图像及车牌边界框位置信息；利用正式训练后的车牌检测识别模型，对待识别车牌图像进行识别，获得待识别车牌信息，如图1所示。

通过将车牌检测以及识别在一个整体的车牌检测识别模型中完成，实现了“车牌检测—识别”一体化，通过第一数据集对初始车牌检测识别模型的预训练，使得预训练后的车牌检测识别模型具备自动分割字符的能力，无需在分割过程中人工干预参数，提高了对车牌检测识别模型的训练效率并且使得检测识别结果更加准确稳定。

在本发明的一个实施例中，基于第一数据集对初始车牌检测识别模型进行预训练，获得预训练后的车牌检测识别模型，包括：

将第一数据集输入初始车牌检测识别模型，获得第一预测字符区域高斯热力图、第一预测字符联通高斯热力图以及所述第一车牌图像的预测车牌字符；

利用预训练过程中的损失函数，根据第一预测字符区域高斯热力图、第一标准字符区域高斯热力图、第一预测字符联通高斯热力图、第一标准字符联通高斯热力图、第一车牌图像的预测车牌字符以及第一车牌图像的真实车牌字符，计算预训练过程中的误差值；

利用误差反向传播机制，根据预训练过程中的误差值，获得预训练后的车牌检测识别模型。

请参见图2，图2为根据第一数据集生成第一标准字符区域高斯热力图以及第一标准字符联通高斯热力图的示意图。

具体的，基于CCPD车牌数据集中的数据，使用VGG Image Annotator(VIA)标注工具对上述部分数据中每个车牌图像的字符的边界框进行标注，得到与上述部分数据中的车牌图像对应的字符标注位置信息，即得到包括第一车牌图像以及与第一车牌图像对应的字符标注位置信息的第一数据集，进一步的，第一车牌图像对应的真实车牌字符的内容以及车牌边界框位置信息是已知的。

基于第一数据集中的第一车牌图像生成一系列二维等比例大小的标准高斯热力图(2D高斯热力图)，在标准高斯热力图中，越接近中心的位置颜色越深，对应的像素值也越大；基于与第一车牌图像对应的字符标注位置信息，得到每个字符对应的字符区域框尺寸，进而计算出标准高斯热力图尺寸相对于字符区域框尺寸的放缩系数，根据放缩系数将标准高斯热力图进行仿射变换以适应每个字符区域框的尺寸大小，进而得到代表字符出现位置概率大小的第一标准字符区域高斯热力图；对于每个字符区域框，将字符区域框的对角线相连，可在每个字符区域框内部得到四个三角区域框，将上下两个三角区域框的中心以及相邻字符区域框的上下两个三角区域框的中心相连即可得到两个相邻字符间的联通区域框，与上述生成第一标准字符区域高斯热力图的方式同理，根据放缩系数将标准高斯热力图进行仿射变换以适应每个联通区域框的尺寸大小，进而得到代表相邻字符连接概率大小的第一标准字符联通高斯热力图；第一标准字符区域高斯热力图以及第一标准字符联通高斯热力图用于监督基于第一数据集对初始车牌检测识别模型的预训练。

请参见图3，图3为初始共享卷积层模块的结构图以及具体参数示意图。所述初始车牌检测识别模型基于初始共享卷积层模块以及初始分类器模块构建。初始共享卷积层模块提取图像特征的骨架网络主要使用VGG16卷积神经网络模型，即在所有的卷积层中都使用大小为3*3的卷积核，并以步长为1的操作对图像进行卷积，同时在每个卷积层后都有步长为2的池化层以压缩图像特征。同时，该共享卷积层模块包括SENet注意力模块，在每个SENet注意力模块中，输入大小H*W*C的特征图，SENet注意力模块会对于每个通道计算权重并将其加权求和得到新的H*W*C的特征图，其原理参见图3中右下方的图，POOLING代表对每个通道进行全局最大池化，FC起到全连接的作用，将二维的特征图转化为一维向量，Relu和sigmoid为激活函数。在六次卷积操作得到不同阶段的特征层基础上，使用“U-net”结构将不同阶段的特征层进行拼接，即下采样后经过2次卷积后再次下采样，而上采样则使用反卷积的方式，并与对应大小的下采样特征层进行连接，然后经过2次卷积后再反卷积，最终得到的是16个通道，宽和高为原图大小一半的特征图。一方面将其复制一份用于识别过程，一方面使用两个1*1的卷积核对其进行卷积得到2个通道的输出，分别为预测出的字符区域高斯热力图和预测出的字符联通高斯热力图。输出特征图的尺寸与输入图像的尺寸以及卷积层的参数有关，可根据实际情况设定，本申请对此不作限定。

在本申请的一个实施例中，将第一数据集输入初始车牌检测识别模型，获得第一预测字符区域高斯热力图、第一预测字符联通高斯热力图以及第一车牌图像的预测车牌字符，包括：

基于第一数据集中的第一车牌图像，初始共享卷积层模块输出第一预测字符区域高斯热力图、第一预测字符联通高斯热力图以及第一特征图；

基于第一数据集中的字符标注位置信息以及第一特征图，初始分类器模块输出第一车牌图像的预测车牌字符。

具体的，请参照图4，在进行预训练时，输入图像为第一数据集中的第一车牌图像，可选的，第一车牌图像均经过归一化处理以及任意角度旋转、水平翻转、任意区域剪裁、色差饱和度变换等图像增强操作后输入初始共享卷积层模块进行预训练，预训练过程包括预训练检测过程以及预训练识别过程，基于图2中流程得到的第一标准字符区域高斯热力图以及第一标准字符联通高斯热力图用于监督预训练检测过程的进行。

处理后的第一车牌图像输入初始共享卷积层模块，初始共享卷积层模块的输出端输出第一预测字符区域高斯热力图、第一预测字符联通高斯热力图以及第一特征图；第一特征图以及与第一车牌图像对应的字符标注位置信息共同被输入到识别过程中的感兴趣区域池化层，其中，第一特征图包括十六个通道的特征图，感兴趣区域池化层主要用于在第一特征图中根据对应的字符标注位置信息提取出固定大小的感兴趣区域。具体方法如下：假设第一车牌图像高为h，宽为w，输入第一车牌图像时，共享卷积层输出的对应的第一特征图的宽为w

使用最大池化的方法将第一特征图上的每个字符边界框区域输出为固定大小的感兴趣特征图，可选的，感兴趣区域池化层输出n个尺寸相同的感兴趣特征图。将n个感兴趣特征图输入初始分类器模块进行单字符识别，其中，分类器模块为双头分类器，包括第一分类器以及第二分类器，第一分类器只对车牌首个字符进行分类，即第一个感兴趣特征图输入第一分类器进行识别，第一分类器由具有500个神经元的第一隐藏层以及第一全连接层组成，第一全连接层共输出的类别数量与中国的省级行政区的数量保持一致，分别对不同省级行政区的车牌进行预测，例如：第一全连接层输出的类别可以为34；第二分类器由具有200个神经元的第二隐藏层和第二全连接层组成，第二全连接层输出36个类别，分别对大写字母和数字进行预测，即，第一个感兴趣特征图后的n-1个感兴趣特征图分别输入第二分类器进行识别，从而使得初始分类器模块根据第一数据集中的字符标注位置信息以及第一特征图，输出第一车牌图像的预测车牌字符。

在本申请的一个实施例中，预训练过程中的误差值包括预训练检测过程中的误差值以及预训练识别过程中的误差值；

计算预训练过程中的误差值，包括：

利用预训练检测过程中的损失函数，计算第一预测字符区域高斯热力图中每一点的像素值与第一标准字符区域高斯热力图中对应点的像素值的均方误差以及第一字符联通高斯热力图中每一点的像素值与第一标准字符联通高斯热力图中对应点的像素值的均方误差，获得预训练检测过程中的误差值；

利用预训练识别过程中的损失函数，计算第一车牌图像的预测车牌字符中每个字符对应的概率分布与第一车牌图像的真实车牌字符中的对应的字符的概率分布的交叉熵，获得预训练识别过程中的误差值。

具体的，在得到预训练过程中的第一预测字符区域高斯热力图、第一预测字符联通高斯热力图以及第一车牌图像的预测车牌字符的基础上，结合第一标准字符区域高斯热力图、第一标准字符联通高斯热力图以及第一车牌图像的真实车牌字符，利用预训练检测过程以及识别过程中的损失函数，得到预训练检测过程中的误差值以及预训练识别过程中的误差值，进而得到预训练过程中的误差值。

预训练过程中的损失函数L如公式2至公式4所示，L

L＝w

预训练检测过程中的损失函数L

计算得到第一预测字符区域高斯热力图中每一点的像素值与第一标准字符区域高斯热力图中对应点的像素值的均方误差，对第一预测字符区域高斯热力图中的所有点进行同样的处理，得到多个均方误差值并求和，得到第一均方误差和；计算得到第一预测字符联通高斯热力图中每一点的像素值与第一标准字符联通高斯热力图中对应点的像素值的均方误差，对第一预测字符联通高斯热力图中的所有点进行同样的处理，得到多个均方误差值并求和，得到第二均方误差和，将第一均方误差和与第二均方误差和进行加和后除以第一预测字符区域高斯热力图中所有像素点的数量，即可得到预训练检测过程中的误差值。进一步的，第一预测字符区域高斯热力图、第一标准字符区域高斯热力图、第一预测字符联通高斯热力图以及第一标准字符联通高斯热力图的尺寸大小相等，上述图中的像素点完全对应并且像素点的数量相等。

预训练识别过程中的损失函数L

基于公式4得到第一车牌图像的预测车牌字符中每个字符对应所有类型的概率分布与所述第一车牌图像的真实车牌字符中的对应字符的所有类型的概率分布的交叉熵，对第一车牌图像的预测车牌字符中的所有字符进行同样的处理，得到所有字符对应的交叉熵之和，从而获得预训练识别过程中的误差值。

在本申请的一个实施例中，利用误差反向传播机制，根据预训练过程中的误差值，获得预训练后的车牌检测识别模型，包括：

利用误差反向传播机制，根据预训练检测过程中的误差值以及预训练识别过程中的误差值，不断更新初始共享卷积层模块的参数，获得预训练后的共享卷积层模块；

利用误差反向传播机制，根据预训练识别过程中的误差值，不断更新初始分类器模块的参数，获得预训练后的分类器模块。

具体的，当初始车牌检测识别模型基于第一数据集中所有的第一车牌图像以及所有的与第一车牌图像对应的字符标注位置信息，完成多轮的检测识别过程，并且对初始共享卷积层模块以及初始分类器模块的相关参数进行相应的多轮的更新之后，获得预训练后的共享卷积层模块以及预训练后的分类器模块，即得到预训练后的车牌检测识别模型。

在本申请的一个实施例中，基于第二数据集对所述预训练后的车牌检测识别模型进行正式训练，获得正式训练后的车牌检测识别模型，包括：

将第二数据集输入预训练后的车牌检测识别模型，获得第二伪标准字符区域高斯热力图、第二伪标准字符联通高斯热力图、第二预测字符区域高斯热力图、第二预测字符联通高斯热力图以及第二车牌图像的预测车牌字符；

利用正式训练过程中的损失函数，根据第二预测字符区域高斯热力图、第二伪标准字符区域高斯热力图、第二预测字符联通高斯热力图、第二伪标准字符联通高斯热力图、所述第二车牌图像的预测车牌字符以及第二车牌图像的真实车牌字符，计算正式训练过程中的误差值；

利用误差反向传播机制，根据正式训练过程中的误差值，获得正式训练后的车牌检测识别模型。

具体的，正式训练过程中车牌检测识别模型的初始参数即为预训练中车牌检测识别模型的最终参数，即预训练后的车牌检测识别模型的参数即是预训练最终的车牌检测识别模型的最终参数，也是正式训练开始时车牌检测识别模型的初始参数。

具体的，预训练后的车牌检测识别模型包括预训练后的共享卷积层模块以及预训练后的分类器模块，预训练后的共享卷积层模块具备自动分割字符的功能，第二数据集包括第二车牌图像，不包括与第二车牌图像对应的字符标注位置信息；进一步的，第二车牌图像对应的真实车牌字符的内容以及车牌边界框位置信息是已知的；可选的，第二数据集包括的具体数据可根据实际情况补充调整，本申请对此不做限定。

在本发明的一个实施例中，将第二数据集输入预训练后的车牌检测识别模型，获得第二伪标准字符区域高斯热力图、第二伪标准字符联通高斯热力图、第二预测字符区域高斯热力图、第二预测字符联通高斯热力图以及第二车牌图像的预测车牌字符，包括：

根据第二车牌图像中的车牌边界框位置信息，获得裁剪车牌图像；

基于裁剪车牌图像，利用预训练后的共享卷积层模块对第二车牌图像进行自动分割字符，获得与第二车牌图像对应的字符标注位置信息、第二伪标准字符区域高斯热力图以及第二伪标准字符联通高斯热力图；

基于第二车牌图像，预训练后的共享卷积层模块输出第二预测字符区域高斯热力图、第二预测字符联通高斯热力图以及第二特征图；

基于与第二车牌图像对应的字符标注位置信息以及第二特征图，预训练后的分类器模块输出第二车牌图像的预测车牌字符。

具体的，请参照图4-5，在正式训练的过程中，第二伪标准字符区域高斯热力图以及第二伪标准字符联通高斯热力图的产生过程如下：根据第二车牌图像中的车牌边界框位置信息对第二车牌图像进行裁剪，得到裁剪车牌图像；将裁剪车牌图像输入预训练后的共享卷积层模块得到裁剪车牌图像中每个字符的区域高斯热力图；采用分水岭算法对裁剪车牌图像自动分割字符，并采用最小外接矩形框框出裁剪车牌图像中每个字符的位置，获得裁剪车牌图像中每个字符的区域，根据尺寸变换，即可得到第二车牌图像中每个字符的边界框，进而得到自动分割字符后的第二车牌图像以及对应的字符标注位置信息；采用图2中的方法，基于第二车牌图像以及对应的字符标注位置信息，得到第二伪标准字符区域高斯热力图以及第二伪标准字符联通高斯热力图，并且，在此过程中共享卷积层参数不受影响。具体过程请参照预训练过程中的第一标准字符区域高斯热力图以及第一标准字符联通高斯热力图的产生过程，原理相同，此处不再一一赘述；为了克服第二车牌图像中背景区域的干扰，利用裁剪车牌区域生成的第二伪标准字符区域高斯热力图和第二伪标准字符联通高斯热力图更加接近真实的标签，因此第二伪标准字符区域高斯热力图以及第二伪标准字符联通高斯热力图用于监督基于第二数据集对预训练后的车牌检测识别模型的正式训练。

第二车牌图像输入预训练后的共享卷积层模块，预训练后的共享卷积层模块的输出端输出第二预测字符区域高斯热力图、第二预测字符联通高斯热力图以及第二特征图；基于第二特征图以及自动分割字符后的第二车牌图像对应的字符标注位置信息得到第二车牌图像的预测车牌字符。上述过程与预训练过程中基于第一车牌图像以及与第一车牌图像对应的字符标注位置信息得到第一预测字符区域高斯热力图、第一预测字符联通高斯热力图以及第一车牌图像的预测车牌字符的原理相同，此处不再一一赘述，不同之处在于第一车牌图像对应的字符标注位置信息是第一数据集中已知的，第二车牌图像对应的字符标注位置信息是基于预训练后的共享卷积层模块对基于第二车牌图像获得的裁剪车牌图像自动分割字符获得的，即在正式训练过程中通过预训练后的共享卷积层模块对第二车牌图像进行自动分割字符，得到第二车牌图像对应的字符标注位置信息。

在本申请的一个实施例中，车牌识别方法还包括，设定置信度阈值，利用置信度计算公式，基于第二车牌图像自动分割字符后的字符框数量以及第二车牌图像对应的真实车牌字符的数量，计算得到置信度；

当所述置信度大于等于所述置信度阈值时，采用所述预训练后的车牌检测识别模型产生的所述第二伪标准字符区域高斯热力图以及第二伪标准字符联通高斯热力图对正式训练进行监督；

当所述置信度小于所述置信度阈值时，则采用矫正方法重新对所述第二车牌图像进行字符分割。

请参见图6，图6为本申请实施例中对自动分割字符的质量评价的流程图。按照上述方式生成的第二伪标准字符区域高斯热力图以及第二伪标准字符联通高斯热力图不一定完全准确，为了保证正式训练过程的可靠性，采用自动分割字符质量评价流程，对第二车牌图像进行自动分割字符的质量进行判断，若自动分割字符的质量越好，则生成的第二伪标准字符区域高斯热力图以及第二伪标准字符联通高斯热力图越准确，对预训练后的车牌检测识别模型进行正式训练的效果越好。

置信度计算公式如公式5所示，其中，对于第二车牌图像w，l(w)为第二车牌图像对应的真实车牌字符的数量，l

在正式训练过程中，设定置信度阈值，基于上述公式5计算得到置信度；当置信度大于等于置信度阈值时，则采用预训练后的车牌检测识别模型产生的所述第二伪标准字符区域高斯热力图以及第二伪标准字符联通高斯热力图对正式训练进行监督；当置信度小于置信度阈值时，则采用矫正方法重新对第二车牌图像进行字符分割，采用基于重新进行字符分割的第二车牌图像获得的新的第二伪标准字符区域高斯热力图以及第二伪标准字符联通高斯热力图对正式训练进行监督。

进一步的，采用矫正方法重新对第二车牌图像进行字符分割包括：

根据第二车牌图像中的车牌边界框位置信息，获得裁剪车牌图像；将裁剪车牌转为灰度图，使用Canny算子对灰度图进行边缘检测并膨胀，完成边缘检测后，将字符区域和背景区域进行分割同时标记并筛选出字符位置，随后使用最小外接矩形框框出裁剪车牌图像中每个字符的位置，根据尺寸变换，即可得到第二车牌图像中每个字符的边界框，最终得到重新进行字符分割的第二车牌图像获得的新的第二伪标准字符区域高斯热力图以及第二伪标准字符联通高斯热力图，用来对预训练后的车牌检测识别模型的正式训练进行监督。可选的，置信度阈值可设置为0.7，本申请对置信度阈值的具体大小不做限定，可根据实际情况进行选择。

在本申请的一个实施例中，正式训练过程中的误差值包括正式训练检测过程中的误差值以及正式训练识别过程中的误差值；

计算正式训练过程中的误差值，包括：

利用正式训练检测过程中的损失函数，计算第二预测字符区域高斯热力图中每一点的像素值与第二伪标准字符区域高斯热力图中对应点的像素值的均方误差以及第二字符联通高斯热力图中每一点的像素值与第二伪标准字符联通高斯热力图中对应点的像素值的均方误差，获得正式训练检测过程中的误差值；

利用正式训练识别过程中的损失函数，计算所述第二车牌图像的预测车牌字符中每个字符对应的概率分布与所述第二车牌图像的真实车牌字符的每个字符的概率分布的交叉熵，获得正式训练识别过程中的误差值。

具体的，在得到正式训练过程中的第二预测字符区域高斯热力图、第二预测字符联通高斯热力图以及第二车牌图像的预测车牌字符的基础上，结合第二伪标准字符区域高斯热力图、第二伪标准字符联通高斯热力图以及第二车牌图像的真实车牌字符，利用正式训练检测过程以及识别过程中的损失函数，得到正式训练检测过程中的误差值以及正式训练识别过程中的误差值，进而得到正式训练过程中的误差值。

正式训练过程中的损失函数、正式训练检测过程中的损失函数以及正式训练识别过程中的损失函数请参照公式2至公式4，与预训练的不同之处在于在正式训练过程中引入了置信度的概念，正式训练检测过程中的损失函数在预训练检测过程中的损失函数公式3的基础上更新为公式6。

p′表示第二预测字符区域高斯热力图中某个像素点，S

基于第二预测字符区域高斯热力图、第二预测字符联通高斯热力图、第二伪标准字符区域高斯热力图、第二伪标准字符联通高斯热力图、第二车牌图像的预测车牌字符以及第二车牌图像的真实车牌字符，获得正式训练检测过程以及识别过程中的误差值，进而获得预训练过程中的误差值的具体过程请参照获得预训练过程中的误差值的过程，不同之处请参照公式6，此处不再一一赘述。

进一步的，在预训练以及正式训练中，对于车牌检测识别模型，使用ADAM优化器进行梯度反向传播，学习率设定为0.00003，权值衰减率设定为0.0004，动量设置为0.9，并以64张图片为一个批次进行训练直至收敛，上述超参数的设置可以根据实际情况确定，本申请对此不做限定。

在本申请的一个实施例中，利用误差反向传播机制，根据正式训练过程中的误差值，获得正式训练后的车牌检测识别模型，包括：

利用误差反向传播机制，根据正式训练检测过程中的误差值以及识别过程中的误差值，不断更新预训练后的共享卷积层模块的参数，获得正式训练后的共享卷积层模块；

利用误差反向传播机制，根据正式训练识别过程中的误差值，不断更新预训练后的分类器模块的参数，获得正式训练后的分类器模块。

具体的，在预训练后的车牌检测识别模型基于第二数据集中的第二车牌图像以及与第二车牌图像对应的字符标注位置信息进行正式训练的过程中，当正式训练过程中的误差函数收敛，即正式训练过程中的误差值在某一值附近振荡时，结束正式训练过程，得到正式训练后的车牌检测识别模型。

在本申请的一个实施例中，请参见图7，利用正式训练后的车牌检测识别模型，对待识别车牌图像进行识别，获得待识别车牌信息，包括：

将待识别车牌图像输入所述正式训练后的车牌检测识别模型；

在检测过程中，所述正式训练后的车牌检测识别模型输出字符区域高斯热力图以及字符联通高斯热力图；

基于字符区域高斯热力图以及字符联通高斯热力图，得到二值分割图像，基于所述二值分割图像，得到所述待识别车牌的边界框信息；

在识别过程中，所述正式训练后的车牌检测识别模型输出待识别车牌字符。

可选的，待识别车牌图像为自然场景下的车辆图像。

具体的，将待识别车牌图像输入正式训练后的车牌检测识别模型(即训练好的车牌检测识别模型)，模型会输出待识别车牌图像中车牌的边界框信息(例如，边界框的位置、边界框的颜色)以及车牌字符内容。检测过程中输出待识别车牌的边界框位置信息具体方式如下：将待识别车牌图像输入正式训练后的车牌检测识别模型，检测过程中输出字符区域高斯热力图以及字符联通高斯热力图；构建一张与上述两个高斯热力图尺寸相同的二值图像M，结合公式7，分别设定字符区域高斯热力图像素最小阈值τ

进一步的，待识别车牌的边界框信息还包括边界框颜色，利用边界框颜色识别函数，判断待识别车牌的边界框颜色。

具体的，使用OpenCV提供的颜色识别函数，对输出的边界框进行颜色识别以判断车牌的颜色。

具体的，在识别过程中，正式训练后的车牌检测识别模型输出待识别车牌字符，具体方式如下：正式训练后的分类器模块针对需要识别的每个字符(即上述内容中的每个感兴趣特征图)，均输出与其对应的所有类别的概率分布，经过softmax层对概率归一化后，通过选择概率最大的类别作为对应字符的内容输出；对需要识别的所有的字符(即提取出的所有的感兴趣特征图)，均通过选择概率最大的类别作为对应字符的内容输出；再将所有输出的字符进行合并得到待识别车牌字符。

进一步的，结合检测过程中判断出的车牌的颜色以及识别过程中识别出的车牌字符的数量，判断待识别车牌属于蓝色普通车牌或者绿色新能源车牌。

本申请中的车牌识别方法相较于传统的车牌识别方法，实现了“车牌检测—识别”一体化，提高了对车牌检测识别模型的训练效率，通过车牌检测识别模型主动分割出车牌中字符的位置，无需人为参与字符分割过程，使得检测识别结果更加准确稳定；另外，本申请中的车牌检测识别方法可以检测识别的车牌类型广泛、检测识别率较高，具有良好的鲁棒性以及使用价值。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。