车牌号码识别方法以及系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种车牌号码识别方法以及系统。

背景技术

随着城市化进程不断加快，机动车数量不断增加，随之而来也产生了很多城市交通拥堵、停车矛盾等问题，因此，提高城市交通管理的智能化水平是目前亟待解决的一个社会问题，通过提高城市交通管理的智能化水平可有效改善目前的交通管理状况。尤其随着外卖行业发展壮大，电动车也成了配送员的必备装备。伴随着保有量的急速增长，电动自行车逆行、超速、骑行过天桥、乱冲乱停等现象也愈演愈烈，急需加强监管。

然而，传统车牌号码识别方法在对车牌号码进行识别时，需要对每个号码字符进行逐个分割。当车牌图像数量多时，会出现车牌图像分类错误的问题，进而导致车牌号码识别的准确率低。

发明内容

本发明的目的是解决传统车牌号码识别方法对每个号码字符进行逐个分割导致的准确率低的技术问题。为实现上述目的，本发明提供一种车牌号码识别方法以及系统。

本发明提供一种车牌号码识别方法，包括：

根据监控全景图像集，分别构建车辆检测数据集、车牌检测数据集、车牌顶点回归数据集以及车牌号码识别数据集；

根据所述车辆检测数据集对车辆检测模型进行训练，获得训练完成的车辆检测模型；

根据所述车牌检测数据集对车牌检测模型进行训练，获得训练完成的车牌检测模型；

根据所述车牌顶点回归数据集对车牌顶点回归模型进行训练，获得训练完成的车牌顶点回归模型；

根据所述车牌号码识别数据集对车牌号码识别模型进行训练，获得训练完成的车牌号码识别模型；

根据所述训练完成的车辆检测模型、所述训练完成的车牌检测模型、所述训练完成的车牌顶点回归模型以及所述训练完成的车牌号码识别模型，对待测监控全景图像进行检测识别，获得车辆车牌号码。

在一个实施例中，所述根据监控全景图像集，分别构建车辆检测数据集、车牌检测数据集、车牌顶点回归数据集以及车牌号码识别数据集，包括：

对所述监控全景图像集的每个监控全景图像中车辆的目标位置与类别进行标注，构建形成所述车辆检测数据集；

根据每个所述车辆的目标位置对所述监控全景图像进行裁剪，形成车辆图像，并对每个所述车辆图像中车牌顶点外接矩形位置与车牌颜色进行标注，构建形成所述车牌检测数据集；

根据每个所述车牌顶点外接矩形位置对所述车辆图像进行裁剪，形成车牌图像；

根据每个所述车牌顶点外接矩形位置与外接矩形公式，计算相对于所述车牌图像的顶点坐标，根据相对于所述车牌图像的所述顶点坐标、车牌图像宽度以及车牌图像高度，计算校正顶点坐标；

对每个所述车牌图像中校正顶点坐标进行标注，构建形成所述车牌顶点回归数据集；

根据每个所述校正顶点坐标、相对于所述车牌图像的顶点坐标以及透视变换公式，计算透视变换矩阵，并根据所述透视变换矩阵对每个所述车牌图像的所有点进行透视变换，获得校正车牌图像；

对每个所述校正车牌图像中字符位置与字符类别进行标注，构建形成所述车牌号码识别数据集。

在一个实施例中，所述根据所述车辆检测数据集对车辆检测模型进行训练，获得训练完成的车辆检测模型，包括：

以所述车辆检测数据集中所述车辆的目标位置与类别为监督信息，根据梯度下降算法对目标检测算法中目标检测模型进行训练，获得所述训练完成的车辆检测模型；

所述根据所述车牌检测数据集对车牌检测模型进行训练，获得训练完成的车牌检测模型，包括：

以所述车牌检测数据集中所述车牌顶点外接矩形位置与所述车牌颜色为监督信息，根据所述梯度下降算法对单阶段检测目标模型进行训练，获得所述训练完成的车牌检测模型。

在一个实施例中，所述根据所述车牌顶点回归数据集对车牌顶点回归模型进行训练，获得训练完成的车牌顶点回归模型，包括：

以所述车牌顶点回归数据集中所述校正顶点坐标为监督信息，根据所述梯度下降算法对轻量级网络进行训练，获得所述训练完成的车牌顶点回归模型；

所述根据所述车牌号码识别数据集对车牌号码识别模型进行训练，获得训练完成的车牌号码识别模型，包括：

以所述车牌号码识别数据集中所述字符位置与所述字符类别为监督信息，根据所述梯度下降算法对卷积神经网络、长短期记忆网络以及联接时间分类器形成的模型进行训练，获得所述训练完成的车牌号码识别模型。

在一个实施例中，所述根据所述训练完成的车辆检测模型、所述训练完成的车牌检测模型、所述训练完成的车牌顶点回归模型以及所述训练完成的车牌号码识别模型，对待测监控全景图像进行检测识别，获得车辆车牌号码，包括：

根据所述训练完成的车辆检测模型对所述待测监控全景图像中自动车进行检测，获得待测车辆图像；

根据所述训练完成的车牌检测模型对所述待测车辆图像中车牌进行检测，获得待测车牌图像与车牌颜色；

根据所述训练完成的车牌顶点回归模型对所述待测车牌图像进行检测，获得校正顶点坐标，并根据所述校正顶点坐标对所述待测车牌图像进行透视变换，获得待测校正车牌图像；

根据所述训练完成的车牌号码识别模型，对所述待测校正车牌图像进行检测，获得所述车辆车牌号码。

在一个实施例中，本发明提供一种车牌号码识别系统，包括：

数据集获取模块，用于根据监控全景图像集，分别构建车辆检测数据集、车牌检测数据集、车牌顶点回归数据集以及车牌号码识别数据集；

车辆检测模块，用于根据所述车辆检测数据集对车辆检测模型进行训练，获得训练完成的车辆检测模型；

车牌检测模块，用于根据所述车牌检测数据集对车牌检测模型进行训练，获得训练完成的车牌检测模型；

车牌顶点回归模块，用于根据所述车牌顶点回归数据集对车牌顶点回归模型进行训练，获得训练完成的车牌顶点回归模型；

车牌号码识别模块，用于根据所述车牌号码识别数据集对车牌号码识别模型进行训练，获得训练完成的车牌号码识别模型；

车牌号码获取模块，用于根据所述训练完成的车辆检测模型、所述训练完成的车牌检测模型、所述训练完成的车牌顶点回归模型以及所述训练完成的车牌号码识别模型，对待测监控全景图像进行检测识别，获得车辆车牌号码。

在一个实施例中，所述数据集获取模块包括：

车辆检测数据获取模块，用于对所述监控全景图像集的每个监控全景图像中车辆的目标位置与类别进行标注，构建形成所述车辆检测数据集；

车牌检测数据获取模块，用于根据每个所述车辆的目标位置对所述监控全景图像进行裁剪，形成车辆图像，并对每个所述车辆图像中车牌顶点外接矩形位置与车牌颜色进行标注，构建形成所述车牌检测数据集；

车牌图像获取模块，用于根据每个所述车牌顶点外接矩形位置对所述车辆图像进行裁剪，形成车牌图像；

校正顶点获取模块，用于根据每个所述车牌顶点外接矩形位置与外接矩形公式，计算相对于所述车牌图像的顶点坐标，根据相对于所述车牌图像的所述顶点坐标、车牌图像宽度以及车牌图像高度，计算校正顶点坐标；

顶点回归数据获取模块，用于对每个所述车牌图像中校正顶点坐标进行标注，构建形成所述车牌顶点回归数据集；

校正车牌图像获取模块，用于根据每个所述校正顶点坐标、相对于所述车牌图像的顶点坐标以及透视变换公式，计算透视变换矩阵，并根据所述透视变换矩阵对每个所述车牌图像的所有点进行透视变换，获得校正车牌图像；

号码识别数据获取模块，用于对每个所述校正车牌图像中字符位置与字符类别进行标注，构建形成所述车牌号码识别数据集。

在一个实施例中，所述车辆检测模块包括：

车辆模型训练模块，用于以所述车辆检测数据集中所述车辆的目标位置与类别为监督信息，根据梯度下降算法对目标检测算法中目标检测模型进行训练，获得所述训练完成的车辆检测模型；

所述车牌检测模块包括：

车牌模型训练模块，用于以所述车牌检测数据集中所述车牌顶点外接矩形位置与所述车牌颜色为监督信息，根据所述梯度下降算法对单阶段检测目标模型进行训练，获得所述训练完成的车牌检测模型。

在一个实施例中，所述车牌顶点回归模块包括：

顶点回归训练模块，用于以所述车牌顶点回归数据集中所述校正顶点坐标为监督信息，根据所述梯度下降算法对轻量级网络进行训练，获得所述训练完成的车牌顶点回归模型；

所述车牌号码识别模块包括：

号码识别模型训练模块，用于以所述车牌号码识别数据集中所述字符位置与所述字符类别为监督信息，根据所述梯度下降算法对卷积神经网络、长短期记忆网络以及联接时间分类器形成的模型进行训练，获得所述训练完成的车牌号码识别模型。

在一个实施例中，所述车牌号码获取模块包括：

待测车辆图像获取模块，用于根据所述训练完成的车辆检测模型对所述待测监控全景图像中自动车进行检测，获得待测车辆图像；

待测车牌图像获取模块，用于根据所述训练完成的车牌检测模型对所述待测车辆图像中车牌进行检测，获得待测车牌图像与车牌颜色；

待测校正图像获取模块，用于根据所述训练完成的车牌顶点回归模型对所述待测车牌图像进行检测，获得校正顶点坐标，并根据所述校正顶点坐标对所述待测车牌图像进行透视变换，获得待测校正车牌图像；

车牌号码检测模块，用于根据所述训练完成的车牌号码识别模型，对所述待测校正车牌图像进行检测，获得所述车辆车牌号码。

上述车牌号码识别方法以及系统中，通过训练完成的车辆检测模型对抓拍的监控全景图像进行车辆检测获得车辆图像，通过训练完成的车牌检测模型对车辆图像进行检测获得车牌图像，通过训练完成的车牌顶点回归模型对车牌图像进行检测获得车牌的校正顶点，对车牌图像进行校正，获得校正后的车牌图像，通过训练完成的车牌号码识别模型对校正后的车牌图像进行识别获得车牌号码。训练完成的车辆检测模型、训练完成的车牌检测模型、训练完成的车牌顶点回归模型以及训练完成的车牌号码识别模型，彼此之间采用独立的车辆检测数据集、车牌检测数据集、车牌顶点回归数据集以及车牌号码识别数据集训练不同的模型，减少了各个模型之间的相关性，可以独立进行检测识别，从多个不同维度方向由全景到局部精确定位至车牌位置以及字符位置与类别。

从而，通过本发明提供的车牌号码识别方法不需要对车牌的各个字符进行分割，可以将车牌作为一个整体进行识别，解决了车牌图像数量多容易导致的车牌图像分类错误的问题，提高了车牌号码识别的准确率。并且，本发明提供的车牌号码识别方法中各个检测识别模型脱离了人工参与，节省了人力物力，提高了识别结果应用的自动化率，可以直接用于停车收费自动生成，罚单自动生成等对识别结果要求极高的场景。

附图说明

图1是本发明提供的车牌号码识别方法的步骤流程示意图。

图2是本发明提供的车牌号码识别系统的结构示意图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

请参见图1，本发明提供一种车牌号码识别方法，包括：

S10，根据监控全景图像集，分别构建车辆检测数据集、车牌检测数据集、车牌顶点回归数据集以及车牌号码识别数据集；

S20，根据车辆检测数据集对车辆检测模型进行训练，获得训练完成的车辆检测模型；

S30，根据车牌检测数据集对车牌检测模型进行训练，获得训练完成的车牌检测模型；

S40，根据车牌顶点回归数据集对车牌顶点回归模型进行训练，获得训练完成的车牌顶点回归模型；

S50，根据车牌号码识别数据集对车牌号码识别模型进行训练，获得训练完成的车牌号码识别模型；

S60，根据训练完成的车辆检测模型、训练完成的车牌检测模型、训练完成的车牌顶点回归模型以及训练完成的车牌号码识别模型，对待测监控全景图像进行检测识别，获得车辆车牌号码。

本实施例中，监控全景图像集通过监控设备采集车辆全景图。车辆可以为电动自行车、汽车等。通过标记车辆的位置、车俩类别、车牌位置、车牌颜色、车牌字符位置以及车牌字符类别等，形成监控全景图像集。并根据监控全景图像集构建后续步骤训练模型的车辆检测数据集、车牌检测数据集、车牌顶点回归数据集以及车牌号码识别数据集。

车辆检测模型用于基于车辆检测数据集，对车辆目标进行检测，识别出监控全景图像中各个车辆的位置与类别。车辆检测模型采用深度学习目标检测方法，可以为SSD、faster-rcnn、YOLO等模型。在一个实施例中，车辆检测模型用于检测的目标为电动自行车。

车牌检测模型用于基于车牌检测数据集，对车牌目标进行检测，识别出车辆图像中车牌的位置与颜色，检测目的为车牌检测。电动自行车的车牌颜色可以分为黄牌(以北京为例上层汉字为京临)、白牌(以北京为例上层汉字为北京)等。汽车的车牌颜色可以分为蓝色、绿色等。通过识别出车牌颜色能够进一步识别出上排汉字。车牌检测模型可以采用深度学习目标检测方法。在一个实施例中车牌检测模型用于检测的目标为电动自行车的车牌。

车牌顶点回归模型用于基于车牌顶点回归数据集，对车牌的校正顶点进行检测，进而对原始的车牌图像进行图像校正处理，获得校正车牌图像，解决了由于车辆行驶、随意停放等外界因素导致的车牌形变的问题，在进行车牌号码识别前进行了校正处理，进一步提高了车牌识别准确率。车牌顶点回归模型采用深度学习回归的方法。在一个实施例中，车牌顶点回归模型用于检测的目标为电动自行车的车牌的校正顶点。

车牌号码识别模型用于基于车牌号码识别数据集，对车牌号码进行检测，识别出每个号码字符的字符位置与字符类别，进而获得车牌号码。车牌号码识别模型采用深度学习方法。在一个实施例中，车牌号码识别模型用于检测的目标为电动自行车的车牌的各个字符。

本发明提供的车牌号码识别方法，通过训练完成的车辆检测模型对抓拍的监控全景图像进行车辆检测获得车辆图像，通过训练完成的车牌检测模型对车辆图像进行检测获得车牌图像，通过训练完成的车牌顶点回归模型对车牌图像进行检测获得车牌的校正顶点，对车牌图像进行校正，获得校正后的车牌图像，通过训练完成的车牌号码识别模型对校正后的车牌图像进行识别获得车牌号码。训练完成的车辆检测模型、训练完成的车牌检测模型、训练完成的车牌顶点回归模型以及训练完成的车牌号码识别模型，彼此之间采用独立的车辆检测数据集、车牌检测数据集、车牌顶点回归数据集以及车牌号码识别数据集训练不同的模型，减少了各个模型之间的相关性，可以独立进行检测识别，从多个不同维度方向由全景到局部精确定位至车牌位置以及字符位置与类别。

从而，通过本发明提供的车牌号码识别方法不需要对车牌的各个字符进行分割，可以将车牌作为一个整体进行识别，解决了车牌图像数量多容易导致的车牌图像分类错误的问题，提高了车牌号码识别的准确率。并且，本发明提供的车牌号码识别方法中各个检测识别模型脱离了人工参与，节省了人力物力，提高了识别结果应用的自动化率，可以直接用于停车收费自动生成，罚单自动生成等对识别结果要求极高的场景。

在一个实施例中，S10，根据监控全景图像集，分别构建车辆检测数据集、车牌检测数据集、车牌顶点回归数据集以及车牌号码识别数据集，包括：

S110，对监控全景图像集的每个监控全景图像中车辆的目标位置与类别进行标注，构建形成车辆检测数据集；

S120，根据每个车辆的目标位置对监控全景图像进行裁剪，形成车辆图像，并对每个车辆图像中车牌顶点外接矩形位置与车牌颜色进行标注，构建形成车牌检测数据集；

S130，根据每个车牌顶点外接矩形位置对车辆图像进行裁剪，形成车牌图像；

S140，根据每个车牌顶点外接矩形位置与外接矩形公式，计算相对于车牌图像的顶点坐标，根据相对于车牌图像的顶点坐标、车牌图像宽度以及车牌图像高度，计算校正顶点坐标；

S150，对每个车牌图像中校正顶点坐标进行标注，构建形成车牌顶点回归数据集；

S160，根据每个校正顶点坐标、相对于车牌图像的顶点坐标以及透视变换公式，计算透视变换矩阵，并根据透视变换矩阵对每个车牌图像的所有点进行透视变换，获得校正车牌图像；

S170，对每个校正车牌图像中字符位置与字符类别进行标注，构建形成车牌号码识别数据集。

本实施例中，对监控全景图像中各个车辆的目标位置与类别进行标注，形成车辆检测数据集，用于对车辆检测模型进行训练。车辆的目标位置可以为车辆区域的中心点坐标与宽高长度。

对车辆图像中车牌顶点外接矩形位置与车牌颜色进行标注形成车牌检测数据集，用于对车牌检测模型进行训练。车牌颜色包括橘黄、白牌、蓝牌、绿牌等类别，可以表征车牌的类型归属。车牌顶点外接矩形位置可以为车牌的外接矩形的位置，可以通过外接矩形公式表示：

Left＝min(p1.x,p2.x,p3.x,p4.x)；

Right＝max(p1.x,p2.x,p3.x,p4.x)；

Top＝min(p1.y,p2.y,p3.y,p4.y)；

Bottom＝max(p1.y,p2.y,p3.y,p4.y)。

其中p1、p2、p3、p4为相对全景图像的车牌顶点坐标。根据车牌顶点外接矩形位置对车辆图像进行截取，获得车牌图像，截取获得车牌图像后，车牌图像的顶点横坐标(相对于全景图像)减去外接矩形公式中Left数值，车牌图像的顶点纵坐标(相对于全景图像)减去Top数值，转换为相对于车牌图像的顶点坐标。车牌校正后，车牌图像将变成水平矩形，校正顶点坐标变为(0,0)、(nWidth-1,0)、(0，nHeight-1)、(nWidth-1，nHeight-1)。nWidth为车牌图像的宽度，nHeight为车牌图像的高度。对每个车牌图像中校正顶点坐标进行标注，形成车牌顶点回归数据集，用于对车牌顶点回归模型进行训练。

透视变换公式为：

变换后的坐标x，y分别为：

展开之后变换为：

根据透视变换公式，带入相对于车牌图像的顶点坐标及校正顶点坐标，计算透视变换矩阵。进一步，根据透视变换矩阵对车牌图像上所有点做透视变换，获得校正车牌图像。

对每个校正车牌图像中字符位置与字符类别进行标注形成车牌号码识别数据集，用于对车牌号码识别模型进行训练。在一个实施例中，车牌号码识别数据集中不包含车牌中的汉字字符，可以通过上述方法中车牌检测模型检测车牌颜色获知对应的车牌的汉字字符。本实施例中，车辆检测数据集、车牌检测数据集、车牌顶点回归数据集以及车牌号码识别数据集分别独立对各个不同的模型进行训练，减少了各个模型之间的相关性，同时加入了对车牌图像的校正，可以更好地对车牌图像进行精确定位，进一步更准确地识别出车牌的各个号码字符。

在一个实施例中，S20，根据车辆检测数据集对车辆检测模型进行训练，获得训练完成的车辆检测模型，包括：

S210，以车辆检测数据集中车辆的目标位置与类别为监督信息，根据梯度下降算法对目标检测算法中目标检测模型进行训练，获得训练完成的车辆检测模型。

本实施例中，目标检测算法中目标检测模型可以采用yolov3为检测模型。YOLOv3是YOLO系列的目标检测算法中的第三版目标检测模型，YOLOv3模型的主干部分为Darknet53和特征金字塔FPN(Feature Pyramid Networks，特征金字塔网络)结构。对于每幅输入图像，YOLOv3会预测输出三个不同大小的3维张量，在三个不同的尺度上检测出不同大小的目标物体。通过Yolov3网络后输出为包含车辆的几何坐标位置。从而，通过本实施例中训练完成的车辆检测模型可以用于获取监控全景图像中各个车辆的目标区域，作为后续步骤中车牌检测时使用。

基于车辆检测数据集，采用梯度下降算法训练得到车辆检测模型。车牌在全景图中占比小，本发明采取先检测车辆目标，然后根据车辆目标的位置对监控全景图像进行裁剪，检测得到车辆特写图，随后在车辆特写图中进一步检测车牌目标。通过本实施例中步骤，对监控全景图像中各个车辆目标进行检测，将全景图像转换成各个单独的车辆图像，进而在占比大的车辆图像中进一步对车牌图像进行检测识别，可以更加准确地定位到车牌位置，有利于进一步提高车牌号码识别的准确率。

在一个实施例中，S30，根据车牌检测数据集对车牌检测模型进行训练，获得训练完成的车牌检测模型，包括：

S310，以车牌检测数据集中车牌顶点外接矩形位置与车牌颜色为监督信息，根据梯度下降算法对单阶段检测目标模型进行训练，获得训练完成的车牌检测模型。

本实施例中，单阶段检测目标模型可以为yolov5检测模型，与yolov3相比输入端进行了Mosaic数据增强，Backbone提取出高中低层的特征，使用了CSP、Focus、Leaky等。Loss采用GIOU损失函数，反向传播更新模型的参数。通过本实施例中车牌检测模型检测出车牌的顶点外接矩形位置后，可以根据车牌的顶点外接矩形坐标对车辆图像进行裁剪，获得车牌的特写图，用于后续步骤中车牌顶点回归模型使用。通过本实施例中提供的方法，以车牌颜色为监督信息，对车牌颜色进行了进一步细分，在检测到车牌目标的同时也实现了对车牌颜色的识别，从而进一步可以针对车辆的车牌号码规则实现上层汉字的识别，从位置与颜色多个维度进一步准确地检测车牌，有利于进一步提高车牌号码识别的准确率。

在一个实施例中，S40，根据车牌顶点回归数据集对车牌顶点回归模型进行训练，获得训练完成的车牌顶点回归模型，包括：

S410，以车牌顶点回归数据集中校正顶点坐标为监督信息，根据梯度下降算法对轻量级网络进行训练，获得训练完成的车牌顶点回归模型。

本实施例中，轻量级网络可以为resnet、repvgg、mobilenet等。在一个实施例中，轻量级网络可以采用mobilenetv3为骨干网络。车牌顶点回归模型输出的为车牌的矩形框，校正车牌之前需要得到车牌的精确顶点。车牌顶点回归模型的检测目的是为了获得车牌的校正顶点坐标。进而，在校正的顶点坐标基础上，通过透视变换对车牌图像进行校正，获得校正后的车牌图像，供后续步骤中车牌号码识别模型使用。采用梯度下降算法对轻量级网络进行训练，获得训练完成的车牌顶点回归模型。通过本实施例中提供的方法，以校正顶点坐标为监督信息训练车牌顶点回归模型，可以提供精确地提供车牌的校正顶点，进而根据校正顶点坐标对车牌图像进行校正处理，解决了由于车辆行驶、随意停放等外界因素导致的车牌形变的问题，在进行车牌号码识别前进行了校正处理，进一步提高了车牌识别准确率。

在一个实施例中，S50，根据车牌号码识别数据集对车牌号码识别模型进行训练，获得训练完成的车牌号码识别模型，包括：

S510，以车牌号码识别数据集中字符位置与字符类别为监督信息，根据梯度下降算法对卷积神经网络、长短期记忆网络以及联接时间分类器形成的模型进行训练，获得训练完成的车牌号码识别模型。

本实施例中，车牌号码识别模型采用卷积神经网络、长短时记忆网络以及联接时间分类器相结合的模型。卷积神经网络可以采用Resnet18、RepVgg等提取图像特征，特征提取后连接长短时记忆网络，最后连接联接时间分类器，并采用梯度下降算法训练得到车牌号码识别模型。长短期记忆网络具有一定的记忆能力，能够按时序依次处理任意长度的信息，实现对不定长文字的识别，同时解决了普通RNN的长期依赖问题。长短期记忆网络由输入门、遗忘门、输出门组成。联接时间分类器是一种Loss计算方法，由于字符变形等原因，导致对输入图像分块识别时，相邻块可能会识别为同个结果，字符重复出现。通过联接时间分类器，可以解决输入特征与输出标签的对齐问题，模型训练后，对结果中去掉间隔字符、去掉重复字符。若同个字符连续出现，则表示只有1个字符。如果中间有间隔字符，则表示字符出现多次。通过本实施例中方法提供的

在一个实施例中，车辆为北京电动自行车，车牌号码分为上下两层，上层为汉字，有黄牌和白牌两种车牌颜色，可以获得黄牌前两个字符为京临，白牌前两个字符为北京，通过车牌号码识别模型识别获得电动自行车牌下层字符号码，结合黄牌和白牌类型，补全得到北京电动自行车的车牌号码。

在一个实施例中，S60，根据训练完成的车辆检测模型、训练完成的车牌检测模型、训练完成的车牌顶点回归模型以及训练完成的车牌号码识别模型，对待测监控全景图像进行检测识别，获得车辆车牌号码，包括：

S610，根据训练完成的车辆检测模型对待测监控全景图像中自动车进行检测，获得待测车辆图像；

S620，根据训练完成的车牌检测模型对待测车辆图像中车牌进行检测，获得待测车牌图像与车牌颜色；

S630，根据训练完成的车牌顶点回归模型对待测车牌图像进行检测，获得校正顶点坐标，并根据校正顶点坐标对待测车牌图像进行透视变换，获得待测校正车牌图像；

S640，根据训练完成的车牌号码识别模型，对待测校正车牌图像进行检测，获得车辆车牌号码。

本实施例中，通过训练完成的车辆检测模型检测全景图中的车辆，获得车辆的特写图，即待测车辆图像。通过训练完成的车牌检测模型检测待测车辆图像中的车牌图像，得到待测车牌图像。通过训练完成的车牌顶点回归模型对待测车牌图像进行检测，获得车牌的多个顶点，经过透视变换后得到待测校正车牌图像。进而，通过训练完成的车牌号码识别模型对待测校正车牌图像进行识别得到车辆的车牌号码，完成了车辆的车牌号码识别。在一个实施例中，车辆为北京的电动自行车。通过训练完成的车牌号码识别模型识别获得不含前两个汉字的电动自行车车牌号码。在通过训练完成的车牌检测模型检测获得车牌颜色的接触上，可以获知电动自行车的车牌为橘黄或者白色，橘黄代表“京临”两个汉字，白色代表“北京”两个汉字，从而，综合上下层字符，获得北京电动自行车的完整的车牌号码。

通过本发明提供的车牌号码识别方法，对车牌号码及车牌颜色识别结果可靠性进行分析，判断此识别结果是否可直接用于订单等生成。采用独立的数据集训练不同原理的车牌号码、颜色识别模型，提高了识别结果应用的自动化率，减少了模型之间的相关性，保证了判断为高可信识别结果时具备极高的正确率，可直接用于停车收费自动生成，罚单自动生成等对识别结果要求极高的场景。

请参见图2，本发明提供一种车牌号码识别系统。车牌号码识别系统包括数据集获取模块10、车辆检测模块20、车牌检测模块30、车牌顶点回归模块40、车牌号码识别模块50以及车牌号码获取模块60。数据集获取模块10用于根据监控全景图像集，分别构建车辆检测数据集、车牌检测数据集、车牌顶点回归数据集以及车牌号码识别数据集。车辆检测模块20用于根据车辆检测数据集对车辆检测模型进行训练，获得训练完成的车辆检测模型。

车牌检测模块30用于根据车牌检测数据集对车牌检测模型进行训练，获得训练完成的车牌检测模型。车牌顶点回归模块40用于根据车牌顶点回归数据集对车牌顶点回归模型进行训练，获得训练完成的车牌顶点回归模型。车牌号码识别模块50用于根据车牌号码识别数据集对车牌号码识别模型进行训练，获得训练完成的车牌号码识别模型。车牌号码获取模块60用于根据训练完成的车辆检测模型、训练完成的车牌检测模型、训练完成的车牌顶点回归模型以及训练完成的车牌号码识别模型，对待测监控全景图像进行检测识别，获得车辆车牌号码。

本实施例中，数据集获取模块10的相关描述可参考上述实施例中S10的相关描述。车辆检测模块20的相关描述可参考上述实施例中S20的相关描述。车牌检测模块30的相关描述可参考上述实施例中S30的相关描述。车牌顶点回归模块40的相关描述可参考上述实施例中S40的相关描述。车牌号码识别模块50的相关描述可参考上述实施例中S50的相关描述。车牌号码获取模块60的相关描述可参考上述实施例中S60的相关描述。

在一个实施例中，数据集获取模块10包括车辆检测数据获取模块、车牌检测数据获取模块、车牌图像获取模块、校正顶点获取模块、顶点回归数据获取模块、校正车牌图像获取模块以及号码识别数据获取模块。车辆检测数据获取模块用于对监控全景图像集的每个监控全景图像中车辆的目标位置与类别进行标注，构建形成车辆检测数据集。车牌检测数据获取模块用于根据每个车辆的目标位置对监控全景图像进行裁剪，形成车辆图像，并对每个车辆图像中车牌顶点外接矩形位置与车牌颜色进行标注，构建形成车牌检测数据集。

车牌图像获取模块用于根据每个车牌顶点外接矩形位置对车辆图像进行裁剪，形成车牌图像。校正顶点获取模块用于根据每个车牌顶点外接矩形位置与外接矩形公式，计算相对于车牌图像的顶点坐标，根据相对于车牌图像的顶点坐标、车牌图像宽度以及车牌图像高度，计算校正顶点坐标。顶点回归数据获取模块用于对每个车牌图像中校正顶点坐标进行标注，构建形成车牌顶点回归数据集。

校正车牌图像获取模块用于根据每个校正顶点坐标、相对于车牌图像的顶点坐标以及透视变换公式，计算透视变换矩阵，并根据透视变换矩阵对每个车牌图像的所有点进行透视变换，获得校正车牌图像。号码识别数据获取模块用于对每个校正车牌图像中字符位置与字符类别进行标注，构建形成车牌号码识别数据集。

本实施例中，车辆检测数据获取模块的相关描述可参考上述实施例中S110的相关描述。车牌检测数据获取模块的相关描述可参考上述实施例中S120的相关描述。车牌图像获取模块的相关描述可参考上述实施例中S130的相关描述。校正顶点获取模块的相关描述可参考上述实施例中S140的相关描述。顶点回归数据获取模块的相关描述可参考上述实施例中S150的相关描述。校正车牌图像获取模块的相关描述可参考上述实施例中S160的相关描述。号码识别数据获取模块的相关描述可参考上述实施例中S170的相关描述。

在一个实施例中，车辆检测模块20包括车辆模型训练模块。车辆模型训练模块用于以车辆检测数据集中车辆的目标位置与类别为监督信息，根据梯度下降算法对目标检测算法中目标检测模型进行训练，获得训练完成的车辆检测模型。

车牌检测模块30包括车牌模型训练模块。车牌模型训练模块用于以车牌检测数据集中车牌顶点外接矩形位置与车牌颜色为监督信息，根据梯度下降算法对单阶段检测目标模型进行训练，获得训练完成的车牌检测模型。

本实施例中，车辆模型训练模块的相关描述可参考上述实施例中S210的相关描述。车牌模型训练模块的相关描述可参考上述实施例中S310的相关描述。

在一个实施例中，车牌顶点回归模块40包括顶点回归训练模块。顶点回归训练模块用于以车牌顶点回归数据集中校正顶点坐标为监督信息，根据梯度下降算法对轻量级网络进行训练，获得训练完成的车牌顶点回归模型。

车牌号码识别模块50包括号码识别模型训练模块。号码识别模型训练模块用于以车牌号码识别数据集中字符位置与字符类别为监督信息，根据梯度下降算法对卷积神经网络、长短期记忆网络以及联接时间分类器形成的模型进行训练，获得训练完成的车牌号码识别模型。

本实施例中，顶点回归训练模块的相关描述可参考上述实施例中S410的相关描述。号码识别模型训练模块的相关描述可参考上述实施例中S510的相关描述。

在一个实施例中，车牌号码获取模块60包括待测车辆图像获取模块、待测车牌图像获取模块、待测校正图像获取模块以及车牌号码检测模块。待测车辆图像获取模块用于根据训练完成的车辆检测模型对待测监控全景图像中自动车进行检测，获得待测车辆图像。待测车牌图像获取模块用于根据训练完成的车牌检测模型对待测车辆图像中车牌进行检测，获得待测车牌图像与车牌颜色。

待测校正图像获取模块用于根据训练完成的车牌顶点回归模型对待测车牌图像进行检测，获得校正顶点坐标，并根据校正顶点坐标对待测车牌图像进行透视变换，获得待测校正车牌图像。车牌号码检测模块用于根据训练完成的车牌号码识别模型，对待测校正车牌图像进行检测，获得车辆车牌号码。

本实施例中，待测车辆图像获取模块的相关描述可参考上述实施例中S610的相关描述。待测车牌图像获取模块的相关描述可参考上述实施例中S620的相关描述。待测校正图像获取模块的相关描述可参考上述实施例中S630的相关描述。车牌号码检测模块的相关描述可参考上述实施例中S640的相关描述。

上述各个实施例中，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于的特定顺序或层次。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，模块和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，模块和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或模块都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。