车牌号码识别方法、装置及存储介质

技术领域

本申请涉及图像识别技术领域，特别是涉及一种车牌号码识别方法、装置及存储介质。

背景技术

车牌号码识别是交通领域的主要业务之一，现有的车牌号码识别方法，都是基于车辆的车牌实现的，其流程包括：检测车辆图像中车牌的位置，然后识别车牌，输出识别结果得到车牌号码。然而，在车辆的车牌脏污、被遮挡等情形下，无法有效的识别车牌号码，可能会以无法识别等方式输出结果。

发明内容

本申请实施例提供一种车牌号码识别方法、装置及存储介质，通过识别车牌放大号的车牌号码，来提高车牌号码识别率。

第一方面，本申请提供一种车牌号码识别方法，所述方法包括：识别车辆图像中的车牌放大号，其中，所述车牌放大号为位于目标车辆上区别于车牌的标识；获取所述车牌放大号的识别结果；根据所述车牌放大号的识别结果得到所述目标车辆的车牌号码。

其中，用于标识车辆身份的标识包括车牌放大号和车牌。国家规定，重型、中型载货汽车及其挂车、拖拉机及其挂车的车身或者车厢后部应当喷涂放大的牌号，字样应当端正并保持清晰。还规定重型、中型载货汽车及其挂车的车身或者后厢后部喷涂的放大牌号的尺寸为小型汽车号牌登记编号字体的2.5倍，应清晰、完整，颜色与车体颜色有明显反差。即对重型、中型卡车及其挂车(包括小型卡车、小货车、中型公共汽车、公交车、10座以上的货车)等车辆，要求在其车身后部或后车厢喷涂和车牌号码对应一致的车牌号码文字放大版，在一些场景下车牌放大号又叫做车牌印刷体。车牌放大号可以包括车辆的登记号码、登记地区或其他的相关信息。

在本申请实施例中，在无法有效的识别车牌的车牌号码时，识别车辆图像中的车牌放大号，以得到识别车牌放大号的号码，基于车牌放大号的号码和车牌号码对应一致，由此可以得到车牌号码，提高车牌号码识别率。

在其中一种可能的设计中，所述获取所述车牌放大号的识别结果，具体包括：在识别所述车辆图像中的车牌放大号输出的字符包括车牌字符和非车牌字符时，仅使用所述车牌字符生成所述车牌放大号的识别结果。识别所述车辆图像中的车牌放大号时输出的字符中可能包括车牌字符和非车牌字符，仅使用识别输出中的车牌字符生成所述车牌放大号的识别结果。识别所述车辆图像中的车牌放大号时输出的字符中仅包括车牌字符，则使用识别输出中的车牌字符生成所述车牌放大号的识别结果。

在本申请实施例中，在识别车辆图像中的字符时，可以根据预设规则对识别输出的字符进行处理，以得到的车牌放大号的识别结果。所述预设规则用于对输出的所述车辆图像中的字符进行重组，以使得输出车牌放大号的字符匹配车牌号码。

在本申请实施例中，所述预设规则包括但不限于以下：根据车牌放大号的字符位置进行筛选，以筛选出合适的车牌字符作为车牌号码，和/或根据车牌放大号的字符内容进行筛选，以筛选出合适的车牌字符作为车牌号码，如，首先判定在同一水平线附近的字符，其次判定字符所包含的内容和车牌匹配的程度，比如车牌中的中文仅有省的简称，不存在其他中文字符。车牌的号码长度一般是7-8位等。

在其中一种可能的设计中，所述方法还包括：识别所述车辆图像中的所述车牌；获取所述车牌的识别结果；所述根据所述车牌放大号的识别结果得到所述目标车辆的车牌号码具体包括：根据所述车牌的识别结果和所述车牌放大号的识别结果得到所述目标车辆的车牌号码。

在本申请实施例中，综合对目标车辆的车牌放大号的识别，结合原有车牌的车牌号码的识别，综合输出最终的车牌号码识别结果，以在车牌因为脏污、遮挡等而无法有效识别车牌号码时，通过融合车牌放大号识别进一步提高整体车牌号码识别率。

在其中一种可能的设计中，所述方法还包括：在显示界面上呈现所述车辆图像中车牌放大号区域的局部图像。在其中一种可能实现方式中，在显示界面上呈现所述车牌号码、车牌放大号图像和车牌图像中的一种或多种，其中，所述车牌放大号图像即为所述车辆图像中车牌放大号区域的局部图像，也是所述目标车辆的车牌放大号区域的图像，所述车牌图像即为所述车辆图像中车牌区域的局部图像，也是所述车牌图像为所述目标车辆的车牌区域的局部图像。

其中，所述车辆图像包括目标车辆，可以为目标车辆的整体图像。所述车牌放大号图像和所述车牌图像可以分别为车辆图像的某个局部区域的图像，即车牌放大号图像和车牌图像可以为目标车辆某一局部区域的图像，如目标车辆车身或车尾的图像。所述车牌放大号图像和所述车牌图像不同。

在本申请实施例中，在输出目标车辆最终的车牌号码时，还可以输出目标车辆的车辆图像、车牌放大号图像和车牌图像中的一种或多种，以便用户对识别结果做判断。

在其中一种可能的设计中，所述识别所述车辆图像中的所述车牌，具体包括：根据第一字符数据库识别所述车牌，其中，第一字符数据库包括与车牌号码相关联的车牌字符；所述识别车辆图像中的车牌放大号，获取所述车牌放大号的识别结果，具体包括：根据第二字符数据库识别所述车辆图像中的字符，识别输出的字符包括车牌字符和非车牌字符，仅使用识别输出的所述车牌字符生成所述车牌放大号的识别结果，其中，所述第二字符数据库包括所述车牌字符和与车牌号码无关联的非车牌字符。

其中，第一字符数据库中的字符包括车牌号码的字符，如文字或字母。第二字符数据库中的字符包括车牌字符和非车牌字符，第一字符数据库中的字符多于第二字符数据库中的字符。所述车辆图像中的字符可以包括文字和/或字母。

在本申请实施例中，根据第一字符数据库识别车辆图像中的车牌，根据第二字符数据库识别所述车辆图像中的字符，输出包括车牌放大号的车牌字符，以实现对车牌放大号的识别。

在其中一种可能实现方式中，所述车牌放大号图像包括所述目标车辆的尾部或侧部区域的图像。其中，目标车辆的车身或者车厢后部喷涂放大的牌号，则获取目标车辆的车身或者车厢后部的图像，该图像为车牌放大号图像。

在其中一种可能实现方式中，所述根据所述车牌的识别结果和所述车牌放大号的识别结果得到所述目标车辆的车牌号码具体包括：选择所述车牌的识别结果和所述车牌放大号的识别结果中的一个作为所述目标车辆的车牌号码。

在其中一种可能实现方式中，所述选择所述车牌的识别结果和所述车牌放大号的识别结果中的一个作为所述目标车辆的车牌号码具体包括：比较所述车牌的识别结果的置信度和所述车牌放大号的识别结果的置信度；将置信度大的识别结果作为所述目标车辆的车牌号码。

在本申请实施例中，在综合车牌放大号和车牌号的号码识别时，根据置信度输出目标车辆最终的车牌号码，实现对目标车辆车牌号码的识别。

在其中一种可能的设计中，所述选择所述车牌的识别结果和所述车牌放大号的识别结果中的一个作为所述目标车辆的车牌号码具体包括：包括：获取所述车牌的识别结果的置信度；检测到所述置信度低于预设阈值时，将所述车牌放大号的识别结果作为所述目标车辆的车牌号码。

在本申请实施例中，在综合车牌放大号和车牌号的号码识别时，根据置信度输出目标车辆最终的车牌号码，实现对目标车辆车牌号码的识别。

在其中一种可能的设计中，所述根据所述车牌的识别结果和所述车牌放大号的识别结果得到所述目标车辆的车牌号码具体包括：获取所述车牌的识别结果中每个车牌字符的第一置信度；获取所述车牌放大号的识别结果中每个车牌字符的第二置信度；比较所述第一置信度和所述第二置信度；选择置信度高的车牌字符组成所述目标车辆的车牌号码。

在本申请实施例中，所述根据所述车牌的识别结果和所述车牌放大号的识别结果得到所述目标车辆的车牌号码可以包括：选择所述车牌的识别结果和所述车牌放大号的识别结果中的一个作为所述目标车辆的车牌号码；或，融合所述车牌的识别结果和所述车牌放大号的识别结果，各选所述车牌的识别结果的一部分和所述车牌放大号的识别结果一部分组成所述目标车辆的车牌号码。

在其中一种可能的设计中，在所述获取包括车牌放大号车辆图像后还包括：判断目标车辆是否具有车牌放大号；若是，判断是否需要识别所述车牌放大号；若是，进行车牌放大号识别。

在本申请实施例中，通过对车牌放大号的存在性判定、是否需要识别车牌放大号判定，可以最大限度减少额外的计算开销，同时又能在最需要识别的场景下提供车牌放大号的识别能力。

第二方面，本申请提供一种车牌号码识别方法，所述方法包括：提供显示界面，所述显示界面包括第一识别项；检测到所述第一识别项触发，识别车辆图像中的车牌放大号，其中，所述车牌放大号为位于目标车辆上区别于车牌的标识；获取所述车牌放大号的识别结果；根据所述车牌放大号的识别结果得到所述目标车辆的车牌号码。其中，第一识别项用于启动对车牌放大号的识别。

在本申请实施例中，在无法有效的识别车牌的车牌号码时，识别车辆图像中的车牌放大号，以得到识别车牌放大号的号码，基于车牌放大号的号码和车牌号码对应一致，由此可以得到车牌号码，提高车牌号码识别率。

在其中一种可能的设计中，所述获取所述车牌放大号的识别结果，具体包括：在识别所述车辆图像中的车牌放大号输出的字符包括车牌字符和非车牌字符时，仅使用所述车牌字符生成所述车牌放大号的识别结果。

在其中一种可能的设计中，所述方法还包括：识别所述车辆图像中的所述车牌，获取所述车牌的识别结果；所述根据所述车牌放大号的识别结果得到所述目标车辆的车牌号码具体包括：根据所述车牌的识别结果和所述车牌放大号的识别结果得到所述目标车辆的车牌号码。

在其中一种可能的设计中，所述方法还包括：在显示界面上呈现所述车辆图像中车牌放大号区域的局部图像。在其中一种可能实现方式中，在显示界面上呈现所述车牌号码、车牌放大号图像和车牌图像中的一种或多种，其中，所述车牌放大号图像为所述目标车辆的车牌放大号区域的图像，所述车牌图像为所述目标车辆的车牌区域的图像。

在其中一种可能的设计中，所述显示界面还包括第二识别项，所述显示界面还包括第二识别项，所述第二识别项用于供用户选择所述目标车辆的拍摄方向，其中所述拍摄方向包括正面方向、侧面方向和背面方向。所述第二识别项用于确定所述目标车辆的车辆图像为车辆尾部方向或侧部方向的图像；所述方法还包括：检测所述目标车辆符合预设的车辆类型且所述第二识别项触发，确定所述目标车辆具有车牌放大号；判断是否需要识别所述车牌放大号；若是，进行车牌放大号识别。

其中，基于重型、中型载货汽车及其挂车、拖拉机及其挂车的车身或者车厢后部应当喷涂放大的牌号，所以在目标车辆为预设的车辆类型如重型、中型载货汽车及其挂车、拖拉机及其挂车，且所述第二识别项触发，即目标车辆的车辆图像为车辆尾部方向或侧部方向的图像，则可以确定该目标车辆上存在车牌放大号，然后判断是否需要识别车牌放大号。

在本申请实施例中，通过对车牌放大号的存在性判定、是否需要识别车牌放大号判定，可以最大限度减少额外的计算开销，同时又能在最需要识别的场景下提供车牌放大号的识别能力。

在其中一种可能的设计中，所述方法还包括：根据第一字符数据库识别所述车辆图像中的所述车牌，其中，第一字符数据库包括与车牌号码相关联的车牌字符；根据第二字符数据库识别所述车辆图像中的字符，识别输出的字符包括车牌字符和非车牌字符，仅使用识别输出的所述车牌字符生成所述车牌放大号的识别结果。其中，所述第二字符数据库包括所述车牌字符和与车牌号码无关联的非车牌字符；在使用识别输出的所述车牌字符生成所述车牌放大号的识别结果时，可以根据预设规则对所述车辆图像中的字符进行处理，输出车牌放大号的字符，其中所述预设规则用于使输出的字符匹配车牌号码。

在其中一种可能的设计中，所述车牌放大号图像包括所述目标车辆的尾部或侧部区域的图像。

第三方面，本申请提供一种车牌号码识别装置，所述装置用于执行如上所述的方法。

第四方面，本申请提供一种计算机存储介质，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如上任一项所述的方法。

上述第二方面、第三方面和第四方面所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。

本申请提供的技术方案带来的有益效果至少包括：

在本申请实施例中，在无法有效的识别车牌的车牌号码时，识别车辆图像中的车牌放大号，以得到识别车牌放大号的号码，基于车牌放大号的号码和车牌号码对应一致，由此可以得到车牌号码，提高车牌号码识别率。

附图说明

图1a为本申请实施例提供的一种车辆图像示意图；

图1b为本申请实施例提供的另一种车辆图像示意图；

图2为本申请实施例提供的一种车牌号码识别装置的结构示意图；

图3为本申请实施例提供一种车牌号码识别系统的结构示意图；

图4为本申请实施例提供的一种计算设备的结构示意图；

图5为本申请实施例提供的一种车牌号码识别方法的流程示意图；

图6a为本申请实施例提供的一种车辆图像的示意图；

图6b为本申请实施例提供的另一种车辆图像示意图；

图7为本申请实施例提供的一种显示界面示意图；

图8a为本申请实施例提供的另一种车牌放大号图像示意图；

图8b为本申请实施例提供的另一种车牌放大号图像示意图；

图9为本申请实施例提供的另一种车牌放大号识别方法的流程示意图；

图10a为本申请实施例提供的另一种显示界面示意图；

图10b为本申请实施例提供的另一种显示界面示意图；

图11为本申请实施例提供的另一种车牌号码识别方法的流程示意图；

图12为本申请实施例提供的另一种显示界面示意图；

图13为本申请实施例提供的另一种车辆图像示意图；

图14为本申请实施例提供的另一种车牌号码识别方法的流程示意图；

图15为本申请实施例提供的另一种显示界面示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在对本申请实施例进行详细的解释说明之前，先对本申请实施例涉及的应用场景予以介绍。

本申请的方案可以应用在公路收费、停车管理、交通诱导、交通执法、交通监控、交通稽查、车辆调度、车辆检测、小区车辆管理等各种领域中。在交通监控场景中，监控的摄像机的角度是从上往下拍摄的，对于大型的车辆，比如水泥槽罐车、渣土车、大货车等，因为其车身较大，车牌安装位置靠低处，往往不容易通过摄像机辨识。如图1a所示，拍摄得到的车牌上的号码不易识别。同时部分大型施工车辆，会存在车牌被污损、泥土或绳索等覆盖无法通过摄像机辨识的现象，如图1b所示，车牌被其他物体部分遮挡。

基于此，为了提高车牌号码的识别率，本申请实施例提供的车牌号码识别方法，通过识别目标车辆的车牌放大号，得到识别输出的车牌放大号的号码，基于车牌放大号的号码和车牌号码对应一致，由此通过识别车牌放大号可以得到车牌号码，提高车牌号码识别率。进一步地，在进行车牌识别后，融合车牌放大号识别，综合车牌的识别结果和车牌放大号的识别结果得到目标车辆的车牌号码，进一步提高车牌号码识别准确率。

另外，需要说明的是，用于标识车辆身份的标识包括车牌放大号和车牌。国家规定，重型、中型载货汽车及其挂车、拖拉机及其挂车的车身或者车厢后部应当喷涂放大的牌号，字样应当端正并保持清晰。还规定重型、中型载货汽车及其挂车的车身或者后厢后部喷涂的放大牌号的尺寸为小型汽车号牌登记编号字体的2.5倍，应清晰、完整，颜色与车体颜色有明显反差。即对重型、中型卡车及其挂车(包括小型卡车、小货车、中型公共汽车、公交车、10座以上的货车)等车辆，要求在其车身(如侧部)或车厢后部喷涂和车牌号码对应一致的车牌号码文字放大版，在一些场景下车牌放大号又叫做车牌印刷体。车牌放大号和车牌可以包括车辆的登记号码、登记地区或其他的相关信息。如图1a所示，车辆的车厢后部喷涂放大牌号“浙FMXXXX”，车辆的后厢后部喷涂的“浙FMXXXX”即为车牌放大号，其中“浙FMXXXX”的车牌放大号与车牌“浙FMXXXX”的字符是一致的。如图1b所示，车辆的车厢后部喷涂放大牌号“苏BXXXXX”，车辆的后厢后部喷涂的“苏BXXXXX”即为车牌放大号。其中“苏BXXXXX”的车牌放大号与车牌“苏BXXXXX”的字符是一致的。其中车牌的第三位至第七位“X”可以为0-9中任意的数字。对于中国大陆车牌，除了如今的自选个性车牌以外，当下使用的九二式机动车号牌，车牌第一位是汉字：代表该车辆户口所在的省级行政区，其为各(省、直辖市、自治区)的简称，车牌第二位是英文字母(除I和O)：代表该车辆户口所在的地级行政区，其一般为各地级市、地区、自治州、盟字母代码。车牌的第三位和第七位为数字。

下文以九二式机动车号牌进行举例说明，其中车牌的第三位至第七位“X”可以为0-9中任意的整数数字。

本申请实施例提供了一种车牌号码识别方法，该方法由车牌号码识别装置来执行。车牌号码识别装置的功能可以由软件系统实现，也可以由硬件设备实现，还可以由软件系统和硬件设备结合来实现。

当车牌号码识别装置为软件装置时，请参阅图2，图2为本申请实施例提供的一种车牌号码识别装置的结构示意图。该车牌号码识别装置200可以在逻辑上分成多个模块，每个模块可以具有不同的功能，每个模块的功能由计算设备中的处理器读取并执行存储器中的指令来实现，该计算设备结构可以如下文中图4所示的计算设备400。示例性的，该车牌号码识别装置可以包括第一识别模块201、第一获取模块202和得到模块203。在一种具体实现方式中，车牌号码识别装置200可以执行下文描述的步骤S501-S503、步骤S901-S905和步骤S111-S119中描述的内容，或者，执行下文描述的步骤S141-S144中描述的内容。需要说明的是，本申请实施例仅对车牌号码识别装置200的结构和功能模块进行示例性划分，但是并不对其具体划分做任何限定。

第一识别模块201用于识别车辆图像中的车牌放大号，其中，所述车牌放大号为位于目标车辆上区别于车牌的标识。其中，车牌放大号的号码和车牌的号码对应一致。所述目标车辆具有车牌放大号，车辆图像中包括目标车辆的车牌放大号，即车辆图像包括目标车辆的车牌放大号区域。

在其中一种可能实现方式中，基于车牌放大号喷涂的规范性要求不高，随意性比较大，很多情况下车牌放大号并非如车牌可以看作是一个整体，在识别车辆图像中的车牌放大号时，第一识别模块201可以将车辆图像中每个字符作为目标进行检测，然后基于检测输出的每个字符的位置，智能算法对每个字符位置上的字符进行识别，以输出每个位置对应的字符的识别结果，输出的识别结果中可以包括车辆图像中的字符。第一识别模块201将车辆图像中每个字符作为目标进行检测，即包括将目标车辆的车牌放大号区域的字符，如目标车辆车身或者车厢后部喷涂的字符(文字、字母或数字)作为目标进行检测，输出车牌放大号字符的位置，智能算法对每个字符位置上的字符进行识别包括对车牌放大号字符位置上的字符进行识别，由此实现识别车辆图像中的车牌放大号。

其中，目标车辆的车身可能包括与车牌号码相关联的车牌字符和与车牌号码无关联的非车牌字符。车牌字符包括设置车牌号时，用于组成车牌号码的字符，在其中一种可能实现方式中，车牌字符仅指组成车牌号码的字符。非车牌字符可以理解为除了车牌字符之外的字符。以九二式机动车号牌为例，车牌字符包括汉字、英文字母(除I和O)、数字等字符，具体地，车牌字符包括各(省、直辖市、自治区)的简称的字符、英文字母字符(除I和O)、数字(0-9)。其中非车牌字符是与组成车牌号码无关联的字符，即非车牌字符包括与组成车牌号码无关联的字符，其可以为喷涂于车辆身上的除各(省、直辖市、自治区)的简称之外汉字的字符，如“冷”“机”等，还可以为运算符等。非车牌字符可以根据车辆上通常会喷涂的除了车牌号码之外的字符进行设置，本申请对此不做具体限定。字符指类字形单位或符号，包括字母、数字、运算符号、标点符号和其他符号，以及一些功能性符号。其中，智能算法包括但不限于深度学习算法。

第一识别模块201识别车辆图像中的车牌放大号时，输出的字符包括车牌字符和非车牌字符，或仅包括车牌字符。

在其中一种可能实现方式中，第一识别模块201可以根据第二字符数据库识别车辆图像中的字符，其中，所述第二字符数据库包括与车牌号码相关联的所述车牌字符和与车牌号码无关联的非车牌字符。

第一获取模块202用于获取所述车牌放大号的识别结果。第一获取模块202与第一识别模块201通信连接，以根据第一识别模块201对车辆图像的车牌放大号的识别获取车牌放大号的识别结果。在第一识别模块201对车辆图像的车牌放大号进行识别后，第一获取模块202获取第一识别模块201对车牌放大号的识别结果。

在本申请实施例中，第一获取模块202从第一识别模块201中识别输出的结果中获取车牌放大号的识别结果，若第一识别模块201识别输出的字符中仅包括车牌字符，则直接使用该车牌字符生成车牌放大号的识别结果，若第一识别模块201识别输出的字符中包括车牌字符和非车牌字符，则仅使用识别输出的车牌字符生成车牌放大号的识别结果。

在其中一种可能实现方式中，在车辆图像中的字符仅包括车牌字符，如只包括车牌放大号的字符时，第一识别模块201识别输出的字符即为车牌放大号的字符，第一获取模块202获取第一识别模块201识别输出的字符，得到车牌放大号的字符。

在其中一种可能实现方式中，因为目标车辆的车身可能包括车牌字符和非车牌字符，且车牌放大号在车辆上的呈现具有随意性，第一获取模块202需要根据第一识别模块201对车辆图像的车牌放大号的识别所得到的识别结果进行相应处理，以得到车牌放大号的识别结果。具体地，在第一识别模块201识别输出车辆图像中的所有字符后，第一获取模块202需要对识别输出的所有字符进行相应处理，以获得车牌放大号的字符，得到车牌放大号的识别结果。

在其中一种可能实现方式中，第一获取模块202对第一识别模块201识别输出的字符进行相应处理包括第一获取模块202需要使所获取的车牌放大号的识别结果匹配所述目标车辆的车牌号码。

得到模块203用于根据所述车牌放大号的识别结果得到所述目标车辆的车牌号码。得到模块203与第一获取模块202通信连接，根据第一获取模块202中的所述目标车辆的车牌放大号识别结果得到车牌号码。

可选地，该车牌号码识别装置200还可以包括车辆图像获取模块204。车辆图像获取模块204用于获取目标车辆的车辆图像。车辆图像获取模块204可以与第一识别模块201通信连接，以为第一识别模块201提供目标车辆的车辆图像，进而使得第一识别模块201对车辆图像进行识别，识别车辆图像中的车牌放大号。

在其中一种可能实现方式中，车辆图像获取模块204获取摄像机拍摄的图像，根据摄像机拍摄的图像获取得到车辆图像。示例性地，车辆图像获取模块204可以与拍摄目标车辆的摄像机通信连接，以获取摄像机拍摄的包括目标车辆的图像，在该图像中的车辆仅包括目标车辆时，则该图像为车辆图像，在该图像中包括多个车辆时，则从该图像中截取出目标车辆位置区域的车辆图像。又或者，车辆图像获取模块204可以对摄像机拍摄目标车辆的视频进行处理，得到各个图像帧，找到包括目标车辆的图像帧，在该包括目标车辆的图像帧中的车辆仅包括目标车辆时，则该图像帧为车辆图像，在该包括目标车辆的图像帧包括多个车辆时，从该图像帧中截取出目标车辆位置区域的车辆图像。

可选地，该车牌号码识别装置200还可以包括第一判定模块205。第一判定模块205用于判定车辆图像中是否包括车牌放大号。其中，第一判定模块205可以基于车辆的类型和对目标车辆拍摄方向确定车辆图像是否包括车牌放大号，具体地，当智能算法检测到目标车辆为大型的卡车或货车，且拍摄方向为背面方向，即车辆图像为摄像机拍摄目标车辆的尾部的图像时，第一判定模块205认为该车辆图像包括车牌放大号。当智能算法检测到车辆图像为小汽车的车辆图像，则该车辆图像不包括车牌放大号，或，检测到车辆图像为货车，且拍摄方向为正面方向，即车辆图像为摄像机拍摄目标车辆的头部的图像时，则该车辆图像不包括车牌放大号。第一判定模块205与车辆图像获取模块204通信连接，以对车辆图像获取模块204获得的车辆图像进行判定，判定该车辆图像是否包括车牌放大号。

可选地，该车牌号码识别装置200还可以包括第二判定模块206。第二判定模块用于判定是否需要识别车牌放大号。第一判定模块205与第二判定模块206通信连接，在第一判定模块205判定车辆图像包括车牌放大号后，第二判定模块206才可能会去判定是否需要识别车牌放大号。

在其中一种可能实现方式中，第二判定模块206判定的原则可以是基于对车牌的号码识别结果进行分析，根据不同的选择倾向，完成判定的分析。如设置一个阈值，当车牌识别结果的置信度达到该阈值，则认为车牌识别得到的车牌号码结果准确，无需再进行车牌放大号识别。

可选地，该车牌号码识别装置200还可以包括第二识别模块207。第二识别模块207用于识别所述车辆图像中的所述车牌。其中，所述车牌为位于目标车辆上区别于车牌放大号的标识。其中，车牌放大号的号码和车牌的号码对应一致。车牌又称牌照，也指车辆号牌，是分别悬挂在车子前后的板材，通常使用的材质是铝、铁皮、塑料或纸质，在上面刻印车辆的登记号码、登记地区或其他的相关信息。所述目标车辆具有车牌，车辆图像中包括目标车辆的车牌，即车辆图像包括目标车辆的车牌区域。第二识别模块207可以与车辆图像获取模块204通信连接，车辆图像获取模块204为第二识别模块207提供目标车辆的车辆图像，进而使得第二识别模块207对车辆图像进行识别，识别车辆图像中的车牌。

在其中一种可能实现方式中，所述第二识别模块207可以根据第一字符数据库识别所述车辆图像中的字符，其中第一字符数据库包括与车牌号码相关联的车牌字符。具体地，第二识别模块确定车辆图像中车牌的位置，基于车牌的位置根据第一字符数据库识别车牌位置上的字符，得到车牌的字符，输出车牌的识别结果。

第二获取模块208用于获取所述车牌的识别结果。基于车牌上的车牌号码字符均布置在一块板材上，车牌可以看作是一个整体，则基于车牌的识别可以直接输出车牌的识别结果。第二获取模块208可以与第二识别模块207通信连接，获取第二识别模块207的识别结果，得到车牌的识别结果。

在其中一种可能实现方式中，第二获取模块208还可以与第二判定模块206进行通信连接，以在第二获取模块208得到车牌的识别结果后，第二判定模块206获取车牌的识别结果的置信度，进而判定是否需要识别车牌放大号。

在其中一种可能实现方式中，第二获取模块208还可以与得到模块203进行通信连接，以使得得到模块203可以得到车牌的识别结果和车牌放大号的识别结果，进而使得得到模块203根据所述车牌的识别结果和所述车牌放大号的识别结果得到所述目标车辆的车牌号码，得到模块203综合车牌的识别结果和车牌放大号的识别，提高车牌号码识别的准确率。

可选地，该车牌号码识别装置200还可以包括呈现模块(图未示)，该呈现模块用于呈现一个显示界面，呈现模块与得到模块203通信连接，获取目标车辆的车牌号码。在该显示界面上可以呈现所述车辆图像中车牌放大号区域的局部图像，在其中一种可能实现方式中显示界面上可以呈现目标车辆的车辆图像、所述车牌号码、车牌放大号图像和车牌图像中的一种或多种，其中，车牌放大号图像即为所述车辆图像中车牌放大号区域的局部图像，也就是所述目标车辆的车牌放大号区域的局部图像。所述车牌图像即为所述车辆图像中车牌区域的局部图像，也就是所述目标车辆的车牌区域的局部图像。在识别输出车牌放大号后，根据车牌放大号的识别结果可以确定车牌放大号在车辆图像中的位置，进而可以得到车牌放大号区域，从车辆图像中截取出车牌放大号区域，得到车牌放大号图像。在识别输出车牌后，根据车牌的识别结果可以确定车牌在车辆图像中的位置，进而可以得到车牌区域，从车辆图像中截取出车牌区域，得到车牌图像。

其中，第一识别模块201与第二识别模块207可以为不同的独立模块。如第一识别模块201可以根据第二字符数据库对车辆图像中的字符进行相应识别，第二识别模块207可以根据第一字符数据库对车辆图像中的字符进行相应识别。

另外，在一些可能的情况中，上述的该车牌号码识别装置200包括的多个模块中的部分模块的也可以合并为一个模块，例如，上述的第一判定模块205和第二判定模块206可以合并为识别判定模块，也即，该识别判定模块集合了第一判定模块205和第二判定模块206的功能。上述的第一识别模块201与第二识别模块207可以合并为识别模块，也即，该识别模块集合了第一识别模块201与第二识别模块207的功能。

请参阅3，图3为本申请实施例提供一种车牌号码识别系统的结构示意图。该车牌号码识别系统包括摄像机301、网络传输设备302、服务器303和客户端304。

摄像机301用于对目标车辆进行拍摄，以获得目标车辆的车辆图像，其可以是进行水平和垂直两个方向转动的、实现多角度摄像的摄像机301。示例性地，当车辆经过道路上设置的摄像机时，摄像机301会对目标车辆拍摄图像或视频。摄像机301还可以对拍摄得到的车辆图像进行处理，包括但不限于图像处理、本申请的车牌号码识别处理。

网络传输设备302用于进行数据传输，可以为无线网络或者有线网络。

服务器303可以通过网络传输设备302与摄像机301进行通信连接，可以是通过控制指令来控制云台摄像机进行转动和变焦的高性能计算机。服务器303还可以用于对摄像机拍摄的车辆图像进行处理，包括但不限于图像处理、本申请的车牌号码识别处理。

客户端304可以是诸如台式电脑和平板电脑的终端。客户端304可以通过网络传输设备302与摄像机301进行通信连接，并且可以接收并存储服务器303发送的信息。客户端304可以用于显示车牌号码识别结果，如客户端304可以用于呈现显示界面，在显示界面上呈现所述目标车辆的车辆图像、所述车牌号码、车牌放大号图像和车牌图像中的一种或多种，用户通过客户端304的显示界面可以查看相关的信息。客户端304还可以用于对摄像机拍摄的车辆图像进行处理，包括但不限于图像处理、本申请的车牌号码识别处理。

在本申请实施例中，上述介绍的车牌号码识别装置200可以灵活的部署。车牌号码识别装置200可以部署在摄像机303中，也可以部署在服务器303中，在其中一种可能实现方式中，车牌号码识别装置200还可以部署在客户端304中。

当该车牌号码识别装置为硬件设备时，该车牌号码识别装置可以为车牌号码识别系统中的一个计算设备，例如，可以为前述介绍的摄像机、服务器或客户端。请参阅图4，图4为本申请实施例提供的一种计算设备的结构示意图。该计算设备400包括处理器401，通信总线402，存储器403以及至少一个通信接口404。

处理器401可以是一个通用中央处理器(Central Processing Unit，CPU)，特定应用集成电路(application-specific integrated circuit，ASIC)，图形处理器(graphicsprocessing unit，GPU)或其任意组合。处理器401可以包括一个或多个芯片，处理器401可以包括AI加速器，例如：神经网络处理器(neural processing unit，NPU)。

通信总线402可包括在计算设备400各个部件(例如，处理器401、存储器403、通信接口404)之间传送信息的通路。

存储器403可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其它类型的静态存储设备，随机存取存储器(random access memory，RAM))或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储器403可以是独立存在，通过通信总线402与处理器401相连接。存储器403也可以和处理器401集成在一起。存储器403可以存储计算机指令，当存储器403中存储的计算机指令被处理器401执行时，可以实现本申请的车牌号码识别方法。另外，存储器403中还可以存储有处理器在执行下述方法的过程中所需的数据以及所产生的中间数据和/或结果数据。

通信接口404，使用任何收发器一类的装置，用于与其它设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(Wireless Local Area Networks，WLAN)等。

在具体实现中，作为一种实施例，处理器401可以包括一个或多个CPU。

在具体实现中，作为一种实施例，计算机设备可以包括多个处理器。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

接下来对本申请实施例提供的车牌号码识别方法进行介绍。

本申请中使用了流程图用来说明根据本申请的实施例的装置所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

请参阅图5，图5为本申请实施例提供的一种车牌号码识别方法的流程示意图。该车牌号码识别方法可以由前述的车牌号码识别装置来执行，该方法包括以下步骤：

步骤S501：识别车辆图像中的车牌放大号，其中，所述车牌放大号为位于目标车辆上区别于车牌的标识。

在本申请实施例中，输入车辆图像，该车辆图像中包括车牌放大号，对该车辆图像进行处理，识别车辆图像中的车牌放大号。识别车辆图像中的车牌放大号包括识别车辆图像中的字符，目标车辆上喷涂字符的布局具有较大的随意性，且各个车辆之间喷涂字符的布局也具有较大的差异性，示例性地，请参阅图6a，图6a为车辆图像，如图6a，车辆图像中的字符包括了与车牌号码相关联的车牌字符(浙FXXXXX)和与车牌号码无关联的非车牌字符(重型机械)，图6a中的车牌放大号不是一个整体，在车牌放大号“浙FXXXXX”之间还存在其它的文字字符，“浙FX”和“XXXX”之间还存在“重型机械”的文字字符。请参阅图6b，图6b为车辆图像，车辆图像中的字符包括了与车牌号码相关联的车牌字符(皖KQXXXX)和与车牌号码无关联的非车牌字符(冷藏)，图6b中的目标车辆的车厢尾部中车牌放大号“皖KQXXXX”的字符的距离并非如车牌上的字符一样统一，也并非如车牌上的字符由车牌板材框成一个整体。为此，需要本申请的车牌放大号识别方法实现对车牌放大号的识别，识别车辆图像中的每个字符，如通过识别车辆图像中的车牌字符，得到车牌放大号的字符，或，通过识别车辆图像中的车牌字符和非车牌字符，然后对识别输出的字符进行处理，得到车牌放大号的字符，实现识别所述车辆图像中的所述车牌放大号，获取所述车牌放大号的识别结果。

在本申请实施例中，可以根据第二字符数据库识别所述车辆图像中的字符，实现识别所述车辆图像中的车牌放大号。具体地，检测车辆图像中的字符，将每个字符作为目标进行检测，即也将车辆上车牌放大号上的每个字符作为目标进行检测，智能算法通过对车身上每个字符检测，确定车身上每个字符的位置，基于每个字符位置，智能算法对每个位置上的字符进行识别，根据第二字符数据库进行识别。第二字符数据库中包括车牌字符和非车牌字符，其中，车牌字符是与车牌号码相关联，具体可以根据各个地区的车牌号码的规格设置确定车牌字符，获取该车牌字符并存储。非车牌字符是与车牌号码无关联的字符，具体可以根据实际情况中车辆上喷涂的字符确定，如车辆上可以喷涂商标、公司名称或商店名称等，非车牌字符包括商标、公司名称或商店名称等的字符，获取该非车牌字符并存储。

在本申请实施例中，第二字符数据库可以为本地数据库，如车牌号码识别装置部署在摄像机，则第二字符数据库为摄像机上的数据库，第二字符数据库也可以为云端数据库。本申请对此不做具体限定。

在一种可能的实现方式中，车牌号码识别装置可以为用户提供一个显示界面，显示界面包括第一识别项，在用户触发该第一识别项时，则触发车牌放大号的识别。请一并参阅图7，在该显示界面中可以为用户提供车牌号码识别的方式，在显示界面中，车牌号码识别方式有两个选项，分别为车牌识别和车牌放大号识别。在用户选中车牌识别选项，触发车牌的识别，车牌号码识别装置可以通过第二识别模块对车牌进行识别。在用户选中车牌放大号识别选项，即触发第一识别项，车牌号码识别装置可以通过第一识别模块对车牌放大号进行识别。

在一种可能实现方式中，客户端提供该显示界面，用户操作客户端，输入车牌放大号识别方式，则服务器或摄像机或客户端进行车牌放大号识别，获取包括车牌放大号的车辆图像，以识别车辆图像中的车牌放大号。

步骤S502：获取所述车牌放大号的识别结果。

在本申请实施例中，步骤S502可以根据步骤S501中对车辆图像中的车牌放大号的识别获取所述车牌放大号的识别结果。步骤S502中可以对步骤S501中识别输出的识别结果进行处理，以获取所述车牌放大号的识别结果，如可以根据预设规则对所述车辆图像中的字符进行处理，输出车牌放大号的字符，其中所述预设规则用于使输出的字符匹配车牌号码。

在本申请实施例中，步骤S502从步骤S501识别输出的结果中获取车牌放大号的识别结果，若步骤S501识别输出的字符中仅包括车牌字符，则直接使用该车牌字符生成车牌放大号的识别结果，若步骤S501识别输出的字符中包括车牌字符和非车牌字符，则仅使用识别输出的车牌字符生成车牌放大号的识别结果。

在本申请实施中，目标车辆的字符可以包括与车牌号码相关联的车牌字符和与车牌号码无关联的非车牌字符，为此可以根据预设规则对步骤S501识别输出的字符进行处理，如在识别输出的字符中包括非车牌字符时，从步骤S501识别输出的字符中选出符合车牌号码的车牌字符，剔除非车牌字符。在识别输出的车牌字符的数量过多，如在目标车辆的车牌放大号区域上还包括电话号码(数字字符)，则需要对识别输出的车辆图像中的字符进行处理，剔除电话号码，使得输出的字符匹配车牌号码，预设规则要使得输出的字符以及字符的排列顺序或数量符合车牌号码规则，对于不同地区的车牌号码的设置规则不同，则预设规则可以根据实际情况设置，本申请对此不作具体限定。

在其中一种可能实现方式中，所述预设规则包括根据字符的位置进行筛选，基于车牌放大号的车牌的属性以及一般喷涂时候喷涂在同一水平线，将位于同一水平线如同一行的字符筛选出。所述预设规则还可以包括根据字符的内容进行筛选。基于车牌号码的组成有一定的规则，有些字符不能组成车牌号码，或组成车牌号码的字符是有一定的数量限制，为此可以根据字符的内容确定预设规则，以根据预设规则选出符合车牌号码规则的字符。

在本申请实施例中，基于车牌放大号的识别结果可以确定车牌放大号的位置，基于车牌放大号的位置可以确定车牌放大号区域，在步骤S502中获得车牌放大号的识别结果后，基于车牌放大号的识别结果可以确定车牌放大号的字符位置，进而可以根据车牌放大号的字符位置确定车牌放大号区域。其中车牌放大号区域可以是车身或者车厢后部呈现字符的区域，如车身或者车厢后部喷涂、打印或刻印字符的区域，在车牌放大号区域可以包括与车牌号码相关联的车牌字符(如车牌放大号的字符)和与车牌号码无关联的非车牌字符，即在车牌放大号区域的字符包括车牌字符和非车牌字符。请参阅图8a，图8a为对图6a中车身尾部喷涂字符区域进行截图得到的车牌放大号图像，请参阅图8b，图8b为对图6b中车身尾部喷涂字符区域进行截图得到的车牌放大号图像。

在其中一种可能实现方式中，请一并参阅图9，图9为本申请实施例提供的另一种车牌放大号识别方法的流程示意图。以识别车辆图像中的喷涂字符为例，该车牌号码识别方法可以由前述的车牌号码识别装置来执行，该方法包括以下步骤：

步骤S901：检测喷涂字符。

在本申请实施例中，检测车辆图像中的喷涂字符，将每个喷涂字符作为目标进行检测，即将车辆上放大号区域上的每个喷涂字符作为目标进行检测，智能算法通过对车身上每个喷涂字符检测，确定每个喷涂字符的位置。

示例性地，如图6a的车辆图像中的喷涂字符包括“浙FXXXXX”和“重型机械”，则需要检测喷涂字符包括如下：浙、F、X、X、X、X、X、重、型、机、械，进而确定各个喷涂字符的位置，如以“浙”字符的位置为“1”，则依序地，“F”字符的位置为“2”、“X”字符的位置为“3”、“重”字符的位置为“4”、“型”字符的位置为“5”、“机”字符的位置为“6”、“械”字符的位置为“7”、第一个数字字符“X”的位置为“8”、第二个数字字符“X”的位置为“9”、第三个数字字符“X”的位置为“10”、第四个数字字符“X”字符的位置为“11”。如图6b的车辆图像中的喷涂字符包括“皖KQXXXX”和“冷藏”，则需要检测喷涂字符包括如下：皖、K、Q、X、X、X、X、冷、藏，进而确定各个喷涂字符的位置，如以“冷”字符的位置为“1”，则依序地，“藏”字符的位置为“2”、“皖”字符的位置为“3”、“K”字符的位置为“4”、“Q”字符的位置为“5”、第一个数字字符“X”的位置为“6”、第二个数字字符“X”的位置为“7”、第三个数字字符“X”的位置为“8”、第四个数字字符“X”的位置为“9”。

步骤S902：识别每个喷涂字符。

在本申请实施例中，基于步骤S901检测输出的每个喷涂字符的位置，智能算法对每个位置上的喷涂字符进行识别，输出每个位置的喷涂字符的识别结果。示例性地，对图6a的车辆图像，位置“1”输出字符“浙”，位置“2”输出字符“F”，位置“3”输出字符“X”，位置“4”输出字符“重”，位置“5”输出字符“型”，位置“6”输出字符“机”，位置“7”输出字符“械”，位置“8”输出字符“X”，位置“9”输出字符“X”、位置“10”输出字符“X”和位置“11”输出字符“X”。对图6b的车辆图像，位置“1”输出字符“冷”，位置“2”输出字符“藏”，位置“3”输出字符“皖”，位置“4”输出字符“K”，位置“5”输出字符“Q”，位置“6”输出字符“X”，位置“7”输出字符“X”，位置“8”输出字符“X”，位置“9”输出字符“X”。

在本申请实施例中，根据第二字符数据库识别所述车辆图像中的字符，将得与车牌号码相关联的字符(如图6a中的字符“浙FXXXXX”和图6b中的字符“皖KQXXXX”)和与车牌号码无关联的字符(如图6a中的字符“重型机械”、和图6b中的字符“冷藏”)。

步骤S903：根据字符的位置进行筛选。

在本申请实施例中，因为目标车辆的车身可能含有很多字符，包括汉字、阿拉伯数字和字母等，识别出的字符还可能包括非车牌号码的非车牌字符，如图6a中的字符“重、型、机、械”，图6b中的字符“冷、藏”，所以需要对字符的输出进行重组，筛选出符合车牌号码的字符。

在其中一种可能实现方式中，基于车牌放大号的车牌的属性以及一般喷涂时喷涂在同一水平线，所以将在同一水平线的字符筛选出来，如图6b所示，字符“冷藏”与字符“皖KQXXXX”不在同一行，所以可以确定字符“冷藏”与字符“皖KQXXXX”中有一行为车牌放大号。

步骤S904：根据字符的内容进行筛选。

在本申请实施例中，基于车牌号码的组成具有一定规则，根据字符所包含的内容和车牌号码匹配的程度筛选出符合车牌号码的字符，比如车牌号码中的中文仅有省的简称，不存在其他中文字符。基于字符的内容筛选，可以将图6b中的字符“重、型、机、械”和图6b中的字符“冷、藏”剔除。

在其中一种可能实现方式中，车牌的号码长度一般是7-8位等，在识别输出的车牌字符的数量超过常规车牌号码的数量时，可以进行相应的剔除。预设规则可以优选将与省简称的字符作为车牌放大号字符，将远离省简称的字符剔除。示例性地，识别车辆图像中的字符包括“皖KQXXXX13123456789”，基于车牌的号码长度一般是7-8位，识别得到的字符“皖KQXXXX13123456789”为18位，为此将靠近字符“皖”的字符“KQXXXX”以及“皖”作为车牌放大号的字符输出，将远离字符“皖”的字符“13123456789”剔除。

示例性地，如图6b所示，对于两行字符“冷藏”与“皖KQXXXX”，根据字符的内容进行筛选，得到字符“皖KQXXXX”为车牌放大号。

步骤S905：得到最终的识别结果。

在本申请实施例中，步骤S903和步骤S904可以选其中一种对步骤S902识别出的字符处理，也可以将步骤S903和步骤S904结合对步骤S902识别出的字符处理，输出车牌放大号的字符，得到最终的识别结果。如图6a输出的车牌放大号字符包括“浙FMXXXX”，图6b输出的车牌放大号字符包括“皖KQXXXX”。

步骤S503：根据所述车牌放大号的识别结果得到所述目标车辆的车牌号码。

在本申请实施例中，可以根据所述车牌放大号的识别结果得到所述目标车辆的车牌号码，基于步骤S502可以得到车牌放大号的识别结果，基于车牌放大号的号码与车牌的号码一致，由此可以根据所述车牌放大号的识别结果得到所述目标车辆的车牌号码。在其中一种可能实现方式中，显示界面上还可以为用户提供识别结果。请一并参阅图10a，图10a为图6a的识别结果呈现，在图10a显示界面上包括如图8a的车牌放大号图像和车牌号码“浙FXXXXX”。请一并参阅图10b，图10b为图6b的识别结果呈现，在图10b显示界面上包括如图8b的车牌放大号图像和车牌号码“皖KQXXXX”。

在本申请实施例中，进一步地，还可以综合车牌的识别和车牌放大号的识别，以此提高车牌号码识别准确率。

请参阅图11，图11为本申请实施例提供的另一种车牌号码识别方法的流程示意图。该车牌号码识别方法可以由前述的车牌号码识别装置来执行，该方法包括以下步骤：

步骤S111：输入车辆图像。

在本申请实施例中，车辆图像可以包括目标车辆的车牌区域和目标车辆的车牌放大号区域，即车辆图像中包括目标车辆的车牌和车牌放大号，如图1a、图1b、图6a和图6b所示。该车辆图像可以为摄像机单独对目标车辆进行拍摄得到的图像，也可以是摄像机单独对目标车辆拍摄的视频中的图像帧。在摄像机拍摄多个车辆时，得到的包括多个车辆的图像，定位该图像中目标车辆的位置，基于目标车辆的位置区域从该图像中截取出目标车辆，以得到目标车辆的车辆图像。

步骤S112：进行车牌识别。

在本申请实施例中，进行车牌识别时，可以识别所述车辆图像中的所述车牌，获取所述车牌的识别结果。其中，车牌又称牌照，也指车辆号牌，是分别悬挂在车子前后的板材，通常使用的材质是铝、铁皮、塑料或纸质，在上面刻印车辆的登记号码、登记地区或其他的相关信息。

在其中一种可能实现方式中，通过深度学习车牌检测算法检测车辆图像中的车牌，确定出车牌的位置，然后基于该车牌的位置根据第一字符数据库识别车牌上的字符，最后将识别出的字符直接输出，得到车牌的识别结果。其中第一字符数据库中的字符包括与车牌号码相关联的车牌字符，如省的简称、各地级市字母代码、数字。

可以理解，车牌的识别与车牌放大号的识别不一样，首先，识别的对象不一样，车牌放大号字符的组成和常规的车牌组成不一样，常规的车牌是在板材上刻印车辆的登记号码、登记地区或其他的相关信息，而车牌放大号是在车身上呈现车辆的登记号码、登记地区或其他的相关信息。车牌上的字符是一个整体，而车牌放大号的字符通常不是一个整体，如图1b和图6a所示。其次，检测方式不同，识别车牌时，检测出车牌的位置即可以基于车牌的位置识别车牌的字符。而识别车牌放大号时，需要将车辆图像中的每个字符作为目标进行检测，确定每个字符的位置。其次，识别时使用的字符数据库不同，识别车牌使用的第一字符数据库，第一字符数据库包括与车牌号码相关联的车牌字符，而识别车牌放大号使用的第二字符数据库，第二字符数据库包括与车牌号码相关联的车牌字符以及与车牌号码无关联的非车牌字符。其次，识别的方式不一样，识别车牌时，基于车牌的位置识别车牌板材上的字符，并直接输出识别的字符。而识别车牌放大号时，确定车辆图像中每个字符的位置后，然后基于车辆图像中每个字符的位置使用第二字符数据库识别每个位置上的字符。最后识别结果的输出不同，车牌识别时，直接根据车牌的识别输出的字符即得到车牌的识别结果。而车牌放大号识别时，需要对识别输出的字符进行处理，如根据预设规则对识别出的字符进行筛选处理，以使得输出的字符匹配车牌号码，在识别输出的字符包括车牌字符和非车牌字符时，仅使用车牌字符生成所述车牌放大号的识别结果。

步骤S113：判断车辆图像是否包括车牌放大号。

在本申请实施例中，在使用车牌放大号识别目标车辆的车牌号码时，需要先确定目标车辆是否具有车牌放大号，判断车辆图像中目标车辆是否包括车牌放大号，在没有车牌放大号时执行步骤S114，在具有车牌放大号时执行步骤S115。

在其中一种可能实现方式中，通过车辆类型和拍摄方向确定车辆图像是否包括车牌放大号，示例性地，当智能算法检测出车辆图像中的目标车辆为具有车牌放大号的车型，如大型的卡车、货车、水泥槽罐车或渣土车时，车牌号码识别装置根据拍摄目标车辆的角度方向确定是否包括车牌放大号。其中，拍摄方向包括正面方向、斜侧方向、侧面方向、背面方向，其中正面方向是指面对被摄对象正面进行拍摄的拍摄方向，如摄像机面向目标车辆的车头进行拍摄。斜侧方向是指偏离正面方向，或左、或右环绕对象移动到侧面方向之间进行拍摄的拍摄方向，即拍摄被摄对象正面部分，又拍摄侧面部分，如倾斜面向目标车辆的车头进行拍摄。侧面方向是指面向被摄对象侧面进行拍摄的拍摄方向，如面向目标车辆的侧部进行拍摄。背面方向是指面向被摄对象背面进行拍摄的拍摄方向，如面向目标车辆的车尾进行拍摄。

在本申请实施例中，在检测出车辆图像中目标车辆的车辆类型为具有车牌放大号的车型时，拍摄方向为斜侧方向、侧面方向、背面方向时，可以确定车辆图像具有车牌放大号。在检测出车辆图像中目标车辆的车辆类型为具有车牌放大号的车型基础上，在某些情况下，目标车辆仅在背面即车厢后部上呈现车牌放大号，则基于斜侧方向、侧面方向拍摄的目标车辆中可能不包括车牌放大号，可以仅拍摄方向为背面方向时，车辆图像中包括车牌放大号。在某些情况下，斜侧方向拍摄的目标车辆中车牌放大号无法有效呈现，无法确定拍摄的目标车辆是否包括车牌放大号，则可以仅拍摄方向为侧面方向、背面方向时，车辆图像中包括车牌放大号。示例性地，在检测出车辆图像中的目标车辆为具有车牌放大号的车型时，若拍摄方向为背面方向，如拍摄的车辆图像为目标车辆的尾部，则确定该车辆图像中包括车牌放大号。若拍摄方向为正面方向，如拍摄的车辆图像为目标车辆的头部，基于车牌放大号一般位于车辆的尾部或侧部，则确定该车辆图像中不包括车牌放大号。

在本申请实施例中，车牌号码识别装置可以从摄像机处获得摄像机拍摄目标车辆的拍摄方向，进而可以根据摄像机拍摄的目标车辆的角度方向确定拍摄方向，如综合摄像机的设置与车道的设置，在摄像机设置在车道上，镜头面向车辆行驶方向，则在车辆经过摄像机时，摄像机拍摄方向为背面方向，拍摄得到的是目标车辆的尾部图像。

在其中一种可能实现方式中，请一并参阅图12，显示界面上还可以包括第二识别项，该第二识别项用于供用户选择所述目标车辆的拍摄方向，其中所述拍摄方向包括正面方向、侧面方向和背面方向，根据用户的选择进而确定目标车辆是否包括车牌放大号，目标车辆的车辆图像是否包括车牌放大号。智能算法确定出车辆类型，用户在显示界面上选择拍摄方向为侧面方向或背面方向时，触发第二识别项，车牌号码识别装置根据用户触发第二识别项和当前目标车辆为具有车牌放大号的车型，确定车辆图像中包括车牌放大号。对于不包括车牌放大号的车辆类型和拍摄方向为正面方向时，可以确定该车辆图像中目标车辆不包括车牌放大号。

步骤S114：输出车牌识别结果。

在本申请实施例中，步骤S113判断车辆图像不具有车牌放大号时，将车牌的识别结果输出，在显示界面上呈现车牌的识别结果。

步骤S115：判断是否需要识别车牌放大号。

在本申请实施例中，在步骤S115中判断出不需要识别车牌放大号，则进行步骤S116，在步骤S115中判断出需要识别车牌放大号，则进行步骤S117。

在本申请实施例中，判定目标车辆的车牌放大号是否需要识别的主要原则是基于当前的车牌号码识别的结果，进行分析，根据不同的选择倾向，完成判定的分析。在其中一种判断的方式中：如果车牌识别结果置信度已经超过一定的阈值比如95％，则认为当前的车牌号码识别已经可以认为正确，此时无需再进行车牌放大号识别。反之则需要进行车牌放大号识别。其中，置信度是深度学习车牌检测算法或智能算法判定车牌号码识别的正确性依据。在另一种判断方式中，若用户选择了车牌放大号识别，检测到车牌识别结果的置信度未达到一定的阈值如99％，则认为当前的车牌号码识别结果仍存在误差，需要再进行车牌放大号识别。在另一种判断方式中，若用户未选择车牌放大号识别，检测到车牌识别结果的置信度未达到一定的阈值如85％，则可以在显示界面上呈现提示，询问用户是否需要进行车牌放大号识别。

步骤S116:输出车牌识别结果。

在本申请实施例中，步骤S115判断不需要识别车牌放大号时，将车牌的识别结果输出，在显示界面上呈现车牌的识别结果。

步骤S117：进行车牌放大号识别。

在本申请实施例中，进行车牌放大号的识别可以参考上述车牌放大号的识别流程，本申请对此不再赘述。

在其中一种可能实现方式中，在对车辆图像进行车牌识别后，可以根据车牌的识别结果确定车牌的区域，则在进行车牌放大号识别时，可以将车辆图像中车牌区域进行遮挡，避免对车牌区域进行识别，进而在将车辆图像中的每个字符作为目标进行检测识别时，可以不对车牌进行检测识别处理。

步骤S118：融合车牌的识别结果和车牌放大号的识别结果。

在本申请实施例中，所述根据所述车牌的识别结果和所述车牌放大号的识别结果得到所述目标车辆的车牌号码即融合车牌的识别结果和车牌放大号的识别结果，可以包括：选择所述车牌的识别结果和所述车牌放大号的识别结果中的一个作为所述目标车辆的车牌号码；或，结合所述车牌的识别结果和所述车牌放大号的识别结果，各选所述车牌的识别结果的一部分和所述车牌放大号的识别结果一部分组成所述目标车辆的车牌号码。

在本申请实施例中，融合车牌的识别结果和车牌放大号的识别结果，完成最终识别结果的输出，提高车牌号码识别率和准确率。可以通过多种方式对车牌的识别结果和车牌放大号的识别结果完成融合。在实际使用中，融合可采用基于图卷积等方式实现，本方案中不限定具体使用的方法。

在其中一种可能的设计中，所述根据所述车牌的识别结果和所述车牌放大号的识别结果得到所述目标车辆的车牌号码具体包括：获取所述车牌的识别结果中每个车牌字符的第一置信度；获取所述车牌放大号的识别结果中每个车牌字符的第二置信度；比较所述第一置信度和所述第二置信度；选择置信度高的车牌字符组成所述目标车辆的车牌号码。

在其中一种可能实现方式中，融合车牌的识别结果和车牌放大号的识别结果，选择所述车牌的识别结果和所述车牌放大号的识别结果中的一个作为所述目标车辆的车牌号码。

在其中一种可能实现方式中，所述选择所述车牌的识别结果和所述车牌放大号的识别结果中的一个作为所述目标车辆的车牌号码具体包括：比较所述车牌的识别结果的置信度和所述车牌放大号的识别结果的置信度；将置信度大的识别结果作为所述目标车辆的车牌号码。

在其中一种可能实现方式中，所述选择所述车牌的识别结果和所述车牌放大号的识别结果中的一个作为所述目标车辆的车牌号码具体包括：获取所述车牌的识别结果的置信度，检测到所述置信度低于预设阈值时，将所述车牌放大号的识别结果作为所述目标车辆最终的车牌号码本申请对此不作具体限定。其中，所述车牌的识别结果的置信度可以为车牌的整体置信度。

请参阅表1，表1给出车牌识别结果的置信度和车牌放大号识别结果的置信度。

表1

作为第一种示例，基于整体置信度进行融合，车牌和车牌放大号在输出识别的字符时，会携带各个识别结果的整体置信度，智能算法判定哪个识别结果的置信度更高，选择置信度更高的识别结果。比如表1中车牌输出字符：浙A12345，车牌所输出的字符的整体置信度为81％，车牌放大号输出字符：沪A12356，车牌放大号所输出的字符的整体置信度为77％。此时根据整体置信度，最终选择浙A12345作为融合后的车牌号码识别结果。

作为第二种示例，基于每个位置字符置信度进行融合，车牌和车牌放大号在输出识别的字符时，会对每个位置的字符输出对应的置信度，如表1中，车牌识别结果中字符“浙”的置信度为0.7。车牌放大号识别结果中字符“沪”的置信度为0.8。根据每个位置的字符的置信度，选择每个位置置信度高的字符作为融合后的车牌号码识别结果，最终选择沪A12355作为融合后的车牌号码识别结果。

作为第三种示例，基于车牌先验倾向进行融合，认为车牌的识别效果会相对更好，在融合时选择在一般的场景下，首先倾向于车牌的识别结果，只有当车牌的置信度小于某一个阈值(比如0.6)时，才选择车牌放大号的识别结果，如表1中，如果优先信任车牌，最终选择浙A12345作为融合后的车牌号码识别结果。

步骤S119：输出融合后的车牌号码识别结果。

在本申请实施例中，根据选择的融合方式输出融合后的车牌号码识别结果。如上述第一种示例中，输出融合后的车牌号码识别结果为浙A12345。上述第二种示例中，输出融合后的车牌号码识别结果为沪A12355。上述第三种示例中，输出融合后的车牌号码识别结果为浙A12345。

下面以车牌被完全遮挡和车牌被部分遮挡两种应用场景进行具体说明。

第一种应用场景中，请一并参阅图13，图13中目标车辆的车牌被完全遮挡而可能无法识别，车牌识别装置可以执行步骤S111至步骤S119，在完成车牌的检测识别的基础上，完成车牌放大号识别，并最终根据车牌的识别结果和车牌放大号的识别结果，综合输出识别的车牌号码。具体地，以如图13作为输入图片，深度学习车牌检测算法识别其中的车牌，并给出其坐标位置，因为在图13中，车牌无法辨识，最终很大概率车牌无法识别，没有输出车牌识别结果。然后检测到第一识别项被触发，可以将第一识别项设置为默认，识别图13中的车牌放大号，得到车牌放大号的识别结果，基于没有输出车牌识别结果，将车牌放大号的识别结果作为融合后的车牌号码识别结果输出，显示界面上可以呈现车牌放大号的识别结果，并按车牌放大号的位置给出车牌号码抓拍图即车牌放大号图像，显示界面上呈现车牌放大号图像和根据识别车牌放大号得到的车牌号码。

第二种应用场景中，以图1a为例进行说明，图1a中的车牌因为拍摄角度而无法完整识别，导致个别字符无法识别，或者即便识别，识别效果也会较差。但车身上的放大号本身是较为清晰可见的，通过车牌放大号的识别，可以形成最终较好的识别效果。车牌识别装置可以执行步骤S111至步骤S119，在完成车牌的检测识别的基础上，完成车牌放大号识别，最终根据车牌的识别结果和车牌放大号的识别结果，综合输出识别的车牌号码。具体地，以图1a作为输入图片，深度学习车牌检测算法识别图1a中的车牌，并给出其坐标位置，因为在该图1a中，车牌部分被遮挡，最终很大概率车牌只能部分正确输出，比如正确输出省的简称或各地级市字母代码或部分号牌码数字，如图1a，其第一位省份码和第二位城市码因为不可见，其虽然识别，但识别置信度一般会很低。然后检测到第一识别项被触发，可以将第一识别项设置为默认，识别图1a中的车牌放大号，得到车牌放大号的识别结果，在图1a中车牌部分可见，车牌放大号全部可见，会以车牌放大号的识别结果加车牌的识别结果的形式，综合车牌的识别结果和车牌放大号的识别结果并输出融合后的车牌号码识别结果，可以选择按车牌放大号的位置给出车牌号码抓拍图即车牌放大号图像，也可以按车牌和车牌放大号的位置给出车牌图像和车牌放大号图像。

在本申请实施例中，通过对车牌放大号的识别可以提高整体的车牌识别率，当原车牌无法识别时，可以通过车牌放大号提供车牌号码识别结果，提高识别率。当原车牌部分无法识别时，车牌放大号可以补充车牌号码识别结果，提高车牌号码识别准确率。原车牌号码可以识别时，也可以通过车牌放大号的进一步识别，提高整体的车牌号码识别正确率。

进一步地，通过对车牌放大号的存在性判定、是否需要识别车牌放大号判定，可以最大限度减少额外的计算开销，同时又能够在最需要识别的场景下提供车牌放大号识别能力。本方法提供的车牌放大号识别方法，融合车牌和车牌放大的方法，作为有机整体的一部分，构成了整个基于车牌放大号的识别来提高整体车牌识别率的方法。

上述实施例主要介绍了车牌号码识别装置识别的实现过程，接下来从用户与车牌号码识别装置进行交互的角度来介绍该车牌号码方法的实现流程，示例性地，请参阅图14，该方法可以由前述的车牌号码识别装置来执行，该方法包括以下步骤：

步骤S141：提供显示界面，所述显示界面包括第一识别项。

在本申请实施例中，车牌号码识别装置可以向用户对应的客户端发送显示界面的相关信息，由该客户端显示该显示界面，以将该显示界面提供给用户，便于用户进行相应识别项的设置，以及为用户呈现车牌号码识别的结果，包括但不限于车牌号码、相关图像等。

其中，显示界面的实现方式可以参考图7、图10a、图10b和图12所示的实施例中介绍的显示界面，本申请对此不作具体限定。

步骤S142：检测到所述第一识别项触发，识别车辆图像中的车牌放大号，其中，所述车牌放大号为位于目标车辆上区别于车牌的标识。

在本申请实施例中，车牌号码识别装置可以获取用户在显示界面上输入的信息，如用户触发第一识别项，获得第一识别项对应的信息，启动车牌放大号的识别。在其中一种可能实现方式中，启动车牌放大号的识别时，可以仅进行车牌放大号识别，还可以进行车牌识别和车牌放大号识别。

步骤S143：获取所述车牌放大号的识别结果。

在本申请实施例中，车牌号码识别装置可以执行上述车牌号码识别的方法流程步骤，本身对此不再赘述。

步骤S144：根据所述车牌放大号的识别结果得到所述目标车辆的车牌号码。

在得到车牌放大号的识别结果之后，车牌号码识别装置可以向客户端反馈车牌放大号的识别结果，可选地，车牌号码识别装置还可以向客户端反馈车牌放大号图像、车牌图像、各个图像识别结果以及各个图像识别结果的置信度以及最终的车牌号码等。

在其中一种可能实现方式中，在车牌号码识别装置同时识别车牌和车牌放大号时，请参阅图15，显示界面呈现车牌放大号图像和车牌图像以及最终输出的车牌号码。所述根据所述车牌的识别结果和所述车牌放大号的识别结果得到所述目标车辆的车牌号码具体包括：选择所述车牌的识别结果和所述车牌放大号的识别结果中的一个作为所述目标车辆的车牌号码。

上述各个附图对应的流程的描述各有侧重，某个流程中没有详述的部分，可以参见其他流程的相关描述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。实现车牌号码识别的计算机程序产品包括一个或多个进行车牌号码识别的计算机指令，在计算机上加载和执行这些计算机程序指令时，全部或部分地产生按照本申请实施例图5、图9和图11所述的流程或功能，或者，全部或部分的产生按照本申请实施例图14所述的流程或功能。

所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(digital subscriber line，DSL))或无线(例如：红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(digital versatile disc，DVD))、或者半导体介质(例如：固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。