车牌识别方法、装置及电子设备

技术领域

本申请属于车辆信息识别技术领域，尤其涉及车牌识别方法、装置、电子设备及计算机可读存储介质。

背景技术

为了便于用户快速出行，比如，为了便于用户快速进、出停车场，通常会在停车场的出入口设置车牌识别装置，以自动识别进出车辆的车牌。

现有的车牌识别方法在进行车牌识别时，有时候得到的是错误的识别结果。

发明内容

本申请实施例提供了车牌识别方法，能够得到更准确的车牌识别结果。

为解决上述技术问题，本申请实施例采用的技术方案是：

第一方面，本申请实施例提供了一种车牌识别方法，包括：

对视频流中的第N个图像帧进行车牌检测，得到第一车牌检测结果，所述第一车牌检测结果用于指示所述第N个图像帧是否存在第一车牌，若存在所述第一车牌，则指示所述第一车牌在所述第N个图像帧的位置，其中，N为整数，N大于或等于1；

若所述第一车牌检测结果指示所述第N个图像帧存在第一车牌，则根据所述第一车牌在所述第N个图像帧的位置以及所述第一车牌的内容信息，从所述第一车牌中分割出文字区域和数字区域；

对从所述第一车牌中分割出的所述文字区域和所述数字区域进行识别，得到所述第一车牌的第一识别结果。

第二方面，本申请实施例提供了一种车牌识别装置，包括：

第一车牌检测单元，用于对视频流中的第N个图像帧进行车牌检测，得到第一车牌检测结果，所述第一车牌检测结果用于指示所述第N个图像帧是否存在第一车牌，若存在所述第一车牌，则指示所述第一车牌在所述第N个图像帧的位置，其中，N为整数，N大于或等于1；

第一车牌内容分割单元，用于若所述第一车牌检测结果指示所述第N个图像帧存在第一车牌，则根据所述第一车牌在所述第N个图像帧的位置以及所述第一车牌的内容信息，从所述第一车牌中分割出文字区域和数字区域；

第一车牌内容识别单元，用于对从所述第一车牌中分割出的所述文字区域和所述数字区域进行识别，得到所述第一车牌的第一识别结果。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面所述的方法。

有益效果

本申请实施例中，由于根据车牌本身内容信息对车牌进行分割，因此能够得到该车牌更准确的文字区域和数字区域，进而对这些更准确的文字区域和数字区域进行识别后，能够得到更准确的车牌识别结果。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本申请实施例一提供的一种车牌识别方法的流程示意图；

图2是本申请实施例一提供的另一种车牌识别方法的流程示意图；

图3是本申请实施例一提供的一种对具体车牌进行车牌识别的示意图；

图4是本申请实施例二提供的一种车牌识别装置的结构示意图；

图5是本申请实施例三提供的电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。

目前的车牌识别方法中，有可能得到错误的识别结果。本申请发明人通过分析可知，现有的车牌识别方法只能对有固定格式的车牌进行识别，其需要将车牌上的字符信息划分为单个规整的字符区域，并以固定的窗口对每一个字符单元分别进行识别，也即，一旦车牌的格式发生改变，将会出现严重的识别错误，比如中东车牌上具有多种字符，包括阿拉伯数字，阿拉伯语等，其车牌的字符布局也具有繁多的样式，冗余信息多，字符小，若采用现有的车牌识别方法，将会出现严重的分割错误和识别错误，单个分割区域的识别准确率下降会造成车牌整体的准确率大幅下降，进而导致得到的识别结果的准确率较低。为了解决上述技术问题，本申请实施例提供了一种新的车牌识别方法，在该车牌识别方法中，根据车牌本身的内容信息对车牌进行分割，得到该车牌的文字区域和数字区域，再对该文字区域和数字区域进行识别，得到最终的车牌识别结果。由于根据车牌本身内容信息对车牌进行分割，因此能够得到该车牌更准确的文字区域和数字区域，进而对这些更准确的文字区域和数字区域进行识别后，能够得到更准确的车牌识别结果。

下面结合附图对本申请实施例提供的车牌识别方法进行描述：

图1示出了本申请实施例提供的一种车牌识别方法的流程图，在本申请实施例中，第一车牌、第二车牌中的“第一”和“第二”仅用于区分不同图像帧的车牌，并无特殊含义，其余包含“第一”，“第二”的命名与此类似，后续不再赘述：

步骤S11，对视频流中的第N个图像帧进行车牌检测，得到第一车牌检测结果，该第一车牌检测结果用于指示该第N个图像帧是否存在第一车牌，若存在该第一车牌，则指示该第一车牌在该第N个图像帧的位置，其中，N为整数，N大于或等于1。

本申请实施例中，视频流包括多个图像帧，该步骤的第N个图像帧为该视频流中的任一个图像帧，例如，当N等于1时，该第N个图像帧表示该视频流中的第一个图像帧，当N等于2时，该第N个图像帧表示该视频流中的第二个图像帧。在本实施例中，N的最大值与视频流本身包含的图像帧的个数相等，例如，若视频流包括的图像帧的个数为30帧，那么上述的N的最大值为30。

在一些实施例中，上述步骤S11具体包括：通过第一目标检测模型对视频流中的第N个图像帧进行车牌检测，得到第一车牌检测结果。

本实施例中，采用第一目标检测模型进行车牌检测后，得到第一车牌在第N个图像帧的位置以及对应的置信度。当置信度较大，比如大于预设的置信度阈值，则表明该第一目标检测模型输出的针对第一车牌的第一车牌检测结果具有较高的把握，并将对应的位置传送到下一个算法。其中，第一车牌在第N个图像帧的位置可用车牌左上(x1，y1)和右下(x2，y2)两个点的坐标所定位的矩形的检测框表示，或者，用4个角点坐标所构成的多边形框表示。其中，该第一目标检测模型可以为One-stage目标检测模型，该One-stage目标检测模型包括但不限于YOLO，SSD等目标检测算法所构成的目标检测模型。上述的第一目标检测模型为对第二目标检测模型进行训练后得到的模型，该第一目标检测模型为具有神经网络的模型。具体地，通过以下方式对第二目标检测模型进行训练：

获取摄像头捕获的图像，通过人工对图像中的车牌的坐标进行标注，得到对应的训练标签，采用具有训练标签的摄像头捕获的图像对第二目标检测模型进行训练，得到第一目标检测模型。需要指出的是，当上述摄像头捕获的图像包含的车牌所属的国家不同时，得到的第一目标检测模型能够识别的车牌所属的国家也不同。例如，当车牌所属的国家均为中国时，得到的第一目标检测模型能够识别的车牌所属的国家为中国。当车牌所属的地区均为北美地区时，得到的第一目标检测模型能够识别的车牌所属的地区为北美地区。当车牌所属的国家包括多个时，得到的第一目标检测模型能够识别的车牌所属的国家也包含多个，即通过采用混合了不同国家的车牌对第二目标检测模型进行训练，使得得到的第一目标检测模型能够识别对应不同国家的车牌。

步骤S12，若该第一车牌检测结果指示该第N个图像帧存在第一车牌，则根据该第一车牌在该第N个图像帧的位置以及该第一车牌的内容信息，从该第一车牌中分割出文字区域和数字区域。

本申请实施例中，第一车牌的内容信息是指该第一车牌中所包含的文字信息和数字信息，以及该文字信息和该数字信息在第一车牌的区域位置。

在一个车牌中，除了数字信息还有文字信息，由于对数字信息的识别和对文字信息的识别是不同的，因此，在本申请实施例中，需要分别从第一车牌分离出文字区域和数字区域，以便后续通过对文字区域中的文字和对数字区域中的数字进行识别后，得到准确的识别结果。

当然，若第一车牌检测结果指示第N个图像帧不存在第一车牌，则继续对该第N个图像帧的下一个图像帧进行车牌检测。

步骤S13，对从该第一车牌中分割出的该文字区域和该数字区域进行识别，得到该第一车牌的第一识别结果。

本实施例中，通过分别识别分割出的文字区域和数字区域，得到第一车牌的第一识别结果，该第一识别结果包含该第一车牌的城市信息和车牌号信息等。

本申请实施例中，由于根据车牌本身内容信息对车牌进行分割，因此能够得到该车牌更准确的文字区域和数字区域，进而对这些更准确的文字区域和数字区域进行识别后，能够得到更准确的车牌识别结果。

在一些实施例中，上述步骤S13具体包括：通过第一车牌识别模型对从该第一车牌中分割出的该文字区域和该数字区域进行识别，得到该第一车牌的第一识别结果。其中，上述的第一车牌识别模型为对第二车牌识别模型进行训练后得到的模型，该第一车牌识别模型为具有神经网络的模型。具体地，通过以下方式对第二车牌识别模型进行训练：

获取输入该第二车牌识别模型的分割好的车牌图像，通过人工标注或合成车牌内容字符串，得到对应的训练标签。上述的车牌内容字符串包括文字和数字。采用上述分割好的车牌图像和训练标签对第二车牌识别模型进行训练，得到第一车牌识别模型。

图2示出了本申请实施例提供的另一种车牌识别方法的流程图，本实施例中，为了提高输出的车牌识别结果的准确性，除了对当前图像帧(第N个图像帧进行车牌检测)，还对该当前图像帧的下一个图像帧(第N+1个图像帧进行车牌检测)，最后结合相邻图像帧的检测结果，得到最终输出的车牌识别结果，其中，步骤S21、步骤S22、步骤S23与上述的步骤S11、步骤S12、步骤S13相同，此处不再赘述：

步骤S21，对视频流中的第N个图像帧进行车牌检测，得到第一车牌检测结果，该第一车牌检测结果用于指示该第N个图像帧是否存在第一车牌，若存在该第一车牌，则指示该第一车牌在该第N个图像帧的位置，其中，N为整数，N大于或等于1。

步骤S22，若该第一车牌检测结果指示该第N个图像帧存在第一车牌，则根据该第一车牌在该第N个图像帧的位置以及该第一车牌的内容信息，从该第一车牌中分割出文字区域和数字区域。

步骤S23，对从该第一车牌中分割出的该文字区域和该数字区域进行识别，得到该第一车牌的第一识别结果。

步骤S24，分别对该视频流中的M个图像帧进行车牌检测，得到M个第二车牌检测结果，该第二车牌检测结果用于指示该M个图像帧中进行车牌检测的图像帧是否存在第二车牌，若存在该第二车牌，则指示该第二车牌在该M个图像帧中进行车牌检测的图像帧的位置，该M个图像帧均为该第N个图像帧之后的图像帧，M大于或等于1。

本申请实施例中，当M等于2时，将分别对该2个图像帧(比如第N+1图像帧和第N+2图像帧)进行车牌检测，对每一个图像帧进行车牌检测以及识别的过程均与对第N个图像帧进行车牌检测以及识别的过程相似，此处不再赘述。

步骤S25，若该M个第二车牌检测结果中存在至少一个目标车牌检测结果，则根据该至少一个目标车牌检测结果所指示的至少一个第二车牌在该M个图像帧中进行车牌检测的图像帧的位置以及该至少一个第二车牌的内容信息，分别从该至少一个第二车牌中分割出文字区域和数字区域，其中，该目标车牌检测结果是指包括了指示该第二车牌在该M个图像帧中进行车牌检测的图像帧的位置的车牌检测结果。

假设对第N+1个图像帧进行车牌检测后，得到的第二车牌检测结果为M1，该M1指示该第N+1个图像帧存在第二车牌m1。对第N+2个图像帧进行车牌检测后，得到的第二车牌检测结果为M2，该M2指示该第N+1个图像帧没有存在第二车牌，M1为目标车牌检测结果。根据m1在第N+1个图像帧的位置以及该m1的内容信息，从m1中分割出文字区域和数字区域。

步骤S26，对分别从该至少一个第二车牌中分割出的该文字区域和该数字区域进行识别，得到该至少一个第二车牌的至少一个第二识别结果。

本申请实施例中，假设需要对2个第二车牌(第二车牌m1和第二车牌m2)的文字区域和数字区域识别，则先识别出第二车牌m1的文字区域和该第二车牌m1的数字区域，得到一个第二识别结果，之后，再识别第二车牌的m2的文字区域和该第二车牌m2的数字区域，得到另一个第二识别结果。

步骤S27，根据该至少一个第二车牌在该M个图像帧中进行车牌检测的图像帧的位置以及该第一车牌在该第N个图像帧的位置分别判断该至少一个第二车牌与该第一车牌是否匹配。

本实施例中，若第一车牌和第二车牌匹配，则表明该第一车牌和第二车牌是相同的车牌，若第一车牌和第二车牌不匹配，则表明该第一车牌和第二车牌不是相同的车牌。具体地，可将该第一车牌的位置和该第二车牌的位置比较，若两者在相邻图像帧中的位置变化很小，则判定第一车牌和第二车牌匹配，否则，判定第一车牌和第二车牌不匹配。

需要指出的是，上述步骤S27也可以在步骤S24之后或步骤S25之后执行，此处不作限定。

步骤S28，根据该第一车牌的第一识别结果和目标识别结果确定输出的车牌识别结果，其中，该目标识别结果是指与该第一车牌匹配的第二车牌所对应的第二识别结果。

本实施例中，可根据第一识别结果中第一车牌的位置的置信度，和目标识别结果中第二车牌的位置的置信度确定输出的车牌识别结果。或者，通过对第一识别结果和目标识别结果中的信息进行组合，比如，选取第一识别结果中的部分信息，以及，选取目标识别结果中的部分信息，再将选取的2部分信息进行组合，确定输出的车牌识别结果。

本申请实施例中，判断相邻图像帧中是否存在相同的车牌，并在存在相同的车牌时，根据该相同的车牌分别在相邻图像帧中识别结果确定输出的车牌识别结果。也即，通过增加其他图像帧队同一车牌的识别结果来确定最终的车牌识别结果，从而能够提高得到的车牌识别结果的准确性。

在一些实施例中，若分别从第一识别结果和目标识别结果选取部分内容组成最终的车牌识别结果，且上述的目标识别结果的个数大于或等于2，则该步骤S28，包括：

A1、根据预设的输出格式对该第一识别结果进行拆分，得到第一拆分内容，该第一拆分内容包括至少2个拆分子内容，每一个该拆分子内容与一个置信度对应。

A2、根据预设的输出格式分别对至少2个该目标识别结果进行拆分，得到至少2个第二拆分内容，该第二拆分内容包括至少2个拆分子内容，每一个拆分子内容与一个置信度对应。

A3、分别累加该第一拆分内容和该至少2个该第二拆分内容中具有相同拆分子内容的置信度，按照该预设的输出格式分别选取累加后置信度高的拆分子内容，并组成输出的车牌识别结果。

本实施例中，首先将第一识别结果和目标识别结果均按照预设的输出格式进行拆分，使得不同种类的车牌均被概括在同一结构框架下，再根据拆分得到的拆分子内容及对应的置信度，确定具有同一拆分子内容对应的累加后的置信度，当预设的输出格式中的同一位置，其对应的拆分子内容对应的累加后的置信度越高，表明该位置为越高的累加后的置信度所对应的拆分子内容的概率越高，因此，按照预设的输出格式分别选取累加后置信度高的拆分子内容，并组成输出的车牌识别结果所对应的准确度越高(即根据投票机制输出车牌识别结果)。例如，假设预设的输出格式为“城市”+“车牌号码”，第一识别结果对应的拆分子内容分别为“DUBAI”+“I 55555”，对应的置信度分别为“0.6”，“0.7”，目标识别结果1对应的拆分子内容分别为“DUBAI”+“I 55556”，对应的置信度分别为“0.7”，“0.6”，目标识别结果2对应的拆分子内容分别为“DUBAL”+“I 55555”，对应的置信度分别为“0.5”，“0.5”，则拆分子内容“粤B”对应的累加后的置信度为“0.6+0.7＝1.3”，拆分子内容“DUBAL”对应的累加后的置信度为“0.5”。拆分子内容“I 55555”对应的累加后的置信度为“0.7+0.5＝1.2”，拆分子内容“I 55556”对应的置信度为“0.6”，由于1.3大于0.5,1.2大于0.6，故最后得到的车牌识别结果为“DUBALI 55555”。

在一些实施例中，若该第一车牌和该第二车牌的个数均大于1，则上述步骤S27，包括：

B1、从该第N个图像帧至第N+M个图像帧中选取出M个图像帧队，一个该图像帧队为两个相邻的图像帧。

本申请实施例中，由于在对第N个图像帧进行车牌检测之后，还对该第N个图像帧之后的M个图像帧进行车牌检测，也即，是对第N个图像帧至第N+M个图像帧进行车牌检测。从这(M+1)个图像帧中，将相邻的两个图像帧划为一个图像帧队，供划分出M个图像帧队。

B2、对该M个图像帧队中的任一图像帧队，根据该图像帧队中的该第二车牌在图像帧的位置以及该第一车牌在图像帧的位置判断该第一车牌和该第二车牌是否匹配。

重复执行上述B2，直到该M个图像帧队中的任一图像帧队中的第一车牌和第二车牌均已匹配结束。

例如，假设M等于2，N＝1，则将视频流中的第1个图像帧和第2个图像帧划分为一个图像帧队(假设为图像帧队1)，将第2个图像帧和第3个图像帧划分为一个图像帧队(假设为图像帧队2)，则根据第二车牌在第2个图像帧的位置以及第一车牌在第1个图像帧的位置判断第一车牌和第二车牌是否匹配。之后，再根据第二车牌在第三个图像帧的位置以及第一车牌在第2个图像帧的位置判断第一车牌和第二车牌是否匹配。需要指出的是，上面的第二车牌均是指在图像帧队中位于视频流的后面的图像帧，例如在图像帧队1中，第2个图像帧为位于视频流的后面的图像帧，而在图像帧队2中，第2个图像帧则变为位于视频流的前面的图像帧。

本申请实施例中，考虑到第一车牌所在的图像帧与第二车牌所在的图像帧为相邻图像帧时，该第一车牌和该第二车牌为同一车牌的概率较大，因此，通过匹配分别处于相邻的两个图像帧的第一车牌和第二车牌，能够更快查找到匹配的两个车牌。

在一些实施例中，该B2中根据该图像帧队中的该第二车牌在图像帧的位置以及该第一车牌在图像帧的位置判断该第一车牌和该第二车牌是否匹配，包括：

B21、计算检测框R

本申请实施例中，首先初始化两个相邻图像帧的检测框所构成的两个集合，一个集合用于存储第一车牌的检测框，另一个集合用于存储第二车牌的检测框。将两个集合按照空间位置关系排列为二分图的左右两个序列S

重复地从两个序列S

B22、将该交并比作为连接该检测框R

B23、将序列S

其中，上述第一预设值可为小于0.5的数值，例如，为0。

B24、对序列S

本申请实施例中，逐个为序列S

在一些实施例中，分别对多个第一车牌和多个第二车牌匹配时，可通过匈牙利算法或KM算法对每个图像帧的多目标(该目标为第一车牌和第二车牌)进行数据关联，形成最优匹配。进一步地，对匹配得到的不同图像帧的检测框建立对应车牌的唯一标识(Identitydocument，ID)。通过上述处理，便于后续连续跟踪画面中的每一个车牌，特别是当画面中检测出多个车牌时，可以确保前后图像帧的车牌之间的匹配关系。例如，在根据预设的输出格式对第一识别结果和第二识别结果进行拆分时，可根据预设的输出格式对对应同样ID的第一识别结果和第二识别结果进行拆分。

在一些实施例中，可按序列S

在一些实施例中，上述B24中若没有查找到权值与该顶点X的权值相同的边，则判定序列S

B241、若没有查找到权值与该顶点X的权值相同的边，则将该顶点X的权值减去第二预设值，且将与该顶点X对应的检测框连接的检测框所对应的顶点的权值增加该第二预设值。

其中，第二预设值大于0。由于第二预设值大于0，因此，顶点X的权值减去第二预设值后，剩下的权值将小于原有的权值。

B242、将该顶点X的下一个顶点作为新的顶点X，并返回该对序列S

具体地，匹配的原则是：只和权值与左边顶点的权值(即上述初始化为左顶点所赋值)相同的边进行匹配，若找不到匹配的边，则将此条路径对应左边顶点的值减d，右边顶点的值加d，继续进行左边序列的下一个顶点的匹配。

本申请实施例中，当第一车牌的检测框所对应的顶点匹配失败后，使第一车牌的检测框所对应的顶点的权值减小，后续继续对权值减小后的顶点匹配，直到该权值减小后的顶点的权值为0才停止对该权值减小后的顶点(当顶点X匹配失败，意味着原先出现在图像帧中的顶点X对应的第一车牌的检测框在后续的图像帧中不再出现，表明该顶点X对应的第一车牌可能已经移除视野)。也即，通过逐步降低顶点的权值，能够提高查找到匹配的边的概率。

在一些实施例中，该步骤S13(或步骤S23)，包括：

将从该第一车牌中分割出的该文字区域和该数字区域组合成固定格式的第一待识别信息，对该第一待识别信息进行识别，得到该第一车牌的第一识别结果。

本申请实施例中，考虑到对不同格式的信息进行识别将增加识别难度，因此，为了降低识别难度，提高识别准确度，则将车牌中的文字区域和数字区域组合成固定格式的待识别信息。例如，以中东车牌为例，其对应的车牌种类十分丰富，车牌结构布局各有千秋：有单层车牌，还有双层和多层车牌。车牌中的文字部分的分布位置也不尽相同，这给车牌识别造成困难。为了能够提高识别准确度，将车牌分割后的部分按照固定格式拼接，例如，按照左边文字右边数字的固定格式拼接起来，确保不同车牌在输入到第一车牌识别模型之前都是单层的结构。这样可以进一步统一输入数据类型并简化问题，使第一车牌识别模型获得更高的准确率，还可以在不同国家的车牌识别上获取更好的可迁移性。

需要指出的是，对第二车牌中分割出的文字区域和数字区域同样执行上述步骤，此处不再赘述。

在一些实施例中，该步骤S12(或步骤S22)中根据该第一车牌在该第N个图像帧的位置以及该第一车牌的内容信息，从该第一车牌中分割出文字区域和数字区域，包括：

C1、根据该第一车牌的内容信息确定该第一车牌的格式，该第一车牌的格式用于分别指示该第一车牌的文字区域和数字区域在该第一车牌的区域位置。

本申请实施例中，预先存储不同车牌的内容信息与车牌的格式的对应关系，当获取到车牌的内容信息后，根据存储的对应关系确定与该车牌的内容信息对应的车牌的格式。

C2、根据该第一车牌在该第N个图像帧的位置以及该第一车牌的格式，从该第一车牌中分割出文字区域和数字区域。

本申请实施例中，由于预存了不同车牌的内容信息与车牌的格式的对应关系，而车牌的格式用于分别指示车牌的文字区域和数字区域在上述车牌的区域位置，因此，后续根据车牌的格式能够快速提取到该车牌的文字区域和数字区域。

在一些实施例中，该步骤S12(或步骤S22)中根据该第一车牌在该第N个图像帧的位置以及该第一车牌的内容信息，从该第一车牌中分割出文字区域和数字区域，包括：

D1、根据该第一车牌在该第N个图像帧的位置从该第N个图像帧中截取该第一车牌的区域，得到第一车牌图像。

本申请实施例中，由于第一车牌图像是从第N个图像帧中截取的第一车牌的区域所对应的图像，因此，该第一车牌图像的像素点数量将远小于该第N个图像帧的像素点数量，即减少了后续需要处理的像素点数量，从而节约了电子设备的资源。

D2、对该第一车牌图像执行以下至少一种处理：矫正处理、图像增强处理、去噪处理、去模糊处理和归一化处理，其中，该矫正处理用于将具有角度偏曲的第一车牌图像矫正为平整的第一车牌图像，该归一化处理用于将该第一车牌图像的像素值域处理为标准化分布。

其中，矫正处理后的图像能够增大有效的像素面积。

其中，图像增强处理是指通过一定手段对原图像附加一些信息或变换数据，有选择地突出原图像中感兴趣的特征或者抑制(掩盖)原图像中某些不需要的特征,使处理后的图像与视觉响应特性相匹配。本实施例中的可采用现有的图像增强算法实现图像增强处理。

其中，去模糊处理可以减轻运动模糊造成的重影，使车牌更清晰。

其中，归一化处理能够使得车牌的像素值域呈标准化分布，满足神经网络的处理要求。

D3、从处理后的该第一车牌图像中分割出文字区域和数字区域。

由于处理后的第一车牌图像能够使得车牌更容易识别，因此，能够从处理后的该第一车牌图像中更准确地分割出对应的文字区域和数字区域。

在一些实施例中，该D3，包括：

通过语义分割模型，从处理后的该第一车牌图像中分割出像素级的文字区域和数字区域。

其中，语义分割模型用于将处理后的第一车牌图像的不同区域分割出来，区分哪些位置对应省份信息，需要识别文字，哪些位置对应车牌号信息，需要识别数字等。

本申请实施例中，语义分割模型为神经网络模型，其在应用之前需要进行通过千万级数据对其进行训练。具体地，训练的数据为通过第一目标检测模型检测到的车牌在图像帧的位置，训练的标签为人工对车牌进行分割后的不同区域，这些不同区域包含文字的区域，也包含数字的区域。训练后的语义分割模型能够从车牌图像中分割出像素级的文字区域和数字区域。由于采用语义分割模型对城市信息(如阿拉伯语的城市信息)进行像素级分类、预测、推断标签来实现细粒度的推理，从而使每个像素都被标记为其封闭区域的类别，进而将学习到的识别特征语义投影到像素空间(高分辨率)上，得到密集的分类，输出最终的城市信息结果。

图3示出了采用本申请实施例提供的车牌识别进行车牌识别的示意图。

在图3中，第一目标检测模型采用One-stage目标检测模型，对图像帧队的第一车牌和第二车牌进行匹配时具体采用多目标检测算法，如匈牙利算法或KM算法。当从多目标检测算法确定出匹配的第一车牌和第二车牌后，通过语义分割模型从第一车牌分割出文字区域和数字区域，以及，从第二车牌分割出2个文字区域(即城市信息)和1个数字区域(即具体的车牌号码信息)，其中，2个文字区域分别为：第一文字区域、第二文字区域，该第一文字区域的信息为“迪拜”的英文单词“DUBAI”，第二文字区域是迪拜的阿拉伯语对应的单词。将第一文字区域、第二文字区域以及数字区域按照左边文字右边数字的格式拼接起来，再通过端到端识别模型(即上文中的第一车牌识别模型)对上述拼接后的信息进行识别，得到车牌识别结果并输出。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例一该的车牌识别方法，图4示出了本申请实施例提供的车牌识别装置的结构框图，该车牌识别装置可应用于电子设备，该电子设备可为服务器或终端设备，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图4，该车牌识别装置4包括：第一车牌检测单元41、第一车牌检测单元42、第一车牌内容识别单元43。其中：

第一车牌检测单元41，用于对视频流中的第N个图像帧进行车牌检测，得到第一车牌检测结果，该第一车牌检测结果用于指示该第N个图像帧是否存在第一车牌，若存在该第一车牌，则指示该第一车牌在该第N个图像帧的位置，其中，N为整数，N大于或等于1。

第一车牌内容分割单元42，用于若该第一车牌检测结果指示该第N个图像帧存在第一车牌，则根据该第一车牌在该第N个图像帧的位置以及该第一车牌的内容信息，从该第一车牌中分割出文字区域和数字区域。

第一车牌内容识别单元43，用于对从该第一车牌中分割出的该文字区域和该数字区域进行识别，得到该第一车牌的第一识别结果。

本申请实施例中，由于根据车牌本身内容信息对车牌进行分割，因此能够得到该车牌更准确的文字区域和数字区域，进而对这些更准确的文字区域和数字区域进行识别后，能够得到更准确的车牌识别结果。

在一些实施例中，该车牌识别装置4还包括：

第二车牌检测单元，用于分别对该视频流中的M个图像帧进行车牌检测，得到M个第二车牌检测结果，该第二车牌检测结果用于指示该M个图像帧中进行车牌检测的图像帧是否存在第二车牌，若存在该第二车牌，则指示该第二车牌在该M个图像帧中进行车牌检测的图像帧的位置，该M个图像帧均为该第N个图像帧之后的图像帧，M大于或等于1。

第二车牌内容分割单元，用于若该M个第二车牌检测结果中存在至少一个目标车牌检测结果，则根据该至少一个目标车牌检测结果所指示的至少一个第二车牌在该M个图像帧中进行车牌检测的图像帧的位置以及该至少一个第二车牌的内容信息，分别从该至少一个第二车牌中分割出文字区域和数字区域，其中，该目标车牌检测结果是指包括了指示该第二车牌在该M个图像帧中进行车牌检测的图像帧的位置的车牌检测结果。

第二车牌内容识别单元，用于对分别从该至少一个第二车牌中分割出的该文字区域和该数字区域进行识别，得到该至少一个第二车牌的至少一个第二识别结果。

车牌匹配单元，用于根据该至少一个第二车牌在该M个图像帧中进行车牌检测的图像帧的位置以及该第一车牌在该第N个图像帧的位置分别判断该至少一个第二车牌与该第一车牌是否匹配。

车牌识别结果确定单元，用于根据该第一车牌的第一识别结果和目标识别结果确定输出的车牌识别结果，其中，该目标识别结果是指与该第一车牌匹配的第二车牌所对应的第二识别结果。

在一些实施例中，若该目标识别结果的个数大于或等于2，该车牌识别结果确定单元，包括：

第一识别结果拆分模块，用于根据预设的输出格式对该第一识别结果进行拆分，得到第一拆分内容，该第一拆分内容包括至少2个拆分子内容，每一个该拆分子内容与一个置信度对应。

目标识别结果拆分模块，用于根据预设的输出格式分别对至少2个该目标识别结果进行拆分，得到至少2个第二拆分内容，该第二拆分内容包括至少2个拆分子内容，每一个拆分子内容与一个置信度对应。

置信度累加模块，用于分别累加该第一拆分内容和该至少2个该第二拆分内容中具有相同拆分子内容的置信度，按照该预设的输出格式分别选取累加后置信度高的拆分子内容，并组成输出的车牌识别结果。

在一些实施例中，若该第一车牌和该第二车牌的个数均大于1，则该车牌匹配单元，包括：

图像帧队确定模块，用于从该第N个图像帧至第N+M个图像帧中选取出M个图像帧队，一个该图像帧队为两个相邻的图像帧。

图像帧队的车牌匹配模块，用于对该M个图像帧队中的任一图像帧队，根据该图像帧队中的该第二车牌在图像帧的位置以及该第一车牌在图像帧的位置判断该第一车牌和该第二车牌是否匹配。重复执行该对该M个图像帧队中的任一图像帧队，直到该M个图像帧队中的任一图像帧队中的第一车牌和第二车牌均已匹配结束。

在一些实施例中，该图像帧队的车牌匹配模块在根据该图像帧队中的该第二车牌在图像帧的位置以及该第一车牌在图像帧的位置判断该第一车牌和该第二车牌是否匹配时，具体用于：

计算检测框R

在一些实施例中，该图像帧队的车牌匹配模块在没有查找到权值与该顶点X的权值相同的边，则判定该序列S

若没有查找到权值与该顶点X的权值相同的边，则将该顶点X的权值减去第二预设值，且将与该顶点X对应的检测框连接的检测框所对应的顶点的权值增加该第二预设值，该第二预设值大于0。将该顶点X的下一个顶点作为新的顶点X，并返回该对序列S

在一些实施例中，该第一车牌内容识别单元43，具体用于：

将从该第一车牌中分割出的该文字区域和该数字区域组合成固定格式的第一待识别信息，对该第一待识别信息进行识别，得到该第一车牌的第一识别结果。

在一些实施例中，该第一车牌内容分割单元42在根据该第一车牌在该第N个图像帧的位置以及该第一车牌的内容信息，从该第一车牌中分割出文字区域和数字区域时，具体用于：

根据该第一车牌的内容信息确定该第一车牌的格式，该第一车牌的格式用于分别指示该第一车牌的文字区域和数字区域在该第一车牌的区域位置。根据该第一车牌在该第N个图像帧的位置以及该第一车牌的格式，从该第一车牌中分割出文字区域和数字区域。

在一些实施例中，该第一车牌内容分割单元42在根据该第一车牌在该第N个图像帧的位置以及该第一车牌的内容信息，从该第一车牌中分割出文字区域和数字区域时，具体用于：

根据该第一车牌在该第N个图像帧的位置从该第N个图像帧中截取该第一车牌的区域，得到第一车牌图像。对该第一车牌图像执行以下至少一种处理：矫正处理、图像增强处理、去噪处理、去模糊处理和归一化处理，其中，该矫正处理用于将具有角度偏曲的第一车牌图像矫正为平整的第一车牌图像，该归一化处理用于将该第一车牌图像的像素值域处理为标准化分布。从处理后的该第一车牌图像中分割出文字区域和数字区域。

在一些实施例中，该第一车牌内容分割单元42在从处理后的该第一车牌图像中分割出文字区域和数字区域时，具体用于：

通过语义分割模型，从处理后的该第一车牌图像中分割出像素级的文字区域和数字区域。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图5为本申请一实施例提供的电子设备的结构示意图。该电子设备可以为服务器或终端设备，如图5所示，该实施例的电子设备5包括：至少一个处理器50(图5中仅示出一个处理器)、存储器51以及存储在该存储器51中并可在该至少一个处理器50上运行的计算机程序52，该处理器50执行该计算机程序52时实现上述任意各个方法实施例中的步骤：

对视频流中的第N个图像帧进行车牌检测，得到第一车牌检测结果，该第一车牌检测结果用于指示该第N个图像帧是否存在第一车牌，若存在该第一车牌，则指示该第一车牌在该第N个图像帧的位置，其中，N为整数，N大于或等于1。

若该第一车牌检测结果指示该第N个图像帧存在第一车牌，则根据该第一车牌在该第N个图像帧的位置以及该第一车牌的内容信息，从该第一车牌中分割出文字区域和数字区域。

对从该第一车牌中分割出的该文字区域和该数字区域进行识别，得到该第一车牌的第一识别结果。

可选地，该车牌识别方法还包括：

分别对该视频流中的M个图像帧进行车牌检测，得到M个第二车牌检测结果，该第二车牌检测结果用于指示该M个图像帧中进行车牌检测的图像帧是否存在第二车牌，若存在该第二车牌，则指示该第二车牌在该M个图像帧中进行车牌检测的图像帧的位置，该M个图像帧均为该第N个图像帧之后的图像帧，M大于或等于1。

若该M个第二车牌检测结果中存在至少一个目标车牌检测结果，则根据该至少一个目标车牌检测结果所指示的至少一个第二车牌在该M个图像帧中进行车牌检测的图像帧的位置以及该至少一个第二车牌的内容信息，分别从该至少一个第二车牌中分割出文字区域和数字区域，其中，该目标车牌检测结果是指包括了指示该第二车牌在该M个图像帧中进行车牌检测的图像帧的位置的车牌检测结果。

对分别从该至少一个第二车牌中分割出的该文字区域和该数字区域进行识别，得到该至少一个第二车牌的至少一个第二识别结果。

根据该至少一个第二车牌在该M个图像帧中进行车牌检测的图像帧的位置以及该第一车牌在该第N个图像帧的位置分别判断该至少一个第二车牌与该第一车牌是否匹配。

根据该第一车牌的第一识别结果和目标识别结果确定输出的车牌识别结果，其中，该目标识别结果是指与该第一车牌匹配的第二车牌所对应的第二识别结果。

可选地，若该目标识别结果的个数大于或等于2，该根据该第一车牌的第一识别结果和目标识别结果确定输出的车牌识别结果，包括：

根据预设的输出格式对该第一识别结果进行拆分，得到第一拆分内容，该第一拆分内容包括至少2个拆分子内容，每一个该拆分子内容与一个置信度对应。

根据预设的输出格式分别对至少2个该目标识别结果进行拆分，得到至少2个第二拆分内容，该第二拆分内容包括至少2个拆分子内容，每一个拆分子内容与一个置信度对应。

分别累加该第一拆分内容和该至少2个该第二拆分内容中具有相同拆分子内容的置信度，按照该预设的输出格式分别选取累加后置信度高的拆分子内容，并组成输出的车牌识别结果。

可选地，若该第一车牌和该第二车牌的个数均大于1，则该根据该至少一个第二车牌在该M个图像帧中进行车牌检测的图像帧的位置以及该第一车牌在该第N个图像帧的位置分别判断该至少一个第二车牌与该第一车牌是否匹配，包括：

从该第N个图像帧至第N+M个图像帧中选取出M个图像帧队，一个该图像帧队为两个相邻的图像帧。

对该M个图像帧队中的任一图像帧队，根据该图像帧队中的该第二车牌在图像帧的位置以及该第一车牌在图像帧的位置判断该第一车牌和该第二车牌是否匹配。

重复执行该对该M个图像帧队中的任一图像帧队，直到该M个图像帧队中的任一图像帧队中的第一车牌和第二车牌均已匹配结束。

可选地，该根据该图像帧队中的该第二车牌在图像帧的位置以及该第一车牌在图像帧的位置判断该第一车牌和该第二车牌是否匹配，包括：

计算检测框R

将该交并比作为连接该检测框R

将序列S

对序列S

可选地，该若没有查找到权值与该顶点X的权值相同的边，则判定该序列S

若没有查找到权值与该顶点X的权值相同的边，则将该顶点X的权值减去第二预设值，且将与该顶点X对应的检测框连接的检测框所对应的顶点的权值增加该第二预设值，该第二预设值大于0。

将该顶点X的下一个顶点作为新的顶点X，并返回该对序列S

可选地，该对从该第一车牌中分割出的该文字区域和该数字区域进行识别，得到该第一车牌的第一识别结果，包括：

将从该第一车牌中分割出的该文字区域和该数字区域组合成固定格式的第一待识别信息，对该第一待识别信息进行识别，得到该第一车牌的第一识别结果。

可选地，该根据该第一车牌在该第N个图像帧的位置以及该第一车牌的内容信息，从该第一车牌中分割出文字区域和数字区域，包括：

根据该第一车牌的内容信息确定该第一车牌的格式，该第一车牌的格式用于分别指示该第一车牌的文字区域和数字区域在该第一车牌的区域位置。

根据该第一车牌在该第N个图像帧的位置以及该第一车牌的格式，从该第一车牌中分割出文字区域和数字区域。

可选地，该根据该第一车牌在该第N个图像帧的位置以及该第一车牌的内容信息，从该第一车牌中分割出文字区域和数字区域，包括：

根据该第一车牌在该第N个图像帧的位置从该第N个图像帧中截取该第一车牌的区域，得到第一车牌图像。

对该第一车牌图像执行以下至少一种处理：矫正处理、图像增强处理、去噪处理、去模糊处理和归一化处理，其中，该矫正处理用于将具有角度偏曲的第一车牌图像矫正为平整的第一车牌图像，该归一化处理用于将该第一车牌图像的像素值域处理为标准化分布。

从处理后的该第一车牌图像中分割出文字区域和数字区域。

可选地，该从处理后的该第一车牌图像中分割出文字区域和数字区域，包括：

通过语义分割模型，从处理后的该第一车牌图像中分割出像素级的文字区域和数字区域。

该电子设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是电子设备5的举例，并不构成对电子设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，该处理器50还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51在一些实施例中可以是所述电子设备5的内部存储单元，例如电子设备5的硬盘或内存。所述存储器51在另一些实施例中也可以是所述电子设备5的外部存储设备，例如所述电子设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述电子设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。