一种集卡车顶号识别方法、系统

技术领域

本申请涉及识别的领域，尤其是涉及一种集卡车顶号识别方法、系统。

背景技术

在岸桥集装箱智能理货领域，集卡车顶号的识别准确性与箱号识别同等重要，一旦出现识别错误或者误识别，会导致理货作业失败和箱号与车号数据绑定错乱从而给码头带来直接经济损失。

现在对于集卡车顶号识别算方法一般采用传统图像处理算法，但是由于车顶号的抓拍角度、车顶号的大小、成像质量要求较高。这类算法适应能力较差、当光照不均匀、车顶号角度较大或变形时，对于集卡车顶号的识别成功率较低，对此情况有待进一步改善。

发明内容

为了提高集卡车顶号的识别成功率，本申请提供一种集卡车顶号识别方法、系统。

第一方面，本申请提供的一种集卡车顶号识别方法，采用如下的技术方案：

一种集卡车顶号识别方法，包括如下步骤：

基于集卡通过的操作获取对应的车头图像信息；

基于车头图像信息获取对应的候选框集合，其中，候选框集合内包括多个从车头图像信息中截取的候选框；

基于对候选框集合中全部候选框进行筛选的操作确定初步候选框集合；

获取初步候选框集合中的四个目标点对应的目标坐标信息集合；

基于目标坐标信息集合进行矫正并获取目标图像信息；

将目标图像信息进行识别确定目标车顶号。

通过采用上述技术方案，在集卡通过时，系统可以获取集卡上对应的车头图像信息，此时车头图像信息上其他干扰图像较多，随后系统在车头图像信息获取候选框集合，并且候选框集合内包括多个从车头图像信息中截取的候选框，然后对全部选框进行筛选获取初步候选框集合的操作，以此排除对一些没有框选到车顶号的候选框，并且系统可以获取初步候选框集合中的四个目标坐标点的目标坐标信息集合，并且四个目标点对应的坐标信心形成的图形为不规则四边形，并且通过进行矫正并获取目标图像信息，此时便可以获取矩形框，最后对矩形框的字符进行识别排序，便可以确定该集卡的车顶号；通过上述过程，可以排除部分干扰因素，提高集卡车顶号的识别成功率。

可选的，在基于对候选框集合中全部候选框进行筛选的操作确定初步候选框过程中，还包括如下步骤：

基于候选框集合中的候选框获取每一个候选框对应的候选框多尺寸集合，其中，候选框多尺寸集合包括多个候选框对应不同尺寸的尺寸图像信息；

判断每个候选框多尺寸集合的图像信息是否有车头，若是有，确定初步候选框集合，其中，初步候选框集合对应的图像信息包括集卡的车头图像，且初步候选框集合有多个。

通过采用上述技术方案，将候选框集合中全部候选框进行高斯金字塔算法的运算之后，便可以获取到每一个候选框对应的不同尺寸的尺寸图像信息，并确定为候选框多尺寸集合，再判断每个候选框多尺寸集合的尺寸图像信息中是否有集卡的车头，若是有，并确定该候选框多尺寸集合为初步候选框集合；通过上述过程，可以将一些没有框选到集卡车头的候选框进行排除，在进一步提高识别成功率的同时，还可以减少系统后续的操作量。

可选的，在判断每个候选框多尺寸集合的图像信息是否有车头的过程中，还包括如下步骤：

调取车头初步区域检测网络，其中，车头初步区域检测网络已预先训练调配好参数；

基于将每个候选框多尺寸集合输入车头初步区域检测网络获取每个候选框多尺寸集合对应的车头可信度信息；

调取车头可行度阈值；

将车头可信度信息与车头可行度阈值进行比较，若是车头可信度信息大于车头可行度阈值，则确定为初步候选框集合。

通过采用上述技术方案，将每个候选框多尺寸集合输入车头初步区域检测网络便可以获取到对应的车头可行度信息，并且将车头可行度信息与车头可行度阈值进行比较，若是车头可信度信息大于车头可行度阈值，说明候选框多尺寸集合对应的候选框框选到了集卡车顶，则确定为初步候选框集合。

可选的，在获取初步候选框中的四个目标点对应的目标坐标信息集合过程中，还进行如下步骤：

将每个初步候选框集合内的全部尺寸图像信息进行合并，并获取对应的候选区域图像信息；

将全部的候选区域图像信息输入车头二次区域检测网络，并获取四个目标点对应的目标坐标信息集合，其中车头二次区域检测网络已预先训练调配好参数。

通过采用上述技术方案，通过将初步候选框集合内的全部尺寸图像信息进行合并得到的候选区域图像信息，此时候选区域图像信息包含有集卡车顶，然后将候选区域图像信息输入到预先训练好的车头二次区域检测网络，便可以获取候选区域图像信息中的四个目标点，此时四个目标点形成的图形进一步缩小集卡车顶号所在区域，在后续识别过程，可以减少系统所需识别的区域。

可选的，在获取目标图像信息过程中，还进行如下步骤：

将目标坐标信息集合的四个目标点对应的目标坐标信息输入透视变化矩阵获取对应的目标矩形框，其中，透视变化矩阵的参数已预先调整好；

依据目标矩形框获取目标图像信息。

通过采用上述技术方案，通过透视变化矩阵将目标坐标信息集合的四个目标点对应的目标坐标信息转换为目标矩形框，可以方便系统对目标矩形框内的字符进行识别，提高识别效率。

可选的，在将目标图像信息进行识别确定目标车顶号，包括如下步骤：

调取字符对应的字符宽度信息，其中，每个字符的宽度一致且预先设置好；

依据字符宽度信息确定目标图像信息中多个字符位置信息，其中，字符数量信息依据字符宽度信息与目标图像信息的宽度进行确定；

基于将每个字符位置信息进行字符识别的操作获取多个字符数据；

依据多个字符数据确定目标车顶号。

通过采用上述技术方案，由于每一个字符在目标矩形框的宽度一致，所以先调取字符对应的字符宽度信息，然后便可以获取目标图像信息的目标宽度信息，从而确定目标图像信息可以容纳多少个字符，并且确定字符位置信息，随后对每个字符位置信息进行识别并且确定车顶号，通过对目标图像信息的每个字符位置信息进行单独识别，从而可以增加识别准确度。

可选的，在将每个字符位置信息进行字符识别过程中，进行如下步骤：

获取字符位置信息对应的字符图像信息；

将字符图像信息输入检测网络，并获取每个字符图像信息与每个字符对应的字符可信度集合，其中，字符可信度集合包括多个字符可信度；

基于将字符可信度集合内的字符可信度进行比较的操作，获取字符可信度最高的字符并确定为字符图像信息对应的目标字符；

基于确定每个字符图像信息对应的目标字符的操作确定目标车顶号。

通过采用上述技术方案，通过将每个字符图像信息对应的全部字符可信度进行比较的操作，获取字符可信度最高的字符，说明字符图像信息的字符对应为字符可信度最高的字符，从而便可以确定为字符图像信息对应的目标字符。

第二方面，本申请提供的一种集卡车顶号识别系统，采用如下的技术方案：

一种集卡车顶号识别系统，包括：

车头图像获取模块，基于集卡通过的操作用于获取对应的车头图像信息；

候选框获取模块，基于车头图像信息用于获取对应的候选框集合，其中，候选框集合内包括多个从车头图像信息中截取的候选框；

初步候选框集合确定模块，基于对候选框集合中全部候选框进行筛选的操作用于确定初步候选框集合；

目标坐标信息集合获取模块，用于获取初步候选框中的四个目标点对应的目标坐标信息集合；

目标图像获取模块，基于目标坐标信息集合进行矫正并用于获取目标图像信息；

识别模块，用于将目标图像信息进行识别确定目标车顶号。

通过采用上述技术方案，在集卡通过时，车头图像获取模块可以获取集卡上对应的车头图像信息，此时车头图像信息上其他干扰图像较多，随后候选框获取模块在车头图像信息获取候选框集合，并且候选框集合内包括多个从车头图像信息中截取的候选框，然后初步候选框集合确定模块对全部选框进行筛选获取初步候选框集合的操作，以此排除对一些没有框选到车顶号的候选框，并且目标坐标信息集合获取模块可以获取初步候选框集合中的四个目标坐标点的目标坐标信息集合，并且四个目标点对应的坐标信心形成的图形为不规则四边形，并且目标图像获取模块通过进行矫正并获取目标图像信息，此时便可以获取矩形框，最后识别模块对矩形框的字符进行识别排序，便可以确定该集卡的车顶号；通过上述过程，可以排除部分干扰因素，提高集卡车顶号的识别成功率。

第三方面，本申请提供计算机可读存储介质，存储有能够被处理器加载并执行如集卡车顶号识别方法中任一种方法的计算机程序。

第四方面，本申请提供智能终端，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如集卡车顶号识别方法中任一种方法的计算机程序。

综上所述，本申请包括以下至少一种有益技术效果：

在集卡通过时，系统可以获取集卡上对应的车头图像信息，此时车头图像信息上其他干扰图像较多，随后系统在车头图像信息获取候选框集合，并且候选框集合内包括多个从车头图像信息中截取的候选框，然后对全部选框进行筛选获取初步候选框集合的操作，以此排除对一些没有框选到车顶号的候选框，并且系统可以获取初步候选框集合中的四个目标坐标点的目标坐标信息集合，并且四个目标点对应的坐标信心形成的图形为不规则四边形，并且通过进行矫正并获取目标图像信息，此时便可以获取矩形框，最后对矩形框的字符进行识别排序，便可以确定该集卡的车顶号；通过上述过程，可以排除部分干扰因素，提高集卡车顶号的识别成功率。

可以将一些没有框选到集卡车顶的候选框进行排除，在进一步提高识别成功率的同时，还可以减少系统后续的操作量。

通过对目标图像信息的每个字符位置信息进行单独识别，从而可以增加识别准确度。

附图说明

图1是本申请实施例中一种集卡车顶号识别方法的整体流程图；

图2是本申请实施例中确定初步候选框集合的具体流程图；

图3是本申请实施例中获取目标坐标信息集合的具体流程图；

图4是本申请实施例中将目标图像信息进行识别确定目标车顶号的具体流程图；

图5是本申请实施例中一种集卡车顶号识别系统的整体框图。

附图标记说明：

1、车头图像获取模块；2、候选框获取模块；3、初步候选框集合确定模块；4、目标坐标信息集合获取模块；5、目标图像获取模块；6、识别模块。

具体实施方式

以下为对本申请作进一步详细说明。

第一方面，本申请提供的一种集卡车顶号识别方法，包括如下步骤：

S1，基于集卡通过的操作获取对应的车头图像信息；

其中，在集卡通过有进行车顶号识别的区域时，系统便可以拍摄得到对应的车头图像信息。

S2，基于车头图像信息获取对应的候选框集合；

其中，候选框集合内包括多个从车头图像信息中截取的候选框，并且每个候选框框选车头图像信息的局部区域，所以部分候选框存在未框选到集卡车头的情况。

S3，基于对候选框集合中全部候选框进行筛选的操作确定初步候选框集合；

其中，初步候选框集合内的候选框为全部框选到集卡车头的候选框，并且具体的筛选过程如下：

S31，基于候选框集合中的候选框获取每一个候选框对应的候选框多尺寸集合；

其中，候选框多尺寸集合包括多个候选框对应不同尺寸的尺寸图像信息，并且是通过将候选框集合中全部候选框进行高斯金字塔算法的运算之后，便可以获取到每一个候选框对应的不同尺寸的尺寸图像信息，便可以获取到每一个候选框对应的候选框多尺寸集合。

S32，判断每个候选框多尺寸集合的图像信息是否有车头，若是有，确定初步候选框集合；

其中，初步候选框集合对应的图像信息包括集卡的车头图像，且初步候选框集合有多个，并且判断每个候选框多尺寸集合的图像信息是否有车头的过程如下：

S321，系统调取车头初步区域检测网络；

其中，车头初步区域检测网络已预先训练调配好参数，具体车头初步区域检测网络是一个车头区域检测网络，该网络的输入一个12x12x3的图像，通过3层的卷积之后，判断这个12x12的图像中是否存在车头，并且给出车头矩形框框的边界回归向量。

S322，基于将每个候选框多尺寸集合输入车头初步区域检测网络获取每个候选框多尺寸集合对应的车头可信度信息；

S323，调取车头可行度阈值；

其中，车头可行度阈值为提前预设。

S324，将车头可信度信息与车头可行度阈值进行比较，若是车头可信度信息大于车头可行度阈值，说明该候选框多尺寸集合包含有车头，则将该候选框多尺寸集合确定为初步候选框集合。

S4，获取初步候选框集合中的四个目标点对应的目标坐标信息集合；

其中，具体过程如下。

S41，将每个初步候选框集合内的全部尺寸图像信息进行合并。

S42，获取对应的候选区域图像信息；

在其中，在合并过程中，首先对候选框多尺寸集合中的全部尺寸图像信息进行合并，便可以获取全部候选框多尺寸集合合并后的候选区域图像信息。

S43，将全部的候选区域图像信息输入车头二次区域检测网络，获取四个目标点对应的目标坐标信息集合，并且四个目标点形成图形将进一步缩小集卡车顶号所在区域，系统所需要识别的区域进一步减小，通过车头与车顶号四个角点的位置信息，有效排除图片背景字符对车顶号识别的影响；

其中，在将全部的候选区域图像信息输入之前，会将全部的候选区域图像信息先进行合并得到对应的目标图像信息，从而便可以获取到对应的目标候选框，此时目标候选框包含有集卡的车头；

另外，车头二次区域检测网络已预先训练调配好参数。

S5，基于目标坐标信息集合进行矫正并获取目标图像信息；

其中，检测到的车顶号由于拍摄角度等问题，会出现旋转变形等情况，为了提升识别率，所以需要对车顶号进行矫正，而在本申请实施例中，采用通过AI算法检测到的车顶号四个关键点，进行畸变矫正，在我们日常生活中，标准车顶号是一个矩形框，设长宽比例为3:1，车顶号检测的4个关键点连线为任意四边形，我们将原始四边形车顶号按照长宽比例为3:1的矩形框进行展开，即可完成车顶号的畸变矫正，所以本申请实施例中具体采用透视变换算法，在给定透视变换对应的四对像素点坐标，即可求得透视变换矩阵；反之，给定透视变换矩阵，即可对图像或像素点坐标完成透视变换。

所以通过透视变化矩阵将目标坐标信息集合的四个目标点对应的目标坐标信息转换为目标矩形框，根据车顶号四个角点的位置信息，运用透视变换算法，将车顶号矫正成矩形的标准车顶号图片，通过此矫正方法，能够有效减少字符训练难度，实现任意角度车顶号的识别，同时提升变形车顶号的识别率。

S6，将目标图像信息进行识别确定目标车顶号；其中，具体步骤如下：

S61，调取字符对应的字符宽度信息；

其中，车顶号一般由0-9,a-z共36个字符组成，另外破损字符或字符间距用‘*’代替，因此输出结果为37个字符，每个字符的宽度一致且预先设置好。

S62，依据字符宽度信息确定目标图像信息中多个字符位置信息；

其中，字符数量信息依据字符宽度信息与目标图像信息的宽度进行确定，所以需要先获取目标图像信息的目标宽度信息，也就是确定目标矩形框可以容纳多少个字符。

S63基于将每个字符位置信息进行字符识别的操作获取多个字符数据，也就是通过对目标图像信息的每个字符位置信息进行单独识别，从而可以增加识别准确度，并且具体识别过程如下：

S631，获取字符位置信息对应的字符图像信息。

S632，将字符图像信息输入检测网络，并获取每个字符图像信息与每个字符对应的字符可信度集合；

其中，字符可信度集合包括37个字符可信度；

S633，基于将字符可信度集合内的字符可信度进行比较的操作，获取字符可信度最高的字符，说明字符图像信息的字符对应为字符可信度最高的字符，并确定为字符图像信息对应的目标字符。

S64，基于确定每个字符图像信息对应的目标字符的操作确定目标车顶号。

本申请实施例一种集卡车顶号识别方法的实施原理为：在集卡通过时，系统可以获取集卡上对应的车头图像信息，此时车头图像信息上其他干扰图像较多，随后系统在车头图像信息获取候选框集合，并且候选框集合内包括多个从车头图像信息中截取的候选框，每个候选框框选车头图像信息的局部区域，然后对全部选框进行筛选获取初步候选框集合的操作，以此排除对一些没有框选到车顶号的候选框，具体先获取每一个候选框对应的候选框多尺寸集合，判断每个候选框多尺寸集合的图像信息是否有车头，系统先调取车头初步区域检测网络，然后基于将每个候选框多尺寸集合输入车头初步区域检测网络获取每个候选框多尺寸集合对应的车头可信度信息，并且将车头可信度信息与车头可行度阈值进行比较，若是车头可信度信息大于车头可行度阈值，说明该候选框多尺寸集合包含有车头，则将该候选框多尺寸集合确定为初步候选框集合。

随后将每个初步候选框集合内的全部尺寸图像信息进行合并，并可以获取对应的候选区域图像信息，将全部的候选区域图像信息输入车头二次区域检测网络，便可以获取四个目标点对应的目标坐标信息集合，四个目标点形成图形将进一步缩小集卡车顶号所在区域，通过车头与车顶号四个角点的位置信息，有效排除图片背景字符对车顶号识别的影响；然后通过透视变化矩阵将目标坐标信息集合的四个目标点对应的目标坐标信息转换为目标矩形框。

然后调取字符对应的字符宽度信息，系统依据字符宽度信息确定目标图像信息中多个字符位置信息字符数量信息依据字符宽度信息与目标图像信息的宽度进行确定，所以需要先获取目标图像信息的目标宽度信息，也就是确定目标矩形框可以容纳多少个字符；

然后对目标图像信息的每个字符位置信息进行同时进行识别，将字符图像信息输入检测网络，并获取每个字符图像信息与每个字符对应的字符可信度集合；其中，字符可信度集合包括37个字符可信度；将每个字符图像信息对应的全部字符可信度进行比较，获取字符可信度最高的字符，并将字符可信度最高的字符确定为字符图像信息对应的目标字符，便可以确定每个字符图像信息对应的目标字符，从而确定目标车顶号。

综上所述，在对集卡车顶号进行识别时，可以排除部分干扰因素，提高集卡车顶号的识别成功率。

第二方面，本申请提供的一种集卡车顶号识别系统，包括：

车头图像获取模块1，基于集卡通过的操作用于获取对应的车头图像信息；

候选框获取模块2，基于车头图像信息用于获取对应的候选框集合，其中，候选框集合内包括多个从车头图像信息中截取的候选框；

初步候选框集合确定模块3，基于对候选框集合中全部候选框进行筛选的操作用于确定初步候选框集合；

目标坐标信息集合获取模块4，用于获取初步候选框中的四个目标点对应的目标坐标信息集合；

目标图像获取模块5，基于目标坐标信息集合进行矫正并用于获取目标图像信息；

识别模块6，用于将目标图像信息进行识别确定目标车顶号。

本申请实施例一种集卡车顶号识别系统的实施原理为：在集卡通过时，车头图像获取模块1可以获取集卡上对应的车头图像信息，此时车头图像信息上其他干扰图像较多，随后候选框获取模块2在车头图像信息获取候选框集合，并且候选框集合内包括多个从车头图像信息中截取的候选框，然后初步候选框集合确定模块3对全部选框进行筛选获取初步候选框集合的操作，以此排除对一些没有框选到车顶号的候选框，并且目标坐标信息集合获取模块4可以获取初步候选框集合中的四个目标坐标点的目标坐标信息集合，并且四个目标点对应的坐标信心形成的图形为不规则四边形，并且目标图像获取模块5通过进行矫正并获取目标图像信息，此时便可以获取矩形框，最后识别模块6对矩形框的字符进行识别排序，便可以确定该集卡的车顶号；通过上述过程，可以排除部分干扰因素，提高集卡车顶号的识别成功率。

第三方面，本申请提供计算机可读存储介质，存储有能够被处理器加载并执行如集卡车顶号识别方法中任一种方法的计算机程序。

第四方面，本申请提供智能终端，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如集卡车顶号识别方法中任一种方法的计算机程序。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。