一种集卡引导定位系统及方法、计算机存储介质、龙门吊

技术领域

本发明涉及集卡引导定位技术，更具体地说，涉及一种集卡引导定位系统及方法、计算机存储介质、龙门吊。

背景技术

集装箱卡车(以下简称集卡)是港口集装箱运输、装卸的重要物流工具，集卡导引定位系统主要用于起重机下引导集卡司机快速、准确的停靠到正确位置，提高起重机的作业效率。

通常情况下，集装箱进行装卸前需要集卡按既定车道进入指定区域，港口的龙门吊等起重设备开动至集卡上方，放下吊具对集装箱进行装卸。在此过程中，集装箱龙门吊下集卡能否快速准确定位，不仅影响集装箱起重机的作业效率，同时也影响到卡车司机及龙门吊的作业安全。

现有技术中，大都采用人工参与或激光立体扫描测距的方式，对集装箱和车架顶面扫描测距，进而引导车辆到位。这种方案缺点是前者效率较低，影响港口整体效率；后者需要激光扫描设备，成本高且维护复杂，功能单一，精度不可提升。

发明内容

针对现有技术中存在的上述缺陷，本发明的目的是提供一种集卡引导定位系统及方法、计算机存储介质、龙门吊，实现集卡的实时检测、识别和定位跟踪。

为实现上述目的，本发明采用如下技术方案：

一方面，一种集卡引导定位系统，包括：

标定模块，预先对集卡的停车点进行标定；

采集模块，获取所述标定模块的视频流，解码成图片，并对所述图片进行预处理；

AI视觉算法模块，将预处理后的所述图片输入PANet神经网络算法模型，得到所述集卡上的集装箱或所述集卡的车架的实例分割图，再进行二值化边缘检测和最小面积外接矩形操作，得到所述集装箱或所述车架的中心点坐标及与水平方向的夹角；

判断模块，获取所述标定模块的标定集卡的停车点、所述AI视觉算法模块的所述集装箱或所述车架的中心点坐标及与水平方向的夹角，计算所述标定集卡的停车点与所述集装箱或所述车架的中心点的距离；

数据记录模块，用以记录各模块的历史记录。

较佳的，所述标定模块为工业相机。

较佳的，所述判断模块计算所述标定集卡的停车点与所述集装箱或所述车架的中心点在所述集卡水平方向上的距离及夹角，若距离和夹角小于预设值，则所述集卡的引导定位结束；若距离和夹角大于预设值，则所述集卡的引导定位继续进行，返回至所述采集模块。

另一方面，一种集卡引导定位方法，包括以下步骤：

1)在龙门吊上安装所述的集卡引导定位系统中的所述标定模块，集卡在作业车道上的位置导引结束，预先通过所述标定模块进行一次集卡停车点标定；

2)所述采集模块获取所述标定模块的视频流，解码成图片，并对所述图片进行预处理；

3)将预处理后的所述图片输入所述AI视觉算法模块中预先训练好的PANet神经网络算法模型进行定位，得到所述集装箱或所述车架的中心点坐标及与水平方向的夹角，所述判断模块计算所述标定集卡的停车点与所述集装箱或所述车架的中心点在所述集卡水平方向上的距离及夹角，若距离和夹角小于预设值，则所述集卡的引导定位结束；若距离和夹角大于预设值，则所述集卡的引导定位继续进行，返回步骤2)。

较佳的，所述步骤2)中，预处理包括滤波去燥算法、直方图均衡化算法。

较佳的，所述步骤3)中，所述PANet神经网络算法模型的训练过程如下：

a)建立集卡车头样本库；

b)制作数据集；

c)搭建所述PANet神经网络算法模型。

较佳的，所述步骤a)中，建立集卡车头样本库具体如下：

获取所述标定模块的视频流，通过目标检测算法识别出所述集装箱或所述车架，获取带有所述集装箱或所述车架的图像，并利用标注工具对所述集装箱或所述车架的图像进行标注工作。

较佳的，所述步骤b)中，制作数据集具体如下：

从所述集装箱或所述车架的样本库中提取训练集、验证集、测试集。

较佳的，所述步骤c)中，搭建所述PANet神经网络算法模型具体如下：

使用所述训练集进行所述集装箱或所述车架的实例分割模型训练，通过所述验证集评判所述PANet神经网络算法模型是否符合要求，再通过所述测试集进行测试，得到训练好的所述PANet神经网络算法模型。

较佳的，所述步骤3)中，将预处理后的所述图片输入所述AI视觉算法模块中预先训练好的PANet神经网络算法模型进行定位，得到所述集装箱或所述车架的中心点坐标及与水平方向的夹角，具体如下：

将预处理后的所述图片输入所述AI视觉算法模块中预先训练好的PANet神经网络算法模型，即可得到所述集装箱或所述车架的实例分割图，再进行二值化边缘检测和最小面积外接矩形操作，得到所述集装箱或所述车架的中心点坐标及与水平方向的夹角。

再一方面，一种计算机存储介质，包括存储器和处理器，所述存储器用以存储计算机指令，所述处理器用以在运行所述计算机指令时，执行所述的集卡引导定位方法。

再一方面，一种龙门吊，包括所述的集卡引导定位系统。

本发明所提供的一种集卡引导定位系统及方法、计算机存储介质、龙门吊，还具有以下几点有益效果：

1)在使用前只需在龙门吊上安装一台工业相机，集卡在作业车道上的位置导引结束，预先通过相机进行一次集卡停车点标定，标定过程简单、使用方便、成本较低；

2)采用训练好的PANet神经网络实例分割的算法模型对集装箱或车架先进行目标检测，后进行实例分割，再进行二值化等边缘检测和最小面积外接矩形等操作可精确到物体的边缘，是一种更高精度的像素级分割定位，在识别不重叠物体的速度上更快，实时性好，准确度更高，有效地提高了检测定位精度，适用于集卡自动定位与引导的要求；

3)在实际应用中，成本低，随着数据记录模块标定数据集的增加，AI算法模型的定期训练，系统精度可再提高。

附图说明

图1是本发明集卡引导定位系统的框架结构示意图；

图2是本发明集卡引导定位系统的布置示意图；

图3是图2的右视示意图；

图4是本发明集卡引导定位系统中PANet神经网络算法模型的神经网络结构图；

图5是本发明集卡引导定位方法的流程示意图。

具体实施方式

为了能更好地理解本发明的上述技术方案，下面结合附图和实施例进一步说明本发明的技术方案。

请结合图1所示，本发明所提供的一种集卡引导定位系统，包括：

标定模块100，选用工业相机3并预先安装，进行畸变矫正标定，集卡1在作业车道上的位置导引结束，再通过工业相机3进行一次集卡停车点标定。工业相机3用于拍摄集卡车头的识别区域，其安装位置不唯一；

采集模块101，获取工业相机3的视频流，解码成图片，并对图片进行预处理；

AI视觉算法模块102，将预处理后的图片输入PANet神经网络算法模型，得到集卡1上的集装箱或集卡1的车架的中心点及与水平方向的夹角；

判断模块103，获取标定模块100的标定集卡的停车点、AI视觉算法模块102的集装箱或车架中心点及与水平方向的夹角，计算标定集卡1的停车点与集装箱或车架中心点的水平方向上的距离。若距离和角度小于预设值，则集卡导引定位结束；若距离和角度大于预设值，则所述集卡导引定位继续进行，回到采集模块101；

数据记录模块104，主要用于记录历史数据，包括部分原始图像数据，一方面可以定期训练AI视觉检测系统，训练数据越多，网络的参数就被优化得越好，整个算法最终识别率也会越高，另一方面留档备用。

请结合图2至图5所示，本发明还提供了一种集卡引导定位方法，包括以下步骤：

1)集卡1在作业车道上的位置导引结束，预先安装在龙门吊2上的工业相机3拍摄车道的视频，因每条车道与工业相机3的距离和角度不同，从视频上来看，存在一定的轻微的畸变，需要通过相机标定来矫正这种畸变。本实施例中，对相机标定的数据有集卡停车点，集装箱或车架在车道上占用的像素点等。

集卡停车点的标定，即集卡导引结束停在车道准确位置时，标定拍摄的图片中的集装箱或车架的中心点坐标X

2)采集模块获读取工业相机3的视频流，解码成图片，对图片进行预处理；具体的，可采用C++和第三方OpenCV开源库读取工业相机3基于RTSP(实时流协议)的流，得到一张张图片。其中，对图片进行预处理包括滤波去燥算法、直方图均衡化算法等，便于后续的识别；

3)将处理后的图片输入预先训练好的PANet神经网络算法模型进行定位，得到集卡1的集装箱或车架的中心点坐标X(X,Y)及与水平方向的夹角a，计算该中心点与标定的集卡1停车点在水平方向的距离D：

D＝|X-X

若距离D和角度a小于预设值，则集卡1引导结束；若距离D和角度a大于预设值，则集卡1继续进行引导。该步骤中，PANet神经网络训练过程如下：

a)建立车头样本库：获取工业相机3的视频流，通过目标检测算法识别出集装箱或车架，获取带有集装箱或车架的图像，并利用labelme标注工具进行集装箱或车架的mask标注工作，从而建立集装箱或车架的样本库；

b)制作数据集：从集装箱或车架的样本库中提取训练集、验证集、测试集；

c)搭建PANet神经网络算法模型，使用训练集进行集装箱或车架实例分割模型训练，通过验证集来评判PANet神经网络算法模型是否符合要求，并通过测试集进行测试，最终得到训练好的PANet神经网络算法模型。

在步骤3)中，将处理后的图片输入预先训练好的PANet神经网络算法模型进行定位，即可得到集装箱或车架的最小外接矩形的中心点与水平方向的夹角。

本发明还提供了一种计算机存储介质，包括存储器和处理器，存储器用以存储计算机指令，处理器用以在运行计算机指令时，执行集卡引导定位方法。

本发明还提供了一种龙门吊，包括集卡引导定位系统。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。