一种集装箱锁孔自动识别定位系统及方法

技术领域

本发明涉及堆高车进行集装箱装卸的技术领域，尤其是涉及一种集装箱锁孔自动识别定位系统及方法。

背景技术

在经济全球化的背景下，集装箱物流运输增长快速，传统的集装箱码头依靠人工操作，工作效率低下、工作出错率高且无法全面保障工人人身安全，已不再适用当前社会经济快速发展的形势，为实现集装箱码头高效装卸作业，最大限度缩短船舶在港时间，世界各地开始着力于提高码头自动化及智能化程度，以提高码头集装箱装卸工作效率。1993年荷兰鹿特丹港ECT码头投入运行，自此对于自动化码头的探索及实践不断深入，取得了很多成果。近年来，我国也加紧了对港口进行智能化改造的转型升级，妈湾智慧港、厦门远洋码头、青岛港自2017年起都陆续开始了自动化集装箱码头的规划和建设。

其中堆高车的自动化智能化改造对码头进出箱工作尤为重要，堆高车在装卸集装箱的过程中，通过吊具与集装箱正面上方的两个锁孔进行快速准确的对准锁定来完成抓取动作，传统的集装箱抓取通过堆高车司机靠经验手动调整堆高车及吊具的位置使锁孔与锁扣对准落锁，该方法不仅工作效率低下，对司机的要求也很高，长时间工作容易使司机产生疲劳，从而增加了事故发生的概率。

专利申请CN114863250A公开了一种集装箱锁孔识别定位方法、系统及存储介质，采用立体相机持续采集集装箱图像，通过深度学习目标检测模型检测图像中锁孔位置并实时识别跟踪定位，吊具根据锁孔位置向集装箱中心方向移动直至距离集装箱高度小于设定阈值，然后立体相机采集集装箱的深度图像并进行预处理，通过边缘检测确定集装箱四角位置，根据四角位置与锁孔的位置关系，计算锁孔中心位置，该定位方法适应室外复杂场景和光线环境且实时跟踪目标。但是只进行一次位置匹配，匹配精度不高，且立体相机的安装等无法适用于有效安装范围有限的堆高车。

专利申请CN113213340A公开了一种基于锁孔识别的集卡卸箱方法、系统、设备及存储介质，采用吊具上的相机采集锁孔图片，建立平面坐标系，获得锁孔中心与预设吊装定位点的对位误差信息，然后集卡前后行驶移动集装箱来进行对位，实现无人集卡和无人吊机的配合装卸作业，满足集卡对位功能，但是也只进行一次位置匹配，也无法实现锁孔与锁扣位置的精准匹配，且无法适用于有效安装范围有限的堆高车。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种集装箱锁孔自动识别定位系统及方法，快速、准确地对集装箱锁孔进行识别和定位，并能适用于有效安装范围有限的堆高车。

本发明的目的可以通过以下技术方案来实现：

本发明提供一种集装箱锁孔自动识别定位系统，包括数据采集系统、控制系统；

所述数据采集系统包括单目摄像机、测距传感器，所述单目摄像机用于采集目标集装箱RGB图像，所述测距传感器用于采集所述测距传感器到目标集装箱的水平距离信息，所述测距传感器优选为激光测距传感器。；

所述控制系统包括堆高车锁孔识别定位工控机、拉线传感器；

所述堆高车锁孔识别定位工控机内置有视觉计算算法、传感器数据融合算法、矢量坐标计算算法，用于通过所述视觉计算算法根据所述单目摄像机采集的目标集装箱RGB图像预测目标集装箱中锁孔区域并对预测出的锁孔区域图片进行处理得到目标集装箱锁孔中心的图像像素坐标，矢量坐标计算算法为现有技术中通用的计算和处理坐标数据的算法，矢量坐标计算算法将图像像素坐标及所述测距传感器采集的水平距离信息转换至世界坐标系下，传感器数据融合算法是现有技术中用于将多个传感器的数据整合和合并的算法，由于不同传感器具有不同的测量误差、采样频率和数据精度，传感器数据融合算法可以用来提高数据准确性和完整性，从而更好地反映实际情况。通过所述传感器数据融合算法将像素坐标信息与水平距离信息相融合，得到目标集装箱锁孔中心在世界坐标系下的三维坐标值；

所述拉线传感器通过检测油缸的伸缩程度确定吊具锁扣及锁孔的实际位置，二次校准匹配位置，其中，吊具安装在堆高车车体前方内门架轨道上，通过控制油缸伸缩可控制吊具的升降和左右伸缩。

进一步的，所述单目摄像机设于堆高车驾驶室一侧的楼梯扶手上，所述单目摄像机的镜头轴向朝向堆高车外侧，与堆高车行驶方向成30°角，由堆高车车载电源供电，所述测距传感器设于堆高车楼梯扶手一侧的车灯侧面，与水平面平行，由堆高车车载电源供电；

进一步的，所述堆高车锁孔识别定位工控机设于堆高车楼梯扶手一侧的堆高车车身侧面，所述拉线传感器设于堆高车门架旁。

进一步的，所述控制系统还包括电控柜，所述堆高车锁孔识别定位工控机设于所述电控柜内部，所述电控柜设于楼梯扶手一侧的堆高车车身侧面。

进一步的，所述视觉计算算法为SSD深度学习目标检测模型算法和OpenCV计算机视觉库提供的传统图像处理方法。

本发明提供一种集装箱锁孔自动识别定位方法，步骤包括：

S1：所述单目摄像机采集集装箱图片，通过深度学习目标检测模型算法预测集装箱锁孔区域，深度学习目标检测模型算法优选为SSD深度学习目标检测模型算法；

S2：通过OpenCV计算机视觉库提供的传统图像处理方法对预测得到的集装箱锁孔区域图像进行处理，得到目标集装箱单边锁孔中心的图像像素坐标；

S3：通过激光测距传感器测得激光测距传感器至目标集装箱锁孔的水平距离；

S4：通过矢量坐标计算算法将得到的目标集装箱单边锁孔中心的图像像素坐标及激光测距传感器至目标集装箱锁孔的水平距离转换至世界坐标系下，并通过传感器数据融合算法将图像像素坐标信息与水平距离信息相融合，得到目标集装箱单侧锁孔中心在世界坐标系下的三维坐标值；

S5：结合已知的集装箱固定的尺寸，推算得目标集装箱另一侧锁孔中心在世界坐标系下的三维坐标值；

S6：结合已知的吊具锁扣在世界坐标系下的三维坐标值，得到锁孔中心与锁扣的三维坐标差值，根据该差值调整油缸的伸缩程度，调整举升油缸和摇摆油缸的伸缩程度，使锁孔与锁扣位置进行初步匹配；

S7：通过拉线传感器测得油缸调整后的实际位置，对锁孔和锁扣位置进行再次位置精确匹配，直至锁孔与锁扣位置完全匹配，完成落锁、抓箱动作。

进一步的，所述通过深度学习目标检测模型算法预测集装箱锁孔区域的具体步骤包括：

S11:通过张氏标定法对单目相机进行标定，获取相机内部参数、外部参数以及畸变参数；

S12:识别前用单目摄像机采集大量集装箱样本图片，人工标记出其中的锁孔区域和非锁孔区域将其作为正负样本，通过深度学习网络框架进行训练；

S13:用训练完的网络模型预测出识别过程中拍摄的集装箱图片中的锁孔区域。

进一步的，所述通过OpenCV计算机视觉库提供的传统图像处理方法对预测得到的集装箱锁孔区域图像进行处理的具体步骤包括：

S21:对预测出的锁孔区域图片进行图像增强和降噪的图像预处理；

S22:对预处理完的图像进行二值化处理，找到所有轮廓；

S23:用最小外接矩形拟目标集装箱锁孔轮廓；

S24:以最小外接矩形中心点坐标作为目标集装箱锁孔位置像素坐标。

通过在堆高车上加装锁孔自动识别定位系统，能够自动识别所要抓取的目标集装箱的锁孔，并得到锁孔的三维坐标信息，依照该坐标信息调整堆高车及吊具位置，完成落锁及抓箱工作，使得堆高车可快速高效地完成吊具锁扣与集装箱锁孔的位置匹配，完成落锁抓箱动作，从而大大提高了堆高车的工作效率，降低了堆高车司机的工作强度，减少事故的发生。

与现有技术相比，本发明具有以下优点：

(1)全自动锁孔识别引导定位，大大提高装卸箱工作效率，降低了堆高车司机的工作强度，减少事故的发生。

(2)快速、准确地对集装箱锁孔进行识别和定位。能够自动识别所要抓取的目标集装箱的锁孔，并得到锁孔的三维坐标信息，依照该坐标信息调整堆高车及吊具位置，完成落锁及抓箱工作，使得堆高车可快速高效地完成吊具锁扣与集装箱锁孔的位置匹配，完成落锁抓箱动作。

(3)在有效安装范围十分有限的堆高车上能够准确获取图片和距离信息，并得到两侧的锁孔坐标。单目摄像机、堆高车锁孔识别定位工控机、拉线传感器的安装简单灵活，适用于不同应用场景，单目摄像机相对于立体摄像机安装更简单、容易集成。

附图说明

图1为集装箱锁孔自动识别定位系统的结构示意图。

图2为集装箱锁孔自动识别定位系统工作流程图。

附图标记：1-单目摄像机；2-激光测距传感器；3-电控柜；4-拉线传感器。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本技术方案中如未明确说明的部件型号、材料名称、连接结构、控制方法、算法等特征，均视为现有技术中公开的常见技术特征。

实施例1

本实施例提供一种集装箱锁孔自动识别定位系统，如图1所示，包括数据采集系统和控制系统及相关算法。

其中，数据采集系统包括单目摄像机1和激光测距传感器2：单目摄像机1设于堆高车驾驶室右侧楼梯扶手上，单目摄像机的镜头轴向朝向堆高车外侧，与堆高车行驶方向成30°角，由堆高车车载电源供电，用于采集目标集装箱RGB图像；激光测距传感器2设置于堆高车车头左侧，与水平面平行，由堆高车车载电源供电，用于采集传感器到目标集装箱的距离信息。

控制系统及相关算法包括堆高车锁孔识别定位工控机和拉线传感器4，堆高车锁孔识别定位工控机设于位于堆高车车体左侧的电控柜3内部，堆高车锁孔识别定位工控机内置有视觉计算算法、传感器数据融合算法和矢量坐标计算算法；拉线传感器4设于堆高车门架旁，通过检测油缸的伸缩程度确定吊具及锁孔的实际位置，用于辅助完成集装箱锁孔与吊具上锁扣的精确位置匹配。

本实施例提供一种集装箱锁孔自动识别定位方法，如图2所示，包括以下步骤：

S1：采用单目摄像机1采集集装箱的RGB图片，通过SSD深度学习算法训练并预测集装箱锁孔区域；

S2：通过OpenCV计算机视觉库提供的传统图像处理方法对预测得到的集装箱锁孔区域图像进行处理，其中包括：对预测出的锁孔区域图片进行图像增强和降噪的图像预处理；对预处理完的图像进行二值化处理，找到所有轮廓；用最小外接矩形拟集装箱锁孔轮廓；以最小外接矩形中心点坐标作为目标集装箱锁孔位置像素坐标；

S3：采用激光测距传感器2测得激光测距传感器2至目标集装箱锁孔的水平距离；

S4：通过矢量坐标计算算法将图像像素坐标及水平距离转换至世界坐标系下，并通过传感器数据融合的算法将像素坐标与水平距离相融合，得到目标集装箱单侧锁孔中心在世界坐标系下的三维坐标值；

S5：结合已知的集装箱固定的尺寸，推算得目标集装箱另一侧锁孔中心在世界坐标系下的三维坐标值；

S6：结合已知的吊具锁扣在世界坐标系下的三维坐标值，得到锁孔中心与锁扣的三维坐标差值，根据该差值调整油缸的伸缩程度，使锁孔与锁扣位置进行初步匹配；

S7：通过拉线传感器4测得油缸调整后的实际位置，对锁孔和锁扣位置进行再次位置精确匹配，直至锁孔与锁扣位置完全匹配，完成落锁、抓箱动作。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。