一种高空动态检测集装箱至目标位置的距离的方法及系统

技术领域

一种高空动态检测集装箱至目标位置的距离的方法及系统。属于信息技术领域。

背景技术

随着我国经济迅猛发展，综合国力日益增强，国际地位不断提升，作为经济全球化中重要的一员，我国港口货物吞吐量呈稳步上升的趋势。如此大的吞吐量对港口工作效率也是一项极大的挑战。在传统集装箱吊装过程中，龙门吊司机在高处驾驶室凭着自己的视力对路面上的集装箱进行定位，这不仅耗时还存在误判问题，从而影响作业效率，降低了港口、堆场吞吐量，导致车辆排起长龙，造成交通拥堵；将算法识别技术应用于集装箱检测中，不仅提高了检测效率，提高港口吞吐速率，还极大地节省了人力成本，而且本发明会将检测结果储存在服务器中，方便查询统计。

随着计算机运算能力的大幅进步，以及云计算的兴起和成熟，才得以运行起来大规模的神经网络模型，而且，大数据的出现，使得神经网络对大规模数据量的要求也逐渐不再是问题。

传统检测集装箱至目标位置的距离的工作流程如下：(1)车辆进入吊装区域。(2)安检人员对箱内箱外进行人工检测，记录集装箱基本信息并检查集装箱的好坏程度。效率低。

发明内容

本发明提出了一种高空动态检测集装箱至目标位置的距离的方法及系统。技术方案为：

一种高空动态检测集装箱至目标位置的距离的系统，其特征是，包括：客户端，前置机，服务器，摄像头，通过所述的客户端确定集装箱需要放置的位置，确定放置的位置之后，发送数据至所述前置机，所述前置机接收客户端发送的数据，通过视频流技术获取图像数据，运用图像算法识别技术对获取的图像信息进行处理，判断拍摄内容是否存在集装箱或者集卡车空车架，根据比例关系，处理得到集装箱或者集卡空车架至客户端确定的位置的距离，将识别信息、测距结果以及图片发送至服务器。

进一步的，所述的服务器接收并存储所述前置机发送的数据；用户通过浏览器基于http协议请求所述的服务器，所述的服务器实时返回测距结果。

进一步的，所述的摄像头安装在龙门吊上，用于获取龙门吊下方的集装箱、车辆位置信息。

进一步的，所述的服务器包括nginx服务器、minio文件服务器，所述的前置机上传图片数据请求nginx服务器，nginx服务器将请求转发至minio文件服务器，minio文件服务器将文件进行保存并返回图片地址至前置机，前置机携带图片地址以及识别数据访问nginx服务器，nginx服务器将接收到的数据存储在mysql数据库。

一种高空动态检测集装箱至目标位置的距离的方法，其特征在于，包括：

步骤1，获取大量的图像数据，对图片标注相应的标签，使用LabelImg 工具每标注一张样本，即生成一个xml的标注文件，并放置在训练集目录下，用作训练所述的神经网络；训练完成后，需要把训练的过程文件导出，从而生成所需的模型文件；

步骤2，利用所述步骤1中学习到的神经网络，输入图像数据，生成特征向量，将所述的图片对应的特征向量与先前存储的数据匹配相关联的置信度值，判断当前图像是否存在相关联的标识，识别集装箱、集卡车部件、地面数字标记等信息；

步骤3，根据识别到的物体在图片上的尺寸与实际尺寸的比例关系计算得出集装箱至目标位置的实际距离。

有益效果：

本发明可对龙门吊下的集装箱、集卡作业号、地面数据标记进行检测；检测集装箱与目标位置之间的距离；龙门吊驾驶司机可以实时获取集装箱或者集卡半挂车与目标位置之间的距离，方便司机吊装集装箱；将检测结果存储数据库，有利于查询以及确认。

附图说明

图1是本发明构成示意图；

图2是服务器接口流程示意图；

图3是本发明客户端操作流程示意图；

图4是本发明前置机运行流程示意图；

图5是本发明客户端可执行文件示意图；

图6是本发明客户端开始界面示意图；

图7是本发明客户端连接视频流示意图；

图8是本发明客户端移动对位线示意图；

图9是本发明客户端输入坐标值示意图；

图10是本发明客户端画线完成示意图；

图11是本发明客户端更新画线示意图；

图12是本发明客户端完成多个视频流画线示意图；

图13是本发明客户端发送数据示意图；

图14是本发明服务器实时返回集卡、集装箱位置示意图；

图15是本发明目标检测集装箱示意图；

图16是本发明目标检测半挂车车架示意图；

图17是本发明所用模型处理数据示意图。

具体实施方式

传统检测集装箱至目标位置的距离的工作流程如下：(1)车辆进入吊装区域。(2)安检人员对箱内箱外进行人工检测，记录集装箱基本信息并检查集装箱的好坏程度，效率低。

如图1-17，本发明涉及一种高空动态检测集装箱至目标位置的距离的系统，主要包括客户端，前置机，服务器，摄像头，用户通过客户端连接视频流，在连接到的视频图像上确定路面集装箱应该停靠的位置，目标位置确定之后将视频流地址以及目标位置数据发送至前置机；前置机接收到数据后连接视频流，运用图像算法识别技术检测当前视频图像中是否存在集卡车辆、集卡作业号、集装箱、路面数字标记，根据识别到的物体在图片上的尺寸与实际尺寸的比例关系计算得出集装箱至目标位置的实际距离。

如图1所示，系统包括：客户端，前置机，服务器，摄像头。

如图3所示，客户端基于rtsp协议连接视频流，在连接到的视频图像上确定路面集装箱应该停靠的位置，目标位置确定之后将视频流地址以及目标位置数据发送至前置机；

前置机接收到数据后连接视频流，运用图像算法识别技术检测当前视频图像中是否存在集卡车辆、集卡作业号、集装箱、路面数字标记，根据识别到的物体在图片上的尺寸与实际尺寸的比例关系计算得出集装箱至目标位置的实际距离；

如图4所示，前置机识别完信息后，上传图片以及识别信息至服务器。

如图2所示，摄像头以及前置机、服务器、客户端各组件之间数据上传及页面访问流程，厂区前置机上传图片数据请求nginx服务器， nginx服务器将请求转发至minio文件服务器，minio文件服务器将文件进行保存并返回图片地址至前置机，前置机携带图片地址以及识别数据访问nginx服务器，nginx服务器将接收到的数据存储在mysql 数据库。

用户通过http协议向nginx服务器发起请求，nginx服务器返回保存在mysql数据库的识别信息并根据保存在数据库的图片地址访问 minio文件服务器，nginx服务器返回包含识别信息以及关联图片的动态页面。

用户，如龙门吊司机，可以通过浏览器访问服务器，实时获取龙门吊下方的车辆、集装箱位置信息，方便龙门吊司机吊装集装箱。

如图5-图6所示，客户端的步骤包括如下内容：

步骤1：windows下直接双击打开(两个配置文件与客户端程序在同一目录下)，如图5所示；

步骤2：填写信息后点击右下角“连接视频流”按钮，如图6所示，弹出确认弹窗；

步骤3：检查参数,确认无误后点击确认，连接视频流，视频上显示两条不同颜色的线分别用于大箱、小箱的对位线，如图7所示，图7 中线表现为颜色深浅不同的线，具体在屏幕上显示时可以为不同色彩；

步骤4：将鼠标靠近一对位线并按住鼠标左键拖拽，移动此对位线如图8所示；

步骤5：用户也可以在右侧输入框填写对位线中心点的坐标值，所填的值须在规定范围内，若超出范围，视频下方将会有提示信息，如图 9所示；

步骤6：对位线位置确认后，确保所填信息数据完整无误，点击右下方“画线完成”按钮，左下脚将记录画线成功的视频流；画线完成后，可以再次连接新视频流，对新视频流进行画线，最多可以添加四个视频流的画线数据，如图10所示；

步骤7：如若改动已完成画线的视频流的对位线位置，只需在相同的视频流上重新画线并确认即可；点击“清空”按钮则将已画线视频流数据全部清除，如图11所示；

步骤8：当添加记录达到上限时，不可以再添加画线数据，此时可以更新数据或者清空数据；也可点击“启动”按钮，确认无误后点击“确认”。

前置机检测详细步骤如图4所示：

步骤1：前置机识别系统程序运行，等待客户端的数据；若接收到客户端的数据，转向步骤2；

步骤2：通过接收到的视频流地址获取到对应摄像头图像信息，对截取到的图片运用图像算法识别技术检测是否有车辆或者集装箱，若有转向步骤3；

步骤3：根据识别到的物体在图片上的尺寸与实际尺寸的比例关系计算得出集装箱至目标位置的实际距离，装向步骤4；

步骤4：识别系统程序将识别结果实时发送至服务器。

在本发明中，为得到所需模型，需要收集大量的图片数据，对图片标注相应的标签，使用LabelImg工具每标注一张样本，即生成一个xml 的标注文件，并放置在训练集目录下，用作训练。训练完成后，需要把训练的过程文件导出，从而生成所需的模型文件。

如图17所示，针对不同特征，如集装箱、集卡部件；地面数字标记、集卡作业号等识别，需要训练不同的模型用以识别检测。

以识别集卡作业号为例，对处理得到的截帧图，运用被训练出用以识别集卡作业号位置的模型，将所述截帧图作为输入，产生特征向量作为输出，通过与数据集存储的数据匹配相关联的置信度，从而检测集卡作业号在截帧图上的位置；进一步地，对识别到集卡作业号进行裁切并保存；进一步地，运用OCR字符识别模型，将集卡作业号裁切图作为输入，生成特征向量作为输出，并与先前存储的数据匹配相关联的置信度，通常选取匹配度较高的作为识别结果，进而达到识别集装箱箱号字符的目的；进一步地，根据各个字符在图片上的位置信息以及各个字符在图片上的实际排序方式，按照一定的逻辑进行字符排序，从而达到识别集卡作业号的目的。

同理，可以根据以上方法检测地面数字标记。

进一步，本发明中客户端由python开发完成，用到tkinter工具包，负责目标位置的确定、视频流地址及目标位置的发送；算法识别及处理部分由python开发，用到了numpy、tensorflow等工具包；服务端其前端由css、javascript开发，界面信息的呈现，后端则由lua、python开发，负责与前端进行数据交互及网站数据的保存、读取、处理以及结果返回。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。