集装箱掏箱流程智能化控制方法、系统、介质及装置

技术领域

本发明属于集装箱管理技术领域，尤其涉及一种集装箱掏箱流程智能化控制方法、系统、介质及装置。

背景技术

查验是海关监管的重要手段，查验的主要核心就是“单货相符”，也就是被布控的进出口货物，经海关查验后需要与申报一致。目前查验的全流程需要查验关员到现场与查验工人完成以下几个环节：

1.关员在现场人工读取集装箱号和封识号并拍照存档，使用业务系统查询单号进行比对，与申报一致才能继续开箱；

2.工人剪开封识号并打开箱门后，关员需要到现场确认开箱状态并拍照存档；

3.开箱成功后，工人按照掏箱指令，人工或使用铲车等工具搬运部分或全部货物；

4.关员到现场确认掏箱状态是否符合掏箱指令并拍照存档，符合后再抽检搬出的货物。

在整个掏箱流程中，需要关员反复人工核验并拍照上传，造成掏箱流程繁琐费时，而且需要关员多次到现场沟通或指挥，效率很低。特别是多个掏箱任务并行时，掏箱全流程会更为耗时。

相应的，本领域需要一种新的集装箱掏箱流程智能化控制方法、系统、介质及装置来解决现有海关查验集装箱时，掏箱全流程繁琐、耗时的问题。

发明内容

为了解决现有技术中的上述问题，即为了解决海关查验集装箱时，掏箱全流程繁琐、耗时的问题，本发明提供了一种集装箱掏箱流程智能化控制方法，包括：

发出理论掏箱方式的指令；

当接收到掏箱完成的信息后开始探测，根据探测结果测定实际掏箱方式，并与理论掏箱方式进行比较；

当实际掏箱方式与理论掏箱方式相匹配时，确认集装箱掏箱工作已完成。

在上述方法的优选技术方案中，所述“相匹配”具体是指，探测实际掏箱方式中物品的排布情况，所述排布情况至少包括空位以及空位的深度信息、实位及实位的深度信息，当实际掏箱结果中的所述空位及所述空位的深度信息与理论掏箱方式的所述空位及所述空位的深度信息一致，实际掏箱结果中的所述实位及所述实位的深度信息与理论掏箱方式中的所述实位及所述的实位深度信息一致时，即为实际掏箱方式与理论掏箱方式相匹配。

在上述方法的优选技术方案中，在“发出理论掏箱方式的指令”步骤之前，所述方法还包括：

拍摄所述集装箱状态的原始图像；

识别并定位所述原始图像内的所述集装箱的标识信息所在的具体位置；

对每个所述集装箱的标识信息所在的具体位置进行放大拍摄，以获得所述集装箱状态的图像；

识别所述集装箱状态的图像并校验所述集装箱的标识信息；

当标识信息校验无误时，发出开箱指令。

在上述方法的优选技术方案中，在“识别并校验所述集装箱的标识信息”的步骤之后，所述方法还包括：

当识别信息校验有误时，提示操作人员查看所述集装箱状态的图像后人工修改或录入，或者提示操作人员进行现场确认识别信息后人工修改或录入。

在上述方法的优选技术方案中，“当标识信息校验无误时，发出开箱指令”的步骤进一步包括：

当标识信息校验无误时，拍摄箱门的图像；

判断箱门的开闭状态；

当箱门处于正常关闭状态时，发出开箱指令；并且/或者，

“当接收到掏箱完成的信息后开始探测，根据探测结果测定实际掏箱方式，并与理论掏箱方式进行比较”的步骤进一步包括：

当接收到掏箱完成的信息后，拍摄掏箱结果；

探测掏箱结果；

根据探测结果测定实际掏箱方式，并与理论掏箱方式进行比较。

在上述方法的优选技术方案中，在“当接收到掏箱完成的信息后开始探测，根据探测结果测定实际掏箱方式，并与理论掏箱方式进行比较”的步骤之后，所述方法还包括：

当实际掏箱方式与理论掏箱方式不匹配时，提示操作人员是否在图像采集模块前方有遮挡物，或者提示检测失败并提示操作人员需实地查验实际掏箱方式。

在上述方法的优选技术方案中，所述标识信息包括集装箱号和/或封识号；并且或者，

所述掏箱方式为九宫格掏箱方式；并且/或者，

所述拍摄是采用摄像头进行；并且/或者，

所述探测是采用测距雷达进行。

本发明还提供了一种集装箱掏箱流程智能化控制系统，包括：

探测模块，其用于探测掏箱后集装箱内货物的实际状态；

处理模块，其用于发出开箱指令以及理论掏箱方式的指令；

当接收到掏箱完成的信息后，所述处理模块控制所述探测模块探测实际掏箱方式，并将探测到的实际掏箱方式与理论掏箱方式进行比较；

当实际掏箱方式与理论掏箱方式相匹配时，所述处理模块确认集装箱掏箱工作已完成。

在上述系统的优选技术方案中，所述处理模块还包含匹配模块，所述匹配模块用于根据所述理论掏箱方式生成所述理论物品排布模型，根据所述探测模块获得的掏箱后的集装箱内货品的实际状态，生成实际物品排布模型，比对所述理论物品排布模型和所述实际物品排布模型，当比对结果一致时，判定所述实际掏箱方式与所述理论掏箱方式相匹配。

在上述系统的优选技术方案中，所述系统还包括：

图像采集模块，其用于拍摄采集图像；

所述处理模块，其进一步用于控制所述图像采集模块拍摄所述集装箱状态的图像；

识别并校验所述集装箱的标识信息；

当标识信息校验无误时，发出开箱指令以及理论掏箱方式的指令。

本发明还提供了一种计算机可读存储介质，所述存储介质中存储有多条程序代码，其特征在于，所述程序代码适用于由处理器加载并运行以执行上述技术方案中任一项的集装箱掏箱流程智能化控制方法。

本发明还提供了一种终端装置，该控制装置包括处理器和存储器，所述存储器适用于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行上述技术方案中任一项的集装箱掏箱流程智能化控制方法。

本领域人员能够理解的是，在本发明的技术方案中，集装箱掏箱流程智能化控制方法包括：发出理论掏箱方式的指令；当接收到掏箱完成的信息后开始探测，根据探测结果测定实际掏箱方式，并与理论掏箱方式进行比较；当实际掏箱方式与理论掏箱方式相匹配时，确认集装箱掏箱工作已完成。

通过上述设置方式，使得本发明能够自动发布理论掏箱方式的指令，探测并判断实际掏箱方式是否与理论掏箱方式相符，并进一步确认集装箱掏箱工作已完成，避免关员需要反复到现场进行沟通、指挥和确认结果的繁复流程，操作更为简单，大幅降低了集装箱掏箱全流程的耗时，且识别和判断的准确率高。

附图说明

下面参照附图来描述本发明的具体实施方式。附图中：

图1为本发明的集装箱掏箱流程智能化控制方法的一个实施例的主要流程图；

图2为步骤S700的详细流程图；

图3为步骤S500的详细流程图；

图4为九宫格掏箱指令示意图；

图5为掏箱深度探测图；

图6为掏箱点云建模示意图；

图7为集装箱封箱标识的放大图；

图8a为集装箱箱门关闭状态检测实物图，图8b为集装箱箱门打开状态检测实物图；

图9为本发明的集装箱掏箱流程智能化控制系统的主要模块示意图。

具体实施方式

为了便于理解发明,下文将结合说明书附图和实施例对本发明作更全面、细致地描述,但本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

针对集装箱整个掏箱流程来说，需要关员反复人工核验并拍照上传结果，操作过程繁琐费时，效率非常低。为了优化集装箱的掏箱过程，需要能够自动识别集装箱号和封识号，智能判断开箱状态和掏箱状态的方法，这样就能够有效的减少关员的人工操作；同时能够在现场屏幕以及手持终端等进行状态同步、拍照取证和视频通话等，在辅助后台指挥以及现场沟通的同时，也能够将查验过程和查验结果留存，以备后续核查。

这个过程中，主要的难点在于：集装箱号和封识号文字式样、大小差距悬殊，文本方向不同，现场光照环境复杂，而且拍摄距离远(拍摄距离达到12m)，实现对集装箱号和封识号等信息清晰识别的难度较高。拍摄并识别集装箱号和封识号等信息属于OCR任务。OCR(Optical Character Recognition)，是指光学字符识别，是指对文本资料的图像文件进行分析识别处理，获取文字及版面信息的过程，亦即识别图像中的文字信息，并以文本的形式返回。OCR技术需要大量的数据样本进行支撑，通过深度学习训练，才能获得良好的识别效果。

另外，集装箱掏箱过程中另外一个挑战在于，集装箱内物品种类繁多，颜色、大小、材质都没有统一的标准，如何自动判断掏箱过程是否符合掏箱指令，目前还没有基于计算机视觉技术的成熟稳定的方案。其中计算机视觉技术是指，使计算机模拟人类的视觉过程，也就是使计算机具有感受环境的能力和人类视觉功能的技术，是图像处理、人工智能和OCR等技术的综合应用。

为了解决上述问题，下面结合图1-图8对本发明的方法进行介绍，本发明提供了一种集装箱掏箱流程智能化控制方法，包括：

步骤S600，发出理论掏箱方式的指令。

具体地，根据海关的具体政策，将政策规定的理论掏箱方式自动下发到系统，不需要人工下发理论掏箱方式。关员将理论掏箱方式的指令下发，系统会通过终端直接显示或者进行进行语音播报等方式发出，查验工人可以通过显示终端或手持终端接收理论掏箱方式的指令。如果查验工人正在进行其他作业，需要间隔一段时间才进行该区域掏箱作业，也允许查验工人进行人脸识别进入系统，选择相应区域，查看该区域的理论掏箱方式指令。

在一个实施方式中，如图4所示，理论掏箱方式为九宫格掏箱指令。其中九宫格掏箱指令是指，每个集装箱里面按照九宫格方式划分区域，再分成上中下三层，根据具体指令指示，查验集装箱的具体位置。在按照九宫格掏箱指令掏箱时，会按照从外到内的顺序进行掏箱，一般而言，如果内层对应位置需要掏箱时，则与其对应的外层对应位置也需要进行掏箱，不会存在外层物品遮挡内层物品的情况。

步骤S700，当接收到掏箱完成的信息后开始探测，根据探测结果测定实际掏箱方式，并与理论掏箱方式进行比较。

如图2所示，S700还进一步包括：

步骤S710，当接收到掏箱完成信息后，拍摄掏箱结果。

具体地，当工人完成掏箱工作后，会通过终端发出掏箱完成信息，当系统接收到掏箱完成信息后，会调用图像采集模块到指定区域采集掏箱照片并上传至系统。

步骤S720，探测掏箱结果。

具体地，系统继续调用探测模块对实际掏箱结果进行探测，确定集装箱内的物品排布情况。

步骤S730，根据探测结果测定实际掏箱方式，并与理论掏箱方式进行比较。

具体地，处理模块根据探测的实际掏箱结果生成实际物品排布模型，与理论物品排布模型进行比对，判断实际掏箱方式是否与理论掏箱方式相符。

在一个实施方式中，系统调用高倍数高清球机采集掏箱照片上传系统用于存档或者通过实物照片后期人工查验是否掏箱正确，系统继续调用高倍数高清球机和固态面阵激光雷达采集集装箱掏箱区域深度图，如图5所示，使用算法判断九宫格掏箱区域内的掏箱深度，确定实际掏箱结果是否与理论掏箱方式相符。其中，高倍数高清球机已经属于本领域技术人员常用的设备，本申请不在详细展开。固态面阵激光雷法是基于ToF(Time ofFlight)原理的单点测距雷达，配合独特的光学、电学设计，可以实现稳定、精准、高灵敏度的距离测量，内置多种应用环境及目标的适配算法，并开放了多种可调节的配置和参数，可以保证在复杂的环境中具有优良的测距性能。

进一步地，在另一个实施方式中，系统还能够调用高倍数高清球机的彩色摄像机成像功能，实现实际掏箱结果的3D点云的可视化，如图6所示，辅助关员查看。点云数据中每个点包含有三维坐标，还能够包含颜色信息和反射强度信息(黑白图像无法示出)，能够更为清楚的反应出目标的探测结果。

步骤S800，当实际掏箱方式与理论掏箱方式相匹配时，确认集装箱掏箱工作已完成。

具体地，当实际掏箱结果与理论掏箱方式相匹配时，系统会通知关员掏箱工作已完成，关员根据查验指令(如采样送检等)进行后续处置。

“相匹配”具体是指，探测实际掏箱方式中物品的排布情况，排布情况至少包括空位以及空位的深度信息、实位及实位的深度信息，当实际掏箱结果中的空位及空位的深度信息与理论掏箱方式的空位及空位的深度信息一致，实际掏箱结果中的实位及实位的深度信息与理论掏箱方式中的实位及实位的深度信息一致时，即为实际掏箱方式与理论掏箱方式相匹配。

在一个实施方式中，当实际掏箱结果与理论掏箱方式相匹配时，系统会调用图像采集模块采集掏箱结果照片发送给关员手持终端，并通知关员掏箱工作已完成。

在另一个实施方式中，当实际掏箱结果与理论掏箱方式相匹配时，系统向关员手持终端发送“掏箱工作完成”信息，关员现场拍摄查验照片。

如图1所示，在“S600，发出理论掏箱方式的指令”之前，所述方法还包括：

步骤S100：拍摄所述集装箱状态的原始图像；

步骤S200：识别并定位所述原始图像内的所述集装箱的标识信息所在的具体位置；

步骤S300：对每个所述集装箱的标识信息所在的具体位置进行放大拍摄，以获得所述集装箱状态的图像。

具体地，在集装箱开箱前，需要确定集装箱的信息是否与系统信息相符，系统调用图像采集模块抓拍集装箱原始图像，并使用封识识别模型，在原始图像中识别集装箱封识所在位置，并进一步调用图像采集模块，放大倍数重新拍摄，获得封识号的清晰照片，如图8所示。

步骤S400，识别所述集装箱状态的图像并校验所述集装箱的标识信息。

具体地，系统调用集装箱号识别模型，检测集装箱原始图像中的集装箱号；继而调用封识号识别模型对清晰的封识号照片进行识别，并将识别结果与发送给系统，系统将集装箱号、封识号与后台报关单和仓单系统的数据进行核对。

其中，集装箱号识别模型、封识检测模型、封识号识别模型是基于深度神经网络的模型，应用OCR技术，在采集大量图像样本并进行人工标注后，进行深度训练获得的。

步骤S401，当识别信息校验有误时，提示操作人员查看所述集装箱状态的图像后人工修改或录入，或者提示操作人员进行现场确认识别信息后人工修改或录入。

具体地，如果系统识别信息失败，或个别字段识别错误，系统会提示关员在手持终端上手动修改错误；如果识别不出相应的信息，则需要关员到现场进行人工确认和录入相应的标识信息。

步骤S500，当识别信息校验无误时，发出开箱指令。如图3所示，该步骤还进一步包括：

步骤S510，当识别信息无误时，拍摄箱门的图像。

具体地，若前述步骤中集装箱标识信息校验无误，则将结果发送给显示终端，并语音通报校验结果，系统调用图像采集模块拍摄集装箱箱门图像用于存档或者后期校验。

步骤S520，判断箱门的开闭状态。

具体地，如图8a和图8b所示，使用箱门分割模型定位并精确分割出箱门图像中集装箱箱门区域，并以此判断箱门是否全部打开。其中箱门分割模型是基于深度神经网络的模型，应用OCR技术，在采集大量图像样本并进行人工标注后，进行深度训练获得的。

步骤S530，当箱门处于正常关闭状态时，发出开箱指令。

具体地，当箱门处于关闭状态时，系统将标识和箱门验证结果发送到关员手持终端，提示关员下发开箱指令。关员下发开箱指令到显示终端，并进行语音播报。当然也可以是直接下发可开箱的指令，本领域技术人员可以根据需要灵活选择。

在步骤S700，“当接收到掏箱完成的信息后，探测实际掏箱方式，并与理论掏箱方式进行比较”之后，所述方法还包括：

步骤S701，当实际掏箱方式与理论掏箱方式不匹配时，提示操作人员是否在图像采集模块前方有遮挡物，或者提示检测失败，并提示操作人员需实地查验实际掏箱方式。

具体地，当掏箱结果检测失败，系统语音播报，播报内容类似于“掏箱雷达检测失败，请工人确认是否有货物堆在集装箱前面，影响雷达作业”，并拍照发送至关员手持终端，对于货物摆放位置影响雷达检测的情况，查验工人搬移货物，在现场显示终端或手持终端选择区域，再次点击雷达检测并提交，二次核验结果发送至系统，对于雷达检测失误或二次检测不通过的情况，由关员人工确认。

在一种可能的实施方式中，标识信息包括集装箱号和/或封识号，当然还可以根据不同的集装箱设置不同的标识信息；拍摄操作采用摄像头进行，优选为高倍数的高清球机；探测操作采用测距雷达进行，优选为固态面阵激光雷达。

上述设置方式的优点在于：集装箱号和封识号是集装箱申报的重要信息，海关需要查验集装箱号和封识号是否与申报一致，才能够继续开箱。采用摄像头拍摄相应的集装箱号、封识号、箱门、开箱状态、掏箱状态等图像，能够有效获取所述方法中每个步骤所需要的信息。进一步地，摄像头为高倍数高清球机，能够更为清晰准确的获取到相应的图像信息。应用测距雷达实现探测操作，能够有效探测掏箱后集装箱内货物的实际状态。进一步地测距雷达为固态面阵激光雷达，能够更为准确的探测掏箱后集装箱内货物的实际状态，并能够与高倍数高清球机结合，实现实际掏箱状态的3D点云可视化图像。其中，测距雷达可以设置在摄像头处，也可以是手持测距雷达，也可以可拆卸的安装在集装箱内的顶部，实现相应的探测操作，其中，固定设置在摄像头处的测距雷达可能对于内部有遮挡的部分不能准确测得，因此需要配合九宫格的掏箱方式不随机出遮挡的情况，把遮挡情况排除在外，手持测距雷达或者可拆卸的安装在集装箱内的顶部的测距雷达，能解决物品相互遮挡导致的探测不准确问题，九宫格的掏箱方式的组合排列选择也更多，但相应的其会增加额外雷达位置安装或移动的操作，各有利弊，本领域技术人员可以根据需要灵活选择。

如图9所示，本发明还提供了一种集装箱掏箱流程智能化控制系统，包括：

探测模块，其用于探测掏箱后集装箱内货物的实际状态；

处理模块，其用于发出开箱指令以及理论掏箱方式的指令；

当接收到掏箱完成的信息后，所述处理模块控制所述探测模块探测实际掏箱方式，并将探测到的实际掏箱方式与理论掏箱方式进行比较；

当实际掏箱方式与理论掏箱方式相匹配时，所述处理模块确认集装箱查验前的准备工作已完成；

处理模块还包含匹配模块，匹配模块用于根据理论掏箱方式生成理论物品排布模型，根据探测模块获得的掏箱后的集装箱内货品的实际状态，生成实际物品排布模型，比对理论物品排布模型和实际物品排布模型，当比对结果一致时，判定实际掏箱方式与理论掏箱方式相匹配。

图像采集模块，其用于拍摄采集图像；

其中，处理模块能够进一步用于控制图像采集模块拍摄所述集装箱状态的图像；识别并校验集装箱的标识信息；当标识信息无误时，发出开箱指令以及理论掏箱方式指令。

本发明的集装箱掏箱流程智能化控制系统的一种具体实施方式的安装部署包括：

1.安装nvidia显卡驱动；

2.安装docker；

3.安装nvidia-docker；

4.安装docker-compose；

5.使用docker load命令，导入封识号、开箱状态识别、掏箱状态识别、java后台等微服务的docker镜像；

6.复制项目文件，修改docker-compose.yml文件，加载上述docker镜像生成容器；

7.docker容器内的算法推理服务自动运行。

其中，Docker是一个开源的应用容器引擎，可以让开发者打包其应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。

特别地，当查验工人接收到查验任务后，前往现场显示终端或手持终端选择查验区域，点击确认按钮提交，提交后显示终端或手持终端可采集人脸照片，以备后续核验查验工人身份。

查验过程中，球机可以对开箱查验和实货查验两个环节分别录像，后台自动记录查验全程的起止时间，允许关员回放查验作业录像，检查是否存在违规情况，并且到现场做后续处置。考虑到视频存储量大，海关关员可以在后台系统选择开启或关闭录像功能。

查验过程中，允许查验工人通过现场显示终端或手持终端与关员进行音视频通话。

在现场显示终端和手持终端还包含数据统计功能，点击该功能可以查看当日已查验、未查验、查验中的集装箱数量。

显示终端为查验现场显示屏，手持终端为pad或手机等。显示终端和手持终端与处理模块连接。

进一步，在本发明的一种计算机可读存储介质的一个实施例中，该计算机存储介质存储多条程序代码，所述程序代码适用于由处理器加载并运行以执行前述的集装箱掏箱流程智能化控制方法。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，在本发明的一种控制装置的一个实施例中，包括处理器和存储器，所述存储装置适用于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行前述的集装箱掏箱流程智能化控制方法。

进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的系统的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的

本领域技术人员能够理解的是，可以对系统中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。