用于自动集装箱门状态识别的三维(3D)深度和二维(2D)成像系统和方法

背景技术

在运输业中，通常使用各种不同的技术来装载装运集装箱(shipping container)(例如，用于航空和/或地面运输和装运的装运集装箱，诸如单元装载设备(ULD))，这些技术考虑到箱子、包裹或其他装运或转运物品的各种不同尺寸和配置。另外，装运集装箱本身通常具有不同的尺寸和存储容量(例如，此类集装箱被构造为处理不同的货物尺寸、负载和/或配置)。所有各种装载技术、箱子尺寸/配置和装运集装箱尺寸/配置的全部创建了不同的装载策略、技术和总体装载操作的差异，监督此类商用拖车的装载的装载员和/或管理员难以进行管理。

装载策略、尺寸和配置的此类各种排列在追踪不同人员(例如，装载员)的装载表现或质量指标产生了问题，每一个人可能位于不同的地理位置和/或采用不同的装载方案。特别地，装载员或管理员可能期望对与如何装载其装运集装箱的效率有关的更多的了解和改进的指标，以便他们可以采用或做出更好的管理决策来改善装载时间或以其他方式提高与装运集装箱相关联的物流操作的装载效率。

另外，传统的装运集装箱装载策略和技术(例如，诸如用于ULD集装箱的传统装载策略)也会产生问题。例如，在装载期间，当装载员在装运集装箱内或周围移动和安排包裹时，通常很难跟踪装运集装箱的装载进度或状态。这给装载物流带来了问题，降低了仓库或其他装载设施内的运营效率，尤其是在容纳了数以百计是装运集装箱的大型设施内，这些集装箱必须在设置的时间段内进行处理，以满足装运期限或其他装运标准。

常规技术，包括人工监控装运集装箱的装载状态(包括门状态)，可能是站不住脚的，尤其是在大型设施中。此类人工技术往往无法提供装运设施内装运集装箱的装载的更新或当前状态，尤其是在通常期望追踪跨越较宽存储区域的大量集装箱的状态的大型装运设施中。

因此，需要如本文进一步所描述的用于自动集装箱门状态识别的三维(3D)深度成像系统和方法。

附图说明

附图(其中类同的附图标记在全部单独的视图中表示相同的或功能类似的要素)连同下面的详细描述被纳入于此并形成说明书的一部分，并用来进一步阐述包括所要求保护的发明的构思的实施例，以及解释那些实施例的各种原理和优势。

图1A是根据本文的示例实施例的从上方看的描绘了具有3D深度照相机的负载监控单元(LMU)的装载设施的预定义搜索空间的立体视图，该3D深度照相机在一方向上定向以在装运集装箱与门打开状态类型相关联的装运集装箱装载作业段捕获装运集装箱的3D图像数据。

图1B是根据本文的示例实施例的其中装运集装箱与门关闭状态类型相关联的图1A的立体视图。

图1C是根据本文的示例实施例的其中装运集装箱与门部分关闭状态类型相关联的图1A的立体视图。

图1D是根据本文的示例实施例的其中装运集装箱与门打开、包裹满载状态类型相关联的图1A的立体视图。

图2是根据本文的示例实施例的图1A的LMU的立体视图。

图3是表示与图1的装载设施和图2的3D深度照相机相关联的服务器的实施例的框图。

图4是根据本文的示例实施例的用于自动集装箱门状态识别的3D深度成像方法的流程图。

图5A和5B示出了根据图4的方法并且根据本文的示例实施例捕获的装运集装箱的3D图像数据的示例实施例。

图6示出了根据图4并且根据本文的示例实施例的显示图形地指示一个或多个相对应的门中的每一个的状态类型的引导用户界面(GUI)的客户端设备。

本领域技术人员将理解附图中的要素出于简化和清楚而示出，并且不一定按比例绘制。例如，附图中的要素中的一些要素的尺寸可相对于其他要素被放大以帮助提升对本发明实施例的理解。

已在附图中通过常规符号在适当位置对装置和方法构成进行了表示，所述表示仅示出与理解本发明的实施例有关的那些特定细节，以免因得益于本文的描述对本领域技术人员显而易见的细节而混淆本公开。

具体实施方式

本文描述了用于自动集装箱门状态识别的三维(3D)成像系统和方法。更一般地，本文公开涉及提供集装箱装载分析(CLA)，诸如满载分析。许多操作洞察指标可以从装运集装箱的门状态中得出。此类指标可以包括装运集装箱的装载时间、装运集装箱的空闲时间，诸如装运集装箱在装载之前以及门关闭且装运集装箱拉走之后的空闲时间。此类指标可可以允许装运人(例如，包括装运或打包人员)识别和接收有关集装箱打开、关闭或其他状态的警报，这对于CLA分析系统和最终用户来说在提供装载状态方面是有用的指标。

识别集装箱门状态的主要挑战是门的结构、材料以及由此产生的刚性在多种集装箱类型中的巨大变化。一些门是可卷起的帆布面板，但是一些具有多个并排的金属面板。本公开提出了一种在正常集装箱装载进程期间自动确定集装箱门状态的有效、准确和稳健的方法。该方法提高了已知分析算法的效率和精度。例如，本公开描述了关于识别各种装运集装箱类型的装运集装箱门打开、关闭和部分状态的3D和2D成像系统和方法。例如，本公开的实施例允许多种类型的装运集装箱的成像，例如，包括AMJ、AAD、AKE、AYY、SAA、APE和AQF类型的ULD。

另外，本公开描述了用于估计用于具有可修改/可卷起的门的装运集装箱的部分关闭/下降门面板的高度的3D和2D成像系统和方法。

在又进一步实施例中，本公开描述了图像分析和机器学习技术以使用深度(3D)图像数据和/或颜色(2D)图像数据二者来确定集装箱门状态。也就是说，成像系统和方法可以在2D图像数据(例如，颜色或像素数据)和3D图像数据(例如，深度图像上的几何分析)二者上利用机器学习技术。以该方式，2D图像中的光度信息以及3D图像数据中的几何信息可以提供与装运集装箱周围相比的(多个)集装箱门的特异性，从而提高整个系统的精度。例如，各种实施例包括用于使用彩色和深度图像的门状态识别的系统和方法；用于单个和/或分体式装运集装箱的门状态识别；用于具有一个或多个分体式门的装运集装箱的集装箱门状态识别；使用时间过滤的集装箱门状态识别；和部分关闭的装运集装箱门的集装箱门高度估计。本文所描述的成像系统和方法可以应用于具有多种配置类型的所有类型的装运集装箱(例如，所有ULD类型)与之一起使用，包括单个门、分体式门等。

如本文将进一步描述的，本公开的实施例将用于多种类型的集装箱的校准工作进行简化和自动化。如果没有本公开的益处，则校准工作将仍然是大量且乏味的。

因此，在本文所公开的各种实施例中，公开了用于自动集装箱门状态识别的3D深度成像系统。3D深度成像系统可以包括被配置为捕获3D图像数据的3D深度照相机。3D深度照相机可以在一方向上定向以在装运集装箱装载作业段捕获位于预定义搜索空间中的装运集装箱的3D图像数据。另外，装运集装箱可以具有装运集装箱类型。

3D深度成像系统可以进一步包括被配置为在一个或多个处理器上执行的和接收3D图像数据的集装箱识别应用(app)。集装箱识别app可以被配置为基于该3D图像数据来确定表示装运集装箱的集装箱点云。另外，集装箱识别app还可以被配置为在一个或多个处理器上执行，以从3D图像数据确定3D图像门区域数据子集，该3D图像门区域数据子集定义装运集装箱的一个或多个相对应的门的一个或多个门区域。该一个或多个门区域的每一个门区域可以包括近门图像数据部分和门后图像数据部分。

另外，3D深度成像系统的集装箱识别app可以进一步被配置为在一个或多个处理器上执行，以从3D图像门区域数据子集确定该一个或多个相对应的门中的每一个的状态类型。例如，状态类型可以从以下选项的一个中选择：(a)门打开状态类型、(b)门关闭状态类型、或(c)门部分关闭状态类型。

另外，公开了用于自动集装箱门状态识别的3D深度成像方法。3D深度成像方法可以包括通过3D深度照相机在装运集装箱装载作业段捕获位于预定义搜索空间中的装运集装箱的3D图像数据。装运集装箱可以具有装运集装箱类型。

3D深度成像方法可以进一步包括通过在一个或多个处理器上执行的集装箱识别应用(app)接收3D图像数据。

3D深度成像方法可以进一步包括通过基于该3D图像数据的集装箱识别app确定表示装运集装箱的集装箱点云。

3D深度成像方法还可以包括通过集装箱识别app从3D图像数据确定3D图像门区域数据子集，该3D图像门区域数据子集定义装运集装箱的一个或多个相对应的门的一个或多个门区域。该一个或多个门区域的每一个门区域可以包括近门图像数据部分和门后图像数据部分。

3D深度成像方法可以进一步包括通过集装箱识别app从3D图像门区域数据子集确定该一个或多个相对应的门的每一个的状态类型。状态类型可以从以下选项的一个中选择：(a)门打开状态类型、(b)门关闭状态类型、或(c)门部分关闭状态类型。

本文公开的各种附图可以进一步了解本文所公开的3D深度成像系统和方法。

图1A是根据本文的示例实施例的从上方看的描绘了具有3D深度照相机的负载监控单元(LMU)的装载设施的预定义搜索空间的立体视图，该3D深度照相机在一方向上定向以在装运集装箱与门打开状态类型相关联的装运集装箱装载作业段捕获装运集装箱的3D图像数据。如所描绘的，装运集装箱102具有“AMJ”的装运集装箱类型。通常，装运集装箱是从几种不同尺寸的集装箱中选择的。在各种实施例中，装运集装箱可以包括任何类型的单元装载设备(ULD)。例如，装运集装箱类型可以是任何ULD类型，包括例如AMJ类型、AAD类型、AKE类型、AYY类型、SAA类型和APE类型或AQF类型中的任何一种。对于ULD装运集装箱，首字母(例如，“A”指“经认证的航空集装箱”)指示ULD集装箱的特定类型，诸如经认证的、热的等；第二字母表示在尺寸方面的基础大小(例如，“M”指96×125英寸)；以及第三字母表示侧轮廓的尺寸和形状(例如，“J”指仅在一侧具有对角倾斜顶部分的立方体形ULD集装箱)。然而，更一般地，装运集装箱可以是任何基于航空的装运集装箱。

可以基于装运集装箱的大小、尺寸或其他配置和/或装运区域所定位的区域来确定预定义搜索空间101。例如，在一个实施例中，可以基于一般区域内的ULD类型、形状或位置来确定预定义搜索空间101。如图1A所示，例如，基于AMJ类型的装运集装箱102的大小和尺寸来确定预定义搜索空间101。一般地，预定义搜索空间101被定义为完全地(或至少部分地)包括装运集装箱或对装运集装箱成像。装运集装箱102可以包括门102d，门102d被描绘为打开的或处于打开位置。如本文所描述的，在各种实施例中，打开的位置可以与门打开状态类型相关联。在门102d后面，是装运集装箱102的内部区域102b。近门区域102d是靠近装运集装箱102的门102d的开口的正面区域102n。

图1A附加地描绘了在预定义搜索空间101内，可以将包裹104和107装载到装运集装箱102中的人员或装载员105和106。在图1A的实施例中，装运集装箱102可以在装载作业段由装载员105和106装载包裹104和107。装载作业段包括将一组或一群组已标识的包裹(例如包裹104和107)装载到装运集装箱102中。装载员105和106以及包裹104和107通过在预定义搜索空间101中移动，通常会导致随着时间捕获装运集装箱102的3D图像数据的3D深度照相机202(如图2所讨论的)的遮挡和干扰。

图1B是根据本文的示例实施例的装运集装箱102与门关闭状态类型相关联的图1A的立体视图。例如，图1B描绘了本文关于图1A所描述的装运集装箱102、门102d、正面区域102n和3D深度照相机202。在图1B的实施例中，门102d被描绘为关闭的或处于关闭位置。如本文所描述的，在各种实施例中，关闭的位置可以与门关闭状态类型相关联。在图1B的实施例中，通过门102d将装运集装箱102的内部区域102b隐藏。在图1B的实施例中，近门区域102d包括门102d的一部分，该部分在靠近装运集装箱102的开口处被关闭。

图1C是根据本文的示例实施例的装运集装箱102与门部分关闭状态类型相关联的图1A的立体视图。例如，图1C描绘了本文关于图1A所描述的装运集装箱102、门102d、内部区域102b、正面区域102n和3D深度照相机202。在图1C的实施例中，门102d被描绘为部分关闭的或处于部分关闭位置。如本文所描述的，在各种实施例中，部分关闭的位置可以与门部分关闭状态类型相关联。在图1B的实施例中，装运集装箱102的内部区域102b在门102d后可见。在图1B的实施例中，近门区域102d包括门102d的一部分，该部分在靠近装运集装箱102的开口处被部分关闭。

图1D是根据本文的示例实施例的装运集装箱102与门打开、包裹满载状态类型相关联的图1A的立体视图。例如，图1D描绘了本文关于图1A所描述的装运集装箱102、门102d、内部区域102b、正面区域102n和3D深度照相机202。在图1D的实施例中，门102d被描绘为打开的或处于打开位置，其中集装箱102包裹满载。如本文所描述的，在各种实施例中，打开的位置(其中装运集装箱包裹满载)可以与门打开、包裹满载状态类型相关联。在图1D的实施例中，装运集装箱102的内部区域102b在门102d后可见，并且包裹满载(或至少大部分满载)。在图1D的实施例中，近门区域102d包括靠近装运集装箱102的门102d的开口的正面区域102n。

图2是根据本文的示例实施例的图1的LMU的立体视图。在各种实施例中，LMU 202是可安装设备。通常，LMU 202包括(多个)照相机和处理板，并且被配置为捕获加载场景(例如，包括本文所描述的图1A、图1B、图1C和/或图1D中的任何一个的场景)的数据。LMU 202可以运行集装箱满载度估计和其他高级分析算法。

LMU 202可以包括3D深度照相机254，用于捕获、感测或扫描3D图像数据/数据集。例如，在一些实施例中，3D深度照相机254可以包括红外(IR)投影仪和相关的IR照相机。在此类实施例中，IR投影仪将IR光或光束的图案投射到对象或表面上，在本文的各种实施例中，该对象或表面可以包括预定义搜索空间(例如，预定义搜索空间101)的表面或区域或预定义搜索空间101内的对象，诸如箱子或包裹(例如，包裹104和107)和存储集装箱102。IR光或光束可以由IR投影仪以点(dot)或点(point)的图案分布在物体或表面上，该点(dot)或点(point)的图案可以由IR照相机感测或扫描。深度检测app，诸如在LMU 202的一个或多个处理器或存储器上执行的深度检测app，可以基于点(dot)或点(point)的图案来确定各种深度值，例如，预定义搜索空间101的深度值。例如，可以在点(dot)或点(point)密集的地方确定近深度对象(例如，附近的箱子、包裹等)，并且可以在点更分散的地方确定远深度对象(例如，远处的箱子、包裹等)。深度检测app和/或LMU 202可以使用各种深度值以生成深度图。深度图可以表示由3D深度照相机254感测或扫描的对象或表面(例如，预定义搜索空间101和其中的任何对象、区域或表面)的3D图像，或包含由3D深度照相机254感测或扫描的对象或表面(例如，预定义搜索空间101和其中的任何对象、区域或表面)的3D图像数据。

LMU 202可以进一步包括照片真实照相机256，用于捕获、感测或扫描2D图像数据。照片真实照相机256可以是基于RGB(红、绿、蓝)的照相机，用于捕获具有基于RGB的像素数据的2D图像。在一些实施例中，照片真实照相机256可以在与3D深度照相机254相同或类似的时间点上捕获2D图像和相关的2D图像数据，使得LMU 202可以在相同时间在相同或类似的实例中具有可用于特定表面、对象、区域或场景的一组3D图像数据和一组2D图像数据。

在本文所描述的各种实施例中，LMU 202可以是包括用于捕获3D图像(例如，3D图像数据/数据集)的3D深度照相机和照片真实照相机(例如，2D图像数据/数据集)的可安装设备。照片真实照相机可以是用于捕获2D图像(诸如图1的图像)的RGB(红、绿、蓝)照相机。LMU 202还可以包括一个或多个处理器和一个或多个计算机存储器，用于存储图像数据和/或用于执行那些执行如本文所描述的分析或其他功能的app。在各种实施例中并且如图1所示，LMU 202可以安装在装载设施内并且在预定义搜索空间101的方向上定向以捕获装运集装箱102的3D和/或2D图像数据。例如，如图1所示，LMU 202可以被定向使得LMU 202的3D和2D照相机可以捕获装运集装箱102的3D图像数据，例如，其中LMU 202可以扫描或感测预定义搜索空间101内的墙壁、地板、天花板、包裹或其他对象或表面，以确定3D和2D图像数据。图像数据可以由LMU 202的一个或多个处理器和/或存储器(或在一些实施例中，服务器的一个或多个远程处理器和/或存储器)进行处理，以实现由一个或多个各种流程图、框图、方法、功能或本文的各种实施例所描述的分析、功能，诸如图形或成像分析。应当注意，LMU202可以捕获各种装载设施或其他区域的3D和/或2D图像数据/数据集，使得除了预定义搜索空间(例如，预定义搜索空间101)之外，本文还考虑了附加的装载设施或区域(例如，仓库等)。

在一些实施例中，例如，LMU 202可以处理从3D深度照相机和照片真实照相机扫描或感测的3D和2D图像数据/数据集，以供其他设备(如本文进一步所描述的客户端设备600或服务器301)使用。例如，LMU 202的一个或多个处理器和/或一个或多个存储器可以捕获和/或处理从预定义搜索空间(例如，图1A至图1D的视图中的任何一个)扫描或感测的图像数据或数据集。图像数据的处理可以生成扫描后数据，该扫描后数据可以包括从原始扫描或感测的图像数据所确定的元数据、简化数据、规范化数据、结果数据、状态数据或警报数据。在一些实施例中，图像数据和/或扫描后数据可以被发送到客户端设备/客户端应用，诸如例如，可以在客户端设备600上安装和执行的仪表板app(如本文关于图6进一步所描述的)，以用于查看、操纵或以其他方式交互。在其他实施例中，图像数据和/或扫描后数据可以被发送到服务器(例如，本文进一步所描述的服务器301)以用于存储或进一步操纵。例如，图像数据和/或扫描后数据可以被发送到服务器，诸如服务器301。在此类实施例中，服务器或多个服务器可以生成扫描后数据，该扫描后数据可以包括从由LMU 202提供的原始扫描或感测的图像数据所确定的元数据、简化数据、规范化数据、结果数据、状态数据或警报数据。如本文所描述的，服务器或其他集中式处理单元和/或存储可以存储此类数据，并且还可以将图像数据和/或扫描后数据发送到在客户端设备上实现的仪表板app或其他app，诸如在图6的客户端设备600上实现的仪表板app。

LMU 202可以包括安装支架252，用于在与如本文关于图1A至图1D所描述的预定义搜索空间101相关联的装载设备内定向或以其他方式定位LMU 202。LMU 202可以进一步包括一个或多个处理器和一个或多个存储器，用于处理如本文所描述的图像数据。例如，LMU202可以包括闪存存储器，用于确定、存储或以其他方式处理成像数据/数据集和/或扫描后数据。另外，LMU 202可以进一步包括网络接口，以能够与其他设备(诸如本文所描述的图3的服务器301)通信。LMU 202的网络接口可以包括任何适当类型的(多个)通信接口(例如，有线和/或无线接口)，该(多个)通信接口被配置为根据任何适当的(多个)协议(例如，用于有线通信的以太网和/或用于无线通信的IEEE 802.11)来操作。

图3是表示与图1的装载设施和图2的LMU 202相关联的服务器的实施例的框图。在一些实施例中，服务器301可以位于与图1的装载设施相同的设施中。在其他实施例中，服务器301可以位于远程位置处，诸如在云平台或其他远程位置上。在任一实施例中，服务器301可以通信地耦合到3D深度照相机(例如，LMU 202)。

服务器301被配置为执行计算机指令以执行与本文所描述的系统和方法相关联的操作，例如，实现由随附本说明书的附图的框图或流程图表示的示例操作。服务器301可以实现企业服务软件，该企业服务软件可以包括例如，RESTful(表示性状态转移)API服务、消息队列服务和可以由各种平台或规范(诸如由甲骨文应用服务器(Oracle WebLogic)服务器平台，JBoss平台或IBM WebSphere平台等中的任何一个实现的J2EE规范)提供的事件服务。也可以使用其他技术或平台，诸如Ruby on Rails、微软.NET或类似的技术或平台。如下文所描述的，服务器301可以被特别配置为执行由本文所描述的附图的框图或流程图表示的操作。

图3的示例服务器301包括处理器302，诸如，例如，一个或多个微处理器、控制器和/或任何适当类型的处理器。图3的示例服务器301进一步包括由处理器302可访问(例如，经由存储器控制器(未示出))的存储器(例如，易失性存储器或非易失性存储器)。示例处理器302与存储器304交互以获取例如存储在存储器304中的与例如由本公开的流程图表示的操作相对应的机器可读指令。附加地或替代地，与框图或流程图相对应的示例操作的机器可读指令可以存储在一个或多个可移动介质(例如，光盘、数字多功能盘、可移动闪存存储器等)上，或通过远程连接(诸如，互联网或基于云的连接)存储，该远程连接可以耦合到服务器301以提供对存储在其上的机器可读指令的访问。

图3的示例服务器301可以进一步包括网络接口306，以使得能够经由例如，一个或多个计算机网络(诸如局域网(LAN)或广域网(WAN)(例如，互联网))与其他机器通信。示例网络接口306可以包括任何适当类型的(多个)通信接口(例如，有线和/或无线接口)，该(多个)通信接口被配置为根据任何适当的(多个)协议(例如，用于有线通信的以太网和/或用于无线通信的IEEE 802.11)来操作。

图3的示例服务器301包括输入/输出(I/O)接口308以能够接收用户输入并将输出数据通信给用户，该接口可以包括例如任意数量的键盘、鼠标、USB驱动器、光驱、屏幕、触摸屏等。

图4是根据本文的示例实施例的用于自动集装箱门状态识别的3D深度成像方法400的流程图。在框402处，执行装运集装箱102的定位的重新校准。装运集装箱可以从几种不同尺寸的集装箱中选择。特别地，校准确定用于在装载作业段对装运集装箱成像的预定义搜索空间。通常，基于已知装运集装箱类型(例如，ULD类型)的参数(“先验信息(priorsinformation)”)来确定预定义搜索空间。此类先验信息可以包括集装箱类型、位置、门类型、形状和大小中的任何一个。这些信息由用户提供或在装载作业段之前预先校准。在一些实施例中，在装载作业段开始之前，利用先验信息来执行集装箱位置、类型等的重新校准和验证。例如，装运集装箱(例如，装运集装箱102)的位置的重新校准可以包括设置3D和/或2D照相机以在特定的定义位置对装运集装箱成像。另外，题为“Three-Dimensional(3D)DepthImaging Systems and Methods for Dynamic Container Auto-Configuration(用于动态集装箱自动配置的三维(3D)深度成像系统和方法)”的美国申请No.16/509,228公开了关于装运集装箱的重新校准和定位的系统和方法，该申请的全部公开在此通过引用明确并入本文。

如本文的各种实施例中所描述的，装运集装箱可以是ULD，但是更一般地，可以是基于航空的装运集装箱。此外，在框402处，可以确定或验证装运集装箱102具有特定的装运集装箱类型(例如，如图1A-图1D所示的“AMJ”的装运集装箱类型)。在各种实施例中，装运集装箱类型可以是ULD类型中的任何一种，ULD类型是下列中的一种：AMJ类型、AAD类型、AKE类型、AYY类型、SAA类型、APE类型或AQF类型。在又进一步实施例中，装运集装箱类型可以定义具有第一门和第二门的分体式集装箱。在此类实施例中，分体式集装箱的第一门可以被分类为具有第一门状态类型，并且第二门可以被分类为具有第二门状态类型。第一门和/或第二门状态类型可从如本文所描述的门状态类型(打开、关闭等)中的任何一个或多个中选择。

在框404处，方法400包括获取对象和/或近门和/或门后的区域102d的3D点云。在各种实施例中，这包括通过3D深度照相机(例如，3D深度照相机202)在装运集装箱装载作业段捕获位于预定义搜索空间(例如，图1A-图1D中任一个的预定义搜索空间)中的装运集装箱102的3D图像数据。在各种实施例中，3D图像数据可以是3D点云数据，包括如图1A至图1D中的任何一个所描绘的预定义搜索空间的一个或多个对象或区域(例如，装运集装箱102、门102d、内部区域102b和/或正面区域102n)的3D点云。

此外，在框404处，方法400可以进一步包括通过在一个或多个处理器上执行的集装箱识别应用(app)接收3D图像数据。在一些实施例中，该一个或多个处理器可以是如本文所描述的3D深度照相机202的该一个或多个处理器。附加地或替代地，该一个或多个处理器位于经由如本文关于图2和图3所描述的数字网络通信地耦合到3D深度照相机202的服务器(例如，服务器301)处。

此外，在框404处，方法400可以进一步包括通过集装箱识别app基于该3D图像数据来确定表示装运集装箱(例如，装运集装箱102)的集装箱点云。另外，方法400可以进一步包括通过集装箱识别app从3D图像数据确定3D图像门区域数据子集，该3D图像门区域数据子集定义装运集装箱(例如，装运集装箱102)的一个或多个相对应的门的一个或多个门区域。该一个或多个门区域的每一个门区域可以包括近门图像数据部分和门后图像数据部分。在各种实施例中，近门图像数据部分对应于如本文中关于图1A至图1D所示和所描述的装运集装箱102的正面区域102n，而门后图像数据部分对应于该装运集装箱102的内部区域102b。

图5A和5B示出了根据图4的方法并根据本文的示例实施例捕获的装运集装箱的3D图像数据的示例实施例。例如，图5A可以定义表示其中门102d处于打开位置的图1A的装运集装箱102的3D图像数据。在图5A的实施例中，3D图像区域502d对应于图1A的装运集装箱102的门102d。此外，在图5A的实施例中，3D图像区域502b对应于在门102d后可见的装运集装箱102的内部区域102b。另外，在图5A的实施例中，3D图像区域502n对应于靠近装运集装箱102的门102d的开口的正面区域102n。3D图像区域502d、3D图像区域502b和/或3D图像区域502n中的任何一个或多个对应于图5A的3D图像数据的3D图像门区域数据子集。

类似地，图5B可以定义表示图1D的装运集装箱102的3D图像数据，该装运集装箱102具有被描绘为打开的或处于打开位置的门102d，其中集装箱102包裹满载。在图5B的实施例中，3D图像区域552d对应于图1D的装运集装箱102的门102d。此外，在图5B的实施例中，3D图像区域552b对应于包裹满载时装运集装箱102的内部区域102b。另外，在图5B的实施例中，3D图像区域552n对应于靠近图1D的装运集装箱102的门102d的开口的正面区域102n。3D图像区域552d、3D图像区域552b和/或3D图像区域552n中的任何一个或多个对应于图5B的3D图像数据的3D图像门区域数据子集。在图5B的实施例中，装运集装箱102被示出为利用根据重新校准和/或定位所捕获和操纵的3D图像数据重新校准和定位，使得3D图像数据适合表示装运集装箱102的尺寸的界定区域552。

相对于图4，在框406处，方法400包括通过集装箱识别app从3D图像门区域数据子集确定该一个或多个相对应的门的每一个的状态类型。状态类型可以从以下选项的一个中选择：(a)门打开状态类型、(b)门关闭状态类型、或(c)门部分关闭状态类型。例如，在各种实施例中，集装箱识别app分析位于靠近门区域的3D点(例如，在3D图像门区域数据子集内，如图5A和/或图5B所示)。特别地，例如，从靠近门区域的3D点的高斯分布来确定和分析3D图像点的一个或多个阈值。在一些实施例中，可以利用本文所描述的机器学习算法或模型来分析(多个)图像门区域数据子集的3D图像点。更一般地，在靠近门区域(例如，与靠近装运集装箱102的门102d的开口的正面区域102n相对应的3D图像区域502n)检测到的大量3D点(例如，高密度的3D点)指示门处于关闭位置。相比之下，与靠近集装箱102的门102d的开口的正面区域102n相对应的低密度的3D点表示门处于打开位置。另外，低密度的3D点可能表示门位置后面的3D点的频率低，这表明门102d是打开的。

在框408处，方法400包括标识或验证门后的点云数据(例如，标识或验证对应于装运集装箱102的内部区域102b的3D图像区域502b)。从此类标识、验证或分析，集装箱识别app确定门102d的状态类型是门打开状态类型。此类分析响应于集装箱识别app在3D图像门区域数据子集内检测近门图像数据部分(例如，502n)的低密度的3D点和门后图像数据部分(例如，502b)的高密度的3D点。如本文所使用的术语，“低密度”是与先前针对相同装运集装箱类型的装运集装箱捕获的3D图像数据相比低的密度。低密度数据捕获往往指示没有门、门表面或门面占据由近门图像数据表示的区域。相反，“高密度”是与先前捕获的相同的装运集装箱的3D图像数据相比高的密度。高密度数据捕获往往指示门、门表面或门面占据由近门图像数据表示的区域。

在框410处，方法400包括执行一个或多个算法或过程(在框410a、框410b和/或框410c处)，其中在框410处，分析此类算法或过程的结果(例如，包括门验证、机器学习、3D形状和大小以及3D数据点，诸如门后点)以确定门102d的门状态类型。通常，框410表示在门关闭或部分关闭的情况下，或在门打开但集装箱包裹满载的情况下，使用RGB和3D/深度图像来对各种集装箱进行集装箱门打开/关闭识别和/或门高度估计的方法。例如，如果在框406处，靠近3D图像的门区域(“Y”)有足够数量的3D点，则集装箱识别app将分析3D点云数据(以及可能的RGB数据)以确定门是部分打开还是完全打开。

在框410a处，方法400包括门102d后的点云的验证。该过程类似于框408。例如，集装箱识别app验证、标识或分析门120d后的点云数据以确定门是部分关闭还是完全关闭。如果靠近门区域有足够数量的点，则将进行以下分析：1)部署经预训练的门分类器/模型(框410b)，将门区域与任何其他对象(例如，包裹、人员等)进行比较以将门区域划分为真实的门(例如，门102d)；2)在形状和大小方面分析点云，并验证(例如，先利用地面实况)；和/或3)评估门后的点云(例如，502b或552b)。

在框410b处，方法400包括用于门适配的3D点云处理。在框410b处，集装箱识别app可以基于3D图像数据来估计门(例如，102d)关闭的百分比。在一些实施例中，例如，机器学习模型可以验证、分类或确定门后的点云，诸如门关闭的百分比。基于此类分析，将指定门完全关闭或部分关闭状态。在一些实施例中，如果满足所有三个条件，即，1)门的大小和形状利用地面实况进行正向验证；2)机器学习结果将对象分类为真实的门；以及3)门后有几个点，则该门被识别为完全关闭。否则，可以指定部分关闭状态，并且将估计门距地面的高度(门距地面的最低边界)，该高度可以用作门关闭的百分比值。

特别地，关于一些实施例，集装箱识别app确定门(例如，门102d)的状态类型是门关闭状态类型。此类分析响应于集装箱识别app在3D图像门区域数据子集内检测近门图像数据部分的高密度的3D点和门后图像数据部分的低密度的3D点。低密度也可以是零或接近零的密度。

附加地或替代地，在进一步实施例中，集装箱识别app确定门(例如，门102d)的状态类型是门部分关闭状态类型。此类确定可以响应于集装箱识别app在3D图像门区域数据子集内检测近门图像数据部分的第一部分密度的3D点和门后图像数据部分的第二部分密度的3D点。在此类实施例中，集装箱识别app可以基于近门图像数据部分的第一部分密度的3D点和门后图像数据部分的第二部分密度的3D点来确定第一门的关闭百分比值。另外，此类实施例，集装箱识别app可以基于近门图像数据部分的第一部分密度的3D点和门后图像数据部分的第二部分密度的3D点来确定第一门在装运集装箱底部上方的估计高度。

在又进一步实施例中，在框410b处，可以周期性地捕获3D图像数据(例如，3D图像数据在以下任何一处被捕获：每30秒，每分钟，或者每两分钟)。在此类实施例中，在第一数据捕获周期和第二数据捕获周期捕获3D图像数据，其中基于先前在第一数据捕获周期确定的第一状态类型和先前在第二数据捕获周期确定的第二状态类型来确定门(例如，门102d)的状态类型。附加地或替代地，可以使用该“时间过滤”以确定门的状态类型。例如，由集装箱识别app执行的门状态识别通过跨多个帧的时间过滤被进一步改进。例如，可以基于观察到的情况过滤门状态，即在正常装载期间，集装箱门将不会频繁切换状态，即在一段时间内保持打开或关闭状态。

在使用3D分类模型的实施例中，3D分类模型可以使用与装运集装箱类型相对应的3D图像数据的高斯分布值进行训练。任何已知的分类器算法都可以用于训练3D分类模型，包括例如，SVM、神经网络、AdaBoost、深度学习等。例如，在各种实施例中，可以使用有监督或无监督的机器学习程序或算法来训练3D分类模型。机器学习程序或算法可以采用神经网络，该神经网络可以是卷积神经网络、深度学习神经网络或组合的学习模块或程序，该组合的学习模块或程序在感兴趣的特定区域中学习两个或更多个特征或特征数据集。机器学习程序或算法还可以包括自然语言处理、语义分析、自动推理、回归分析、支持向量机(SVM)分析、决策树分析、随机森林分析、K-最近邻分析、朴素贝叶斯分析、聚类、强化学习，和/或其他机器学习算法和/或技术。机器学习可能涉及标识和识别现有数据中的模式(诸如3D图像数据中的装运集装箱的门区域)，以便于促进对后续数据进行预测(以确定门状态)。

(多个)机器学习模型，诸如3D分类模型的那些机器学习模型，可以基于示例(例如，“训练数据”)输入或数据(可以称为“特征”和“标签”)来创建和训练，以便对新的输入(诸如测试级或生产级数据或输入)进行有效和可靠的预测。在有监督的机器学习中，在服务器、计算设备或其他(多个)处理器上操作的机器学习程序可以提供示例输入(例如，“特征”)及其相关联的或观察到的输出(例如，“标签”)，以便机器学习程序或算法确定或发现规则、关系、或将此类输入(例如，“特征”)映射到输出(例如，标签)的其他机器学习“模型”，例如，通过确定和/或将权重或其他指标分配给模型的各种特征类别。然后可以提供此类规则、关系或其他模型以便在服务器、计算设备或其他(多个)处理器上执行的模型能够基于所发现的规则、关系或模型来预测预期输出。

在无监督机器学习中，服务器、计算设备或其他(多个)处理器可能需要在未标记的示例输入中找到其自身的结构，其中，例如由服务器、计算设备或其他(多个)处理器执行多个训练迭代来训练多代模型，直到获得满意的模型为止，例如，当给定测试级或生产级数据或输入时，生成模型，该模型提供足够的预测精度。本文的公开可以使用此类有监督或无监督的机器学习技术中的一种或两种。

在框410b处，3D分类模型可以由利用与装运集装箱类型相对应的3D图像数据的基于人工智能(AI)的算法来训练。在此类实施例中，集装箱识别app在一个或多个处理器上实现3D分类模型，以基于门的近门图像数据部分和该门的门后图像数据部分来确定该门的状态类型。在一些实施例中，也可以基于阈值(例如，在近门图像数据部分和/或在门后数据部分处的3D图像点的高斯分布的阈值或阈值密度值)来确定状态类型，而不使用AI模型。

在框410c处，方法400包括使用机器学习对颜色(例如，红-绿-蓝、RGB)图像的门识别。这可以包括2D图像分类器。在框410c处使用颜色(RGB)图像用于提高如本文所描述的关于框410a和/或410b的3D图像分类的预测和/或分类的精度。例如，可以在打开和关闭的门的许多(数百或数千个)图像上训练框410c的2D图像分类模型。当框410a的3D分类模型无法准确预测(例如，在90％置信度内)装运集装箱门(例如，门102d)是处于打开还是关闭等位置时，可以调用此类2D图像分类模型。一旦执行2D分类模型，并且其结果与框410b的3D图像结果和框410a的验证结果相结合，则在框410处，可以提供关于门状态的增强预测或分类。也就是说，如本文所描述的，可以将颜色/RGB图像分类(410c)、3D图像分类(410b)和3D点验证(410a)相结合以用于在框410处的增强预测。

特别地，关于框410c，被配置为捕获2D图像数据的二维(2D)照相机可以在一方向上定向以在装运集装箱装载作业段捕获位于预定义搜索空间中的装运集装箱(例如，装运集装箱102)的2D图像数据。在此类实施例中，集装箱识别app可以被配置为在一个或多个处理器上执行并且接收2D图像数据。例如，在一些实施例中，3D深度照相机、2D照相机和该一个或多个处理器容纳在可安装设备(例如，LMU)中。

在各种实施例中，2D图像数据定义装运集装箱的红-绿-蓝(RGB)2D表示。在此类实施例中，集装箱识别app可以被进一步配置为在一个或多个处理器上执行以基于该2D图像数据生成增强RGB预测。该增强RGB预测指示装运集装箱的门(例如，门102d)的状态类型。

在各种实施例中，RGB预测是增强预测，因为RGB预测与基于3D图像门区域数据子集的集装箱识别app的确定相结合，以产生基于3D图像数据和2D图像数据中的每一个的预测。以该方式，本文公开的内容提供了在打开、关闭和/或部分关闭的门的情况下，使用针对各种集装箱的RGB和深度图像来进行集装箱门打开/关闭识别和门高度估计。通过可靠地标识最具挑战性的情况(例如，门配置)，使用颜色和深度信息显著提高了门状态识别的鲁棒性和准确性。

例如，集装箱识别app可以对于3D图像数据和2D图像数据中的每一个进行基于百分比或阈值的门状态类型预测(例如，对于3D图像数据，90％的门打开状态类型，以及对于2D图像数据，95％的门打开状态类型)，以产生平均值、中值、加权值，或其他组合数据分析，以得出组合得分(例如，门打开状态类型的平均置信度为92.5％)。

在其他实施例中，增强RGB预测可以覆盖或替换基于3D图像的集装箱识别app的确定。例如，在此类实施例中，在仅3D图像数据分析降到90％置信度以下的情况下，可以仅使用增强RGB预测来确定门状态类型。

增强RGB预测可以用于检测门打开、包裹满载状态类型。例如，至少在一个实施例中，门状态类型可以进一步包括“门打开、包裹满载状态类型”。集装箱识别app可以响应于集装箱识别app在3D图像门区域数据子集内检测近门图像数据部分的高密度3D点、门后图像数据部分的低密度3D点以及指示第一门的门区域处的包裹壁的增强RGB预测，来确定门(例如，门102d)状态类型是门打开、包裹满载状态类型。

增强的RGB预测可以基于如本文所描述的2D分类模型。例如，2D分类模型由利用与装运集装箱类型相对应的2D图像数据的基于人工智能(AI)的算法来训练。例如，2D分类模型可以由利用与装运集装箱类型相对应的多个2D图像来训练。该2D图像中的每一个可以对应于不同的装运集装箱类型，使得2D分类模型可以对各种类型的不同尺寸的集装箱进行分类。另外，任何已知的图像特征都可以用于训练2D分类模型。例如，色调/饱和度空间中的颜色直方图可以用于训练2D分类模型。一旦经过训练，集装箱识别app可以在一个或多个处理器上实现2D分类模型，以基于2D图像数据来确定增强RGB预测。

在各种实施例中，如果集装箱包括分体式(诸如AKE/AYY的更小的集装箱)，则由于分体式的性质，点云可能需要被水平地(从左到右)分成两个均匀的区域/集合。如本文所描述的，在此类实施例中，将以与典型集装箱(例如，装运集装箱102)类似的方式分析左区域和右区域，即，单个分体的情况。三个门状态将被分配给每一个分体式集装箱。例如，如果装运集装箱是具有独特3门面板的SAA类型的集装箱，则3D图像(例如，为该装运集装箱捕获的点云)将被水平地且均匀地分成三个区域，并单独地进行分析。三个门状态将被分配给SAA的三个门中的每一个，如本文关于图4所描述的。因此，如本文所描述的，在装运集装箱类型定义具有第一门和第二门的分体式集装箱的实施例中，该第一门被分类为具有第一门状态类型并且该第二门被分类为具有第二门状态类型。

图6示出了根据图4并且根据本文的示例实施例的显示图形地指示一个或多个相对应的门中的每一个的状态类型的引导用户界面(GUI)602的客户端设备600。在一些实施例中，GUI 602可以由在客户端设备600上安装和执行的仪表板app来渲染。仪表板app还可以显示各种操作指标(未显示)，这些指标可以包括，例如，每一个集装箱的装载开始和结束时间、装载前的集装箱空闲时间、门关闭后的集装箱空闲时间等。此类指标为GUI和整个系统的用户提供了有价值的洞察以改进操作。

在各种实施例中，可以在客户端设备600上接收图像数据/数据集和/或操作指标(如本文所描述的)。如本文所描述的，客户端设备600可以实现仪表板app以接收图像数据和/或操作指标并例如，以图形或其他格式向管理员或装载员显示此类数据，以促进包裹(例如，104、107等)的卸载或装载。在一些实施例中，仪表板app可以实现为ZebraTechnologies Corps(斑马技术公司)的SmartPack

在一些实施例中，仪表板app可以接收图像数据/数据集和/或操作指标并实时显示此类数据。客户端设备600可以是移动设备，诸如平板电脑、智能手机、膝上型计算机或其他此类移动计算设备。客户端设备600可以实现用于执行仪表板(或其他)app或功能的操作系统或平台，包括，例如，苹果iOS平台、谷歌安卓平台和/或微软视窗(Windows)平台中的任何一种。客户端设备600可以包括实现仪表板app或用于提供其他类似功能的一个或多个处理器和/或一个或多个存储器。客户端设备600还可以包括有线或无线收发器，用于接收如本文所描述的图像数据和/或扫描后数据。此类有线或无线收发器可以实现一个或多个通信协议标准，包括，例如，TCP/IP、WiFi(802.11b)、蓝牙或任何其他类似的通信协议或标准。

在图6的实施例中，客户端设备600示出了具有如图1D所描绘的目标集装箱的预定义搜索空间(例如，具有装运集装箱102的预定义搜索空间101)的GUI屏幕以及图5B的3D图像数据，作为关于图4所描述的算法400的结果。另外，客户机设备600的GUI屏幕描绘门102d的状态类型显示为“门打开、包裹满载”以该方式，GUI能够提供关于门状态类型的信息，以便提高操作效率和改进。

在上述说明书中已经描述了具体实施例。然而，本领域普通技术人员理解，可做出各种修改和改变而不脱离如下权利要求书所阐述的本发明的范围。因此，说明书和附图被认为是图示性的而非限定性的意义，并且所有此类修改都旨在被包括在本教导的范围内。

这些益处、优势、问题解决方案以及可能使任何益处、优势或解决方案发生或变得更为突出的任何(多个)要素不被解释成任何或所有权利要求的关键的、必需的或必要的特征或要素。本发明仅由所附权利要求书限定，包括在本申请处于待审状态期间做出的任何修改以及授权公告的这些权利要求的所有等效物。

此外，在该文档中，诸如第一和第二、顶部和底部等之类的关系术语可以单独地用来将一个实体或动作与另一个实体或动作区别开，而不一定要求或暗示这些实体或动作之间具有任何实际的这种关系或顺序。术语“包括”、“包括有”、“具有”、“具备”、“包含”、“包含有”、“涵盖”、“涵盖有”或它们的任何其他变型旨在覆盖非排他性包括，以使包括、具有、包含、涵盖一要素列表的过程、方法、物品或装置不仅包括那些要素还可包括对该过程、方法、物品或装置未明确列出的或固有的其他要素。以“包括一”、“具有一”、“包含一”、“涵盖一”开头的要素，在没有更多约束条件的情形下，不排除在包括、具有、包含、涵盖该要素的过程、方法、物品或装置中有另外的相同要素存在。术语“一”和“一个”被定义为一个或更多个，除非本文中另有明确声明。术语“基本上”、“大致上”、“近似”、“约”或这些术语的任何其他版本被定义为如本领域内技术人员理解的那样接近，并且在一个非限定性实施例中，这些术语被定义为在10％以内，在另一实施例中在5％以内，在另一实施例中在1％以内，而在另一实施例中在0.5％以内。本文中使用的术语“耦合的”被定义为连接的，尽管不一定是直接连接的也不一定是机械连接的。以某种方式“配置”的设备或结构至少以该种方式进行配置，但也可以以未列出的方式进行配置。

要理解，一些实施例可以包括一个或多个通用或专用处理器(或“处理设备”)，诸如微处理器、数字信号处理器、定制的处理器和现场可编程门阵列(FPGA)以及唯一存储的程序指令(包括软件和固件两者)，所述唯一存储的程序指令控制一个或多个处理器以连同某些非处理器电路实现本文所描述的方法和/或装置的一些、多数或全部功能。替代地，一些或全部功能可以由具有无存储程序指令的状态机来实现，或者在一种或多种专用集成电路(ASIC)中实现，其中各种功能或某些功能的某些组合被实现为定制逻辑。当然，也可以使用这两种方法的组合。

此外，实施例可以实现为计算机可读存储介质，该计算机可读存储介质具有存储在其上的计算机可读代码，用于对(例如，包括处理器的)计算机编程以执行如本文所描述和要求保护的方法。这种计算机可读存储介质的示例包括但不限于硬盘、CD-ROM、光存储器件、磁存储器件、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)，以及闪存。此外，预期本领域普通技术人员虽然做出由例如可用时间、当前技术和经济考虑促动的可能显著的努力以及许多设计选择，但在得到本文所公开的构思和原理指导时，将容易地能以最少的试验产生此类软件指令和程序以及IC。

本公开的摘要被提供以允许读者快速地明确本技术公开的性质。提交该摘要，并且理解该摘要将不用于解释或限制权利要求书的范围或含义。此外，在上述具体实现方式中，可以看出出于使本公开整体化的目的，各个特征在各实施例中被编组到一起。这种公开方法不应被解释为反映要求保护的实施例与各项权利要求中明确记载的相比需要更多的特征的意图。相反，如以下权利要求所反映，发明主题在于少于单个公开的实施例的全部特征。因此，以下权利要求由此被结合入具体说明中，其中各个权利要求作为单独要求保护的主题代表其自身。