用于吊具的相对定位的方法和设备

技术领域

各种示例实施例涉及吊具的定位。

背景技术

重负载运输行业涉及(例如，诸如在港口和船舶上装载和卸载车辆时)处理重负载。例如，在集装箱物流中，吊具用于起重机系统中，以用于提升集装箱。吊具通常由经过训练的操作员控制，该操作员需要经过广泛训练而变得熟悉吊具控制系统。这种吊具控制系统容易出现人为错误。

发明内容

根据一些方面，提供了独立权利要求的主题。在从属权利要求中定义了一些示例实施例。独立权利要求陈述了针对各种示例实施例所寻求的保护范围。本说明书中描述的不属于独立权利要求范围的示例实施例和特征(如果有的话)将被解释为对理解各种示例实施例有用的示例。

根据第一方面，提供一种设备，其包括装置，用于：接收负载的第一特征的第一图像；接收负载的第二特征的第二图像；基于第一图像和第二图像确定负载的特征的图像平面坐标；基于图像平面坐标确定一个或多个动作候选；使用体现有限时间范围内的历史经验信息的中间介质评估一个或多个动作候选；基于评估来选择控制动作，其中，控制动作导致吊具相对于负载移动。

根据一个实施例，所述设备包括装置，用于：确定第一特征的图像平面坐标与第二特征的图像平面坐标之间的成对运算；基于成对运算确定一个或多个动作候选；基于以动作候选为基础的成本和/或奖励来确定控制动作。

根据一个实施例，当吊具在未来的有限时间范围内与负载基本对准或实现基本对准时，奖励达到其最高值。

根据一个实施例，基于动作候选及其在当前时刻或在未来的有限时间范围内在吊具运动中的效果，成本与力或能量或压力或电压或电流或放置或放置消耗成比例；和/或反映在当前时刻或在未来的有限时间范围内丢失摄像机的视野中的特征的风险。

根据一个实施例，所述设备包括装置，用于：将控制动作直接或间接地发送到一个或多个致动器，用以相对于负载移动吊具。

根据一个实施例，从定位于吊具的第一角部上的第一摄像机接收第一图像，并且从定位于吊具的第二角部上的第二摄像机接收第二图像，其中，第一角部和第二角部是不同的角部，并且其中，负载的第一特征是集装箱的第一角部，并且负载的第二特征是集装箱的第二角部，其中，吊具的第一角部和集装箱的第一角部是对应的角部，并且吊具的第二角部和集装箱的第二角部是对应的角部。

根据一个实施例，所述装置包括：至少一个处理器；以及包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起导致所述设备的性能。

根据第二方面，提供一种方法，所述方法包括：接收负载的第一特征的第一图像；接收负载的第二特征的第二图像；基于第一图像和第二图像确定负载的特征的图像平面坐标；基于图像平面坐标确定一个或多个动作候选；使用体现有限时间范围内的历史经验信息的中间介质评估一个或多个动作候选；基于评估来选择控制动作，其中，控制动作导致吊具相对于负载移动。

根据一个实施例，所述方法包括：确定第一特征的图像平面坐标与第二特征的图像平面坐标之间的成对运算；基于成对运算确定一个或多个动作候选；基于以动作候选为基础的成本和/或奖励来确定控制动作。

根据一个实施例，当吊具在未来的有限时间范围内与负载基本对准或实现基本对准时，奖励达到其最高值。

根据一个实施例，基于动作候选及其在当前时刻或在未来的有限时间范围内在吊具运动中的效果，成本与力或能量或压力或电压或电流或放置或放置消耗成比例；和/或反映在当前时刻或在未来的有限时间范围内丢失摄像机的视野中的特征的风险。

根据一个实施例，所述方法包括：将控制动作直接或间接地发送到一个或多个致动器，以相对于负载移动吊具。

根据一个实施例，从定位于吊具的第一角部上的第一摄像机接收第一图像，并且从定位于吊具的第二角部上的第二摄像机接收第二图像，其中，第一角部和第二角部是不同的角部，并且其中，负载的第一特征是集装箱的第一角部，并且负载的第二特征是集装箱的第二角部，其中，吊具的第一角部和集装箱的第一角部是对应的角部，并且吊具的第二角部和集装箱的第二角部是对应的角部。

根据第三方面，提供一种包括程序指令的计算机可读介质，所述程序指令在由至少一个处理器执行时使设备至少执行：接收负载的第一特征的第一图像；接收负载的第二特征的第二图像；基于第一图像和第二图像确定负载的特征的图像平面坐标；基于图像平面坐标确定一个或多个动作候选；使用体现有限时间范围内的历史经验信息的中间介质来评估一个或多个动作候选；基于所述评估来选择控制动作，其中，控制动作使吊具相对于负载移动。

根据其他实施例，计算机可读介质包括程序指令，所述程序指令在由至少一个处理器执行时，使设备至少执行第二方面的任何实施例的方法。

根据另一方面，提供一种计算机程序，其被配置为导致执行根据第二方面和第二方面的任何实施例的方法。

附图说明

图1以示例的方式示出了吊具对准任务；

图2以示例的方式示出了运动控制动作可视化；

图3以示例的方式示出了用于吊具对准的方法的流程图；

图4以示例的方式示出了吊具和集装箱以及基于图像平面的状态设计；

图5以示例的方式示出了基于图像平面的状态设计；

图6以示例的方式示出了系统架构；

图7以示例的方式示出了设备的框图；

图8以示例的方式示出了对准试验的误差测量图；

图9以示例的方式示出了对准试验的误差测量图；

图10以示例的方式示出了对准试验的误差测量图。

具体实施方式

例如，在港口、码头、船舶、配送中心和各种行业中使用负载处理布置。以下示例是在起重机系统的上下文中描述的，但本文公开的方法可以用于提升负载并且需要精确定位用于处理负载(例如，集装箱)的吊具的任何环境中。负载的处理包括：例如提升、移动和放置负载。起重机系统可以被视为具有吊具的任何系统或设备。

在集装箱物流中，吊具用于起重机系统中，以用于提升集装箱。吊具具有在每个角部处的扭转锁定机构，所述扭转锁定机构精确地定位到集装箱的角部铸件。为了提升集装箱，吊具需要与集装箱对准。例如，提升集装箱的过程可以分为三个阶段：搜索阶段、对准阶段、降落阶段。

在搜索阶段，吊具可以被移动到集装箱上方，到达所谓的间隙区域。可以例如从终端操作系统接收集装箱的位置的粗略估计。可以通过使用运动命令来执行将吊具移动到集装箱上方。

在对准阶段，可以相对于集装箱的位置或能够用于集装箱放置的地方来微调吊具的位置(例如，定向和/或平移)。可以通过使用运动控制命令来运行能够运行所述命令的致动器来执行这种微调移动。

在降落阶段，吊具可以被降落到在对准阶段所确定的期望位置。如果吊具的扭锁装配入并锁定到集装箱的角部铸件，则可以提升集装箱。

提供了用于对准阶段的控制器，以便调整吊具的位置，使其以高精度降落在负载(例如，集装箱)上。

图1以示例的方式示出了吊具对准任务。图1的上图示出了一种情况的俯视图，其中，吊具102未与集装箱104对准。x轴和y轴是假想公共坐标系的轴线，其中，可以表示吊具102和集装箱104。

吊具102与集装箱104之间的x-y平面上的中心偏移量110

图1的下图示出了x-y-z坐标系中的视图，其中，吊具与集装箱对准。例如，吊具和集装箱的中心点(即，点124和点122)对准，使得

控制器可以表示为：

a＝π(s)

其中a＝[a

图2以示例的方式示出了运动控制动作可视化。动作a

提供了一种用于吊具对准的方法。所述方法能够选择运动控制动作，使得实现高精度的吊具对准。

图3以示例的方式示出了用于吊具对准的方法的流程图。所述方法可以例如通过图7的设备来执行。方法300包括：接收310负载的第一特征的第一图像。方法300包括：接收320所述负载的第二特征的第二图像。方法300包括：基于第一图像和第二图像确定330所述负载的特征的图像平面坐标。方法300包括：基于图像平面坐标确定340一个或多个动作候选。方法300包括：使用体现有限时间范围内的历史经验信息的中间介质来评估350一个或多个动作候选。方法300包括：基于所述评估来选择360控制动作，其中，该控制动作导致吊具相对于负载移动。

本文公开的方法提供：基于来自吊具传感器的图像信息(例如，基于吊具摄像机流)而确定控制动作。不一定需要其他传感器信息。然而，可以使用各种传感器数据，例如，以创建图像，如下所述。本文公开的方法能够在无需人工操作的情况下精确定位吊具以提升负载，例如，集装箱。所述方法对摄像机及其相互对准的变化和在对准摄像机视图中的奇异性具有稳健性(robust)。此外，所述方法依赖于图像的多点评估，当与例如使用单点评估相比时，这可以显著增加对测量噪声的敏感性和先前信息的准确性。所述方法与时间无关，并且基于系统几何结构。与时间无关的几何运算使系统很好地适用于可变延迟控制。当与例如纯轨迹控制相比时，这是有益的，因为纯轨迹控制强制执行高同步致动器控制并且是时间关键的。

图4以示例的方式示出了吊具102、集装箱104和基于图像平面的状态设计。摄像机400、401、402、403附接到吊具。例如，摄像机可以定位于吊具的角部上，例如，在吊具的四个角部上各自有一个摄像机。然而，摄像机的位置不需要精确地位于角部上，而是大致位于角部上。摄像机数量及其视点的选择可以取决于视野和集装箱的可见性。摄像机的位置和定向可以使得它们向下指向，以便捕捉吊具下方的空间。摄像机的位置在公共坐标系中已知。

例如，两个摄像机(例如第一摄像机和第二摄像机)可以附接到吊具。如果使用两个摄像机，则摄像机可以是广角摄像机。第一摄像机和第二摄像机附接到吊具的不同的角部。例如，第一摄像机可以定位于吊具的第一角部上，并且第二摄像机可以定位于吊具的第二角部上。第一角部和第二角部是不同的角部。第一角部可以与第二角部相对，使得第一角部和第二角部可以用穿过吊具中心点的对角线连接。替代地，第一角部和第二角部可以是相邻的角部。

作为另一示例，可以使用鸟瞰摄像机。

摄像机可以是视频摄像机。摄像机包括数字图像传感器，例如，电荷耦合器件(CCD)和/或有源像素传感器，例如，互补金属氧化物半导体(CMOS)传感器。从一个或多个摄像机接收图像。例如，可以从第一摄像机接收第一图像，并且可以从第二摄像机接收第二图像。替代地，可以从三个或四个摄像机或者从鸟瞰摄像机接收图像。在鸟瞰摄像机的情况下，例如，从更宽的图像中裁剪第一图像和第二图像。第一图像包括或示出集装箱的第一特征的图像。第一特征可以是集装箱的第一角部。替代地，第一特征可以是扭锁孔、标记、界标或可以从图像中检测到以及可以与集装箱的第一角部相关联的任何特征。在一些情况下，可以几何地定义矩形的特征可以是角部的替代。集装箱的第一角部对应于吊具的第一角部。这里的对应意味着，例如，摄像机400试图捕捉集装箱的角部410或某些其他特征。例如，角部410对应于摄像机400所定位于的角部；角部411对应于摄像机401所定位于的角部；角部412对应于摄像机402所定位于的角部；角部413对应于摄像机403所定位于的角部。

代替从摄像机接收图像，可以从(已存储图像的)存储器接收所述图像。在一些情况下，可以基于范围传感器数据或距离传感器数据来创建包括特征(例如，角部)的图像。例如，飞行时间摄像机或激光雷达可以用于特征检测，例如，角部检测。

第二图像包括或示出集装箱的第二特征的图像。第二特征可以是集装箱的第二角部。替代地，第二特征可以是扭锁孔、标记、界标、或可以从图像中检测到以及可以与集装箱的第二角部相关联的任何特征。集装箱的第二角部对应于吊具的第二角部。可以经由用于对象检测的图像处理技术从图像中检测特征，例如，角部。表示角部检测功能为F。例如，可以使用边缘检测方法(例如，边缘逼近(EA)检测方法)和色调、饱和度、值(HSV)算法来检测角部。HSV算法可以基于颜色来过滤和分割集装箱，并且EA方法可以计算集装箱的旋转角度。神经网络(NN)为对象检测提供了一种稳健方法。例如，深度学习可以用于进行特征提取，例如，角部铸件检测。从摄像机流式传输的接收的图像可以被馈送到神经网络，以检测特征，例如，集装箱的角部。NN可以由例如两个模块组成：卷积神经网络(CNN)部分和长短期记忆(LSTM)模块。接收的图像可以被组合并发送到CNN以提取高级特征，而LSTM可以反复地预测集装箱的角部。

可以基于接收的图像来确定集装箱的特征的图像平面坐标。例如，可以基于第一图像和第二图像来确定集装箱的角部的图像平面坐标。基于图像平面的状态是基于从公共坐标系投影到图像平面的集装箱的角部。通过确定或测量图像平面中的特征位置，避免了与传感器的物理坐标测量相关的测量误差。使用物理坐标测量使系统对配置的任何变化都很敏感，并且需要非常精确的系统尺寸知识。此外，不需要摄像机校准，诸如在基于模型的方法中，其中，摄像机的外部和/或内部参数估计中的小误差可能最终导致与摄像机的焦距和吊具的尺寸成比例的大的物理估计误差。当在基于模型的方法中使用多个摄像机时，误差累积。如本文所公开的，直接找到从图像坐标(而不是物理坐标)到目标姿态的映射，避免了对摄像机校准的需要。

在这个示例中，让我们考虑四个图像平面450、451、452、453。可以存在定位于吊具的角部上的四个摄像机400、401、402、403。摄像机400、401、402、403可以分别表示为cam

让我们引入由相对坐标上的同质4向量(x

对于每个图像平面上的每个角部p

p

其中p是投影矩阵：

P＝K[R|T]

R和T是摄像机的外部参数，它们将图像帧的定向和位置与公共坐标系相关联。K是有限投影摄像机的内部参数矩阵：

如果图像坐标中每单位距离的像素数在x和y方向上为m

α

其中，α

图5以示例的方式示出了基于图像平面的状态设计。可以在由四个图像平面组合的新的笛卡尔坐标系上定义状态。从p

向量560与562之间的角度可以定义为

向量561与563之间的角度可以定义为

另外，可以定义θ′＝π-θ,θ′∈[-π,π]和α′＝π-α,α′∈[-π,π]。

所述状态可以由四个向量和向量之间的两个角度来定义。所述状态可以定义如下：

在两个图像的情况下，状态可以由两个向量和两个向量之间的角度来定义。作为另一示例，状态可以是图像本身。

另一个选项是使用对称特征来匹配吊具与集装箱之间的位置。换句话说，可以在第一角部(或特征)的图像平面坐标与第二角部(特征)的图像平面坐标之间确定成对运算。可以基于图像平面对称坐标来定义状态S

在成对运算中，将图像与图像进行比较，或者将图像特征与图像特征进行比较，而不将它们映射到物理距离(例如，度量距离)中。例如，这使得校准误差、摄像机未对准以及倾斜的集装箱或地板对起重机操作的影响最小化。只要摄像机彼此几乎相似，摄像机光学校准或内部摄像机参数的作用就最小。当使用成对运算时，将基于当前视图以及所比较的对在不久的将来将发生什么而做出决定。因此，所述系统基于摄像机的视图的差异来更新其近期的预期，而不依赖于过去的点及其在物理系统中的位置。相互进行比较的特征可以是平面的、简单的特征，诸如集装箱的角部处的数学点，而不需要大小的感测或需要对象的先前模板视图。这简化了图像处理，因为不需要复杂的对象识别和/或对象姿态估计。

成对算子是一种具有单调或分段单调行为的算子，所述行为与吊具和集装箱的对准误差或集装箱的可用位置的减少或增加相关。成对算子的示例是任何一对摄像机图像中误差向量的点乘或交叉乘的范数。成对算子的另一示例是任何一对摄像机图像中特征位置向量的点乘或交叉乘的范数。换句话说，对于任何选定的一对摄像机图像，所述系统将摄像机图像上的特征或者与其误差或者与其位置进行比较。

成对运算(例如，成对对称运算)对于诸如强化学习(RL)算法的学习算法是有益的。通过定义人工智能(AI)控制器的对称性质或成对性质，它能够学习可用的控制策略，而无需来自未校准的传感器或摄像机或来自精确物理坐标测量或人类专家指导的任何基本真理知识。吊具具有与集装箱类似的矩形几何结构。因此，当在x、y和倾斜中没有偏移或偏移最小时，视图中的变化变得可以相互比较或从一个摄像机到另一个摄像机比较。成对运算可以推广到呈现任何对称视觉特性的矩形几何结构。

f＝Flip(p)表示对称运算，例如，Flip

对称特征可以用于匹配吊具与集装箱之间的位置。当吊具与集装箱对准时，图像平面上的角部的坐标具有以下特征：

使得

指当吊具和集装箱对准时的目标偏移。根据摄像机的姿态和图像平面定义，target

这种情况下的状态可以定义为：

可以确定动作候选(例如，运动控制动作候选)。所述确定可以基于图像上的集装箱的特征的确定的图像平面坐标，例如，第一图像上的集装箱的角部和第二图像上的集装箱的角部相对于彼此的确定的图像平面坐标。替代地或此外，所述确定可以基于从图像导出的历史信息。

动作候选确定用于移动吊具的不同控制命令。如上所述，对于控制器，控制命令可以表示为定义向x和y方向的移动以及旋转(即，skew)的向量。可以例如经由能量、力、功率、电压、电流和/或位移来确定动作或控制命令。例如，系统需要能量来移动吊具，并且能量可以例如经由压力变化、电力等在系统中传输。动作可以例如是离散的或连续的。强化学习(RL)算法可以用于学习吊具对准任务。强化学习(RL)是一种机器学习技术，它使代理能够在交互环境中使用来自其自身动作和经验的反馈来学习。在RL中，在环境的特定状态下，代理或优化算法根据其策略(例如，神经网络)执行动作，所述策略改变环境状态并接收新的状态和对该动作的奖励。然后，基于状态-动作对的奖励来更新代理的策略。RL通过自我探索来学习，这种探索是或可以是在没有人为干扰的情况下进行的。

对于离散动作，存在一组动作候选，其中，动作具有固定值。例如，动作候选可以定义为a＝[a

策略的结果指示不同动作的可能性，例如[a

对于连续动作，存在一组动作候选，其中，动作的值不是固定的。例如，动作候选可以被定义为a＝[a

策略的结果可以是例如[a

可以使用体现有限时间范围内的历史经验信息的中间介质来评估动作候选。例如，可以使用RL算法来评估动作候选。在RL中，RL代理的目标是最大化累积奖励。在情节情况下，这个奖励可以表示为在一个情节期间所有接收到的奖励信号的总和。术语情节是指用于将吊具定位在集装箱上方以进行吊装的一系列动作。

奖励可以定义为基于例如图像平面坐标或图像平面对称坐标的数学运算。

当可以从传感器获得坐标时，即，当精确测量集装箱和吊具在公共坐标系中的坐标时，可以使用基于公共坐标的状态。

环境可以通过转换到另一状态并生成奖励信号来响应。奖励信号可以被认为是对代理的性能的基本事实估计。可以基于奖励函数来计算奖励信号，所述奖励函数可以被引入为随机的并且取决于动作a：

reward(r

这个过程不断重复，代理基于观察结果和用下一个状态和奖励信号来响应的环境做出动作选择。代理的目标是最大化累积奖励R：

是一个轨迹的瞬时奖励r

奖励函数可以被设计为引导RL代理优化其策略。例如，基于公共坐标系的奖励函数可以定义为

如奖励函数中所示，当吊具到达目标位置时，奖励reward

基于图像坐标的奖励是基于接收的图像上的角部的对称性或其他预定特征来定义的。奖励可以是状态的L2范数。

reward

如果奖励大于预定范围，则该任务成功。

首要目标是使奖励最大化。在可能的情况下，这可以与使成本最小化一起发生。基于动作候选及其在当前时刻或在未来的有限时间范围内对吊具运动的影响，成本可以与力或能量或压力或电压或电流或放置或放置消耗成比例。成本可以反映在当前时刻或在未来的有限时间范围内丢失摄像机视野中的特征的风险。

可以选择导致任务成功的动作候选作为控制动作。该控制动作使吊具相对于集装箱移动。

深度确定性策略梯度(DDPG)是用于连续控制的非策略无模型RL算法。DDPG的行动者-批评家结构使其利用政策梯度方法(行动者)和d值近似方法(批评家)的优点。对于一个轨迹，将时间步骤t的状态s和动作a表示为s

其中，

DDPG在运行策略以收集轨迹与更新参数之间交替进行。在策略运行阶段期间，DDPG执行由添加了噪声的当前策略生成的动作，例如，a＝π(s)+噪声，并将RL转换存储到经验缓冲区B中。在存储了采样轨迹之后，在非策略无模型RL的训练阶段期间，从经验缓冲区B中随机采样由N个元组组成的小批量，以通过使以下损失最小化来更新行动者和评论家网络：

其中，目标y

如这个等式中所示的，目标项y

θ

-其中，τ<1。

-现在术语y

对于行动者网络，目标是学习带有参数θ的策略，其解决：

其中，/>

对于N个转换的批量采样，策略梯度可以计算为：

非策略强化学习比策略强化学习更具样本效率，因为它能够从历史轨迹重复优化策略。然而，当策略初始化错误时，将导致运算失败。在这种情况下，RL需要尝试并收集大量样本来逼近正确的Q函数，并且因此，样本效率可能仍然是问题。

为了从实际部分进一步改进无模型RL，可以首先通过专家演示来训练策略网络。导致样本效率问题的一个原因是，在训练阶段开始时，大多数生成的轨迹都是失败的情况。专家演示也可以存储在经验缓冲区中。在训练期间，除了策略梯度损失外，也可以计算辅助监督学习损失，作为行为克隆(BC)损失：

其中a

为了防止策略在从演示中学习时落入次优解，可以应用q滤波器：受到评论家网络的批评，行为克隆损失仅在演示动作具有更好性能时应用。最终的行为克隆损失可以表示为

应用于策略网络的梯度分别为：

其中，λ

这种专家演示缩短了RL的探索阶段。

RL模型的训练阶段的目标是优化策略功能，以便能够完成对准任务。

在这个训练示例中，给出以下参数：1)带参数

在试训轨迹开始时，吊具的位置是随机的：吊具与集装箱之间的高度距离是在1至3米之间随机的。x-y位移d

在训练阶段中，对于轨迹中的每一步：

-检测角部：

-计算图像平面对称坐标状态

-使用策略函数π的示例动作a

a

-进行动作a

在训练期间，可以例如以基于事件的控制或基于实时的控制为基础来确定动作a。在基于事件的控制中，a指示x-y移动和旋转角度的位移(例如，a＝[0.2,-0.2,1]意味着：将吊具向右移动20cm，向下移动20cm并顺时针旋转1度)。在基于实时的控制中，a指示x-y移动和旋转运动的方向以及对应的持续时间(例如，a＝[-10,0,20]意味着：向左移动吊具1秒，并且顺时针旋转吊具2秒)。

-等待一定的时间间隔或直到动作a完成并获得下一个状态

-计算基于图像对称的奖励r。

-将转换元组t＝

在每个步骤结束时：

-来自B的N个转换t

-通过使损失最小化来优化Q：

-计算策略梯度

如果从演示中对转换元组t

-否则，仅通过使用以下步骤的一步梯度上升来更新行动者网络：

-在每个步骤结束时，使用软更新来更新目标网络的参数：

在测试阶段中，对于轨迹中的每一步：

-检测角部：

-计算图像平面对称坐标状态

-使用策略函数π对动作a进行采样或评估：

-进行动作a。

-可以例如以基于事件的控制或基于实时的控制为基础来确定动作a。在基于事件的控制中，a指示x-y移动和旋转角度的位移(例如，a＝[0.2,-0.2,1]意味着：将吊具向右移动20cm，向下移动20cm并顺时针旋转1度)。在基于实时的控制中，a指示x-y移动和旋转运动的方向以及对应的持续时间(例如，a＝[-10,0,20]意味着：向左移动吊具1秒，并且顺时针旋转吊具2秒)。

-等待一定的时间间隔或直到动作a完成并获得下一个状态

-重复这个步骤。

图6以示例的方式示出了系统架构600。系统架构包括：实时处理单元602和人工智能(AI)处理单元604。AI处理单元可以是：具有并行处理能力的处理器，其执行RL并检测特征，例如，集装箱的角部。实时处理器602的作用是通过接收基于时间的信号并发送用于时间关键处理需求的数据来保持实时通信。这个处理单元可以是例如精简指令集计算机(RISC)处理单元。实时硬件组件(例如，传感器606和致动器608)与机载处理单元630之间的通信信道可以是例如实时现场总线610。替代地，低延迟AI处理单元604可以包括实时处理单元602，用于接收基于时间的信号并发送用于时间关键处理需求的数据。传感器可以包括例如范围传感器、距离传感器、激光雷达等。

AI处理单元604是运行RL算法的处理单元。运行RL算法不一定需要作为硬实时执行，而是作为响应足够快的在线模块执行。AI处理单元经由通信信道(例如，局域网612)通过通信接口614从两个或更多个摄像机(例如，从连接到多播摄像机网络616的四个摄像机620、633、624、626)接收输入。计算在能够提供基于其对存储器硬件资源的快速响应、CPU中的处理能力或并行处理能力的处理单元上(例如，在图形处理单元(GPU)中)实现。这里，“足够快”意味着RL结果应在高于起重机机械固有频率的频率下准备就绪。例如，结果应准备就绪，例如，至少比起重机机械的固有频率高二到十倍。因此，具体的处理功率规格可以取决于系统机制的要求和处理器的可用性。取决于应用环境的限制，处理单元可以放置在移动平台的电气室或摄像机单元中。如图6所示，AI处理单元604可以通过实时处理单元602访问平台的运行时间信息。AI处理单元和实时处理单元可以物理地放置在同一外壳中和/或部分地共享资源。

图7以示例的方式示出了能够执行本文所公开的方法的设备700的框图。被配置为执行本文公开的方法的一种设备包括：用于执行所述方法的装置。所述装置包括：至少一个处理器710；以及包括计算机程序代码的至少一个存储器720，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起导致所述设备的性能。存储器720可以包括计算机指令，处理器710被配置为执行所述计算机指令。存储器720可以至少部分地包括在处理器710中。存储器720可以至少部分地在设备700的外部，但能够由设备700访问。

所述设备可以是AI处理单元604或连接到AI处理单元的另一设备。所述设备能够直接或间接地向致动器608发送动作命令，例如，控制动作命令，用以根据所述命令移动吊具。用户界面UI 730可以是例如机载处理单元630。UI可以包括例如显示器、键盘、触摸屏和/或鼠标。用户可以经由UI来操作所述设备。

所述设备可以包括通信装置740。通信装置可以包括：例如发射器和接收器，其被配置为经由有线或无线通信分别发送和接收信息。

图8、图9和图10以示例的方式示出了对准试验的误差测量的图800、900、1000。每个图的x轴802、902、1002表示控制器已创建导致吊具移动的动作的次数。所述图中的不同线表示用于定位吊具的系统或设备的不同对准试验。

图8的y轴804表示归一化距离单位的x-offset。x-offset指示：(例如，在吊具与集装箱的中心点之间测量的)x-y平面上x方向的归一化距离单位的差异。(见图1，偏移110)

图9的y轴904表示归一化距离单位的y-offset。y-offset指示：(例如，在吊具与集装箱的中心点之间测量的)x-y平面上y方向的归一化距离单位的差异。(见图1，偏移110)

图10的y轴1004表示归一化距离单位的skew-offset。skew-offset指示吊具与集装箱之间的倾斜角度。(见图1，角度130)

在吊具对准阶段，控制器生成的策略的目标是使x-offset、y-offset和倾斜角度最小化，使得它们等于零。

图8、图9和图10示出：本文所公开的方法能够使吊具相对于集装箱准确定位，并且在机械系统的可接受公差内。在图8和图9的示例中，误差减少到最大偏移的大约1/4，在图10的示例中，误差减少到最大偏移的大约1/3。