一种基于投影光自对准控制的起重机

技术领域

本发明涉及起重机领域，特别涉及一种自动化的起重机。

背景技术

新一代信息技术的快速发展正在深刻影响并改变着传统制造业。2019年11 月交通运输部发布的《关于建设世界一流港口的指导意见》指出，2025 年我国部分沿海集装箱枢纽港初步形成全面感知、泛在互联、港车协同的智能化系统，2035 年集装箱枢纽港基本建成智能化系统。集装箱枢纽港关键起重设备的智能化技术水平将直接影响我国智慧港口等重大建设项目的顺利实施。包括智能化港口起重机在内的智能起重机的开发及其关键技术研究成为行业近年重点研究方向。

智能起重机是应用新一代信息科学与人工智能技术对起重机现有功能进行升级，使起重机具有智能感知、数据分析、优化决策、自适应控制、实时监控、自评估自诊断、信息共享和通用网络互联等能力的高性能起重机械，起重机自对准控制系统及方法作为起重机智能化研究的基础，将会在智能起重机的研究中发挥有效作用。我国在起重机自动化控制方面已经取得了一定的研究和应用成果。除了港口和核电外，一些具有自动化作业功能的起重机产品已经在仓储、钢铁、能源等行业得到应用。

然而，目前起重机大部分需要人工操作，费时费力，且对操作工人要求较高。特别是在操作不熟练时，吊索移动速度过快容易发生安全问题，移动速度过慢则影响操作效率。如何高效、快速将起重机的吊钩移动至指定位置，是亟待解决的问题。

发明内容

为解决如何高效、快速、安全、自动将起重机的吊钩移动至指定位置，提出一种基于投影光自对准控制的起重机，包括立柱、悬臂、驾驶舱、吊索、多个相机、相机承载盘、多个投影灯、投影灯承载盘和控制器。

其中驾驶舱旋转固定于立柱上，可绕立柱旋转，从而实现360°作业；悬臂水平设置，与驾驶舱固定连接，可随驾驶舱一起旋转；吊索设置于悬臂上，吊索能够在悬臂上直线移动；

相机承载盘位于立柱上，且环绕立柱设置，相机承载盘能够绕立柱转动，相机承载盘上设置有3个以上的相机，用于拍摄地面圆环标记；

投影灯承载盘位于立柱上，且环绕立柱设置，投影灯承载盘能够绕立柱转动，投影灯承载盘上设置有3个以上的投影灯，用于向地面投射圆环标记；

投影灯承载盘位于相机承载盘之上；

控制器，用于实施起重机的自对准方法，包括：

开启投影灯向货物周边分别投射不少于三个圆环标记；

控制相机承载盘旋转，将相机转动到对准多个圆环标记，控制至少三台相机同时拍摄，保证每个相机均能分别采集到不同的圆环标记；

将采集到的圆环标记图像输入预先训练好的神经网络识别模型中进行识别；

计算各圆环标记在世界坐标系中的三维坐标；

根据地面圆环标记估算地面作业目标的范围大小及坐标；

其中神经网络识别模型包括三个隐藏层和一个输出层，其中激励函数为：

其中

相机与相机承载盘可转动连接。

投影灯与投影灯承载盘可转动连接。

控制器中存储有各个相机在世界坐标系坐标和旋转角度的对应表。

各圆环标记圆心组合所形成的圆周能够完整覆盖作业目标。

本发明发明点及技术效果：

1、通过光标记投影和相机采集圆环标记的方式实现了起重机自对准，减少了人工操作，从而避免人工操作的安全问题。

2、使用投影灯投影，无需预制、预放标记，操作更加便捷，操作人员可以根据需要将标记投影至任意位置。

3、建立圆环标记识别的专用模型，识别效率高，定位更加准确。

4、提出了一种基于圆周近似的作业目标区域估算方法，根据地面圆环标记估算地面作业目标的范围大小，以便快速将起重臂移动至相关区域内。

本申请涉及一种基于图像的起重机自对准控制系统及方法，该方法可应用于塔式起重机的自动定位、自动控制，通过图像视觉的方法对要搬运的货物进行自动定位，并根据定位的结果自动控制起重机将起重臂移至作业目标附近，大大减轻了人工操作起重机的工作量。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是起重机结构示意图；

图2是世界坐标系映射到像素坐标系的示意图。

具体实施方式

一、起重机结构

起重机包括立柱1、悬臂2、驾驶舱3、吊索4、相机5、相机承载盘6、投影灯7、投影灯承载盘8。

其中驾驶舱3旋转固定于立柱1上，可绕立柱1旋转，从而实现360°作业。悬臂2水平设置，与驾驶舱3固定连接，可随驾驶舱3一起旋转。吊索4设置于悬臂2上，吊索4可由小车等移动装置（图中未示出）带动，在悬臂2上直线移动。

相机承载盘6位于立柱1上，且环绕立柱1设置。在优选情况下，相机承载盘6能够绕立柱1转动。相机承载盘6上设置有3个以上的相机5，用于拍摄地面标记。相机5与相机承载盘6可转动连接。投影灯承载盘8位于立柱1上，且环绕立柱1设置。在优选情况下，投影灯承载盘8能够绕立柱1转动。投影灯承载盘8上设置有3个以上的投影灯7，用于向地面投射固定标记，投影灯7与投影灯承载盘8可转动连接。投影灯承载盘8位于相机承载盘6之上。在现有技术中，通常相机5和投影灯7均是固定，或简单转动，但没有这种方案：承载装置360度旋转，同时相机5和投影灯7也可旋转。这使得具有采集死角，同时相机5在不适合的角度采集或投影灯7在不适合的角度投影虽然不影响定位功能，但会影响定位精度。两个承载盘的设计能够使得投影灯7投射更加准确，相机5采集更加清晰完整，从而使得识别、定位更加准确，因此也是发明点之一。

二、自动对准控制方法

还包括控制器，用于实现起重机的自对准。以下自对准控制方法均由控制器完成。

一种地面标记的图像自动识别方法，用于自动识别放置于地面的投射光标记，并自动计算其在拍摄图像中的坐标位置（即像素坐标），用以计算后续步骤中标记在世界坐标系中的坐标位置（即世界坐标）。所谓世界坐标系，是指在真实世界中以物理距离为单位的三维坐标系。本文以水平面为参照设置世界坐标系，x、y轴位于水平面内，z轴垂直于水平面。特别的，假设塔式起重机起重臂与水平面平行，并且塔身与水平面垂直。

1、投射预定标记

控制投影灯承载盘8旋转，将投影灯7转动到对准待搬运货物周边，开启投影灯7向货物周边分别投射不少于三个圆环标记。多个圆环可以有不同的半径大小、颜色不同、和/或光斑粗细不同等不同特征。在进行投射时，三种圆环标记应当与货物分离，但距离较小，不宜离货物过远。优选的，其距离货物0.5m。将圆环标记投射于起重机待作业的目标周围，数量不少于3个，并确保圆环标记圆心组合所形成的圆周能够完整覆盖作业目标，且面积尽可能小，例如投射在货物外接圆周上，间隔120°。面积尽可能小的目的是：能够将起重机引导至作业目标附近。如果圆环标记组成的圆周覆盖面积太大，那么起重机自动引导后可能距离作业目标仍然较远，增加了人工调整的工作量。

2、采集圆环标记图像

控制相机承载盘6旋转，将相机5转动到对准多个圆环标记。控制至少三台相机5同时拍摄包括所有圆环标记的图像。保证每个相机均能分别采集到不同的圆环标记。当旋转完毕后，三台相机5在世界坐标系中的相对位置已知。该位置可以由保存在控制器数据库中的坐标和旋转角度的对应表查询得知。也可以使用常规的方式进行标定。

3、圆环标记识别

将采集到的圆环标记图像输入预先训练好的模型中进行识别判断，从而判断出圆环标记。

具体模型构建及训练方式如下：

对于一张包含圆环标记的图像，利用下面方法检测其在图像中的像素坐标

（1）假设输入的原始图像是

（2）将图像按二维坐标系u、v方向分别折半分割，分割成4张大小相同的子图

递归应用步骤（1）和（2）（如图），可以找到所有圆环RingX所对应的子图区域。将子图区域的中心位置设为圆环RingX的像素坐标。如果不能找到对应的子图区域，重新调整圆环标记的位置和相机5参数，直至获得所有子图区域为止。

该方法可以准确快速检测圆环，也是发明点之一。

圆环标记的模型M1、M2、M3定义如下。

定义：

式子(1)表示神经网络的输入层到隐藏层的映射，其中，

定义：

式子(2)表示神经网络第一个隐藏层与第二个隐藏层之间的映射，其中，

定义：

式子(3) 表示神经网络第二个隐藏层与第三个隐藏层之间的映射，其中，v

定义：

式子(5)表示从神经网络第三个隐藏层到输出层的映射，其中，y表示神经网络输 入层

式子(1)-(5)中，定义激励函数：

用于建立非线性模型，调节参数

由于圆环标记Ring1、Ring2、Ring3（或更多的圆环标记）均已知，因此对于每一个圆环标记RingX，采集足够多数量的训练样本图像，可以利用式(1)-(5)建立与其对应的模型MX（X=1, 2, 3）。模型输出为1时，表示圆环标记X与输入图像对应，输出为0时，表示不对应。

以上建立了识别圆环标记的神经网络模型。针对本文应用中待检测的圆环标记的 特点，设计了带有多重卷积层和均值滤波用途的模型，并通过设计非线性激励函数加快模 型训练的收敛速度，保持了网络的检测能力并提高了检测效率。下表1对类似结构的模型与 本文所提出模型的检测性能进行了对比。

4、计算圆环标记的坐标。

获取的圆环标记RingX的图像像素坐标，计算各标记在世界坐标系中的三维坐标。

将某一个目标从世界坐标系映射到像素坐标分为三个步骤：

第一步，通过平移变换，将目标在真实世界的坐标(X

第二步，根据相机5的焦距等参数，计算目标在二维成像平面上投影的坐标。

第三步，根据相机5的像元尺寸等参数，进一步将二维成像平面的投影坐标转换为以像素为单位的像素坐标。

由于三台相机5在世界坐标系中的相对位置已知，对于一个圆环标记RingX，其在三台相机5中的坐标也是已知的。因此，根据常规方法可以计算出RingX的真实世界坐标。

当然上述只是举例，采集标记图像后计算其世界坐标的方法有很多种，也可以使用其他公知的方法。

5、基于圆周近似的作业目标区域估算

根据地面圆环标记估算地面作业目标的范围大小，以便将起重臂移动至相关区域内，减少人工操作步骤。

假设地面的圆环标记由三个，其（中心的）真实世界坐标分别为：

理论上讲，因为三台相机5的光轴并不能都与地面垂直，因此圆环标记的中心所购成的圆周在相机5成像平面的映射并不是一个圆周而是一个椭圆。但由于相对于塔式起重机的高度，圆周的半径几乎可以忽略，并且圆周本身也是对起重机作业目标轮廓的一个近似表达，因此在实际应用中可以使用圆方程简化计算。

根据本文所述的世界坐标系定义方式，由于Z平面与地面平行，因此简化为在二维 平面上进行计算。假设圆周的圆心坐标为

对于吊钩的初始位置，可以在吊钩下垂于地面的附近进行标记，将吊钩看作目标，采取上述自动对准控制方法实现投射预定标记、采集圆环标记图像、圆环标记识别、计算圆环标记的坐标，确定其初始位置。