用于塔吊避障的障碍物点云信息处理方法、装置和设备

技术领域

本公开的实施例涉及计算机技术领域，具体涉及用于塔吊避障的障碍物点云信息处理方法、装置和设备。

背景技术

用于塔吊避障的障碍物点云信息处理，可以是生成障碍物点云信息，以供塔吊对障碍物进行自动避障的方法。在对障碍物进行自动避障时，通常采用的方法为：首先，获取针对目标塔吊的塔吊环境图像集。其次，确定塔吊环境图像集对应目标障碍物集中每个目标障碍物的位置信息，得到位置信息集。最后，将位置信息集发送至查看终端，以供塔吊设备的相关人员查看，以及相关人员控制塔吊设备进行相关作业。

然而，发明人发现，当采用上述方式对塔吊设备进行控制时，经常会存在如下技术问题：

通过人为确定位置信息集中每个位置信息对应目标障碍物与目标塔吊的距离，以在塔吊设备里控制塔吊设备进行相关作业，导致塔吊与障碍物进行碰撞。

该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了用于塔吊避障的障碍物点云信息处理方法、装置和设备，来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面，本公开的一些实施例提供了一种用于塔吊避障的障碍物点云信息处理方法，该方法包括：获取针对目标塔吊信息的塔吊环境图像集，其中，上述塔吊环境图像集包括两个拍摄角度不同的塔吊环境图像；对于上述塔吊环境图像集中的每个塔吊环境图像，生成上述塔吊环境图像对应至少一个障碍物信息的候选障碍物点云信息组；根据所得到的候选障碍物点云信息组集，生成目标障碍物信息集中各个障碍物信息对应的点云信息，其中，上述目标障碍物信息集为上述塔吊环境图像集对应的多个障碍物信息，上述目标障碍物信息集可以是对上述塔吊环境图像对应至少一个障碍物信息进行去重处理后的障碍物信息集。

第二方面，本公开的一些实施例提供了一种用于塔吊避障的障碍物点云信息处理装置，装置包括：获取单元，被配置成获取针对目标塔吊信息的塔吊环境图像集，其中，上述塔吊环境图像集中各个塔吊环境图像对应的拍摄角度不同；第一生成单元，被配置成对于上述塔吊环境图像集中的每个塔吊环境图像，生成上述塔吊环境图像对应至少一个障碍物信息的候选障碍物点云信息组；第二生成单元，被配置成根据所得到的候选障碍物点云信息组集，生成目标障碍物信息集中各个障碍物信息对应的点云信息，其中，上述目标障碍物信息集为上述塔吊环境图像集对应的多个障碍物信息，上述目标障碍物信息集可以是对上述塔吊环境图像对应至少一个障碍物信息进行去重处理后的障碍物信息集。

第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。

第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，上述计算机程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。

本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的用于塔吊避障的障碍物点云信息处理方法，可以避免塔吊设备在自动避障时与障碍物发生碰撞。现有技术通过人为确定位置信息集中每个位置信息对应目标障碍物与目标塔吊的距离，以在塔吊设备里控制塔吊设备进行相关作业，导致塔吊与障碍物进行碰撞。基于此，本公开的一些实施例的用于塔吊避障的障碍物点云信息处理方法，获取针对目标塔吊信息的塔吊环境图像集。其中，上述塔吊环境图像集包括两个拍摄角度不同的塔吊环境图像。通过拍摄上述塔吊环境图像集包括的、拍摄角度不同的障碍物，使得障碍物的信息更加丰富。对于上述塔吊环境图像集中的每个塔吊环境图像，生成上述塔吊环境图像对应至少一个障碍物信息的候选障碍物点云信息组。根据所得到的候选障碍物点云信息组集，生成目标障碍物信息集中各个障碍物信息对应的点云信息。其中，上述目标障碍物信息集为上述塔吊环境图像集对应的多个障碍物信息，上述目标障碍物信息集可以是对上述塔吊环境图像对应至少一个障碍物信息进行去重处理后的障碍物信息集。根据对上述塔吊环境图像对应至少一个障碍物信息进行去重处理后的障碍物信息集中各个障碍物信息对应的点云信息，完成精准高效的避障及后续路径规划，可以避免塔吊设备在自动避障时与障碍物发生碰撞。

将历史卷积层序列中各个历史卷积层的输出进行拼接，以输入至收缩自编码器，可以缓解梯度消失，且参数量比传统卷积网络少了一半以上，以及准确率更高的效果。对上述塔吊环境图像进行图像修复处理，以生成修复图像，可以提高修复图像的清晰度。通过深度图像，查看上述障碍物信息对应障碍物与上述目标塔吊的距离，更加便捷。进行点云补偿，补充适当的点数量使其变得稠密。目标障碍物对应两个不同坐标系下的候选点云信息，将两个候选点云信息转换至塔吊坐标系下并进行拼接，得到的点云信息更加丰富。上述深度图像集和上述修复图像进行融合，得到的融合图像存在修复图像的画面，且还存在深度值。融合图像包含的信息较为丰富。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。

图1是根据本公开的用于塔吊避障的障碍物点云信息处理方法的一些实施例的流程图；

图2是根据本公开的用于塔吊避障的障碍物点云信息处理方法的一些实施例的修复图像的示意图；

图3是根据本公开的用于塔吊避障的障碍物点云信息处理方法的一些实施例的深度图像的示意图；

图4是根据本公开的用于塔吊避障的障碍物点云信息处理方法的一些实施例的障碍物包围框的示意图；

图5是根据本公开的用于塔吊避障的障碍物点云信息处理装置的一些实施例的结构示意图；

图6是适于用来实现本公开的一些实施例的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。

需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。

需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。

本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。

下面将参考附图并结合实施例来详细说明本公开。

图1示出了根据本公开的用于塔吊避障的障碍物点云信息处理方法的一些实施例的流程100。该用于塔吊避障的障碍物点云信息处理方法的流程100，包括以下步骤：

步骤101，获取针对目标塔吊信息的塔吊环境图像集。

在一些实施例中，用于塔吊避障的障碍物点云信息处理方法的执行主体(例如，电子设备)可以通过有线连接的方式或者无线连接的方式获取针对目标塔吊信息的塔吊环境图像集。其中，上述塔吊环境图像集可以包括两个拍摄角度不同的塔吊环境图像。上述目标塔吊信息可以是表征目标塔吊的信息。例如，上述目标塔吊信息可以是高50m，宽30m的塔吊信息。上述目标塔吊可以是表征待控制的塔吊。上述塔吊环境图像可以是塔吊周围环境的图像。例如，上述获取针对目标塔吊信息的塔吊环境图像集可以是上述执行主体通过控制预设拍摄设备所拍摄获取的针对目标塔吊信息的塔吊环境图像集。例如，上述预设拍摄设备可以是预先添加好飞行时间法的拍摄设备。例如，上述塔吊环境图像集中的两个塔吊环境图像的拍摄角度可以是安装在滑轨变幅小车上90度垂直于地面，安装在动臂臂尖，呈向下60度射向上述目标塔吊信息对应塔吊的底座的角度。

作为示例，将上述塔吊环境图像集中的塔吊环境图像输入至中央处理通道，可以得到塔吊环境图像对应的相机编号和当前时间。其中，上述中央处理通道可以用于确定塔吊环境图像对应相机编号和当前时间的通道。上述中央处理通道可以是连接中央处理器的通道，以确定塔吊环境图像对应相机编号和当前时间。

步骤102，对于塔吊环境图像集中的每个塔吊环境图像，生成塔吊环境图像对应至少一个障碍物信息的候选障碍物点云信息组。

在一些实施例中，上述执行主体对于上述塔吊环境图像集中的每个塔吊环境图像，生成上述塔吊环境图像对应至少一个障碍物信息的候选障碍物点云信息组。其中，上述候选障碍物点云信息组中的候选障碍物点云信息可以是上述塔吊环境图像包括的至少一个障碍物的点云信息组。上述点云信息组中的每个点云信息可以包括多个点云数据。上述塔吊环境图像中存在至少一个障碍物信息。上述至少一个障碍物信息中的障碍物信息可以表征塔吊周围障碍物的信息。例如，上述障碍物可以是楼房。

将上述塔吊环境图像发送至障碍物识别终端，以生成上述至少一个障碍物信息中每个障碍物信息对应的深度图像。其中，上述深度图像可以表征障碍物信息对应的障碍物与塔吊的距离图像。上述障碍物识别终端可以用于接收塔吊环境图像，以供上述障碍物识别终端的相关人员确定塔吊环境图像对应至少一个障碍物信息中每个障碍物信息对应的深度图像。

将所得到的深度图像集和上述塔吊环境图像输入至针孔相机模型(PinholeCamea Model，PCM)，得到塔吊环境图像对应至少一个障碍物信息的候选障碍物点云信息组。

在一些实施例的一些可选的实现方式中，上述执行主体可以生成上述塔吊环境图像对应至少一个障碍物信息的候选障碍物点云信息组，包括：

第一步，对上述塔吊环境图像进行图像修复处理，以生成修复图像。其中，上述修复图像可以是对上述塔吊环境图像进行图像去噪后的图像。

实践中，上述执行主体对上述塔吊环境图像进行图像修复处理，以生成修复图像，包括：

利用三维块匹配算法，对上述塔吊环境图像进行降噪处理，以生成修复图像。

第二步，确定上述修复图像对应至少一个障碍物信息的图像位置信息集。图像位置信息可以是至少一个障碍物信息中每个障碍物信息对应的障碍物在上述修复图像中的位置信息。上述修复图像对应至少一个障碍物信息可以是上述修复图像包括的至少一个障碍物的信息。

实践中，上述确定修复图像对应至少一个障碍物信息的图像位置信息集，包括：

将上述修复图像输入至DenseNet(Dense Convolutional Network，密集卷积网络)，得到上述修复图像对应至少一个障碍物信息的图像位置信息集。

作为示例，将上述修复图像输入至DenseNet(Dense Convolutional Network，密集卷积网络)，得到上述修复图像对应至少一个障碍物信息的图像位置信息集，包括：

对于上述密集卷积网络包括多个卷积层中的每个卷积层，执行以下输入步骤：

第一子步骤，确定上述卷积层对应的层数。其中，上述卷积层可以是卷积神经网络(Convolutional Neural Networks,CNN)。

第二子步骤，响应于确定上述层数为上述密集卷积网络中的第一层，将上述修复图像输入至上述卷积层，得到上述修复图像对应的向量，作为第一修复特征向量。

第三子步骤，响应于确定上述层数不为上述密集卷积网络中的第一层，且不为密集卷积网络中的最后一层，将历史卷积层序列中各个历史卷积层的输出进行拼接，以输入至收缩自编码器，得到第一拼接后向量。

第四子步骤，将上述第拼接后向量输入至上述卷积层，得到第二修复特征向量。

第五子步骤，响应于确定上述层数不为上述密集卷积网络中的第一层，且为密集卷积网络中的最后一层，将历史卷积层序列中各个历史卷积层的输出进行拼接，以输入至收缩自编码器，得到第二拼接后向量。

第六子步骤，将上述第二拼接后向量输入至上述卷积层，得到上述修复图像对应至少一个障碍物信息的图像位置信息集。其中，将历史卷积层序列中各个历史卷积层的输出进行拼接，以输入至收缩自编码器，可以缓解梯度消失和参数量比传统卷积网络少了一半以上，且准确率更高的效果。

作为示例，图2示出了塔吊环境图像和修复图像。图2中的A图像额可以是塔吊环境图像。图2中的B可以是修复图像。

作为示例，将上述修复图像送入预先训练好的密集卷积网络，网络结构使用类似Unet的U形网络，但将主干网络替换为DenseNet，通过稠密连接方式让每一层都接受它前面所有层的输出，以前馈的方式将每一层与每一层连接起来，其中x0,x1,…,xe-1指的是在第0，…，e+1层，多个He输入串联成一个张量由于其密集的连通性。不同层次的特征，或者说不同大小的感受野，对于大小不一的目标对象的敏感度是不同的，稠密块可以抓取不同层次的特征，将它们通过特征叠加的方式整合，达到缓解梯度消失、加强特征复用的作用。改进后的收缩编码器将不同尺度上提取出来的信息它们高效的连接在扩张解码器上，在网络整体连接方式大致相同的情况下，参数量比传统卷积网络少了一半以上，且准确率更高。上述密集卷积网络的每一层可以是以下公式得到的：

x

其中，x

第三步，对于上述至少一个障碍物信息中的每个障碍物信息，依据对应的图像位置信息，确定上述障碍物信息对应的深度图像。其中，上述深度图像可以表征障碍物信息对应的障碍物与塔吊的距离图像。

实践中，上述确定障碍物信息对应的深度图像，包括：

第一子步骤，确定上述障碍物信息的初始深度图像。其中，上述初始深度图像中的初始深度值可以是上述障碍物信息对应障碍物与上述目标塔吊信息对应塔吊的距离。上述确定上述障碍物信息的初始深度图像可以是利用飞行时间法，确定上述障碍物信息的初始深度图像。

第二子步骤，响应于确定上述初始深度图像中的深度值为异常深度值，删除异常深度值。例如，上述异常深度值可以是无穷大。

第三子步骤，将删除后的初始深度图像确定为上述障碍物信息对应的深度图像。

第四步，将所得到的深度图像集和上述修复图像进行融合，得到融合图像。其中，上述融合图像可以是与上述修复图像呈现的画面相同，像素值不相同的图像。

作为示例，上述深度图像集和上述修复图像进行融合，得到的融合图像存在修复图像的画面，且还存在深度值。融合图像包含的信息较为丰富。

作为示例，得到初始深度图像中的深度值，但并不完全使用，只取图3部分中白色区域部分的深度值为感兴趣区域，同时剔除感兴趣区域内部分无穷大或无穷小或不存在的违法深度值。

实践中，上述融合图像中的每个融合像素值可以通过以下步骤得到的：

将上述深度图像中每个深度像素对应的深度值与修复图像中对应的修复像素值的和，确定为上述融合图像中的融合像素值。其中，上述融合图像包括彩色图像和深度图像，后续生成点云信息可以是彩色的点云，可以更容易分辨出障碍物位置，从而避免与障碍物发生碰撞。

第五步，生成与上述融合图像相对应的、针对上述至少一个障碍物信息的候选障碍物点云信息组，作为塔吊环境图像对应至少一个障碍物信息的候选障碍物点云信息组。

实践中，上述生成与上述融合图像相对应的、针对上述至少一个障碍物信息的候选障碍物点云信息组，包括：

利用运动恢复结构(Structure from motion，SFM)，对上述融合图像进点云生成处理，得到与上述融合图像相对应的、针对上述至少一个障碍物信息的候选障碍物点云信息组。

在一些实施例的一些可选的实现方式中，上述执行主体可以对上述塔吊环境图像进行图像修复处理，以生成修复图像，包括：

第一步，对上述塔吊环境图像进行压缩处理，得到压缩塔吊矩阵。其中，上述压缩塔吊矩阵中的压缩塔吊值可以表征对上述塔吊环境图像中的塔吊环境像素值进行压缩处理后的值。

实践中，上述对上述塔吊环境图像进行压缩处理，得到压缩塔吊矩阵，包括：

第一子步骤，确定上述塔吊环境图像中各个塔吊环境像素的平均值。

第二子步骤，确定上述塔吊环境图像中塔吊环境像素的最大值和最小值。

第三子步骤，将上述最大值与上述最小值的差，确定为第一候选压缩塔吊矩阵值，以及将上述平均值与上述最小值的差，确定为第二候选压缩塔吊矩阵值。

第四子步骤，将上述第一候选压缩塔吊矩阵值与上述第二候选压缩塔吊矩阵值的比，确定为预设压缩塔吊矩阵中的压缩塔吊值，作为压缩塔吊矩阵。其中，上述预设压缩塔吊矩阵的维度可以是第一预设维度。上述预设压缩塔吊矩阵中的每个预设压缩塔吊值可以是第一预设矩阵值。例如，上述第一预设维度可以是长宽都为512的维度。例如，上述预设压缩塔吊矩阵中的矩阵值可以是0。例如，上述压缩塔吊矩阵的维度可以是上述第一预设维度。上述压缩塔吊矩阵的压缩塔吊矩阵值可以是上述第一候选压缩塔吊矩阵值与上述第二候选压缩塔吊矩阵值的比。

第二步，对上述压缩塔吊矩阵进行降维处理，得到降维后塔吊矩阵。其中，上述降维后塔吊矩阵的维度可以是第二预设维度。例如，上述第二预设维度可以是长宽都为244的维度。

第三步，将上述降维后塔吊矩阵输入至图像修复模型，得到修复后塔吊环境图像，作为修复图像。其中，上述图像修复模型可以用于对上述降维后塔吊矩阵进行去噪处理的模型。例如，上述图像修复模型可以是快速傅里叶卷积(Fast Fourier Convolution forSpeech Enhancement，FFC)模型。上述修复图像可以是高分辨的修复图像

在一些实施例的一些可选的实现方式中，上述执行主体对上述塔吊环境图像进行压缩处理，得到压缩塔吊矩阵，包括：

第一步，确定上述塔吊环境图像中各个塔吊环境像素的平均值。

第二步，确定上述塔吊环境图像的标准差。

第三步，将上述塔吊环境图像中每个塔吊环境像素值与上述平均值的差，得到候选塔吊值集，确定为候选塔吊矩阵。

第四步，将上述候选塔吊矩阵中每个候选塔吊值与上述标准差的比，得到压缩后塔吊值集，确定为压缩后塔吊矩阵。

第五步，将上述压缩后塔吊矩阵中的每个压缩后塔吊值与预设压缩值的比，得到压缩塔吊值集，确定为压缩塔吊矩阵。其中，压缩塔吊矩阵可以增强泛化效果。

在一些实施例的一些可选的实现方式中，上述执行主体生成与上述融合图像相对应的、针对上述至少一个障碍物信息的候选障碍物点云信息组，包括：

第一步，确定与上述融合图像相对应的、针对上述至少一个障碍物信息的障碍物点云信息组。其中，上述确定与上述融合图像相对应的、针对上述至少一个障碍物信息的障碍物点云信息组可以是利用相机标定方法，确定与上述融合图像相对应的、针对上述至少一个障碍物信息的障碍物点云信息组。

第二步，对于上述障碍物点云信息组中每个障碍物点云信息，响应于确定上述障碍物点云信息对应的点云数量小于预设点云数量，对上述障碍物点云信息进行补偿处理。例如，上述预设点云数量可以是20000。

实践中，上述执行主体可以对于上述障碍物点云信息组中每个障碍物点云信息，响应于确定上述障碍物点云信息对应的点云数量小于预设点云数量，对上述障碍物点云信息进行补偿处理，包括：

第一子步骤，对于上述障碍物点云信息组中每个障碍物点云信息，响应于确定上述障碍物点云信息对应的点云数量小于预设点云数量，根据上述障碍物点云信息，执行以下补偿步骤：

步骤一，从障碍物点云信息中筛选出一个障碍物点云，作为筛选后障碍物点云。

步骤二，对上述障碍物点云信息进行点云添加处理，得到添加后障碍物点云信息。其中，上述添加后障碍物点云信息可以是在上述障碍物点云信息中添加点云后的点云信息。

实践中，上述对上述障碍物点云信息进行点云添加处理，得到添加后障碍物点云信息，包括：

从上述筛选后障碍物点云的预设点云范围内随机筛选出预设点云补偿数量个点云位置，以对上述障碍物点云信息对应的预设点云补偿数量个点云位置上添加点云，得到添加后障碍物点云信息。其中，例如，上述预设点云范围可以是0.5cm。例如，上述预设点云补偿数量可以是5。

步骤三，响应于确定上述添加后障碍物点云信息存在第一预设点云数量区间、第二预设点云数量区间和第三预设点云数量区间任意之一中，将上述添加后障碍物点云信息确定为补偿后障碍物点云信息。例如，上述第一预设点云数量区间可以是[9900,10000]。例如，上述第二预设点云数量区间可以是[14900,15000]。例如，上述第三预设点云数量区间可以是[19900,20000]。其中，上述障碍物点云信息对应点云数量存在上述第一预设点云数量区间中，上述障碍物点云信息对应的障碍物包围框为小框。上述障碍物点云信息对应点云数量存在上述第二预设点云数量区间中，上述障碍物点云信息对应的障碍物包围框为中框。上述障碍物点云信息对应点云数量存在上述第三预设点云数量区间中，上述障碍物点云信息对应的障碍物包围框为大框。上述障碍物包围框可以表征上述障碍物点云信息对应障碍物大小的框。

第二子步骤，响应于确定上述添加后障碍物点云信息对应的点云数量不存在上述第一预设点云数量区间、上述第二预设点云数量区间和上述第三预设点云数量区间任意之一中，将上述添加后障碍物点云信息确定为障碍物点云信息，以再次执行上述补偿步骤

第三步，将所得到的补偿后障碍物点云信息组，确定为与上述融合图像相对应的、针对上述至少一个障碍物信息的候选障碍物点云信息组。

作为示例，依据相机内参矩阵，计算出所有存在像素点在相机坐标系下的三维位姿，其整体即为所需障碍物点云数据。为了进行万无一失的避障路径规划，需确保障碍物点云数据完整、位置真实，若障碍物三维信息点云数量过于稀疏则会出现上述问题，需进行点云补偿，补充适当的点数量使其变得稠密。具体方法为通过对点云数据最大长宽高计算进行AABB外包围盒生成，例如，图4示出了黑色包围框，通过包围框体积不一划定为大中小三档尺寸障碍物，对不同档位障碍物分别设定不同点云数量阈值，其值依据反复尝试经验设为10000、15000、20000，称为完整度系数，如若所得障碍物点云数量低于完整度系数，此时在掩码图像红色区域内随机选择部分像素，依据最近邻深度原则补上，输入是目标像素点，映射到向量空间后，做一次top 5近邻的检索，返回与目标像素点最近的k个近邻节点，距离度量函数选择L2，这样并不会增加很大开销。后续仍旧进行补充像素后的深度图像与过滤吊钩干扰位置修复后彩色图像，生成RGBD图像，依据相机内参矩阵，生成A相机物体点云。上述RGBD图像可以是融合图像。

步骤103，根据所得到的候选障碍物点云信息组集，生成目标障碍物信息集中各个障碍物信息对应的点云信息。

在一些实施例中，上述执行主体可以根据所得到的候选障碍物点云信息组集，生成目标障碍物信息集中各个障碍物信息对应的点云信息。其中，上述目标障碍物信息集为上述塔吊环境图像集对应的多个障碍物信息。上述目标障碍物信息集可以是对上述塔吊环境图像对应至少一个障碍物信息进行去重处理后的障碍物信息集。实践中，上述塔吊设备可以通过上述目标障碍物信息集中各个障碍物信息对应的点云信息进行自动避障。上述塔吊设备可以用于控制上述目标塔吊信息对应塔吊的设备。

利用坐标转换方法，将上述所得到的候选障碍物点云信息组集中的每个候选障碍物点云信息转化为塔吊坐标系下的障碍物点云信息，作为转化后障碍物点云信息组，得到转化后障碍物点云信息组集。

对于上述目标障碍物信息集中的每个障碍物信息，执行以下点云信息确定步骤：

响应于确定上述障碍物信息存在两个对应的转化后障碍物点云信息，将两个转化后障碍物点云信息进行拼接处理，得到拼接后障碍物点云信息，作为障碍物信息对应的点云信息。其中，上述两个对应的转化后障碍物点云可以是上述转化后障碍物点云信息组集中每个转化后障碍物点云信息组中，存在上述障碍物信息的转化后障碍物点云信息。

响应于确定上述障碍物信息不存在一个对应的转化后障碍物点云信息，将上述障碍物信息对应的转化后障碍物点云信息确定为障碍物信息对应的点云信息。

作为示例，将两个转化后障碍物点云信息进行拼接处理，可以是将上述障碍物信息对应障碍物的两个不同角度的点云信息进行拼接，得到的拼接后障碍物点云信息更加丰富。在一些实施例的一些可选的实现方式中，上述根据所得到的候选障碍物点云信息组集，生成目标障碍物信息集中各个障碍物信息对应的点云信息，包括：

第一步，将上述塔吊环境图像集中的两个塔吊环境图像，分别确定为第一塔吊环境图像和第二塔吊环境图像。其中，上述第一塔吊环境图像的拍摄角度可以是安装在滑轨变幅小车上90度垂直于地面的角度。第二塔吊环境图像的拍摄角度可以是安装在动臂臂尖，呈向下60度射向上述目标塔吊信息对应塔吊的底座的角度。

第二步，确定塔吊坐标系下的转换后第一障碍物点云信息组，以及确定塔吊坐标系下的转换后第二障碍物点云信息组。

第三步，对于上述目标障碍物信息集中的每个目标障碍物信息，执行以下添加步骤：

第一子步骤，响应于确定上述目标障碍物信息存在上述第一塔吊环境图像和上述第二塔吊环境图像中，对于上述目标障碍物对应的转换后第一障碍物点云信息中的每个转换后第一障碍物点云，删除满足预设点云删除条件的转换后第一障碍物点云。实践中，上述预设点云删除条件可以是目标障碍物信息对应的转换后第二障碍物点云信息中距离上述转换后第一障碍物点云最近的转换后第二障碍物点云，且距离小于预设点云距离。例如，上述预设点云距离可以是0.3cm。

第二子步骤，将所得到的删除后转换后第一障碍物点云信息添加至上述目标障碍物信息对应的转换后第二障碍物点云信息，作为上述目标障碍物信息对应的点云信息。

作为示例，将A点云从A相机坐标系下转换到塔吊坐标系下，将B点云从B相机坐标系转换至塔吊坐标系下，得到A*和B*。将A*和B*都放到塔吊坐标系下，得到每个点云的位置。对于A*点云中每个点云，从B*点云中找出与A*点云中每个个点云距离最近的点云。如果两个点云的距离大于0.3就删除B*中的点云，小于等于就保留。得到删除后B*点云。将A*和B*进行拼接，拿到可用于避障的完整三维障碍物点云。最终将得到的三维障碍物点云信息通过相机外参矩阵进行坐标系转换至塔吊坐标系下并实时插入，用于塔吊避障规划参考。

作为示例，上述目标障碍物信息对应的点云信息是以转换后第二障碍物点云信息为基准的。相比于第一塔吊环境图像，塔吊坐标系对应视角下的障碍物形状与上述第二塔吊环境图像对应障碍物形状更相近，从而后续上述塔吊设备在自动避障时会更加准确。

在一些实施例的一些可选的实现方式中，上述转换后第一障碍物点云信息组可以是通过以下步骤得到的：

步骤一，将所得到的候选障碍物点云信息组集中与上述第一塔吊环境图像对应的障碍物点云信息组，确定为第一障碍物点云信息组。

步骤二，利用第一旋转矩阵，对上述第一障碍物点云信息组中的每个第一障碍物点云信息进行坐标系转换，得到塔吊坐标系下的转换后第一障碍物点云信息组。其中，上述第一旋转矩阵可以是从上述第一障碍物点云信息组对应的坐标系下转换至塔吊坐标系下的旋转矩阵。上述转换后第一障碍物点云信息可以是上述转换后第一障碍物点云信息组中的转换后第一障碍物点云信息。

在一些实施例的一些可选的实现方式中，上述转换后第二障碍物点云信息组可以是通过以下步骤得到的：

步骤一，将上述候选障碍物点云信息组集中与上述第二塔吊环境图像对应的障碍物点云信息组，确定为第二障碍物点云信息组。

步骤二，利用第二旋转矩阵，对上述第二障碍物点云信息组中的每个障碍物点云信息进行坐标系转换，得到塔吊坐标系下的转换后第二障碍物点云信息组。上述第二旋转矩阵可以是从上述第二障碍物点云信息组对应的坐标系下转换至塔吊坐标系下的旋转矩阵。上述转换后第二障碍物点云信息可以是上述转换后第二障碍物点云信息组中的转换后第二障碍物点云信息。

在一些实施例的一些可选的实现方式中，上述执行主体可以删除满足预设点云删除条件的转换后第一障碍物点云，包括：

步骤一，确定目标障碍物信息对应的转换后第二障碍物点云信息中满足距离条件的转换后第二障碍物点云，作为目标转换后第二障碍物点云，其中，上述预设距离条件可以是距离上述转换后第一障碍物点云最近的转换后第二障碍物点云。

步骤二，响应于确定上述转换后第一障碍物点云和上述目标转换后第二障碍物点云的距离大于上述预设点云距离，从上述转换后第一障碍物点云信息对应点云集中删除上述转换后第一障碍物点云。其中，上述删除上述转换后第一障碍物点云可以是从上述目标障碍物信息对应的转换后第一障碍物点云信息中删除上述转换后第一障碍物点云。

可选的，上述执行主体在上述将所得到的删除后转换后第一障碍物点云信息添加至上述转换后第二障碍物点云信息，作为上述目标障碍物信息对应的点云信息之后，还可以执行以下步骤：

第一步，响应于确定上述目标障碍物信息存在上述第一塔吊环境图像中，且不存在上述第二塔吊环境图像中，将上述目标障碍物信息对应的转换后第一障碍物点云信息，确定为上述目标障碍物信息对应的点云信息。

第二步，响应于确定上述目标障碍物信息不存在上述第一塔吊环境图像中，且存在上述第二塔吊环境图像中，将上述目标障碍物信息对应的转换后第二障碍物点云信息，确定为上述目标障碍物信息对应的点云信息。

可选的，上述执行主体在上述根据所得到的候选障碍物点云信息组集，生成目标障碍物信息集中各个障碍物信息对应的点云信息之后，还可以执行以下步骤：

将上述各个障碍物信息对应的点云信息至显示终端，以依据显示内容，控制上述塔吊设备进行相关作业。上述以依据显示内容可以是显示上述各个障碍物信息对应的点云信息。例如，上述相关作业可以是吊施工材料。例如，上述施工材料可以是钢筋。例如，控制塔吊设备进行相关作业可以是上述塔吊设备的相关人员控制上述塔吊设备进行相关作业。

本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的用于塔吊避障的障碍物点云信息处理方法，可以避免塔吊设备在自动避障时与障碍物发生碰撞。具体来说，导致塔吊与障碍物进行碰撞的原因在于：通过人为确定位置信息集中每个位置信息对应目标障碍物与目标塔吊的距离，以在塔吊设备里控制塔吊设备进行相关作业，导致塔吊与障碍物进行碰撞。基于此，本公开的一些实施例的用于塔吊避障的障碍物点云信息处理方法，获取针对目标塔吊信息的塔吊环境图像集。其中，上述塔吊环境图像集包括两个拍摄角度不同的塔吊环境图像。通过拍摄上述塔吊环境图像集包括的、拍摄角度不同的障碍物，使得障碍物的信息更加丰富。对于上述塔吊环境图像集中的每个塔吊环境图像，生成上述塔吊环境图像对应至少一个障碍物信息的候选障碍物点云信息组。根据所得到的候选障碍物点云信息组集，生成目标障碍物信息集中各个障碍物信息对应的点云信息。其中，上述目标障碍物信息集为上述塔吊环境图像集对应的多个障碍物信息，上述目标障碍物信息集可以是对上述塔吊环境图像对应至少一个障碍物信息进行去重处理后的障碍物信息集。对上述塔吊环境图像对应至少一个障碍物信息进行去重处理后的障碍物信息集中各个障碍物信息对应的点云信息更加丰富。从而完成精准高效的避障及后续路径规划，可以避免塔吊设备在自动避障时与障碍物发生碰撞。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种用于塔吊避障的障碍物点云信息处理装置的一些实施例，这些装置实施例与图1所示的那些方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5所示，一些实施例的用于塔吊避障的障碍物点云信息处理装置500包括：获取单元501、第一生成单元502和第二生成单元503。其中，获取单元501，被配置成获取针对目标塔吊信息的塔吊环境图像集，其中，上述塔吊环境图像集中各个塔吊环境图像对应的拍摄角度不同；第一生成单元502，被配置成对于上述塔吊环境图像集中的每个塔吊环境图像，生成上述塔吊环境图像对应至少一个障碍物信息的候选障碍物点云信息组；第二生成单元503，被配置成根据所得到的候选障碍物点云信息组集，生成目标障碍物信息集中各个障碍物信息对应的点云信息，其中，上述目标障碍物信息集为上述塔吊环境图像集对应的多个障碍物信息，上述目标障碍物信息集可以是对上述塔吊环境图像对应至少一个障碍物信息进行去重处理后的障碍物信息集。

可以理解的是，用于塔吊避障的障碍物点云信息处理装置500中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于用于塔吊避障的障碍物点云信息处理装置500及其中包含的单元，在此不再赘述。

下面参考图6，其示出了适于用来实现本公开的一些实施例的电子设备600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。

特别地，根据本公开的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开的一些实施例的方法中限定的上述功能。

需要说明的是，本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP(Hyper Text TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述装置中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取针对目标塔吊信息的塔吊环境图像集，其中，上述塔吊环境图像集包括两个拍摄角度不同的塔吊环境图像；对于上述塔吊环境图像集中的每个塔吊环境图像，生成上述塔吊环境图像对应至少一个障碍物信息的候选障碍物点云信息组；根据所得到的候选障碍物点云信息组集，生成目标障碍物信息集中各个障碍物信息对应的点云信息，其中，上述目标障碍物信息集为上述塔吊环境图像集对应的多个障碍物信息，上述目标障碍物信息集可以是对上述塔吊环境图像对应至少一个障碍物信息进行去重处理后的障碍物信息集。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、第一生成单元和第二生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取针对目标塔吊信息的塔吊环境图像集的单元”。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。

以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。