用于玻璃安装的控制方法、控制装置及高空机械设备

技术领域

本发明涉及高空机械技术领域，具体地涉及一种用于玻璃安装的控制方法、控制装置及高空机械设备。

背景技术

高空机械设备的出现大幅度提升了高空作业的效率和安全性，开始逐步替代传统的高空作业方式。高空幕墙玻璃安装是高机装备的具体应用之一，现有技术中，在高空玻璃幕墙的安装过程中，通常需要施工人员肉眼确定框架的位置，并通过高空机械设备将玻璃放入至框架内，以实现玻璃的安装，存在人力成本较大的问题。

发明内容

本发明实施例的目的是提供一种用于玻璃安装的控制方法、控制装置、处理器、高空机械设备及存储介质，以解决现有技术存在的人力成本较大的问题。

为了实现上述目的，本发明实施例第一方面提供一种用于玻璃安装的控制方法，玻璃的边缘具有非透明部，方法包括：

获取目标对象的彩色图像和彩色图像对应的深度图像，其中，目标对象包括玻璃和框架；

根据深度图像确定法向量图像；

根据彩色图像、深度图像以及法向量图像确定玻璃的边缘区域；

根据深度图像确定框架的边缘区域；

根据玻璃的边缘区域和框架的边缘区域确定玻璃与框架之间的相对位姿；

根据相对位姿控制玻璃安装至框架的位置。

在本发明实施例中，根据彩色图像、深度图像以及法向量图像确定玻璃的边缘区域，包括：从彩色图像的像素点中筛选出色彩像素值在预设色彩像素值区间内的第一像素点；从深度图像的像素点中筛选出深度值在预设深度值区间内的第二像素点；从法向量图像中筛选出法向量在预设法向量区间内的第三像素点；确定第一像素点、第二像素点以及第三像素点中像素坐标重合的像素点，以得到玻璃的边缘区域。

在本发明实施例中，根据深度图像确定框架的边缘区域，包括：基于粒子群优化算法，根据彩色图像中像素点的色彩像素值对彩色图像进行初分割，以确定框架的初始边缘区域；根据深度图像和法向量图像，分别获取初始边缘区域对应的深度信息和初始边缘区域对应的法向量信息；根据深度信息和法向量信息对初始边缘区域进行精分割，以确定框架的目标边缘区域。

在本发明实施例中，根据玻璃的边缘区域和框架的边缘区域确定玻璃与框架之间的相对位姿，包括：根据玻璃的边缘区域、彩色图像、深度图像以及法向量图像确定玻璃的外边缘和玻璃的角点；根据框架的边缘区域、彩色图像以及深度图像确定框架的内边缘和框架的角点；根据玻璃的外边缘、玻璃的角点、框架的内边缘以及框架的角点确定玻璃与框架之间的相对位姿。

在本发明实施例中，根据玻璃的边缘区域、彩色图像、深度图像以及法向量图像确定玻璃的外边缘和玻璃的角点，包括：确定玻璃的边缘区域在彩色图像、深度图像以及法向量图像中分别对应的像素点的特征信息，其中，特征信息包括颜色信息、深度信息以及法向量信息；将特征信息输入至图像轮廓识别模型，以识别玻璃的轮廓；根据玻璃的轮廓确定玻璃的外边缘和玻璃的角点。

在本发明实施例中，根据框架的边缘区域、彩色图像以及深度图像确定框架的内边缘和框架的角点，包括：确定框架的边缘区域在彩色图像和深度图像中分别对应的像素点的色彩像素值和深度值；基于第一边缘检测算法，根据色彩像素值和深度值分别确定框架在彩色图像中对应的第一初始边缘和框架在深度图像中对应的第二初始边缘；基于第二边缘检测算法，对第一初始边缘和第二初始边缘进行合并，以得到框架的目标边缘；根据框架的目标边缘确定框架的内边缘和框架的角点。

在本发明实施例中，确定玻璃的边缘区域在彩色图像、深度图像以及法向量图像中分别对应的像素点的特征信息，包括：确定玻璃的边缘区域对应的像素点的三维坐标；根据玻璃的边缘区域对应的像素点的三维坐标，进行三维平面拟合，以得到玻璃的边缘区域对应的三维平面；将玻璃的边缘区域对应的三维平面分别反投影至彩色图像、深度图像以及法向量图像中，以得到玻璃的边缘区域分别对应的彩色图像ROI区域、深度图像ROI区域以及法向量图像ROI区域；根据彩色图像ROI区域、深度图像ROI区域以及法向量图像ROI区域得到特征信息。

在本发明实施例中，确定框架的边缘区域在彩色图像和深度图像中分别对应的像素点的色彩像素值和深度值，包括：确定框架的边缘区域对应的像素点的三维坐标；根据框架的边缘区域对应的像素点的三维坐标，进行三维平面拟合，以得到框架的边缘区域对应的三维平面；将框架的边缘区域对应的三维平面分别反投影至彩色图像和深度图像中，以得到框架的边缘区域分别对应的彩色图像ROI区域和深度图像ROI区域；根据彩色图像ROI区域和深度图像ROI区域得到色彩像素值和深度值。

本发明实施例第二方面提供一种处理器，被配置成执行根据上述的用于玻璃安装的控制方法。

本发明实施例第三方面提供一种用于玻璃安装的控制装置，玻璃的边缘具有非透明部，控制装置包括：

图像获取模块，用于获取目标对象的彩色图像和彩色图像对应的深度图像，其中，目标对象包括玻璃和框架；

法向量图像确定模块，用于根据深度图像确定法向量图像；

玻璃边缘区域确定模块，用于根据彩色图像、深度图像以及法向量图像确定玻璃的边缘区域；

框架边缘区域确定模块，用于根据深度图像确定框架的边缘区域；

相对位姿确定模块，用于根据玻璃的边缘区域和框架的边缘区域确定玻璃与框架之间的相对位姿；

控制模块，用于根据相对位姿控制玻璃安装至框架的位置。

本发明实施例第四方面提供一种高空机械设备，包括：吸附装置，用于吸附玻璃；RGBD相机，设置于高空机械设备上，用于采集目标对象的彩色图像和彩色图像对应的深度图像；以及根据上述的处理器或者根据上述的用于玻璃安装的控制装置。

本发明实施例第五方面提供一种机器可读存储介质，机器可读存储介质上存储程序或指令，程序或指令被处理器执行时实现根据上述的用于玻璃安装的控制方法。

上述技术方案，通过获取目标对象(包括玻璃和框架)的彩色图像和彩色图像对应的深度图像，并根据深度图像确定法向量图像，进而根据彩色图像、深度图像以及法向量图像确定玻璃的边缘区域，并根据深度图像确定框架的边缘区域，从而根据玻璃的边缘区域和框架的边缘区域确定玻璃与框架之间的相对位姿，进而根据相对位姿控制玻璃安装至框架的位置，上述技术方案中，由于玻璃的边缘具有非透明部，因此可以获取玻璃的深度图像，解决了透明材质物体如玻璃的深度图像缺失的问题，进而可以根据彩色图像、深度图像以及法向量图像确定玻璃的边缘区域，即将像素点的颜色信息、深度信息以及法向量信息作为先验信息来进行玻璃边缘区域的分割，并根据玻璃边缘区域和框架边缘区域确定两者的相对位姿，根据相对位姿完成玻璃的安装，不需要依靠施工人员即可实现玻璃的安装，大大降低了人力成本，提高了玻璃安装的准确性，实现了玻璃幕墙高空作业的自动化程度。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1示意性示出了本发明一实施例中用于玻璃安装的控制方法的流程示意图；

图2示意性示出了本发明一实施例中用于玻璃安装的硬件系统的结构示意图；

图3示意性示出了本发明另一实施例中用于玻璃安装的控制方法的流程示意图；

图4示意性示出了本发明一实施例中用于玻璃安装的控制装置的结构框图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

图1示意性示出了本发明一实施例中用于玻璃安装的控制方法的流程示意图。如图1所示，在本发明实施例中，提供了一种用于玻璃安装的控制方法，玻璃的边缘具有非透明部，以该方法应用于处理器为例进行说明，该方法可以包括以下步骤：

步骤S102，获取目标对象的彩色图像和彩色图像对应的深度图像，其中，目标对象包括玻璃和框架。

步骤S104，根据深度图像确定法向量图像。

步骤S106，根据彩色图像、深度图像以及法向量图像确定玻璃的边缘区域。

步骤S108，根据深度图像确定框架的边缘区域。

步骤S110，根据玻璃的边缘区域和框架的边缘区域确定玻璃与框架之间的相对位姿。

步骤S112，根据相对位姿控制玻璃安装至框架的位置。

可以理解，目标对象为需要进行图像采集的对象，可以包括玻璃和框架。玻璃的边缘具有非透明部，具体可以是粘贴的非透明色的胶框，也可以是喷涂上的非透明色的颜料等。彩色图像可以包括目标对象(包括玻璃和框架)的像素点的色彩信息。深度图像可以包括目标对象(包括玻璃和框架)的像素点的深度信息。法向量图像为包括各像素点的法向量的图像，具体可以根据深度图像确定。相对位姿可以包括相对位置和相对姿态等。

具体地，处理器可以通过图像采集装置例如RGBD相机(或RGBD传感器)获取目标对象的彩色图像和彩色图像对应的深度图像，也可以通过RGB相机获取目标对象的彩色图像，通过Depth相机获取目标对象的深度图像，其中，图像采集装置可以设置于高空机械设备(例如，高空吸盘车)上，从而可以通过深度图像确定法向量图像，具体可以根据深度图像中像素点的像素坐标和像素坐标对应的深度值确定像素点的三维坐标，从而根据像素点的三维坐标和像素点邻域的像素点的三维坐标确定该像素点对应的法向量，并根据所有的像素点对应的法向量得到法向量图像。进而可以根据彩色图像、深度图像以及法向量图像确定玻璃的边缘区域，即根据像素点的颜色信息、深度信息以及法向量来对玻璃的边缘区域进行分割，进而可以根据深度图像确定框架的边缘区域，从而可以根据玻璃的边缘区域和框架的边缘区域确定玻璃与框架之间的相对位姿，例如可以根据玻璃的边缘区域确定玻璃的角点，根据框架的边缘区域确定框架的角点，从而根据玻璃的角点和框架的角点确定两者的相对位姿即玻璃与框架之间的相对位姿，可以根据该相对位姿控制玻璃安装至框架的位置，例如可以控制吸附装置吸附住玻璃并移动至框架的位置，以将玻璃安装至框架内。

上述用于玻璃安装的控制方法，通过获取目标对象(包括玻璃和框架)的彩色图像和彩色图像对应的深度图像，并根据深度图像确定法向量图像，进而根据彩色图像、深度图像以及法向量图像确定玻璃的边缘区域，并根据深度图像确定框架的边缘区域，从而根据玻璃的边缘区域和框架的边缘区域确定玻璃与框架之间的相对位姿，进而根据相对位姿控制玻璃安装至框架的位置，上述技术方案中，由于玻璃的边缘具有非透明部，因此可以获取玻璃的深度图像，解决了透明材质物体如玻璃的深度图像缺失的问题，进而可以根据彩色图像、深度图像以及法向量图像确定玻璃的边缘区域，即将像素点的颜色信息、深度信息以及法向量信息作为先验信息来进行玻璃边缘区域的分割，并根据玻璃边缘区域和框架边缘区域确定两者的相对位姿，根据相对位姿完成玻璃的安装，不需要依靠施工人员即可实现玻璃的安装，大大降低了人力成本，提高了玻璃安装的准确性，实现了玻璃幕墙高空作业的自动化程度。

在一个实施例中，根据彩色图像、深度图像以及法向量图像确定玻璃的边缘区域，包括：从彩色图像的像素点中筛选出色彩像素值在预设色彩像素值区间内的第一像素点；从深度图像的像素点中筛选出深度值在预设深度值区间内的第二像素点；从法向量图像中筛选出法向量在预设法向量区间内的第三像素点；确定第一像素点、第二像素点以及第三像素点中像素坐标重合的像素点，以得到玻璃的边缘区域。

可以理解，预设色彩像素值区间为预先确定的玻璃的边缘的非透明部的色彩像素值的阈值范围，例如非透明部的颜色为黑色，则预设色彩像素值区间为黑色色彩像素值所在的范围区间。预设深度值区间为预先确定的玻璃与图像采集装置之间的距离所对应的深度像素值的阈值范围。预设法向量区间为预先确定的玻璃平面的法向量所在的阈值范围，例如法向量方向垂直于光心方向等。第一像素点为彩色图像中色彩像素值在预设色彩像素值区间内的像素点的集合。第二像素点为深度图像中深度值在预设深度值区间内的像素点的集合。第三像素点为法向量图像中法向量在预设法向量区间内的像素点的集合。

具体地，处理器可以根据彩色图像中像素点的色彩信息，从彩色图像的像素点中筛选出色彩像素值在预设色彩像素值区间内的第一像素点，根据深度图像中像素点的深度值信息，从深度图像的像素点中筛选出深度值在预设深度值区间内的第二像素点，根据法向量图像中像素点的法向量信息，从法向量图像中筛选出法向量在预设法向量区间内的第三像素点，进而可以确定第一像素点、第二像素点以及第三像素点中像素坐标重合的像素点，从而得到玻璃的边缘区域。

在本申请实施例中，通过基于多源信息(包括色彩信息、深度信息以及法向量信息)融合的玻璃边缘区域分割，可有效解决透明材质物体(如玻璃)的Depth图像缺失的严重问题，从而为后续精确检测出玻璃与框架的相对位姿奠定基础。

在一个实施例中，根据深度图像确定框架的边缘区域，包括：基于粒子群优化算法，根据彩色图像中像素点的色彩像素值对彩色图像进行初分割，以确定框架的初始边缘区域；根据深度图像和法向量图像，分别获取初始边缘区域对应的深度信息和初始边缘区域对应的法向量信息；根据深度信息和法向量信息对初始边缘区域进行精分割，以确定框架的目标边缘区域。

可理解地，玻璃区域分割可根据较多的先验信息进行分割，但由于框架(例如，铝合金框架)通常是位于玻璃的后方，存在由于不同光照所引起的彩色信息差异较大、复杂环境中的背景杂波较多等因素，极大地增加了框架边缘区域的分割提取难度，目前，传统的图像分割算法均会存在过分割和误分割的问题。本发明实施例采用了基于粒子群优化(Particle Swarm Optimization，PSO)和RGBD数据融合的图像分割技术。可以理解，框架的初始边缘区域为初步分割后得到的粗略的框架边缘区域。框架的目标边缘区域为较为精确的框架边缘区域。

具体地，首先，将彩色图像(比如RGB图像)作为粒子群优化算法的输入，选择若干个分割阈值(比如不同的RGB颜色值区间)作为待选的分割阈值，利用粒子群优化算法的全局寻优能力得到在RGB图像中框架边缘区域的最优粒子，来完成基于色彩像素值(即RGB)的框架区域与背景区域的初始分割，以得到框架的初始边缘区域。进一步地，考虑到彩色图像中易受光照不均影响以及背景纹理颜色复杂等易导致框架区域的错误分割问题，本发明实施例在基于RGB的初始分割基础上，融合了深度图像(即Depth图像)和法向量图像来解决误分割问题，具体为：以基于粒子群优化算法所得的最优粒子(即初始边缘区域)作为深度图像分割和法向量图像分割的初始粒子，根据初始边缘区域在深度图像中对应的深度信息(例如，深度连续性)和初始边缘区域在法向量图像中对应的法向量信息(例如，包括法向量一致性、形状相似性等)来对初始边缘区域进行精分割，以确定框架的目标边缘区域，具体地，可以是根据初始边缘区域在深度图像和法向量图像中的特征(如具有深度连续性、法向量一致性、形状相似性等)来构造新的图像分割优化目标函数，通过拉格朗日乘子法来进行基于深度图像和法向量图像的最优分割阈值的确定，即根据初始边缘区域对应的深度信息和法向量信息对初始边缘区域进行精分割，以确定框架的目标边缘区域，从而完成基于彩色图像、深度图像以及法向量图像完成对于框架边缘区域的融合分割。

在本申请实施例中，采用了彩色图像、深度图像以及法向量图像的融合聚类技术，可有效避免传统的基于彩色图像的PSO算法中，由于复杂背景和噪声所导致的局部最优和分割错误问题，本实施例在复杂背景噪声情况下，针对远处的小框架边缘，均能准确分割出来，为后续基于该分割结果精确检测出玻璃与框架的相对位姿奠定基础。

在一个实施例中，根据玻璃的边缘区域和框架的边缘区域确定玻璃与框架之间的相对位姿，包括：根据玻璃的边缘区域、彩色图像、深度图像以及法向量图像确定玻璃的外边缘和玻璃的角点；根据框架的边缘区域、彩色图像以及深度图像确定框架的内边缘和框架的角点；根据玻璃的外边缘、玻璃的角点、框架的内边缘以及框架的角点确定玻璃与框架之间的相对位姿。

具体地，在确定了玻璃的边缘区域之后，处理器还可以根据玻璃的边缘区域、彩色图像、深度图像以及法向量图像确定玻璃的外边缘和玻璃的角点，例如，可以将玻璃的边缘区域对应的彩色图像、深度图像以及法向量图像输入至玻璃对应的预设模型，以通过玻璃对应的预设模型识别出玻璃的外边缘和玻璃的角点。同理，在确定了框架的边缘区域之后，处理器还可以根据框架的边缘区域、彩色图像以及深度图像确定框架的内边缘和框架的角点，例如，可以将框架的边缘区域对应的彩色图像和深度图像输入至框架对应的预设模型，以通过框架对应的预设模型识别出框架的内边缘和框架的角点，进而可以根据玻璃的外边缘、玻璃的角点、框架的内边缘以及框架的角点确定玻璃与框架之间的相对位姿，例如，根据提取的玻璃及框架的精确3D角点坐标和3D边缘，通过三维点线匹配算法，计算出以玻璃三维角点为原点的外边缘相对于框架三维角点为原点的内边缘之间的相对位姿，包括：两个三维角点之间的距离(d

在本申请实施例中，通过根据玻璃的边缘区域和上述三个图像进一步确定玻璃的外边缘和角点，根据框架的边缘区域和上述三个图像进一步确定框架的内边缘和角点，以根据玻璃的外边缘和角点、框架的内边缘和角点精确确定玻璃与框架之间的相对位姿，从而可以进一步提高相对位姿的准确度。

在一个实施例中，根据玻璃的边缘区域、彩色图像、深度图像以及法向量图像确定玻璃的外边缘和玻璃的角点，包括：确定玻璃的边缘区域在彩色图像、深度图像以及法向量图像中分别对应的像素点的特征信息，其中，特征信息包括颜色信息、深度信息以及法向量信息；将特征信息输入至图像轮廓识别模型，以识别玻璃的轮廓；根据玻璃的轮廓确定玻璃的外边缘和玻璃的角点。

可理解地，图像轮廓识别模型为预先训练得到的可以识别玻璃的轮廓的算法模型，具体可以是随机森林算法模型。

具体地，处理器可以先确定玻璃的边缘区域在彩色图像、深度图像以及法向量图像中分别对应的像素点的特征信息，特征信息可以包括颜色信息、深度信息以及法向量信息，例如，颜色信息可以包括亮度梯度、颜色梯度、纹理梯度等，深度信息可以包括深度梯度等，法向量信息可以包括凸方向梯度和凹方向梯度等，从而将上述特征信息输入至图像轮廓识别模型，即对于每个像素点进行是否是图像轮廓进行分类识别，保留那些图像轮廓的像素点，以得到玻璃的轮廓，从而可以根据玻璃的轮廓进一步确定玻璃的外边缘和玻璃的角点的位置信息。

在本申请实施例中，根据彩色图像、深度图像以及法向量图像的特征信息来识别玻璃轮廓，可以剔除传统的基于色彩图像的轮廓提取算法所存在的噪声边缘，即消除轮廓边缘的冗余，识别速度较快，能够得到精确的玻璃外边缘和角点。

在一个实施例中，根据框架的边缘区域、彩色图像以及深度图像确定框架的内边缘和框架的角点，包括：确定框架的边缘区域在彩色图像和深度图像中分别对应的像素点的色彩像素值和深度值；基于第一边缘检测算法，根据色彩像素值和深度值分别确定框架在彩色图像中对应的第一初始边缘和框架在深度图像中对应的第二初始边缘；基于第二边缘检测算法，对第一初始边缘和第二初始边缘进行合并，以得到框架的目标边缘；根据框架的目标边缘确定框架的内边缘和框架的角点。

可以理解，第一边缘检测算法和第二边缘检测算法为两种不同的边缘检测算法，第一边缘检测算法为初步确定框架的初始边缘的算法，即第一边缘检测算法的输入是框架的边缘区域对应的色彩像素值和深度值，输出是彩色图像对应的第一初始边缘和深度图像对应的第二初始边缘，例如可以是霍夫(Hough)算法。第二边缘检测算法为根据多个初始边缘进行合并处理以确定最终的框架边缘的算法，即第二边缘检测算法的输入是多个初始边缘(可以包括上述的第一初始边缘和第二初始边缘)，输出是最终确定的框架边缘(即目标边缘)，例如可以是马尔科夫链算法。

具体地，处理器可以确定框架的边缘区域在彩色图像和深度图像中分别对应的像素点的色彩像素值和深度值，并基于第一边缘检测算法，根据色彩像素值和深度值识别确定框架在彩色图像中对应的第一初始边缘和框架在深度图像中对应的第二初始边缘，即，将色彩像素值和深度值作为第一边缘检测算法(例如，Hough算法)的输入，以得到第一边缘检测算法的输出即第一初始边缘和第二初始边缘，进而可以基于第二边缘检测算法对第一初始边缘和第二初始边缘进行合并处理，以得到框架的目标边缘，即，将第一初始边缘和第二初始边缘作为第二边缘检测算法(例如，马尔科夫链算法)的输入，以得到第二边缘检测算法的输出即框架的目标边缘。最后可以根据框架的目标边缘确定框架的内边缘和框架的角点，此处不再赘述。

在本申请实施例中，框架的目标边缘的确定分为两个阶段，在第一阶段，以RGB图像的像素值和Depth图像的深度值同时作为第一边缘检测算法的输入，来提取第一初始边缘和第二初始边缘分别对应的直线像素点，在第二阶段，在图像域和深度域中同时分析每个域中检测到的初始边缘，在RGB和Depth图像中能同时搜索到相近位置的一条直线上时，可以通过第二边缘检测算法进行合并处理，从而检测出真正位于框架边缘上的线段，剔除掉不准确的边缘线段，提高了框架边缘的准确度，为后续确定框架的内边缘和角点奠定了基础。

在一个实施例中，确定玻璃的边缘区域在彩色图像、深度图像以及法向量图像中分别对应的像素点的特征信息，包括：确定玻璃的边缘区域对应的像素点的三维坐标；根据玻璃的边缘区域对应的像素点的三维坐标，进行三维平面拟合，以得到玻璃的边缘区域对应的三维平面；将玻璃的边缘区域对应的三维平面分别反投影至彩色图像、深度图像以及法向量图像中，以得到玻璃的边缘区域分别对应的彩色图像ROI区域、深度图像ROI区域以及法向量图像ROI区域；根据彩色图像ROI区域、深度图像ROI区域以及法向量图像ROI区域得到特征信息。

可以理解，ROI(region of interest，ROI)区域即感兴趣区域，在本申请实施例中对应的是将玻璃的边缘区域进行去噪处理后得到的更加精确的玻璃边缘区域(即玻璃ROI区域)，彩色图像ROI区域为彩色图像中的ROI区域，深度图像ROI区域为彩色图像中的ROI区域，法向量图像ROI区域为法向量图像中的ROI区域。

具体地，处理器可以确定玻璃的边缘区域对应的像素点的三维坐标，例如可以根据玻璃的边缘区域对应的深度图像中像素点的像素坐标和像素坐标对应的深度值确定玻璃的边缘区域对应的像素点的三维坐标，并根据玻璃的边缘区域对应的像素点的三维坐标，进行三维平面拟合，以得到玻璃的边缘区域对应的三维平面，即进行三维平面建模，进而将玻璃的边缘区域对应的三维平面分别反投影至彩色图像、深度图像以及法向量图像中，以得到玻璃的边缘区域分别对应的彩色图像ROI区域、深度图像ROI区域以及法向量图像ROI区域，即三维信息转化成二维信息的过程，从而可以根据彩色图像ROI区域、深度图像ROI区域以及法向量图像ROI区域得到特征信息。

在本申请实施例中，通过将玻璃的边缘区域先转化成三维平面，再确定三维平面反投影至各个图像中对应的ROI区域，根据各个图像对应的ROI区域得到玻璃的边缘区域在各个图像中的精确的像素点的特征信息，以便后续将精确的像素点的特征信息输入至图像轮廓识别模型中，以识别玻璃(即玻璃ROI区域)的轮廓，进而可以根据玻璃(即玻璃ROI区域)的轮廓确定玻璃的外边缘的位置和角点的位置，减少了图像轮廓识别模型的计算量的同时，也可以实现玻璃边缘区域的去噪处理，得到更加精确的玻璃边缘区域。

在一个实施例中，确定框架的边缘区域在彩色图像和深度图像中分别对应的像素点的色彩像素值和深度值，包括：确定框架的边缘区域对应的像素点的三维坐标；根据框架的边缘区域对应的像素点的三维坐标，进行三维平面拟合，以得到框架的边缘区域对应的三维平面；将框架的边缘区域对应的三维平面分别反投影至彩色图像和深度图像中，以得到框架的边缘区域分别对应的彩色图像ROI区域和深度图像ROI区域；根据彩色图像ROI区域和深度图像ROI区域得到色彩像素值和深度值。

可以理解，ROI区域即感兴趣区域，在本申请实施例中对应的是将框架的边缘区域进行去噪处理后得到的更加精确的框架边缘区域(即框架ROI区域)，彩色图像ROI区域为彩色图像中的ROI区域，深度图像ROI区域为彩色图像中的ROI区域。

具体地，处理器可以确定框架的边缘区域对应的像素点的三维坐标，例如可以根据深度图像中框架的边缘区域对应的像素点的像素坐标和像素坐标对应的深度值确定框架的边缘区域对应的像素点的三维坐标，并根据玻璃的边缘区域对应的像素点的三维坐标，进行三维平面拟合，以得到框架的边缘区域对应的三维平面，即进行三维平面建模，进而将框架的边缘区域对应的三维平面分别反投影至彩色图像和深度图像中，以得到框架的边缘区域分别对应的彩色图像ROI区域和深度图像ROI区域，即三维信息转化成二维信息的过程，从而可以根据彩色图像ROI区域和深度图像ROI区域以及法向量图像ROI区域得到框架ROI区域对应的色彩像素值和深度值。

在本申请实施例中，通过将框架的边缘区域先转化成三维平面，再确定三维平面反投影至彩色图像和深度图像中对应的ROI区域，根据各图像对应的ROI区域得到框架的边缘区域在各图像中的精确的像素点的色彩像素值和深度值，以便后续将精确的像素点的色彩像素值和深度值确定框架的内边缘和角点，减少了后续的第一边缘检测算法和第二边缘检测算法的计算量的同时，也可以实现框架边缘区域的去噪处理，得到更加精确的框架边缘区域。

本发明实施例针对玻璃幕墙高空作业自动化和智能化的需求，可以在高空作业机械的吸附装置上安装多个RGBD相机，获取玻璃及铝合金框架的彩色图像、深度图像及三维点云数据，基于多模态数据融合技术，通过三维点云数据拟合玻璃及铝合金框架的三维平面，再融合彩色图像、深度图像及法向量图像来精确提取玻璃和铝合金框架的边缘及角点，最后基于三维空间点线匹配技术测量得到玻璃相对于铝合金框架的精确三维空间位姿，从而实现玻璃幕墙高空作业的全自动化辅助安装。

本发明实施例的硬件系统可以如图2所示：首先将RGBD相机(可以包括结构光相机或TOF相机或激光雷达等传感器等)安装在吸盘车的前方支架的四个顶点位置，其中，边缘计算单元可以采集各个相机的数据，并进行实时的位姿估算。无线路由器则可以将计算后的位姿信息传输给吸盘车的控制系统(即处理器)，最终实现高空吸盘车的全自动玻璃幕墙安装。

本发明实施例的软件系统方案可以如图3所示，具体可以包括步骤如下：

S1、RGBD数据预处理：主要完成原始的RGB图像(即彩色图像)和Depth图像(即深度图像)采集及衍生的三维坐标计算和对应的Normal(法向量)图像生成。其中，可以由Depth图像来获取目标的三维坐标(X,Y,Z)：

其中，f

S2、玻璃边缘区域分割：基于Depth+Normal+Color的信息融合技术来完成玻璃边缘区域的精确分割，可利用玻璃与相机之间距离基本保持恒定，以非透明部位胶框为例说明，胶框颜色通常为黑色，而玻璃平面的法向量多为垂直于光心方向等先验信息，来最终完成玻璃边缘区域的精确分割：

其中，d

通过基于多源信息融合的玻璃边缘区域分割技术，可有效解决透明材质物体(如玻璃)的Depth图像缺失的严重问题，可精确分割出玻璃的边缘区域，从而为后续精确检测出玻璃边缘和角点奠定基础。

S3、框架边缘区域分割：玻璃区域分割可根据较多的先验信息，但由于框架(例如，铝合金框架)多是位于玻璃后方，存在由于不同光照所引起的彩色信息差异较大、复杂环境中的背景杂波较多等因素，极大地增加了框架边缘区域的分割提取难度。目前，传统的图像分割算法均会存在过分割和误分割的问题。本发明实施例采用了基于粒子群优化(Particle Swarm Optimization，PSO)和RGBD数据融合的图像分割技术。首先，基于RGB图像作为输入，选择若干个分割阈值(即不同的RGB颜色值区间)作为待选的分割阈值，利用粒子群优化算法的全局寻优能力得到在RGB图像中框架边缘区域的最优粒子，来完成基于RGB的框架区域与背景区域的初始分割，考虑到彩色图像中易受光照不均影响以及背景纹理颜色复杂等易导致框架区域的错误分割问题，本发明在基于RGB的初始分割基础上，融合了Depth图像来解决误分割问题，具体为：以RGB中所得的最优粒子作为Depth图像分割的初始粒子，来根据框架区域在Depth图像中的特征(如具有深度连续性、法向量一致性、形状相似性等)来构造新的图像分割优化目标函数，通过拉格朗日乘子法来进行基于Depth图像的最优分割阈值的确定，最终完成了基于RGBD图像的融合分割。本发明实施例采用了RGB和Depth图像的融合聚类技术，可有效避免传统的基于RGB图像的PSO算法中，由于复杂背景和噪声所导致的局部最优和分割错误问题，在复杂背景噪声情况下，针对远处的小框架边缘，均能准确的分割出来，为后续基于该分割结果来准确提取框架边缘和角点奠定基础：

S4、确定玻璃及框架三维拟合平面：根据分割出来的玻璃及框架边缘区域，将其对应三维点云进行去噪和聚类，并通过各自三维内点集合来拟合各自的虚拟三维平面，具体例如可以采用RANSAC三维点云平面拟合的算法。

S5、玻璃外边缘及其角点提取：将S4所拟合平面中的三维内点所确定的三维区域反投影至RGB图像中，从而可得到粗略的玻璃ROI区域，在该ROI区域中对玻璃区域轮廓进行提取，并计算其最小外接矩形，根据最小外接矩形，精确提取玻璃区域的外边缘及其角点。

由于低成本RGBD相机的深度图像所存在的波动误差及边缘效应影响，无法直接在深度图像中精确的提取其轮廓边缘。而目前主流的边缘轮廓检测算法，如Canny边缘算法等，都是基于图像梯度边缘原理来进行轮廓边缘提取，因此会导致所提取的轮廓边缘存在大量冗余，不仅导致算法速度较慢，而且也对后续玻璃边缘精确提取造成了极大的困难。本发明实施例采用基于结构森林(Structured Forest)的图像轮廓边缘提取技术。为了获取更加清晰、更多细节的轮廓特征，充分利用三维传感器获取的Depth图像信息。具体过程可以如下：1、RGBD图像的融合信息输入：对于每一个像素点，基于RGB图像可计算其颜色信息即亮度梯度、颜色梯度、纹理梯度，然后，基于Depth图像得到其三维坐标及法向量信息，进而可得到每个像素点在三个方向上的轮廓信息，即深度梯度、凸方向梯度和凹方向梯度。2、结构化随机森林的训练：利用BSD500标准RGB数据集以及NYU深度数据集，按照步骤1中的特征提取方法，来对结构化的随机森林进行训练，核心是将给定节点的结构化标签映射到一组离散标签。3、随机森林算法的分类：利用该随机森林算法对RGBD图像信息进行分类，即对于每个像素点进行是否是图像轮廓的分类识别，保留那些图像轮廓的像素点，从而得到图像轮廓。也就是说，首先，将RGB的像素值、梯度及对应的Depth图像的深度值等多种特征信息作为输入，然后利用BSD500标准RGB数据集以及NYU深度数据集训练结构化的随机森林算法，核心是将给定节点的结构化标签映射到一组离散标签。最后，利用该随机森林算法对RGBD图像信息进行分类，得到图像轮廓，该技术的优势在于可以利用深度图像的深度值来剔除传统的基于RGB的轮廓提取算法的噪声边缘，能得到精确的玻璃外边缘和角点。

S6、框架内边缘及其角点提取：将S4所拟合的框架虚拟平面中的三维内点所确定的三维区域反投影至RGB图像中，从而可得到粗略的铝合金框架的ROI区域，在该ROI区域中对铝合金框架进行精确的内边缘及其角点提取。在实际作业时，框架位于较为复杂的背景中，其颜色也会存在多样性以及由于玻璃或机械臂的遮挡导致信息缺失等问题，如果采用传统的基于RGB图像的边缘线段检测技术，会存在噪声多、线段混杂等问题，因此，如何在复杂背景中精确快速检测出框架的内边缘也是技术难题。

本发明实施例采用基于马尔科夫链的边缘线段检测(MCMLSD)技术。由于传统的基于RGB的MCMLSD技术是基于彩色像素值信息的，极易受到光照和复杂背景的影响，导致错误检测的边缘较多，因此本发明实施例以RGB的像素值和Depth图像的深度值同时作为输入，在第一阶段，使用全局概率hough方法，在RGB图像和Depth图像中基于传统的Hough方法来提取直线像素点。在第二阶段，在图像域和深度域中同时分析每个检测到的行，以定位在霍夫图中生成峰值的线段。如果在RGB图像和Depth图像中能同时搜索到相近位置的一条直线上时，我们将此时的线段上点序列建模为马尔可夫链和概率最优标签，使用标准动态规划算法精确计算，从而剔除掉那些由于颜色不一致所检测出来的直线，而检测出真正的位于框架边缘上的线段。最终，本发明可实现在复杂背景中能快速准确的提取框架的边缘信息。

S7、玻璃相对于框架的空间三维位姿估计：根据S5和S6中所提取的玻璃及框架的精确3D角点坐标和3D边缘，可通过三维点线匹配算法，计算出以玻璃三维角点为原点的外边缘相对于框架三维角点为原点的内边缘之间的相对位姿，包括：两个三维角点之间的距离(d

在本发明实施例中，提供了基于Depth+Normal+Color的多源信息融合方法来完成玻璃边缘区域的精确分割方法。玻璃大部分区域是无法成深度图像的，但一般情况下幕墙玻璃的边缘会有非透明部例如黑色的塑胶框，RGBD相机会对其成深度像，因此可利用玻璃与相机之间距离基本保持恒定，且胶框颜色常为黑色，而玻璃平面的法向量多为垂直于光心方向等先验信息，来最终完成玻璃边缘区域的精确分割。此外，本发明实施例提供了基于粒子群优化(PSO)和RGBD数据融合的图像分割方法。由于不同光照所引起的彩色信息差异较大、复杂环境中的背景杂波较多等因素，极大的增加了铝合金框架区域的分割提取难度，目前，传统的图像分割算法均会存在过分割和误分割的问题。本发明的所提供的图像分割方法可有效解决上述问题。其次，本发明实施例提供了基于结构森林(Structured Forest)的图像轮廓边缘提取方法。解决了目前主流的边缘轮廓检测算法普遍存在的轮廓边缘存在大量冗余的问题，本发明实施例有效解决了玻璃边缘精确提取的问题。最后，本发明实施例提供了基于马尔科夫链的边缘线段检测(MCMLSD)方法。该方法融合了马尔科夫链和传统基于Hough变换技术的两者优点的概率算法，能在复杂背景中能快速准确的提取铝合金框架的边缘信息。

本发明实施例提供了一种处理器，被配置成执行根据上述实施方式中的用于玻璃安装的控制方法。

图4示意性示出了本发明一实施例中用于玻璃安装的控制装置的结构框图。如图4所示，在一个实施例中，提供了一种用于玻璃安装的控制装置400，玻璃的边缘具有非透明部，该用于玻璃安装的控制装置400可以包括图像获取模块410、法向量图像确定模块420、玻璃边缘区域确定模块430、框架边缘区域确定模块440、相对位姿确定模块450以及控制模块460，其中：

图像获取模块410，用于获取目标对象的彩色图像和彩色图像对应的深度图像，其中，目标对象包括玻璃和框架。

法向量图像确定模块420，用于根据深度图像确定法向量图像。

玻璃边缘区域确定模块430，用于根据彩色图像、深度图像以及法向量图像确定玻璃的边缘区域。

框架边缘区域确定模块440，用于根据深度图像确定框架的边缘区域。

相对位姿确定模块450，用于根据玻璃的边缘区域和框架的边缘区域确定玻璃与框架之间的相对位姿。

控制模块460，用于根据相对位姿控制玻璃安装至框架的位置。

上述用于玻璃安装的控制装置，通过获取目标对象(包括玻璃和框架)的彩色图像和彩色图像对应的深度图像，并根据深度图像确定法向量图像，进而根据彩色图像、深度图像以及法向量图像确定玻璃的边缘区域，并根据深度图像确定框架的边缘区域，从而根据玻璃的边缘区域和框架的边缘区域确定玻璃与框架之间的相对位姿，进而根据相对位姿控制玻璃安装至框架的位置，上述技术方案中，由于玻璃的边缘具有非透明部，因此可以获取玻璃的深度图像，解决了透明材质物体如玻璃的深度图像缺失的问题，进而可以根据彩色图像、深度图像以及法向量图像确定玻璃的边缘区域，即将像素点的颜色信息、深度信息以及法向量信息作为先验信息来进行玻璃边缘区域的分割，并根据玻璃边缘区域和框架边缘区域确定两者的相对位姿，根据相对位姿完成玻璃的安装，不需要依靠施工人员即可实现玻璃的安装，大大降低了人力成本，提高了玻璃安装的准确性，实现了玻璃幕墙高空作业的自动化程度。

在一个实施例中，玻璃边缘区域确定模块430还用于：从彩色图像的像素点中筛选出色彩像素值在预设色彩像素值区间内的第一像素点；从深度图像的像素点中筛选出深度值在预设深度值区间内的第二像素点；从法向量图像中筛选出法向量在预设法向量区间内的第三像素点；确定第一像素点、第二像素点以及第三像素点中像素坐标重合的像素点，以得到玻璃的边缘区域。

在一个实施例中，框架边缘区域确定模块440还用于：基于粒子群优化算法，根据彩色图像中像素点的色彩像素值对彩色图像进行初分割，以确定框架的初始边缘区域；根据深度图像和法向量图像，分别获取初始边缘区域对应的深度信息和初始边缘区域对应的法向量信息；根据深度信息和法向量信息对初始边缘区域进行精分割，以确定框架的目标边缘区域。

在一个实施例中，相对位姿确定模块450还用于：根据玻璃的边缘区域、彩色图像、深度图像以及法向量图像确定玻璃的外边缘和玻璃的角点；根据框架的边缘区域、彩色图像以及深度图像确定框架的内边缘和框架的角点；根据玻璃的外边缘、玻璃的角点、框架的内边缘以及框架的角点确定玻璃与框架之间的相对位姿。

在一个实施例中，相对位姿确定模块450还用于：确定玻璃的边缘区域在彩色图像、深度图像以及法向量图像中分别对应的像素点的特征信息，其中，特征信息包括颜色信息、深度信息以及法向量信息；将特征信息输入至图像轮廓识别模型，以识别玻璃的轮廓；根据玻璃的轮廓确定玻璃的外边缘和玻璃的角点。

在一个实施例中，相对位姿确定模块450还用于：确定框架的边缘区域在彩色图像和深度图像中分别对应的像素点的色彩像素值和深度值；基于第一边缘检测算法，根据色彩像素值和深度值分别确定框架在彩色图像中对应的第一初始边缘和框架在深度图像中对应的第二初始边缘；基于第二边缘检测算法，对第一初始边缘和第二初始边缘进行合并，以得到框架的目标边缘；根据框架的目标边缘确定框架的内边缘和框架的角点。

在一个实施例中，相对位姿确定模块450还用于：确定玻璃的边缘区域对应的像素点的三维坐标；根据玻璃的边缘区域对应的像素点的三维坐标，进行三维平面拟合，以得到玻璃的边缘区域对应的三维平面；将玻璃的边缘区域对应的三维平面分别反投影至彩色图像、深度图像以及法向量图像中，以得到玻璃的边缘区域分别对应的彩色图像ROI区域、深度图像ROI区域以及法向量图像ROI区域；根据彩色图像ROI区域、深度图像ROI区域以及法向量图像ROI区域得到特征信息。

在一个实施例中，相对位姿确定模块450还用于：确定框架的边缘区域对应的像素点的三维坐标；根据框架的边缘区域对应的像素点的三维坐标，进行三维平面拟合，以得到框架的边缘区域对应的三维平面；将框架的边缘区域对应的三维平面分别反投影至彩色图像和深度图像中，以得到框架的边缘区域分别对应的彩色图像ROI区域和深度图像ROI区域；根据彩色图像ROI区域和深度图像ROI区域得到色彩像素值和深度值。

本发明实施例提供了一种高空机械设备，包括：吸附装置，用于吸附玻璃；RGBD相机，设置于高空机械设备上，用于采集目标对象的彩色图像和彩色图像对应的深度图像；以及根据上述实施方式中的处理器或者根据上述实施方式中的用于玻璃安装的控制装置。

可理解地，高空机械设备可以为高空吸盘车等，吸附装置用于吸附玻璃，RGBD相机用于采集目标对象的彩色图像和深度图像，具体可以安装于高空机械设备上，进一步地，RGBD相机和吸附装置所吸附的玻璃的夹角通常在设定夹角范围之内，例如包括90度的角度区间。

本发明实施例还提供了一种机器可读存储介质，机器可读存储介质上存储程序或指令，程序或指令被处理器执行时实现根据上述实施方式中的用于玻璃安装的控制方法。

综上，本发明实施例提供的技术方案包括以下优点：

1)所用的RGBD相机成本较低，提高了该方法的实用性。

2)采用的RGBD相机能同时采集RGB图像和Depth图像，能得到玻璃及框架的精确三维位置信息，从而避免了现有技术需要通过激光测距传感器来获取三维距离的不足，进一步提高了该方法的适用范围。

3)基于RGB图像和Depth图像的信息融合技术，通过RGB图像来提取精确的玻璃和框架的边缘，然后再利用Depth图像来获取精确的边缘和角点的三维空间信息，提高了该方法的精确度。

4)充分利用了RGBD相机的实时性(30fps)，该方法计算快速且简单，可为高机吸盘车实时提供玻璃幕墙的位姿信息，保证了吸盘车全自动安装玻璃幕墙的实时性，较大提高了玻璃幕墙的安装效率，具备较为广阔的应用前景。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。