一种施工机器人及其施工节点的视觉识别定位方法

技术领域

本发明涉及建筑施工技术领域，具体涉及一种施工机器人及其施工节点的视觉识别定位方法。

背景技术

钢筋绑扎作业是钢筋混凝土施工工艺的重要工序之一。执行绑扎作业时，通常采用手工使用绑扎钩或者自动钢筋绑扎机对未绑扎的交叉点进行绑扎，由于需要绑扎的交叉点众多，工人需要长期重复弯腰操作，劳动强度较大，易造成严重的身体劳损问题。当前建筑行业中，已经出现自动绑扎机器人样机用于钢筋的绑扎，如龙门式、无人机式、移动式等。但是在实际使用过程中，尤其是多层钢筋的钢筋结构、桁架网钢筋等场景的绑扎，在环境光线、桁架以及下层的钢筋都会引入误差，所以现有的钢筋绑扎机器人绑扎准确度和效率都较低。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

为克服现有技术所存在的缺陷，现提供一种施工机器人及其施工节点的视觉识别定位方法，以解决现有的钢筋绑扎机器人绑扎准确度较低的问题。

为实现上述目的，提供一种施工机器人，包括：

基板，所述基板的相对两端分别安装有电动滚轮；

设有所述基板的下方的顶升机构，所述顶升机构的顶部通过平移机构安装于所述基板的底部；

钢筋绑扎机，通过机械臂可活动地安装于所述基板；

用于采集钢筋结构的当前绑扎节点的目标点云的视觉传感器，安装于所述机械臂；

控制器，包括控制模块、用于获取所述钢筋结构的三维数字模型中对应所述当前绑节点的源点云的获取模块、用初始旋转矩阵和初始平移矩阵对所述源点云进行旋转和平移变换以获得变换点云的变换模板、用于基于预设的距离阈值，经比较确定所述变换点云与所述目标点云中的最邻近的两个对应点的定点模块、用于基于两个所述对应点，对所述初始旋转矩阵和所述初始平移矩阵进行估计以获得相应的优化旋转矩阵和优化平移矩阵的优化模块、基于所述优化旋转矩阵和所述优化平移矩阵求解所述当前绑扎节点在所述目标点云中的第一位姿信息的计算模块、基于所述视觉传感器的手眼标定矩阵，将所述第一位姿信息从所述结构光相机的坐标系中转换至所述机器人的坐标系中以获得所述当选绑扎节点在所述机器人的坐标系中的第二位姿信息的转换模块，所述控制模块连接于所述电动滚轮、所述顶升机构、所述平移机构、所述钢筋绑扎机、所述机械臂和所述视觉传感器，所述获取模块连接于所述控制模块，所述变换模块连接于所述获取模块，所述定点模块连接于所述变换模块，所述优化模块连接于所述定点模块，所述计算模块连接于所述优化模块，所述转换模块连接于所述优化模块和所述控制模块。

进一步的，所述平移机构包括：

层板，安装于所述顶升机构，所述层板形成有贯通的第一滑槽；

导轨，安装于所述基板的底部，所述导轨滑设于所述第一滑槽中；

第一齿条，安装于所述基板的底部，所述第一齿条与所述导轨同向设置；

平移电机，安装于所述层板，所述平移电机的输出轴同轴安装有第一齿轮，所述第一齿轮啮合于所述第一齿条。

进一步的，所述顶升机构包括：

撑板，设置于所述层板的下方；

升降装置，所述层板的相对两侧与所述撑板的相对两侧之间分别安装有所述升降装置。

进一步的，所述升降装置为电动液压推杆。

进一步的，所述升降装置包括：

竖向设置的侧板，所述层板的相对两侧分别安装有所述侧板，所述侧板连接有滑块和第二齿条，所述第二齿条沿竖直方向设置；

耳板，竖设于所述撑板的相对两侧，所述耳板与所述侧板相对设置，所述耳板开设有竖向设置的第二滑槽，所述滑块滑设于所述第二滑槽中

转轴，所述耳板开设有轴孔，所述转轴的两端分别可转动地穿设于两所述耳板的轴孔中，所述转轴的端部同轴连接有第二齿轮，所述第二齿轮啮合于所述第二齿条；

升降电机，安装于所述层板，所述升降电机传动连接于所述转轴。

进一步的，所述转轴同轴安装有从动齿轮，所述升降电机的输出轴同轴安装有主动齿轮，所述主动齿轮啮合于所述从动齿轮。

进一步的，所述控制器还包括用于对所述目标点云进行点云下采样和去除离散点的预处理模块，所述预处理模块连接于所述控制模块和所述定点模块。

进一步的，所述视觉传感器为三维结构光相机。

本发明提供一种施工机器人的施工节点的视觉识别定位方法，包括以下步骤：

a、建立钢筋结构的三维数字模型；

b、将机器人移动至钢筋结构的当前绑扎节点；

c、通过所述机器人上的视觉传感器获取所述当前绑扎节点的目标点云；

e、控制器的获取模块从所述三维数字模型中获得所述当前绑扎节点的源点云；

f、所述控制器的变换模块用初始旋转矩阵和初始平移矩阵对所述源点云进行旋转和平移变换以获得变换点云；

g、所述控制器的定点模块基于预设的距离阈值，经比较确定所述变换点云与所述目标点云中的最邻近的两个对应点，两个所述对应点之间的距离小于所述距离阈值；

h、所述控制器的优化模块基于两个所述对应点，对所述初始旋转矩阵和所述初始平移矩阵进行估计以获得相应的优化旋转矩阵和优化平移矩阵；

i、所述控制器的计算模板重复步骤f～h进行迭代计算，直至所述变换点云与所述目标点云完全重合以获得所述当前绑扎节点在所述目标点云中的第一位姿信息；

j、所述控制器的转换模块基于所述视觉传感器的手眼标定矩阵，将所述第一位姿信息从所述结构光相机的坐标系中转换至所述机器人的坐标系中以获得所述当选绑扎节点在所述机器人的坐标系中的第二位姿信息，使得所述机器人识别出所述当前绑扎节点。

进一步的，在实施步骤e之前，还包括步骤d：预处理模块对所述目标点云进行预处理，预处理包括点云下采样和去除离散点。

本发明的有益效果在于，本发明的施工机器人及其施工节点的视觉识别定位方法依次包括通过安装在机械臂上的视觉传感器获取当前作业点位钢筋桁架网目标区域点云、获取待目标物所在的检测空间、获取待配准参考空间和待配准目标空间、配准参考点云和目标点云、判断所有分段点云如完成配准，输出配准结果，否则返回重新处理。本发明采用最近点迭代的方式配准将目标节点映射到实际三维空间中，可用于配准复杂场景的钢筋绑扎节点识别定位，提高钢筋绑扎节点识别准确率，进而提高钢筋绑扎效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明实施例的施工机器人的结构示意图。

图2为本发明实施例的基板的结构示意图。

图3为本发明实施例的平移机构的结构示意图。

图4为本发明实施例的顶升机构的结构示意图。

图5为本发明实施例的施工机器人的模块示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

参照图1至图5所示，本发明提供了一种施工机器人，包括：基板1、顶升机构2、平移机构3、钢筋绑扎机4、机械臂5、视觉传感器6和控制器7。

具体的，基板1呈矩形。基板1的相对两端分别安装有电动滚轮12。基板具有一前侧和后侧。基板的前侧连接有两支撑板。基板的后侧连接有两支撑板。基板的前侧或后侧的两支撑板之间可转动地安装有轮轴11。轮轴的端部同轴连接有电动滚轮12。基板的底部还安装有行走电机15。行走电机15的输出轴同轴连接有驱动齿轮14。轮轴的中部同轴安装有跟转齿轮13。驱动齿轮14啮合于跟转齿轮13。控制器7连接于行走电机。控制器信号连接于行走电机以控制行走电机的启停。

顶升机构2设有基板1的下方。顶升机构2的顶部通过平移机构3安装于基板1的底部。

钢筋绑扎机4通过机械臂5可活动地安装于基板1。

视觉传感器6安装于机械臂5。视觉传感器6用于采集钢筋结构的当前绑扎节点的目标点云。

控制器7包括控制模块、存储模块71、获取模块72、变换模板73、定点模块74、优化模块75、计算模块76和转换模块77。

其中，控制模块连接于电动滚轮12、顶升机构2、平移机构3、钢筋绑扎机4、机械臂5和视觉传感器6。存储模块连接于控制模块。存储模块中存储有钢筋结构的三维数字模型。

参阅图1，钢筋结构包括模板、第一钢筋81和第二钢筋82。第一钢筋与第二钢筋呈角度设置。多根第一钢筋沿第二钢筋的长度方向间隔设置。第一钢筋和第二钢筋通过支座架设于模板上。本发明的施工机器人用于绑扎第一钢筋与第二钢筋交叉处。

获取模块72连接于存储模块。变换模块连接于获取模块72。定点模块74连接于变换模板73。优化模块75连接于定点模块74。计算模块76连接于优化模块75。转换模块77连接于优化模块75和控制模块。

获取模块72用于获取钢筋结构的三维数字模型中对应当前绑节点的源点云。

变换模板73用初始旋转矩阵和初始平移矩阵对源点云进行旋转和平移变换以获得变换点云。

定点模块74用于基于预设的距离阈值，经比较确定变换点云与目标点云中的最邻近的两个对应点。

优化模块75用于基于两个对应点，对初始旋转矩阵和初始平移矩阵进行估计以获得相应的优化旋转矩阵和优化平移矩阵。

计算模块76基于优化旋转矩阵和优化平移矩阵求解当前绑扎节点在目标点云中的第一位姿信息。

转换模块77基于视觉传感器的手眼标定矩阵，将第一位姿信息从结构光相机的坐标系中转换至机器人的坐标系中以获得当选绑扎节点在机器人的坐标系中的第二位姿信息。

控制模块连接于电动滚轮12、顶升机构2、平移机构3、钢筋绑扎机4、机械臂5和视觉传感器6，存储模块连接于控制模块，获取模块72连接于存储模块，变换模块连接于获取模块72，定点模块74连接于变换模板73，优化模块75连接于定点模块74，计算模块76连接于优化模块75，转换模块77连接于优化模块75和控制模块。

在本实施例中，平移机构3包括：层板31、导轨32、第一齿条33和平移电机34。

其中，层板安装于顶升机构2。层板形成有贯通的第一滑槽。导轨安装于基板1的底部。导轨滑设于第一滑槽中。第一齿条安装于基板1的底部。第一齿条与导轨同向设置。平移电机安装于层板。平移电机的输出轴同轴安装有第一齿轮。第一齿轮啮合于第一齿条。

在本实施例中，顶升机构2包括：撑板21和升降装置。

撑板21设置于层板的下方。层板的相对两侧与撑板的相对两侧之间分别安装有升降装置。

在一些实施例中，升降装置为电动液压推杆。

在一些实施例中，升降装置包括：侧板、耳板23、转轴和升降电机。

侧板竖向设置。层板的相对两侧分别安装有侧板。侧板连接有滑块和第二齿条。第二齿条沿竖直方向设置。耳板竖设于撑板的相对两侧。耳板与侧板相对设置。耳板开设有竖向设置的第二滑槽。滑块滑设于第二滑槽中耳板开设有轴孔。转轴的两端分别可转动地穿设于两耳板的轴孔中。转轴的端部同轴连接有第二齿轮。第二齿轮啮合于第二齿条。升降电机安装于层板。升降电机传动连接于转轴。

作为一种较佳的实施方式，转轴同轴安装有从动齿轮。升降电机的输出轴同轴安装有主动齿轮，主动齿轮啮合于从动齿轮。

控制器7还包括预处理模块78。预处理模块78连接于控制模块和定点模块74。预处理模块78用于对目标点云进行点云下采样和去除离散点。

作为一种较佳的实施方式，视觉传感器6为三维结构光相机。

本发明提供一种施工机器人的施工节点的视觉识别定位方法，包括以下步骤：

a、建立钢筋结构的三维数字模型。

具体的，预先构建钢筋结构的钢筋绑扎节点的三维数字模型并存储于存储模块中。

b、将机器人移动至钢筋结构的当前绑扎节点。

控制器通过控制模块控制电动滚轮将机器人移动至钢筋结构的当前绑扎节点。

c、通过机器人上的视觉传感器(即结构光相机)获取当前绑扎节点的目标点云。

d、预处理模块对目标点云进行预处理，预处理包括点云下采样和去除离散点。

e、获取模块从三维数字模型中获得当前绑扎节点的源点云。

f、变换模块用初始旋转矩阵和初始平移矩阵对源点云进行旋转和平移变换以获得变换点云。

g、定点模块基于预设的距离阈值，经比较确定变换点云与目标点云中的最邻近的两个对应点，两个对应点之间的距离小于距离阈值。

h、优化模块基于两个对应点，对初始旋转矩阵和初始平移矩阵进行估计以获得相应的优化旋转矩阵和优化平移矩阵。

i、计算模块重复步骤f～h进行迭代计算，直至变换点云与目标点云完全重合以获得当前绑扎节点在目标点云中的第一位姿信息。

j、转换模块基于视觉传感器(即结构光相机)的手眼标定矩阵，将第一位姿信息从结构光相机的坐标系中转换至机器人的坐标系中以获得当选绑扎节点在机器人的坐标系中的第二位姿信息，使得机器人识别出当前绑扎节点。

在步骤c中，通过使用三维结构光相机对所需识别区域进行扫描，获得需要检测区域的点云数据，作为配准的目标点集p

步骤e中，通过采样得到钢筋绑扎节点的点云数据，作为源点集p

步骤d中，预处理模块对目标点集进行点云下采样、离散点去除操作，同时根据空间位置关系过滤出所需检测的特定区域点集，作为下一步处理的输入点集。

在步骤f中，变化模块用初始旋转平移矩阵对源点集p

在确定了一组最邻近的对应点之后，用对应点对旋转R与平移T进行估计，采用最小二乘等方法求解最优的旋转矩阵R和平移矩阵T。

通过优化模块优化得到了一个新的R与T，导致了一些点转换后的位置发生变化，一些最邻近点对也相应的发生了变化，因此回到步骤g中的寻找最邻近点的对应点。重复步骤f～h不停迭代进行，直到满足R、T的变化量小于一定值，即求得最优解，此时两组点云p

通过根据事先标定的三维结构光相机手眼标定矩阵，将上一步求得的当前钢筋绑扎节点从三维结构光相机坐标系变换到机器人基坐标系下，从而为机器人提供捆扎节点的位姿信息。最后转换模块将当前钢筋绑扎节点的位姿信息输出。

配准参考点云和目标点云步骤f是输入两幅点云：源点集p

对于T是刚性变换的情形，点云配准问题可以描述为：求解两帧点云之间的位姿就是求解以下方程的解R与t。

其中，R代表3×3空间旋转变换矩阵，T是3×1空间平移向量，N

本发明的施工机器人的施工节点的视觉识别定位方法依次包括通过安装在机械臂上的三维结构光相机获取当前作业点位钢筋桁架网目标区域点云、预处理点云、获取待目标物所在的检测空间、获取待配准参考空间和待配准目标空间、配准参考点云和目标点云、判断所有分段点云如完成配准，输出配准结果，否则返回重新处理。本发明采用最近点迭代的方式配准将目标节点映射到实际三维空间中，可用于配准复杂场景的钢筋绑扎节点识别定位。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。