一种钻锚机器人钢带锚孔定位方法、系统及电子设备

技术领域

本发明涉及钢带锚孔定位技术领域，特别是涉及一种钻锚机器人钢带锚孔定位方法、系统及电子设备。

背景技术

随着各种智能化综采设备的研发与应用，煤矿开采的能力和效率均得到了大幅提升，但是煤矿巷道掘进技术仍处在机械化阶段，采掘效率严重失衡，导致煤矿行业普遍存在采快掘慢的问题。因此，智能掘进和减人提效是当前煤炭开采行业发展的趋势。基于此，煤矿巷道的支护工作对于巷道掘进和钻锚设备动作的协调性、准确性和快速性都提出了较高的要求，对相关施工人员的技术水平和身体素质提出了更高的挑战，但这进一步拖慢了巷道掘进的效率，加剧了掘快支慢的问题。

为了解决掘进工作中掘快支慢的问题，行业中渐渐出现了基于双目视觉的钢带锚孔定位方案及系统，提高了支护效率，减轻了工人的劳动强度。但是，煤矿井下低照度和弱纹理的工作环境对基于视觉的定位方案产生了强烈的撼动，并且双目视觉固定的基线距离和较高的计算复杂度也影响了其定位的精度和实时性。

发明内容

本发明的目的是提供一种钻锚机器人钢带锚孔定位方法、系统及电子设备，能够基于视觉信息确定锚孔的位姿信息，实现钻锚机器人的自动控制，进而提高煤矿巷道的支护效率。

为实现上述目的，本发明提供了如下方案：

一种钻锚机器人钢带锚孔定位方法，所述钻锚机器人钢带锚孔定位方法应用于一种钻锚机器人钢带锚孔定位装置，所述钻锚机器人钢带锚孔定位装置包括：锚孔位姿视觉测量单元和工业计算机；

所述锚孔位姿视觉测量单元包括相机支架、工业相机和多个激光指向仪；

所述工业相机与所述工业计算机连接；所述工业相机安装于所述相机支架上；

所述激光指向仪用于照射巷道煤壁生成光斑特征；

所述工业相机用于获取巷道煤壁图像；所述巷道煤壁图像中含有钢带锚孔特征和多个光斑特征；所述光斑特征和所述激光指向仪一一对应；

所述工业计算机用于根据所述巷道煤壁图像进行钢带锚孔定位；

所述钻锚机器人钢带锚孔定位方法包括：

获取巷道煤壁图像；

确定巷道煤壁图像中每个光斑中心在图像坐标系下的坐标为对应光斑中心的第一光斑坐标；

将多个所述第一光斑坐标转换到相机坐标系下，得到每个光斑中心在相机坐标系下的坐标为对应光斑中心的第二光斑坐标；

根据多个所述第二光斑坐标，确定巷道煤壁平面在相机坐标系下的法向量；

根据所述法向量确定工业相机到巷道煤壁的旋转矩阵；

根据所述旋转矩阵，确定钢带锚孔中心在相机坐标系下的坐标。

可选的，所述激光指向仪的数量为3个。

可选的，根据所述旋转矩阵，确定钢带锚孔中心在相机坐标系下的坐标，包括：

确定巷道煤壁图像中钢带锚孔中心在图像坐标系下的坐标为第一锚孔坐标；

确定工业相机光心与第一锚孔坐标的所在直线；

确定所述直线与相机坐标系下所述巷道煤壁平面的交点坐标；

确定所述交点坐标为钢带锚孔中心在相机坐标系下的坐标。

可选的，在所述确定所述交点坐标为钢带锚孔中心在相机坐标系下的坐标之后，还包括：

根据所述工业相机到巷道煤壁的旋转矩阵和所述钢带锚孔中心在相机坐标系下的坐标控制所述钻锚机器人运行。

可选的，在根据所述法向量确定工业相机到巷道煤壁的旋转矩阵之前，还包括：

根据多个所述第二光斑坐标，确定巷道煤壁平面在相机坐标系下的单位向量；

根据所述单位向量和所述法向量，确定工业相机到巷道煤壁的转换角和旋转轴。

一种钻锚机器人钢带锚孔定位系统，包括：

巷道煤壁图像获取模块，用于获取巷道煤壁图像；

第一光斑坐标确定模块，用于确定巷道煤壁图像中每个光斑中心在图像坐标系下的坐标为对应光斑中心的第一光斑坐标；

第二光斑坐标确定模块，用于将多个所述第一光斑坐标转换到相机坐标系下，得到每个光斑中心在相机坐标系下的坐标为对应光斑中心的第二光斑坐标；

煤壁平面法向量确定模块，用于根据多个所述第二光斑坐标，确定巷道煤壁平面在相机坐标系下的法向量；

钢带锚孔旋转矩阵确定模块，用于根据所述法向量确定工业相机到巷道煤壁的旋转矩阵；

钢带锚孔定位模块，用于根据所述旋转矩阵，确定钢带锚孔中心在相机坐标系下的坐标。

一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行所述的一种钻锚机器人钢带锚孔定位方法。

可选的，所述存储器为可读存储介质。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明的目的是提供一种钻锚机器人钢带锚孔定位方法、系统及电子设备，获取巷道煤壁图像；巷道煤壁图像中含有钢带锚孔特征和多个光斑特征；光斑特征和激光指向仪一一对应；确定巷道煤壁图像中每个光斑中心在图像坐标系下的坐标为对应光斑中心的第一光斑坐标；将多个第一光斑坐标转换到相机坐标系下，得到每个光斑中心在相机坐标系下的坐标为对应光斑中心的第二光斑坐标；根据多个第二光斑坐标，确定巷道煤壁平面在相机坐标系下的法向量；根据法向量确定工业相机到巷道煤壁的旋转矩阵；确定巷道煤壁图像中每个钢带锚孔中心在图像坐标系下的坐标为对应的第一锚孔中心，根据相机光心与第一锚孔中心所在直线和煤壁平面方程的交点确定工业相机到钢带锚孔的平移向量。本发明通过确定锚孔的位姿信息，进而实现钻锚机器人的自动控制。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例1中钻锚机器人钢带锚孔定位装置结构示意图；

图2为本发明实施例1中钻锚机器人钢带锚孔定位方法流程图；

图3为本发明实施例1中锚孔位姿视觉测量单元结构示意图；

图4为本发明实施例1中钻锚机器人钢带锚孔定位原理图；

附图标记说明：

1-锚孔位姿视觉测量单元，11-相机支架，12-工业相机，13-激光指向仪，2-工业计算机。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种钻锚机器人钢带锚孔定位方法、系统及电子设备，能够基于视觉信息确定锚孔的位姿，实现钻锚机器人的自动控制，进而提高煤矿巷道的支护效率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例1

本实施例提供了一种钻锚机器人钢带锚孔定位方法，钻锚机器人钢带锚孔定位方法应用于一种钻锚机器人钢带锚孔定位装置，实现钢带锚孔的位姿测量，其中钢带锚孔定位装置安装在钻锚机器人钻臂上。如图1和图3所示，钻锚机器人钢带锚孔定位装置包括：锚孔位姿视觉测量单元1和工业计算机2；锚孔位姿视觉测量单元1包括相机支架11、工业相机12和多个激光指向仪13；相机支架11安装在钻锚机器人钻臂末端，用于固定工业相机和激光指向仪。工业相机12与工业计算机2连接。激光指向仪的数量为3个。三个激光指向仪13均安装在相机支架11的上，激光指向仪13向巷道煤壁投射激光光斑；工业相机12安装在相机支架中心，用于采集带有光斑特征和钢带锚孔特征的巷道煤壁图像，并通过网线传输给工业计算机2；工业计算机2通过运行基于本文视觉定位方法的程序，得到钢带锚孔在相机坐标下的位姿。

如图4所示，为了确保钢带锚孔位姿视觉测量系统的计算精度，需要对相机与三个激光指向仪之间的外参进行标定，用于确定激光指向仪中心在相机坐标系下的坐标和激光光线在相机坐标系下的方向向量。标定时，可采用全站仪对相机光心O

如图2所示，钻锚机器人钢带锚孔定位方法包括：

步骤101：获取巷道煤壁图像.

步骤102：确定巷道煤壁图像中每个光斑中心在图像坐标系下的坐标为对应光斑中心的第一光斑坐标R

步骤103：将多个所述第一光斑坐标转换到相机坐标系下，得到每个光斑中心在相机坐标系下的坐标为对应光斑中心的第二光斑坐标R

由P

已知

因此，直线L

已知第一光斑坐标

因此，直线l

考虑到因系统或相机测量误差引起的L

将L

将式(5)表示为矩阵形式为：

其中，

通过最小二乘方法解得：

即

步骤104：根据多个所述第二光斑坐标，确定巷道煤壁平面在相机坐标系下的法向量。

步骤105：根据所述法向量确定工业相机到巷道煤壁的旋转矩阵。

具体的，工业相机到巷道煤壁的旋转矩阵为：

其中，R为工业相机到巷道煤壁的旋转矩阵；θ为工业相机轴线到巷道煤壁平面法向量的旋转角；(ω

旋转矩阵R的具体计算过程如下：

由式

将式(10)归一化可得煤壁平面的单位向量为：

在相机坐标系中，由于其z轴沿相机光心向前，因此可设定相机坐标系成像平面的单位法向量为：e

由罗德里格旋转公式计算相机到煤壁的旋转矩阵R，进而确定向量e

θ＝arccos(e

向量e

ω＝(ω

由罗德里格公式可得相机到煤壁的旋转矩阵为R，同样的，该旋转矩阵也是相机到钢带锚孔的旋转矩阵。

步骤106：根据所述旋转矩阵，确定钢带锚孔中心在相机坐标系下的坐标。

例如，步骤106，包括：

步骤1061：确定巷道煤壁图像中钢带锚孔中心在图像坐标系下的坐标为第一锚孔坐标。

步骤1062：确定工业相机光心与第一锚孔坐标的所在直线。

步骤1063：确定所述直线与相机坐标系下所述巷道煤壁平面的交点坐标。

步骤1064：确定所述交点坐标为钢带锚孔中心在相机坐标系下的坐标。

步骤1065：根据所述工业相机到巷道煤壁的旋转矩阵和所述钢带锚孔中心在相机坐标系下的坐标控制所述钻锚机器人运行。

具体的，确定巷道煤壁图像中每个钢带锚孔中心的坐标为第一锚孔中心，根据相机光心与第一锚孔中心所在直线和煤壁平面方程的交点确定工业相机到钢带锚孔的平移向量t。

平移向量的具体计算过程如下：

已知

直线

由第一个光斑R

化简得：

将直线

将式(20)表示为矩阵形式为：

其中，

解得

即相机到钢带锚孔的平移向量t为

根据工业相机到巷道煤壁的旋转矩阵和平移向量控制钻锚机器人运行。系统根据旋转矩阵R和平移向量t提供的位姿信息生成相应的控制指令，控制钻锚机器人钻臂运动到钢带锚孔位置，实施钻锚支护作业。

在步骤105之前，还包括：

步骤105-1：根据多个所述第二光斑坐标，确定巷道煤壁平面在相机坐标系下的单位向量。

步骤105-2：根据所述单位向量和所述法向量，确定工业相机到巷道煤壁的转换角和旋转轴。

实施例2

为了执行上述实施例1对应的方法，以实现相应的功能和技术效果，下面提供了一种钻锚机器人钢带锚孔定位系统，其特征在于，包括：

巷道煤壁图像获取模块，用于获取巷道煤壁图像。

第一光斑坐标确定模块，用于确定巷道煤壁图像中每个光斑中心在图像坐标系下的坐标为对应光斑中心的第一光斑坐标。

第二光斑坐标确定模块，用于将多个所述第一光斑坐标转换到相机坐标系下，得到每个光斑中心在相机坐标系下的坐标为对应光斑中心的第二光斑坐标。

煤壁平面法向量确定模块，用于根据多个所述第二光斑坐标，确定巷道煤壁平面在相机坐标系下的法向量。

钢带锚孔旋转矩阵确定模块，用于根据所述法向量确定工业相机到巷道煤壁的旋转矩阵。

钢带锚孔定位模块，用于根据所述旋转矩阵，确定钢带锚孔中心在相机坐标系下的坐标。

实施例3

本实施例提供了一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行实施例1一种钻锚机器人钢带锚孔定位方法。其中，存储器为可读存储介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上，本说明书内容不应理解为对本发明的限制。