掘锚机和锚杆台车的协同控制方法

技术领域

本发明涉及掘进装备智能化技术领域，尤其涉及一种掘锚机和锚杆台车的协同控制方法。

背景技术

随着科技的发展，煤矿智能化程度日益增高，掘进工作面包括掘锚机、锚杆台车、带式输送机等重要的掘进装备，掘锚机、锚杆台车作为重要的组成部分，保证着掘进的顺利进行。煤矿井下的恶劣环境为掘锚机和锚杆台车的视觉协同控制带来了很大的困难。

目前在对掘锚机和锚杆台车进行协同控制时，通常直接将煤矿井下视频监控系统采集的图像直接输入神经网络来实现。然而，但由于受粉尘、水雾及光照等因素的影响，视频监控系统采集的图像经常存在对比度低、细节模糊等问题，给视觉神经网络的识别带来了巨大的困难，导致识别精度低，进而导致协同控制误差大。另外，现有的神经网络模型计算量大、资源占用高，运行速度较慢且不适合在边缘嵌入式设备部署，这给掘锚机和锚杆台车的协同控制造成了很大的困难，导致识别速度慢，协同控制效果差。

发明内容

为解决上述技术问题，本发明提供一种掘锚机和锚杆台车的协同控制方法。本发明的技术方案如下：

一种掘锚机和锚杆台车的协同控制方法，其包括如下步骤：

S1，通过锚杆台车上安装的工业相机采集当前位置的初始掘锚机视觉图像；

S2，通过自适应直方图均衡化算法对所述初始掘锚机视觉图像进行去雾处理，得到目标掘锚机视觉图像；

S3，将所述目标掘锚机视觉图像处输入预先训练好的剪枝YOLOv3神经网络模型，根据所述剪枝YOLOv3神经网络模型的输出确定掘锚机的实际边界框，所述剪枝YOLOv3神经网络模型用于提取掘锚机的边界框；

S4，根据所述实际边界框和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随。

可选地，所述S3在将所述目标掘锚机视觉图像处输入预先训练好的剪枝YOLOv3神经网络模型之前，还包括如下步骤：

S31，通过锚杆台车上安装的工业相机获取在不同位置、不同角度采集的多张掘锚机尾部图像；

S32，将多张掘锚机尾部图像均通过自适应直方图均衡化算法进行去雾处理；

S33，通过去雾处理过的掘锚机尾部图像构建掘锚机图像数据集，并对掘锚机图像数据集进行掘锚机标注，构建训练数据集；

S34，对YOLOv3神经网络模型进行剪枝操作，得到初始剪枝YOLOv3神经网络模型；

S35，采用训练数据集对初始剪枝YOLOv3神经网络模型进行训练，得到训练好的剪枝YOLOv3神经网络模型。

可选地，所述S4在根据所述实际边界框和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随时，包括如下步骤：

S41，以锚杆台车的相机原点为焦点，建立垂直于锚杆台车相机光轴的图像坐标系，并在锚杆台车的像素坐标系下表示掘锚机的像素坐标；

S42，将掘锚机的像素坐标转化为掘锚机的实际边界框的坐标以及实际边界框的中心点坐标；

S43，根据所述实际边界框的坐标、实际边界框的中心点坐标和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随。

可选地，所述S42在将掘锚机的像素坐标转化为掘锚机的实际边界框的坐标以及实际边界框的中心点坐标时，包括如下步骤：

设定掘锚机的横滚角和俯仰角为0，令

可选地，所述S43在根据所述实际边界框的坐标、实际边界框的中心点坐标和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随时，包括如下步骤：

S431，设掘锚机和锚杆台车的控制量为u(t)＝[v(t)，ω(t)]，v(t)为掘锚机前进速度，ω(t)为掘锚机角速度，给锚杆台车输入控制量u(t)以驱使b(t)趋近于期望边界框，即使

S432，根据视觉成像原理可得，掘锚机和锚杆台车的相对位置包含在实际边界框中，实际边界框的坐标包含了相对位置信息，实际边界框的尺寸包含了相对距离信息，由此按照如下方式对公式（2）至公式（4）进行转化：

其中，/>

S433，根据Y(t)与

可选地，所述S433在根据Y(t)与

根据Y(t)与

（5）

公式（5）中，K

借由上述方案，本发明的有益效果如下：

通过自适应直方图均衡化算法对初始掘锚机视觉图像进行去雾处理，可以克服由于受粉尘、水雾及光照等因素的影响而导致初始掘锚机视觉图像中存在的对比度低、细节模糊等问题，从而便于目标掘锚机视觉图像的识别。通过剪枝YOLOv3神经网络模型提取掘锚机的边界框，能够减小神经网络模型的计算量和资源占用量，提高运行速度，进而提高识别效率，保证掘锚机和锚杆台车的协同控制效果好。本发明具有简单，稳定，占用资源少，准确度高的特点，使掘锚机和锚杆台车的协同控制效果更好。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，本发明提供的掘锚机和锚杆台车的协同控制方法，包括如下步骤：

S1，通过锚杆台车上安装的工业相机采集当前位置的初始掘锚机视觉图像。

S2，通过自适应直方图均衡化算法对所述初始掘锚机视觉图像进行去雾处理，得到目标掘锚机视觉图像。

通过去雾处理，可以克服由于受粉尘、水雾及光照等因素的影响而导致初始掘锚机视觉图像中存在的对比度低、细节模糊等问题，从而便于目标掘锚机视觉图像的识别，进而可以提高识别精度，减小后续的协同控制误差。

S3，将所述目标掘锚机视觉图像处输入预先训练好的剪枝YOLOv3神经网络模型，根据所述剪枝YOLOv3神经网络模型的输出确定掘锚机的实际边界框，所述剪枝YOLOv3神经网络模型用于提取掘锚机的边界框。

其中，剪枝YOLOv3神经网络模型是对YOLOv3神经网络模型进行神经网络剪枝得到的。剪枝的目的是使之适应边缘嵌入式设备。

具体地，所述S3在将所述目标掘锚机视觉图像处输入预先训练好的剪枝YOLOv3神经网络模型之前，需要先训练剪枝YOLOv3神经网络模型。训练剪枝YOLOv3神经网络模型的过程包括如下步骤：

S31，通过锚杆台车上安装的工业相机获取在不同位置、不同角度采集的多张掘锚机尾部图像。

S32，将多张掘锚机尾部图像均通过自适应直方图均衡化算法进行去雾处理。

S33，通过去雾处理过的掘锚机尾部图像构建掘锚机图像数据集，并对掘锚机图像数据集进行掘锚机标注，构建训练数据集；标注可以通过人工或标注软件实现。

S34，对YOLOv3神经网络模型进行剪枝操作，得到初始剪枝YOLOv3神经网络模型。

S35，采用训练数据集对初始剪枝YOLOv3神经网络模型进行训练，得到训练好的剪枝YOLOv3神经网络模型。

其中，训练初始剪枝YOLOv3神经网络模型的过程是不断优化其中的网络权重文件，达到收敛条件时获得的网络权重文件即为训练好的剪枝YOLOv3神经网络模型中的网络权重文件。

S4，根据所述实际边界框和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随。

具体地，所述S4在根据所述实际边界框和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随时，包括如下步骤：

S41，以锚杆台车的相机原点为焦点，建立垂直于锚杆台车相机光轴的图像坐标系，并在锚杆台车的像素坐标系下表示掘锚机的像素坐标。

具体地，可以通过坐标系之间转换实现在锚杆台车的像素坐标系下表示掘锚机的像素坐标，具体在坐标系之间进行转换实现在锚杆台车的像素坐标系下表示掘锚机的像素坐标时，将掘锚机的边界框经过世界坐标系 →相机坐标系（三维旋转平移）、相机坐标系→图像坐标系（三维到二维的透视投影变换）、图像坐标系→像素坐标系（二维平移变换）的三次变换，得到锚杆台车对掘锚机的视觉成像模型为如下；

其中，u

S42，将掘锚机的像素坐标转化为掘锚机的实际边界框的坐标以及实际边界框的中心点坐标。

结合上述内容，所述S42在将掘锚机的像素坐标转化为掘锚机的实际边界框的坐标以及实际边界框的中心点坐标时，包括如下步骤：

设定掘锚机的横滚角和俯仰角为0，令

S43，根据所述实际边界框的坐标、实际边界框的中心点坐标和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随。

在上述内容的基础上，所述S43在根据所述实际边界框的坐标、实际边界框的中心点坐标和视觉成像原理控制锚杆台车对掘锚机进行自适应跟随时，包括如下步骤：

S431，设掘锚机和锚杆台车的控制量为u(t)＝[v(t)，ω(t)]，v(t)为掘锚机前进速度，ω(t)为掘锚机角速度，给锚杆台车输入控制量u(t)以驱使b(t)趋近于期望边界框，即使

其中，期望边界框可设定在目标掘锚机视觉图像的正中心位置，期望边界框尺寸由掘锚机与锚杆台车的保持距离所决定。

S432，根据视觉成像原理可得，掘锚机和锚杆台车的相对位置包含在实际边界框中，实际边界框的坐标包含了相对位置信息，实际边界框的尺寸包含了相对距离信息，由此按照如下方式对公式（2）至公式（4）进行转化：

其中，/>

特别地，当锚杆台车视觉内没有检测到掘锚机时，设置

S433，根据Y(t)与

具体实施方式中，所述S433在根据Y(t)与

（5）

公式（5）中，K

具体地，根据相机投影透视性质知，掘锚机距离锚杆台车上安装的工业相机的焦点越近，掘锚机成像越大，反之则越小，因此，实际边界框的大小和位置为锚杆台车的速度、角速度控制提供了天然的误差信号。由此，本发明通过实际边界框与期望边界框间的位置误差和大小误差，以位置误差信号作为锚杆台车角速度控制的反馈输入，以大小误差信号作为速度控制的反馈输入，控制锚杆台车完成对掘锚机的自适应跟随，具体如上公式（5）。

综上，本发明提出了一种基于深度神经网络的掘锚机和锚杆台车的协同控制方法，该方法首先采用自适应直方图均衡化算法对初始掘锚机视觉图像进行去雾处理，得到目标掘锚机视觉图像；然后对经典的YOLOv3神经网络模型进行了神经网络剪枝，使之适应边缘嵌入式设备，再将目标掘锚机视觉图像输入到剪枝YOLOv3神经网络模型中，通过输出掘锚机的实际边界框来实现锚杆台车自动跟随掘锚机的协同控制，即利用改进的YOLOv3深度神经网络提取掘锚机的实际边界框，接着计算该实际边界框与期望边界框间的位置误差和大小误差，以位置误差信号作为锚杆台车角速度控制的反馈输入，以大小误差信号作为速度控制的反馈输入，控制锚杆台车完成对掘锚机的自适应跟随。从上述叙述可知，只要输入初始掘锚机视觉图像，就可以输出掘锚机的实际边界框信息，并持续将其作为视觉的反馈输入，实现只依靠视觉信息达到锚杆台车对掘锚机的跟随控制。

由于煤矿快速掘进和掘锚机、锚杆台车协同的需要，该方法可以保证锚杆台车自动跟随掘锚机进行运动，实现快速掘进的需求。煤矿掘进工作面的无人化是煤炭技术革命的发展方向，掘进装备的智能化是掘进工作面实现无人化的重要保障。然而传统的人工操作锚杆台车的方法，难以满足掘进装备智能化的发展。因此通过该方法的应用，可使锚杆台车实现稳定的自动跟随控制，不仅是实现掘进装备智能化的关键，也是掘进工作面实现无人化的基础。

以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。