一种基于热成像和深度学习的煤矸石筛选装置和方法

技术领域

本发明属于煤矸分选技术领域，更具体地，设计了一种基于热成像和深度学习的煤矸石筛选装置和方法。

背景技术

我国煤炭资源丰富，石油天然气较少，因此煤炭仍是我国目前主要能源，煤矿行业肩负着保障我国能源安全和民生的重任。然而煤炭产品质量和如何进一步提高煤矿的安全生产，一直是煤炭行业备受关注的重要问题。从煤碳矿井中直接开采出未经过任何处理的原煤，或多或少都会由于其复杂的形成环境而含有影响煤炭品质的煤矸石。然而煤矸石是产生于煤层中的一种含碳量较低的黑灰色岩石，也是采煤和洗煤过程中排放的固体废物。因此必须对煤矸石进行准确、高效的分选。目前，国内大部分煤矿依旧使用人工分选煤矸石的方法，而人工分选存在工作环境恶劣、工人劳动强度大、分选效率低以及安全事故频发等问题。人工分选煤矸石的工作方式已经不能满足国家倡导的建设绿色矿山、智慧矿山发展要求，急需自动化程度高、检测效果好的煤矸石检测方法。

热成像技术是20世纪40年代逐渐发展起来的一项较为成熟的技术，具有穿透性强，受粉尘影响小、能耗小、不受光照影响等优点，几乎所有物体都会产生热辐射，且不同物体具有不同的热辐射能力。但如何利用热成像技术拍摄煤和矸石图片，并运用在煤和矸石的分选上，目前这方面的煤矸石分选仍存在很大空白。如何使用深度学习与热成像技术相机相结合，实现煤和矸石自动高效分选仍是个问题。

发明内容

鉴于现有煤矸石识别技术上的缺陷，本发明的目的在于提供一种基于热成像和深度学习的煤矸石筛选装置和方法，以解决现有煤矸石分选工艺中分选效率慢，以及在井下狭小昏暗空间内工作困难的问题，同时及提高分选的准确率和分选速率。

本发明公开一种基于热成像和深度学习的煤矸石筛选装置，该装置主要组成有：筛选装置，排队装置，恒温加热装置，热成像相机，抓取装置，识别装置，传送装置，防护装置。

煤矸石筛选装置的筛选过程为：整个装置在保护装置的防护下。在井下开采后的煤和矸石混合原材料投入到煤矸石筛选装置中，经过筛选装置的简单筛选将煤灰等煤矸石碎块筛选出，保留大块的煤和矸石，然后筛选后的煤和矸石经过传送装置的运输，进入到排队装置中，使其能单层无堆叠的摆放在传送装置上后输送到恒温加热装置中加热，加热到一定温度后，传送到热成像相机区域进行拍照，将所拍摄的照片传输到识别装置中进行分辨是煤还是矸石，最后由识别装置下达指令给抓取装置进行抓取矸石，分选后煤则通过传送装置运输出装置。

各装置的主要功能和其所在位置：

所述保护装置的目的是防止在装置运行时产生的粉尘污染环境，同时也是对装置和工人安全的保护。

所述筛选装置的目的是筛选出所需要的大块煤和矸石，筛选装置选取筛选口直径(<100mm)且不断振动的装置，对煤矸石原料进行简单筛选，筛选后获得所需大块的煤和煤矸石，通过筛选将不需要的煤灰等煤矸石碎块筛选出并通过排出口运出。

所述传送装置在其筛选装置的左下方，传送装置上依次有有排队装置、恒温加热装置，在恒温加热装置的左侧，传送装置的上方依次有热成像相机、抓取装置。传送装置的目的是将筛选装置筛选后的煤和矸石进行运输到每个装置的工作区域。

所述排队装置的目的是将运输过来的煤和矸石，单层无堆叠的整齐排列在传送装置上，彼此之间间隔一定的距离，防止在进行拍照识别时出现煤矸石堆叠导致下方的煤和矸石无法识别的情况和在进行抓取矸石是因排列紧密而不易抓取的问题。

所述恒温加热装置采用整体密闭两端开口且恒温的装置，其目的是将煤和矸石在相同时间内通过恒温加热装置时对其进行加热，然后用热成像相机拍摄其同温度下的热辐射图像。

所述识别装置采用嵌入式设备，由于嵌入式设备的计算处理能力和内存上的限制，本发明选用改进后的MobileNetV3 lager-ECA网络模型，前期需要采取大量的图片作为数据集，用于训练模型。该装置的目的是对热成像相机拍摄后传送的图片进行识别是煤还是矸石并对抓取装置下达抓取指令。

所述抓取装置采用架子型，结构简单且有效，其目的是对传送的矸石进行抓取，只保留所需要的大块煤。然后将煤通过传送带运输出装置。

本发明公开了一种基于热成像和深度学习的煤矸石筛选方法，该方法主要通过识别装置中的图像预处理模块和识别模块进行实现。主要步骤为：

S1:通过筛选装置、传送装置、排队装置、恒温加热装置处理后的煤和矸石，由热成像相机对其进行拍摄图像并传输到识别装置进行分选。

S2:拍摄图像传入到识别装置后经过图像预处理模块，将图像进行高斯滤波，膨胀和腐蚀，去除噪声还原图像并剪切成大小为224x224的图像，最后进行归一化操作传输到识别模块。

S2：对于输入到识别模块的图像，将输入到MobileNetV3 lager-ECA模型。首先输入(224，224，3)的图像经过卷积核为(3，3)的普通卷积处理成(112，112，16)的图像特征后经过3个(3，3)的bneck模块，输出为(56，56，24)的图像特征，再经过3个(5，5)的bneck模块，输出为(28，28，40)的图像特征，再经过3个(3，3)的beneck模块，输出为(14，14，112)的图像特征，再经过3个(5，5)的bneck模块，输出为(7，7，160)的图像特征，再输入到卷积核为(1，1)的普通卷积当中进行升维，最后再经过池化操作和普通卷积操作，Softmax模型分类器进行分类识别。每个bneck模块操作后输出通道数分别为[16，24，24，40，40，40，80，80，80，80，112，112，160，160]，输出尺寸为[112，112，56，56，28，28，28，14，14，14，14，14，14，7，7]。

进一步地，针对步骤S2中的MobileNetV3 lager-ECA模型。MoblieNet网络主要是使用深度可分离卷积构建的轻量级深度神经网络，主要包含V1、V2、V3共3种版本的网络结构，其中MobileNetV3相对MobileNetV1、MoblieNetV2不光保留其原有的深度卷积(Depthwise Convolution)、点卷积(Pointwise convolution)、倒残差块来大幅度减少参数量和运算量，同时还加入ES注意力机制提高模型的准确度和精度。MobileNetV3网络是一种轻量级网络，专门适用于嵌入式设备，使用最小的参数量和计算量来实现较高的准确率。在MobileNetV3 lager-ECA模型中的benck模块机构对传入的图像特征首先进行线性瓶颈结构提高特征维度，其次通过卷积核为(3，3)或者(5，5)的深度可分离卷积，ECA注意力机制，最后在通过一维卷积对特征进行降维，通过残差结构将初始特征与最后输入特征进行相加，提高模型对主要特征的识别能力防止特征丢失。

深度可分离卷积与普通卷积参数量公式：

PLOPs

PLOPs

由上述公式可得，MobileNetV3 lager-ECA网络中的深度可分离卷积层的参数量是普通卷积层的

本发明采用ECA注意力机制替换原有SE模块。ECA注意力机制模块把ES模块中的连接层换成了大小为k的一维卷积实现。避免了降维，高效地实现了跨通道交互。其中卷积核大小k表示为局部跨通道交互的覆盖范围，即有多少领域参与了一个通道的注意预测，为了避免通过交叉验证手动调整k，开发了一种自适应方法确定k，其中跨通道交互的覆盖范围(即核大小k)与通道维度成比例。改进后的MobileNetV3 lager-ECA网络模型，在保持准去率和精度不变的情况下，大幅度减少模型参数量，使模型更实用嵌入式设备。ECA机制实现过程的主要计算公式为：

一卷积块的输出为X∈R

对于y

其中

ECA模块所用方法为通过大小为k的一维卷积来实现通道间的信息交互。公式表示为：

ω＝σ(C1D

其中C1D表示一维卷积。

自适应卷积核的大小为：

其中γ＝2，b＝1

针对S2步骤中的MobileNet lagerV3-ECA模型在实际使用时需要对模型进行训练，模型训练主要步骤为：

A1:选取原产地原煤和矸石若干，恒温加热装置加热后，使用热成像相机拍摄图像，并经过图像预处理对其进行高斯滤波、膨胀和腐蚀，去除噪声还原图像，并剪切成大小为224x224的图像建立数据集。

A2:将数据集按7:2:1分为训练集、验证集、测试集，训练时采用GPU进行网络加速训练。将图像样本X输入卷积神经网络中，经过卷积层，benck模块，池化层，全连接层，得到输出F，与实际期望Y存在输出差值，通过梯度下降算法最小化损失函数更新模型参数。

A3:在训练时观察测试准确率和损失率，不断调整学习率大小，并保存最高准确率的模型，最后通过预测集验证模型的可靠性，并用于实际当中。

S3:识别装置对煤和矸石进行识别后对抓取装置下达指令对矸石进行抓取，从而达到原煤中剔除矸石的目的。

本发明与现有技术相比的有效果：

1、本发明采用热成像相机有效的解决了现有技术上采用x射线拍摄技术上造成的环境的污染和工人健康安全问题，同时相对于工业CCD相机能更好的适用于井下昏暗的工作环境，不受光线昏暗的影响。

2、本发明通过构建煤矸石筛选平台，对煤和矸石原矿石依次通过筛选装置、传送装置、排队装置、加热装置、识别装置、抓取装置，实现利用热成像对煤和矸石的自动分选，整个装置操作效果好，自动化程度高，便于推广。

3、本发明对输入到识别模块的图像采用基于MobileNetV3 lager-ECA网络分类识别的方法，对输入图像特征通过一系列(3，3)或者(5，5)卷积的bneck模块自动识别煤和矸石表面纹理特征，同时通过采用改进后的ECA注意力机避免了降维，高效地实现了跨通道交互，提高网络模型对煤和矸石纹理特征的学习能力和模型识别准确率，最后通过Softmax分类器进行分选，分选速度快，准确率高，且相对于经典卷积网络由于其大幅度减少参数量和计算量，使其更适用于实际生产。

4、本发明对输入的图像特征，采用深度可分离卷积、残差块结构、ECA注意力机制进行操作，在保证准确率的情况下同时大幅度减小网络模型的参数量和计算量，使得煤矸石筛选装置能采用嵌入式设备，降低了装置的硬件成本。

附图说明

图1一种基于热成像和深度学习的煤矸石筛选装置示意图其中：1-筛选装置、2-排队装置、3-传送装置、4-煤块、5-矸石、6-保护装置、7-识别装置、8-抓取装置、9-热成像相机、10-恒温加热装置。

图2一种基于基于热成像和深度学习的煤矸石筛选装置分选流程图

图3基于MobileNetV3 lager-ECA网络模型结构简图

图4基于MobileNetV3 lager-ECA网络模型的bneck模块简图

具体实施方式

本发明提供了一种基于热成像和深度学习的煤矸石筛选装置和方法，为更好说明本发明实现过程，优势及目的，以下参照附图并举实例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

一种基于热成像和深度学习的煤矸石筛选装置的实施方式：

S1:在井下开采后的煤和矸石混合原材料，首先投入到煤矸石筛选装置1中，经过筛选装置1的简单筛选将煤灰等煤矸石碎块筛选出，保留大块的煤和矸石并通过传送装置3进行运输。

所述传送装置3在其筛选装置的左下方，传送装置3上依次有排队装置2、恒温加热装置10。在恒温加热装置的左侧，传送装置2的上方依次有热成像相机10、抓取装置8。传送装置3的目的是将筛选装置1筛选后的煤和矸石进行运输到每个装置上。

S2:筛选后的煤和矸石经过传送装置3的运输后进入到排队装置2中，使其能单层无堆叠的摆放在传送装置3上。

所述排队装置2将运输过来的煤和矸石，单层无堆叠的整齐排列在传送装置3上，彼此之间间隔一定的距离，防止在进行拍照识别时出现煤矸石堆叠导致下方的煤和矸石无法识别的情况和在进行抓取矸石是排列紧密而不易抓取的问题。

S3:排列整齐的煤和矸石由恒温加热装置10中进行加热，待其加热到一定温度后，再传送到热成像相机9下方进行拍照，将所拍摄的照片传输到识别装置7中。

所述恒温加热装置10采用整体密闭两端开口且恒温的装置10，其目的是将煤和矸石在相同时间内通过恒温加热装置时对其进行加热。

S4:将热成像相机9拍摄的照片传输到识别装置中进行分辨是煤还是矸石，由识别装置7下达指令给抓取装置进行抓取矸石，分选后煤则通过传送装置3运输出装置。

所述识别装置7采用嵌入式设备，由嵌入式设备的计算处理能和内存上的限制，本发明选用改进后的MobileNetV3 lager-ECA网络模型，前期需要采取大量的图片作为数据集，用于训练模型。该装置的目的时对热成像相机拍摄后传送的图片进行识别是煤还是矸石并对抓取装置8下达抓取指令。

一种基于热成像和深度学习的煤矸石筛选方法包括以下步骤：

S1:通过筛选装置1、传送装置3、排队装置2、恒温加热装置10处理后的煤和矸石，由热成像相机9对其进行拍摄图像，并传输到识别装置7进行分选。

S2:拍摄图像传入到识别装置7后首先经过图像预处理模块，将图像进行高斯滤波，膨胀和腐蚀，去除噪声还原图像并剪切成大小为224x224的图像，最后进行归一化操作传输到识别模块。

S2：对于输入到识别模块的图像，将输入到MobileNetV3 lager-ECA模型。首先输入(224，224，3)的图像经过卷积核为(3，3)的普通卷积处理成(112，112，16)的图像特征后经过3个(3，3)的bneck模块，输出为(56，56，24)的图像特征，再经过3个(5，5)的bneck模块，输出为(28，28，40)的图像特征，再经过3个(3，3)的beneck模块，输出为(14，14，112)的图像特征，再经过3个(5，5)的bneck模块，输出为(7，7，160)的图像特征，再输入到卷积核为(1，1)的普通卷积当中进行升维，最后再经过池化操作和普通卷积操作，Softmax模型分类器进行分类识别。每个bneck模块操作后输出通道数分别为[16，24，24，40，40，40，80，80，80，80，112，112，160，160]，输出尺寸为[112，112，56，56，28，28，28，14，14，14，14，14，14，7，7]。

进一步地，针对步骤S2中的MobileNetV3 lager-ECA模型。在MobileNetV3 lager-ECA模型中的benck模块机构对传入的图像特征首先进行线性瓶颈结构提高特征维度，其次通过卷积核为(3，3)或者(5，5)的深度可分离卷积，ECA注意力机制，最后在通过一维卷积对特征进行降维，通过残差结构将初始特征与最后输入特征进行相加，提高模型对主要特征的识别能力防止特征丢失。

深度可分离卷积与普通卷积参数量公式：

PLOPs

PLOPs

由上述公式可得，MobileNetV3 lager-ECA网络中的深度可分离卷积层的参数量是普通卷积层的

本发明采用ECA注意力机制替换原有SE模块。ECA注意力机制模块把ES模块中的连接层换成了大小为k的一维卷积实现。避免了降维，高效地实现了跨通道交互。其中卷积核大小k表示为局部跨通道交互的覆盖范围，即有多少领域参与了一个通道的注意预测，为了避免通过交叉验证手动调整k，开发了一种自适应方法确定k，其中跨通道交互的覆盖范围(即核大小k)与通道维度成比例。改进后的MobileNet lager-ECA网络模型，在保持准去率和精度不变的情况下，大幅度减少模型参数量，使模型更实用嵌入式设备。ECA机制实现过程的主要计算公式为：

一卷积块的输出为X∈R

对于y

其中

ECA模块所用方法为通过大小为k的一维卷积来实现通道间的信息交互。公式表示为：

ω＝σ(C1D

其中C1D表示一维卷积。

自适应卷积核的大小为：

其中γ＝2，b＝1

针对步骤S2中的MobileNet lager-ECA模型在实际使用时需要对模型进行训练，模型训练主要步骤为：

A1:选取原产地原煤和矸石若干，恒温加热装置10加热后，使用热成像相机拍摄图像，并经过图像预处理对其进行高斯滤波、膨胀和腐蚀，去除噪声还原图像并剪切成大小为224x224的图像建立数据集。

A2:将数据集按7:2:1分为训练集、验证集、测试集，训练时采用GPU进行网络加速训练。将图像样本X输入卷积神经网络中，经过卷积层，benck模块，池化层，全连接层，得到输出F，与实际期望Y存在输出差值，通过梯度下降算法最小化损失函数更新模型参数。

A3:在训练时观察测试准确率和损失率，不断调整学习率大小，并保存最高准确率的模型，最后通过预测集验证模型的可靠性，并用于实际当中。

S3:识别装置7对煤和矸石进行识别后对抓取装置下达指令对矸石进行抓取，从而达到原煤中剔除矸石的目的。

值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。