一种基于轻量级目标检测架构的矿物智能分选方法

技术领域

本发明涉及一种基于轻量级目标检测架构的矿物智能分选方法，属于矿物分选和计算机视觉技术领域。

背景技术

发展至今，矿物分选过程已经形成了典型的工业流程，具有工序多、产线长、技术复杂、生产环境恶劣的产业特点。同时，传统的矿物分选方法以重力分选、磁场分选、电场分选、复合物立场分选和化学浮选为主，存在耗能高、耗时久、速度慢、污染严重等局限性。因此，上述问题亟需新兴智能选矿设备的研发来解决，以达到成本低、耗时短、精度高且无污染的矿物分选。

早期，矿物智能分选设备多以射线传感器为技术支撑，如γ射线分析,罗曼光谱分析、X射线衍射(XRD)分析和X射线荧光(XRF)分析等。基于射线传感器的矿物智能分选设备利用离子与电子的化学特征或矿样X射线特征谱线来确定矿物成分信息，完成分类任务。因此，基于射线传感器的矿物智能分选设备分类精确度较高，在大块矿石的识别与分选中有着巨大潜力。然而，基于传感器的矿物分选方案存在着局限性。一方面，该类设备主要依靠矿物的化学成分与晶体结构对矿物进行分析，加大了工作量与时间消耗。另一方面，其存在高成本、高辐射等缺陷，限制了其作为智能矿物分选设备的应用发展前景。

现阶段，成像与视觉技术的发展使图像的采集过程更加简化，也使采集图像的质量更优，且计算机图像处理技术在近几十年的发展中得到推动，协同带动了图像分类技术的发展。矿物图像分类系统则是该领域的应用方向之一，其利用矿物图像的光学特征，如沟壑、纹理、颜色、光泽等进行图片分类，以完成矿物分选。在基于计算机视觉和图像处理的矿物分选设备发展历史中，该类设备首先以传统机器学习技术为核心，如决策树、朴素贝叶斯、K最近邻、人工神经网络、主成分分析、支持向量机等。相较于基于射线传感器的矿物智能分选设备，基于机器学习的矿物分选设备有着成效率高、无辐射、成本低、易安装等优势。然而，基于机器学习的图像分类技术需要更高的分辨率图像输入，且需要相关专业人员对矿物图像特征进行提取与选择，对于部分任务经验较少的研究人员来说这一过程具有难度。因此，上述两方面因素降低了基于机器学习的矿物分选设备的应用前景与潜力。

深度学习技术的出现与蓬勃发展为上述问题的解决提供了一条新的路径，其基于数据驱动的思想，能够在海量数据中自动完成特征信息提取和汇聚，并基于提取信息完成具体下游任务。其中，基于深度学习的图像处理技术在图像分类、图像分割、关键点检测、3D重建等复杂任务中均居的优异成绩。因此，该技术也被逐步应用于矿物智能分选设备的研发过程之中，以提高检测精度和检测速度，并简化人工操作的难度。然而，基于深度学习图像分类的矿物智能分选设备仍将整体分选任务划分为定位和分类两个过程，未实现端到端的整合。一方面，这种两段式的分选过程会增加任务的整体耗时，进而降低分选效率，且漏检、误检和定位不准确等问题也限制了该技术的应用。另一方面，在工业实践中，矿物分选多为实地作业，因此大型计算设备常难以直接被部署在施工现场。在上述严峻、复杂的工况下，边缘计算设备便成为了深度学习模型部署的首要选择。然而，相较于大型服务器而言，边缘设备的计算能力、储存空间和推理速度仍相对有限，这使得现有参数量庞大的深度学习模型常难以被部署于该类设备之中，因此亟需进一步的研究与解决，以满足工业矿物分选的实际需求。

发明内容

有鉴于此，本发明提供了一种基于轻量级目标检测架构的矿物智能分选方法，该方法在经过模型训练后可以直接被部署在矿物分选现场的边缘计算设备之中，实现矿物的高精度、快速分选。

本发明的技术解决方案是：

一种基于轻量级目标检测架构的矿物智能分选方法，包括以下步骤：

步骤1：获取待处理的矿物图像数据，并将获取的矿物图像数据划分训练集、验证集和测试集；

步骤2：采用目标检测标注工具对步骤1获取的矿物图像数据进行标注，以获取矿物图像数据的标签；

步骤3：根据步骤1获取的矿物图像数据以及步骤2获取的矿物图像数据标签，构建矿物图像轻量级目标检测模型；

步骤4：使用步骤1中划分的训练集和验证集对步骤3构建的矿物图像轻量级目标检测模型进行训练；

步骤5:使用步骤4中训练后的矿物图像轻量级目标检测模型对步骤1中划分的测试集进行目标检测，完成矿物分选任务。

所述的步骤1中，获取矿物图像数据时，搭建矿物图像数据采集平台；所述的矿物图像数据是在工业相机在传送带正上方拍摄的，按照比例7:2:1划分训练集、验证集和测试集；

所述步骤3中，构建的矿物图像轻量级目标检测模型包括轻量化特征提取网络、基于注意力机制的路径聚合网络、感受域模块和预测头；

其中，轻量化特征提取网络由三种特征提取模块构成，三种特征提取模块分别为基本卷积模块(CBM)、深度可分离卷积模块(DW_CBM)和深度可分离残差卷积模块(DW_Res_CBM)；

基本卷积模块包括1个卷积层(Conv)、1个归一化层(BN)和1个激活层(Mishactivation)；

深度可分离卷积模块依此串联1个基本卷积模块、1个深度可分离卷积层和1个基本卷积模块；

深度可分离残差卷积模块在深度可分离卷积模块的基础上从输入端添加了大、小两条残差路径，其中大残差路径由首端连接至尾端，小残差路径由深度可分离卷积模块前端连接至后端，并在最后连接1个最大池化层，以完成特征汇聚；

基于注意力机制的路径聚合网络使用注意力模块处理卷积层提取的特征图像，并以此进行自顶向下和自底向上的双向特征融合，以增强网络对所有提取特征的应用能力；

感受域模块使用了四种不同空洞率的空洞卷积，在不损失信息的条件下增强网络的感受野；

预测头由1个全连接层构成，利用提取到的特征图像完成矿物目标定位和类别检测任务；

所述的步骤4中，进行训练的过程包括：

第一步，确定矿物图像轻量级目标检测模型的边界框回归损失L

式中，K×K为单元格数量，M为每个单元格生成的锚框数量，

式中，B为模型预测框，B

第二步，确定矿物图像轻量级目标检测模型的置信度损失L

式中，C

第三步，确定矿物图像轻量级目标检测模型的分类损失L

式中，p

第四步，确定矿物图像轻量级目标检测模型的总损失Loss：

Loss＝L

所述步骤4中，根据确定的边界框回归损失L

本发明具有如下有益效果：

(1)本发明所提供的方法利用矿物图像轻量级目标检测模型，可精确、快速、高效地实现矿物目标的定位与识别，相较于基于深度学习图像分类技术的矿物分选方法，本发明实现了定位与识别的一体化矿物智能分选，无需额外的整体任务划分过程，实现了端到端的整合。因此，本发明更易于实现矿物智能分选任务。

(2)本发明所提供的方法通过注意力机制和基于注意力机制的路径聚合网络增强了模型的特征提取能力。因此，对表观差异较小、尺度差异较大的矿物目标仍能保持着优秀的识别能力。同时，对于粘连、重叠的矿石目标和非矿石非矿石目标，本发明所提供的方法能够独立识别并精确定位，解决了现有技术中的漏检、误检问题。

(3)本发明所提供的方法将传统目标检测模型中的损失函数进行拓展，提高了模型目标定位和目标分类中的性能，因此，本发明所提供的方法有着更高的检测精度。

(4)本发明所提供的方法通过轻量化特征提取网络和感受域模块，简化了模型的参数量和计算复杂度，使所提供的矿物图像轻量级目标检测模型具有更快的检测速度。

(5)本发明公开了一种基于轻量级目标检测架构的矿物智能分选方法，实现了高精度、高速度、低体积、低计算复杂度的智能矿物分选。利用矿物图像轻量级目标检测模型，可精确、快速、高效地实现矿物目标的定位与识别，相较于基于深度学习图像分类技术的矿物分选方法，本发明实现了定位与识别的一体化矿物智能分选，无需额外的整体任务划分过程，实现了端到端的整合。通过注意力机制和基于注意力机制的路径聚合网络增强了模型的特征提取能力，对表观差异较小、尺度差异较大的矿物目标仍能保持着优秀的识别能力。对于粘连、重叠的矿石目标和非矿石目标，本发明所提供的方法能够独立识别并精确定位，解决了现有技术中的漏检、误检问题。本发明所提供的方法将传统目标检测模型中的损失函数进行拓展，提高了模型目标定位和目标分类中的性能。本发明所提供的方法通过轻量化特征提取网络和感受域模块，简化了模型的参数量和计算复杂度，使所提供的矿物图像轻量级目标检测模型具有更快的检测速度。

附图说明

图1为本发明所提供的方法的流程图；

图2为本发明的矿物图像数据采集平台示意图；

图3为本发明的矿物图像轻量级目标检测模型示意图；

图4为本发明的基于注意力机制的路径聚合网络示意图；

图5为本发明的注意力模块示意图；

图6为本发明的感受域模块示意图；

图7为本发明采集矿物图像的标注示意图；

图8为本发明的实际检测效果示例图。

具体实施方式

下面结合附图，对本发明进行详细描述。

如图1所示，本发明提供了一种基于轻量级目标检测架构的矿物智能分选方法，具体包括以下步骤：

步骤1：搭建如图2所示的矿物图像数据采集平台，平台主要包含振动筛分系统、除尘系统、矿物传送系统、图像采集系统、计算机控制系统和电磁喷吹系统六部分。采集过程中，振动筛分系统负责对原始矿料进行振动筛分，并将小于筛分孔目的物料均匀的散落在传送带头部。同时，除尘系统会采用高频风量对矿物表面进行除尘，以减少表面粉尘对后续采集图像质量的影响。图像采集系统由4K彩色3CCD线阵工业相机及配套的图像处理软件，可实现在定速运转条件下样品图像的连续拍摄与存储，线性灯带光照强度可根据实际需求进行调节。经由矿物传送系统运输，矿物样品将在图像采集系统中依次进行拍摄，并将采集数据实时地上传至计算机控制系统，以实现矿物类别判断。在图像采集平台尾部，根据控制端返回的信息，电磁喷吹系统会将矿料分选至对应区域。

步骤2：采用目标检测标注工具对原始矿物图像进行标注，获取矿物图像数据的标签。常用目标检测标注工具包括labelimg、labelme等。

步骤3：搭建如图3所示的矿物图像轻量级目标检测模型，模型包含轻量化特征提取网络、基于注意力机制的路径聚合网络、感受域模块和预测头四部分。其中，轻量化特征提取网络依次由1个基本卷积模块、1个深度可分离卷积模块、3个深度可分离残差卷积模块和1个深度可分离卷积模块构成。基于注意力机制的路径聚合网络结构如图4所示，其从左到右依次进行特征提取、注意力机制模块、自底向上的特征融合和自顶向下的特征融合。基于注意力机制的路径聚合网络中所使用的注意力模块结构如图5所示，其从左到右依次经过通道注意力模块和空间注意力模块。其中，通道注意力模块将并行经过最大值池化层、均值池化层和随机值池化层，而后经过共享多层感知机进行信息交互，并在右侧进行特征加和，输出特征图像；空间注意力模块从左至右依次经过最大值池化层、均值池化层和随机值池化层，并通过1个卷积层恢复特征维度，输出经注意力增强后的特征图像。感受域模块结构如图6所示，输入特征图像首先经过1x1卷积层，而后并行的经过五个不同卷积支路，并在尾端进行特征融合和卷积层运算，以实现特征融合过程，输出融合特征图像。其中，从左到右，支路1为1个1x1卷积运层和1个空洞率1的3x3卷积层；支路2为1个1x1卷积层、1个1x3卷积层和1个空洞率3的3x3卷积层；支路3为1个1x1卷积层、1个3x1卷积层和1个空洞率3的3x3卷积层；支路4为1个1x1卷积层、1个3x3卷积层和1个空洞率5的3x3卷积层；支路5为残差支路不额外经过卷积层。预测头由1各全连接层构成。

步骤4：确定所述矿物图像轻量级目标检测模型的边界框回归损失L

Loss＝L

步骤5：通过训练后的矿物图像轻量级目标检测模型对矿物图像数中的测试集进行目标检测，完成矿物分选任务。

实施例

本实例采用中国安徽、宁夏地区煤田的无烟煤为矿物样本，并模拟实际矿物分选过程，添加了金属(metal)、纺织品(fabric)和塑料(plastic)三类非矿物样品。样品采用人工筛分选取13-50mm最终实验样品，并依照密度级划分为<1.8g/cm

表1各密度集矿物样本的质量百分比与灰分含量(单位：百分比)

表2各密度集矿物样本的显微组分分析(单位：百分比)

搭建如步骤1所述的矿物图像数据采集平台，实施例选取工业相机为4K彩色3CCD线阵相机(JAI 3CCD Datasheet_LT-400CL)，可实现在定速运转条件下样品图像的连续拍摄与存储，传送带转轴处嵌有内置传感器，能够将皮带机转速转化为数字信号，以用于工业相机自适应调节，实施例选取光源为线性灯带，长度为500毫米，照度均匀，色温为5800-7000k，皮带在拍摄过程中的表面亮度约为250klux，由于外部环境光的亮度仅为130lx，因此可以完全屏蔽环境光影响。实验中传送带转速为1m/s，采集煤料图像大小为4096×3000pixel，精度为0.098mm/pixel。使用矿物图像数据采集平台循环采集多批次矿物图像数据在矿物图像数据采集平台下共收集到3000张矿物图像，按照比例7:2:1划分训练集、验证集和测试集，各数据集数据量细节可见表3。

表3实施例矿物图像数据集(单位：张)

采用如步骤2所述的目标检测标注工具对矿物图像进行标注，获取矿物图像数据的标签，矿物图像的标注示意图如图7所示。

搭建如图3所示的矿物图像轻量级目标检测模型。其中，模型包含轻量化特征提取网络、基于注意力机制的路径聚合网络、感受域模块和预测头四部分。各部分结构及具体参数如步骤3所述。

确定边界框回归损失函数、置信度损失函数、分类损失函数和总损失函数。根据边界框回归损失函数、置信度损失函数、分类损失函数和总损失函数，使用矿物图像数据和矿物图像数据的标签对矿物图像轻量级目标检测模型进行训练。训练过程中，模型将自动进行损失值计算和损失值反馈，并自动调整权重。最终，根据训练是否达到预设轮次、损失值或学习率是否满足预设阈值终止模型训练，获取训练后的矿物图像轻量级目标检测模型。

实施例搭建了10种常见目标检测网络，用以进行检测性能对比试验，包括Yolo v3(Darknet 53)、Yolo v4(Darknet 53)、Yolo v5(small)、YoloX(Tiny)、EfficientDet(D0、D1和D2)、RetinaNet、FasterRCNN和CenterNet。实施例以mAP(mean Average Precision)来评价模型检测精度，以#Param.、GFLOPs和FPS(Frame Per Second)来评价模型体积、计算复杂度和推理速度。经相同环境训练后提出矿物图像轻量级目标检测模型和10种常见目标检测模型在无烟煤检测任务中的性能比较可见表4。实施例性能比较结果指出，提出的矿物图像轻量级目标检测模型的检测效果明显优于其他常见网络其mAP、mAP50、mAP75和mAP50:95指标分别达到80.64％、80.24％、53.72％和48.02％。。实施例模型体积、计算复杂度和推理速度对比结果指出，提出的矿物图像轻量级目标检测模型的模型体积、计算复杂度在10类模型中均相对较小，检测速度相对较快，证明了提出模型的检测性能。

表4提出矿物图像轻量级目标检测模型和10种常见目标检测模型在无烟煤检测任务中的性能比较(单位：mAP(百分比)、#Param.(百万)、GFLOPs(10亿次浮点数运算)、FPS(帧每秒))

为清晰展示提出矿物图像轻量级目标检测模型在矿物分选任务中的实际检测效果，实施例选取测试集中的图像进行实际检测效果示例，如图8所示。可视化结果指出提出矿物图像轻量级目标检测模的检测性能十分优秀。首先，预测框很好的包围了待检验目标物体轮廓，即网络能够够正确的检测出图像中各目标物体所在的位置，且定位误差较小。其次，该网络能够正确的判断各检测目标的类别，且对各检测物体都具有较高的置信度。同时，对于不同尺度的矿物颗粒，模型仍能进行有效的识别。此外，对于矿物颗粒间的粘连与重叠问题，检测结果表明，模型能够准确的识别个体目标，且不会将粘连的同类或非同类目标检测为一类。

综上所述，本发明提供了一种基于轻量级目标检测架构的矿物智能分选方法，能够适用于大多数矿物的分选任务。主要流程包括矿物图像数据采集平台搭建、矿物图像标注、矿物图像轻量级目标检测模型搭建与训练、训练后矿物图像轻量级目标检测模型的检测应用等步骤。检测性能对比及可视化分析结果指出，提出方法有着较高的精确度、较小的模型体积、较低的计算复杂度和较快的检测速度，能够准确地定位出矿物样品的位置，并识别出矿物样品的类型，且对不同尺度的矿物样品和粘连重叠的矿物样品都有着十分优秀的检测能力，进而证明了提出方法的有效性。

应当理解的是，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。