基于可见光和X射线图像融合的矿石智能分选设备及方法

技术领域

本发明涉及图像融合技术，具体提供一种基于可见光和X射线图像融合的矿石智能分选设备及方法，用于改进现有矿石智能分选设备对可见光和X射线图像数据利用不充分的问题，结合两种模态图像的特征信息，对不同品位的矿石进行智能识别和分选，提升分选效果。

背景技术

目前，已有一些基于图像识别技术的矿石智能分选方法及设备被公开或实施，例如：一种多光谱融合的物料识别系统、智能分选设备及分选方法(专利号:CN111957600A，多光谱融合的物料识别系统、智能分选设备及分选方法)：该系统采用两种以上的单一的光谱检测方案提取光谱特征值后，融合成特征向量，并利用基于深度学习的模型进行智能识别。该系统可以提高检测结果的准确度，但也增加了系统的复杂度和成本，而且不同光谱之间可能存在干扰和不匹配的问题，影响了融合效果和识别精度。

一种基于双X光源的物料识别系统、识别方法及智能分选设备(专利号:CN111871863A，基于双X光源的物料识别系统、识别方法及智能分选设备)：该系统将同一个待识别物经过两个不同的X光源照射后采集到的两个数据进行匹配，消除待识别物厚度带来的信号差异。该系统可以提高矿石识别精度，但也增加了系统的体积和重量，而且两个X光源之间可能存在相互干扰和不同步的问题，影响了数据的匹配和处理。

一种基于双能X射线矿石智能分选设备和方法(专利号:CN113019955A，基于双能X射线矿石智能分选设备和方法)：该系统通过图像采集获取好料和废料图片作为深度学习模型训练样本集，对采集的矿石样本图像进行处理，找到目标区域并进行分割后，将小目标图像送入训练好的分类模型中，对比识别为好料和废料的置信度，根据多分类信息融合后的类别，确定物料种类。该系统可以提高矿石分选效率，但也增加了系统的能耗和辐射风险，而且双能X射线之间可能存在能量损失和不稳定的问题，影响了信号的质量和分辨率。

一种双光谱融合智能选矿系统(专利号:CN113976480A，一种双光谱融合智能选矿系统)：该系统能够有效地解决将X射线检测与色选检测装置有效地结合的问题，以及色选检测装置用于选矿时易被粉尘污染的问题。该系统可以极大程度地提高了光学检测元件的寿命、提高了检测的准确度，但也增加了系统的结构和维护难度，而且X射线透射检测部和色选检测部之间可能存在时间延迟和不一致的问题，影响了数据的同步和融合。

发明内容

对于现有的矿石智能分选设备，其使用不同的成像源对目标矿石进行成像采集，但是不同图像数据之间所包含的同一目标矿石特征有很大差别，现有设备没有充分利用到多数据源采集到的数据，本发明的目的是提供一种基于可见光和X射线图像融合的矿石智能分选方法，该方法及设备可以结合利用可见光RGB图像和X射线图像这两种属于不同模态图像的特征信息，克服单一图像源的特征信息不足导致对矿石的误判或者漏判问题，提升对不同品位的矿石智能识别和分选效果。背景技术所提到的方法尚未对不同模态的数据的结合进行有效的处理，该方法及设备可以有效地解决上述背景技术中存在的缺点，能提高工厂现有设备的矿石分选精度和效率。

本发明通过利用多个不同来源的图像，如RGB彩色高清图片和X射线衍射图，提取和整合两种不同模态图片的有用信息，生成一个更加清晰、完整、可靠的新图像，以便于下游图像识别程序进行分析和处理，对不同品位的矿石进行实时的分类判别，并控制执行机构对其进行喷吹分选，从而提高所需矿石的品位和利用率，降低矿石分选工业的生产成本和环境污染。图像融合技术的措施一般包含以下几个步骤：选择合适的图像融合方法，对源图像进行预处理，对源图像进行特征提取，对特征进行融合，对融合结果进行后处理。

本发明能够有效利用可见光和X射线图像数据，提升矿石分选精度和效率。

具体技术方案为：

基于可见光和X射线图像融合的矿石智能分选设备，该设备包括以下组成部分：

CCD彩色线扫相机，用于采集待分选矿石的可见光图像数据，并将其发送给识别主机(工控机)。CCD彩色线扫相机设置在运输传送带上方，沿着运输带的运动方向扫描矿石表面。

X射线发射器和X射线线阵扫描相机，在示意图中用X射线成像采集表示，用于采集待分选矿石的X射线图像数据，并将其发送给识别主机。X射线发射器和X射线线阵扫描相机相对应设置在运输带下方和上方，对准运输带上的矿石，形成X射线透射通道。

识别主机，用于接收并处理两种图像数据，进行图像配准、仿射变换、边缘检测、图像融合、分类判别等操作，并输出判别结果和控制信号。识别主机中的应用程序包括图像处理模块、深度学习模块和控制模块等。

电磁气阀，用于接收识别主机的控制信号，并控制分选气缸和喷嘴的动作。用于对不同品位的矿石进行喷吹分选，喷嘴对准运输带抛过来的矿石。

基于可见光和X射线图像融合的矿石智能分选方法，采用上述设备，工作原理和流程如下：

S1.当传送皮带上的矿石经过CCD彩色线扫相机和X射线线阵扫描相机时，CCD彩色线扫相机和X射线线阵扫描相机分别采集矿石的可见光图像数据和X射线图像数据，并将其发送给识别主机(工控机)。

S2.识别主机(工控机)接收两种图像数据，并通过图像处理模块对其进行图像配准和仿射变换，使之对齐。然后，对可见光图像数据进行边缘检测，提取边缘信息，确定框选出目标矿石的可见光图像数据和X射线图像。接着，将对齐配准后两种图像先后输入到编码器中进行特征提取，将生成的特征图采用L1-norm+average或addition策略融合，融合后的特征图经解码器重建后得到融合图像。

S3.融合后的图像输入到后续的神经网络分类模型，进行特征提取和分类判别，输出每个矿石的类别和置信度，并根据预先设定的分类标准和阈值，将矿石分为高品位、中品位、低品位等多种类别，然后图像处理模块将判别结果和控制信号发送给控制模块，该步骤通过设置在识别主机中的深度学习模块来实现。

S4.控制模块根据判别结果和运输带的速度，计算出每个矿石到达分选位置的时间，并发送信号给电磁阀，控制分选气缸和喷嘴的动作，对不同品位的矿石进行喷吹分选。喷吹分选后，高品位、低品位的矿石分别落入不同的收集箱中，完成分选过程。喷吹分选是指一种物理分选方法，利用高压风对运动中的矿石进行喷吹击打，使其改变运动轨迹，从而实现不同品位的矿石的分离。该步骤通过设置在识别主机中的控制模块来实现。

其中，S2中，基于深度学习的可见光和X射线图像融合方法，包括如下步骤：

步骤一：采集目标矿石的RGB图像与对应的X射线图像，并制作数据集

采集待分选矿石的可见光图像数据和X射线图像数据。该步骤通过设置在运输带上方的CCD彩色线扫相机和X射线线阵扫描相机(其对应在运输带下方配有X射线发射器)来实现。CCD彩色线扫相机可以获取矿石表面颜色、纹理等特征信息；X射线线阵扫描相机可以获取矿石内部密度、成分等特征信息。两种图像数据的采集速度应保持一致，并确定装置上两台采集相机之间的距离、皮带机运转速度、采集发送数据速率之间的关系，实现某一时刻对同一目标对象的配准，为后续进行两种图像的对齐和融合提供基础。

对两种图像数据进行图像配准和仿射变换，使之对齐。该步骤通过设置在识别主机中的图像处理模块来实现。图像处理模块可以根据人工选择的特征点对或自动检测到的特征点对，计算出两种图像数据之间的变换参数，因RGB图像中矿石的图像轮廓特征比X射线图像数据更清晰明确，为了有益于配准以及后续的融合，对X射线图像数据进行空间几何变换，以可见光图像数据为基准在同一坐标系下对应。交互式配准是指通过人工选择两种图像中相同或相似的特征点，如矿石的边缘、角点、纹理等，作为配准点对，然后利用最小二乘法或其他优化算法，求解出两种图像之间的变换参数，如平移、旋转、缩放等。仿射变换是指一种保持平行关系不变的线性变换，可以用一个3×3的矩阵表示。

其中，(x,y)是可见光图像中的一个点坐标，(x',y')是X射线图像中与之对应的点坐标，a,b,c,d,e,f是变换参数。通过求解上述方程组，可以得到变换参数，并对X射线图像进行仿射变换，使之与可见光图像对齐。

对可见光图像数据进行边缘检测，提取边缘信息。该步骤通过设置在识别主机中的图像处理模块来实现。图像处理模块可以根据可见光图像数据的灰度梯度或者其他特征，检测出矿石的边缘位置和形状，并将边缘信息保存为二值图像。边缘检测是指一种图像处理技术，可以用于提取图像中的边缘，即图像中灰度或颜色发生明显变化的地方。边缘检测的常用算法有Sobel算子、Canny算子、Laplacian算子等。边缘检测的结果可以用于图像分割、特征提取、目标识别等。对每一个确定好可见光图像目标矿石进行一定范围的框选裁剪，并在X射线图像上进行对应的操作，以此得到对齐的两幅图像，便于后续卷积网络对齐进行融合。

步骤二：数据集预处理

将收集的图像数据变换成合适的大小，并将矿石数据集图像中每一个矿石的RGB图像和对应的X射线图像对应好，以便于后续步骤处理。

步骤三：模型训练

使用大数据集对编码器和解码器进行预训练，保存预训练模型的参数，使用步骤二中制作的矿石数据集对编码器和解码器进行微调，得到更适应于矿石数据的编码器和解码器。其中，用于训练过程的卷积神经网络模型包含编码器和解码器，不包含融合层。编码器部分采用双卷积核结构设计的卷积层，使得模型轻量化，在不降低融合精度的同时提升模型融合效率。

步骤四：融合策略设计

设计融合层的融合策略，采用L1-norm+average和addition两种策略，对编码器提取到的可见光以及X射线特征进行融合。融合特征可以同时包含矿石的表面和内部特征信息，以及边缘信息。

步骤五：模型融合可见光图像和X射线图像

使用训练好的模型对可见光图像和X射线图像输入图像进行融合，输出融合结果。

本发明由于采用了可见光和X射线图像融合的方法及智能分选设备，取得了以下进步和效果：

本发明采集矿石的可见光和X射线图像数据并对齐配准作为训练数据集；将训练数据集对编码器中，对编码器和解码器进行预训练，经一定训练轮次后，将模型参数保存下来，使用矿石数据集对编码器和解码器进行微调，得到训练好的编解码器网络。

本发明的融合模型中的编码器结构中采用独特的双卷积核设计，用于对融合网络进行轻量化，在保证融合效果的同时提高融合速度，以应用于实时分选。

本发明的融合模型中的融合层的融合策略采用L1-norm+average和addition两种策略，根据不同目标矿石所需要的判别识别效果进行调整，实现两种图像数据的有效融合，保留了图像中的有用信息，降低了图像中的噪声和伪影，以便于后续识别模型进行分类。

能够同时利用矿石的表面和内部特征信息，以及边缘信息，提高了图像识别的准确度和鲁棒性，进而提高了分选效率和质量。

能够节省系统的复杂度、成本、能耗，提高了系统的分选效果，从而提升环境效益。

附图说明

图1是本发明涉及的基于可见光和X射线图像融合的矿石智能分选设备的结构示意图。该示意图展示了设备的主要组成部分及其相互连接关系。

图2是本发明涉及的基于可见光和X射线图像融合的矿石智能分选方法的流程图。该流程图展示了方法的主要步骤及其执行顺序。

图3是本发明涉及的深度学习模型结构图。该图展示了深度学习模型的结构以及相关参数。

图4是本发明模型训练过程的结构图。该图说明模型内部详细结构以及参数，损失计算过程。

图5是本发明模型中双卷积核结构块DualC1内部结构图，该图说明DualC1内部详细结构以及参数。

图6是本发明模型中双卷积核结构块DualC2内部结构图，该图说明DualC2内部详细结构以及参数。

图7是本发明模型融合可见光图像和X射线图像的结果示意图，该图展示了一次使用模型融合可见光图像和X射线图像并生成融合结果的过程。

具体的实施方式

结合实施例说明本发明的具体技术方案。

实施例一：基于可见光和X射线图像融合的矿石智能分选装置及方法

如图1所示，基于可见光和X射线图像融合的矿石智能分选设备，该设备包括以下组成部分：

CCD彩色线扫相机，用于采集待分选矿石的可见光图像数据，并将其发送给识别主机(工控机)。CCD彩色线扫相机设置在运输传送带上方，沿着运输带的运动方向扫描矿石表面。

X射线发射器和X射线线阵扫描相机，在示意图中用X射线成像采集表示，用于采集待分选矿石的X射线图像数据，并将其发送给识别主机。X射线发射器和X射线线阵扫描相机相对应设置在运输带下方和上方，对准运输带上的矿石，形成X射线透射通道。

识别主机，用于接收并处理两种图像数据，进行图像配准、仿射变换、边缘检测、图像融合、分类判别等操作，并输出判别结果和控制信号。识别主机中的应用程序包括图像处理模块、深度学习模块和控制模块等。

电磁气阀，用于接收识别主机的控制信号，并控制分选气缸和喷嘴的动作。用于对不同品位的矿石进行喷吹分选，喷嘴对准运输带抛过来的矿石。

如图2所示，采用所述的基于可见光和X射线图像融合的矿石智能分选设备，矿石智能分选方法，包括以下步骤：

S1.当传送皮带上的矿石经过CCD彩色线扫相机和X射线线阵扫描相机时，CCD彩色线扫相机和X射线线阵扫描相机分别采集矿石的可见光图像数据和X射线图像数据，并将其发送给识别主机即工控机；

S2.识别主机即工控机接收两种图像数据，并通过图像处理模块对其进行图像配准和仿射变换，使之对齐。然后，对可见光图像数据进行边缘检测，提取边缘信息，确定框选出目标矿石的可见光图像数据和X射线图像。接着，将对齐配准后两种图像先后输入到编码器中进行特征提取，将生成的特征图采用L1-norm+average或addition策略融合，融合后的特征图经解码器重建后得到融合图像。

S3.融合后的图像输入到后续的神经网络分类模型，进行特征提取和分类判别，输出每个矿石的类别和置信度，并根据预先设定的分类标准和阈值，将矿石分为高品位、中品位、低品位多种类别，然后图像处理模块将判别结果和控制信号发送给控制模块，该步骤通过设置在识别主机中的深度学习模块来实现。

S4.控制模块根据判别结果和运输带的速度，计算出每个矿石到达分选位置的时间，并发送信号给电磁阀，控制分选气缸和喷嘴的动作，对不同品位的矿石进行喷吹分选。喷吹分选后，高品位、低品位的矿石分别落入不同的收集箱中，完成分选过程。

实施例二：基于深度学习的可见光和X射线图像融合方法

如图3、图4、图5、图6所示，本发明基于深度学习的可见光和X射线图像融合方法包括如下步骤：

步骤一：收集目标矿石的RGB图像与对应的X射线图像作为数据集

为了训练卷积神经网络，首先需要收集一些目标矿石的RGB图像，以及对应的X射线图像作为数据集。本实施方式中，收集了包含一些不同种类的待分选矿石的图像数据，对于每个目标矿石都含有对应的X射线图像(分为高能，低能)和RGB图像，一起组成包含数百张图像的小数据集。由于数据集样本较少，补充使用MS-COCO数据集中的可见光图像来帮助预训练模型，其中包含80000张图像。

步骤二：数据集预处理

将收集到的矿石图像以及MS-COCO数据集的图像Resize成256*256的大小，作为网络的输入，并且将矿石数据集图像中每一个矿石的RGB图像和对应的X射线图像对应好，以便于后续处理。

步骤三：模型训练

首先使用MS-COCO数据集对编码器和解码器进行预训练，预训练达到100个epoch后，保存预训练模型的参数，使用矿石数据集对编码器和解码器进行微调，得到更适应于矿石数据的编码器和解码器。

用于训练的卷积神经网络模型包含编码器和解码器，编码器由一个卷积块C1和两个双卷积核结构的卷积块DualC1和DualC2组成，用于提取图像特征，如图4所示。由于单个矿石的粒径大小由设备拍摄所得到的图像尺寸较小，在C1中使用3*3的卷积核能够便于提取细节特征，实现较好的特征抽取效果，且对于在一定范围内变动的尺寸大小的输入图像能够灵活处理。为了和双卷积核结构输入通道数对应，设定输出通道数为8。对于DualC1卷积层，使用3*3和1*1大小的双卷积核结构，输入通道数为8，输出通道数为16，具体结构如图5所示，对于输入通道数M，输出通道数N，分组数G，在输出通道的维度方向上，将卷积块中的每N/G的卷积核分为一组，对于每个小组内部的结构，在输入通道的维度方向上，把M/G个卷积核作为3*3与1*1的复合卷积核，剩下的M-M/G个卷积核则为1*1的卷积核，对于每个N/G的小组，复合结构依次进行一定的改动，使得复合卷积核能应对于所有输入通道的数据，采用这样的结构能够大大的减少采用常规的3*3大小卷积核的卷积层的参数量，以实现网络的轻量化，并且复合的结构能够良好的处理每个输入通道的信息，使用1*1的卷积核还能够良好的保留一些原始的特征信息，使得整个模型在提升运行效率的同时不降低精度。后续的DualC2卷积层，同DualC1的双卷积核结构，输入通道数为16，输出通道数为32，具体结构如图6所示。解码器由三个卷积块C2，C3，C4组成，用于图像重建，解码器结构上与编码器相对称，C2由3*3大小的卷积核构成，输入通道数和输出通道数都为32，C3由3*3大小的卷积核构成，输入通道数32，输出通道数为16，C4由3*3大小的卷积核构成，输入通道数16，输出通道数为3。其中编码器和解码器的每个卷积块均由卷积层，激活函数和批量归一化层构成，激活函数采用Sigmoid函数，Relu函数，Tanh函数，Softmax函数或Leaky Relu函数。以采用Relu激活函数为例，其公式为:f(x)＝max(0,x)它可以有效地引入非线性，并且计算效率高。

对于指导网络训练的损失函数L由基于结构相似性损失的Lssim损失(Lssim)和像素损失(Lp)两部分组成，为了调整损失函数的性能，设定Lssim损失函数的权重为λ，损失函数L的计算公式为：L＝λLssim+Lp

像素损失函数的计算公式为：Lp＝||O-I||，其中O和I分别指示输出和输入图像，它是输出O和输入I之间的欧氏距离。

设x和y分别为原始图像和网络生成图像，结构相似性指数SSIM的计算公式如下:

SSIM(x,y)＝(2μxμy+C1)(2σxy+C2)/(μx^2+μy^2+C1)(σx^2+σy^2+C2)

其中，μx、μy为x、y的均值，σx、σy为x、y的方差，σxy为x、y的协方差，C1、C2为常数。网络训练目标是最大化SSIM，因此最小化Lssim损失函数为：

Lssim＝1-SSIM(O,I)

其中，SSIM(·)表示结构相似性运算，为两个图像的结构相似性。由于在训练阶段像素损失和SSIM损失之间存在三个数量级的差异，因此λ分别被设置为1、10、100和1000。训练阶段的目标是训练一个具有较好特征提取和重构能力的自动编码器网络(编码器、解码器)。

如图4所示，训练模型阶段，网络只包含编码器和解码器，不包含融合策略，对于输入图，经过编解码网络输出一张生成图，卷积核初始化权重参数的实现方式包括随机初始化、高斯初始化等。

对于模型微调阶段，训练的初始化学习率及训练次数可根据网络的收敛情况判定调节，本实施例中，学习率初始化为1*10-4，批大小为2，epoch设为10。网络模型训练模块的网络参数更新的实现方式为：随机梯度下降算法(SGD算法)、Adam算法等；训练过程中，可根据网络的收敛情况和生成结果不断调节学习率、权重、网络层数等其中的一种或多种。

步骤四：融合策略设计

如图3所示，在编码器和解码器之间加入特征融合模块，用于融合经编码器提取的X射线图像和RGB图像的特征。融合模块包含L1-norm+average和addition两种策略。

L1-norm+average策略：

a.计算两个特征图在通道维度上的L1距离，得到距离图D

b.对D进行Softmax操作，得到权重图W

c.利用W对两个特征图进行加权平均，得到融合特征F

设X射线特征为Fx，RGB特征为Fr，则有以下公式:

D＝||Fx-Fr||

W＝softmax(D)＝exp(D)/sum(exp(D))

F＝W*Fx+(1-W)*Fr

Addition策略:

直接在通道维度上将两个特征图相加，即:

F＝Fx+Fr

策略设计动机:L1-norm+average策略通过学习特征之间的关系生成融合特征，L1-norm融合有助于突出特征的显著性，而平均操作则促使融合后的特征更平衡。addition策略通过简单地将X射线图像的特征和RGB图像的特征进行逐元素相加，实现了特征的线性融合，以简单的方式利用两种不同类型图像的信息，实现高层次的特征表达。两者各有优势，具体采用哪一种融合策略根据实际需要进行选择。

步骤五：模型融合可见光图像和X射线图像

如图3、图7所示，将准备好的矿石数据集中的X射线图像由单通道经过1*1的卷积核扩充到3通道，并与已经对齐的可见光图像输入到训练好的模型中，再根据情况选用某种融合策略，对经过编码器输出的特征图进行融合，融合后的特征图输入到解码器得到融合结果。