一种基于深浅层特征融合的浮选过程工况识别方法

技术领域

本申请涉及泡沫浮选技术领域，具体公开了一种基于深浅层特征融合的浮选过程工况识别方法。

背景技术

泡沫浮选是矿物富集的主要工艺，其通过给浮选槽内通入空气，在浮选机叶轮的搅拌与切割下生成大量的气泡，疏水性强的有价矿物单质粘附于气泡上并上浮形成泡沫层，并通过溢流得到高品位的精矿产品。观察泡沫形态，颜色、纹理和尺寸等浅层特征来对浮选过程工况进行识别，进而调节空气鼓入量等操作参数是过程优化控制的主要途径。但提取的纹理、尺寸等浅层特征不一定能完全准确描述浮选过程的运行状态，制约优化控制效果。因此，有效提升浮选过程的工况识别性能势在必行；

随着深度学习技术的不断发展，可基于深度学习网络对复杂工业过程进行深层特征提取，并用于过程工况识别，取得了很好的应用效果。因此，浅层特征、深层特征是复杂工业过程工况识别的两类主要特征。在示例[1]中，研究人员设计了基于浅层特征的浮选过程工况识别方法，其核心算法为最小二乘支持向量机(least square support vectormachine)，属于经典的机器学习方法。具体而言，研究人员针对浮选过程工况识别问题，首先，基于颜色值、概率密度函数、非参数核密度估计等分析方法提取了泡沫纹理、尺寸等浅层特征。在此基础上，建立了稀疏多核最小二乘支持向量机的分类模型，从而实现工况识别；

示例[1]：Mingfang He,Chunhua Yang,Xiaoli Wang,et al.Nonparametricdensity estimation of froth colour texture distribution for monitoringsulphur flotation process[J].Minerals Engineering,2023,53:203-212.

目前存在的问题：示例[1]所给出的估计方法存在一定的局限性。方法泡沫纹理、尺寸特征提取方法都是基于一些常规的统计量对纹理和尺寸进行描述，难以完整准确地表征各工况下泡沫图像的局部差异。另外，提取的浮选泡沫图像浅层特征不够细致全面，且具有较多的冗余信息和噪声信息。因此，对浅层特征进行更精细化的提取处理，同时将其和深层特征进行融合对提高工况识别性能至关重要。

总的来说，浅层特征较直观的反映了浮选泡沫图像的表观特征，但不一定能捕获模型需要的所有相关信息，并且还会包含过多的冗余信息和噪声信息，导致识别准确率低。另外，对于一些较复杂且表观相似的工况，浅层特征缺乏足够的细节信息来对工况进行区分，而深度神经网络可以自动地提取预测模型所需要的特征作为预测因子来对工况进行识别，与浅层特征相比，深度神经网络提取的深层特征具备更多的细节信息。因此，同时考虑浅层特征和深层特征是非常重要的。这两类特征的融合能提高描述的全面性和准确性，弥补基于单一浅层特征进行工况识别的不足。

发明内容

本发明提供一种基于深浅层特征融合的浮选过程工况识别方法，解决现有方法只提取浅层特征进行工况识别的限制，此发明能够包含更多的工况细节信息和更深层次的表征工况变化的信息，更准确地表征各工况下泡沫图像的局部差异，消除浅层特征冗余和噪声信息，从而提高浮选过程工况识别的精度。

为了达到上述目的，本发明提供以下基础方案：

一种基于深浅层特征融合的浮选过程工况识别方法，该方法依据浮选泡沫图像的表观特征与浮选工况、硫精矿品位的关联性，提出了将深浅层特征融合后送入密集连接网络决策树分类模型进行分类的浮选工况识别方法。首先，在得到浮选泡沫图像的颜色纹理和尺寸分布的基础上，利用改进的非参数核密度估计方法来对泡沫的颜色纹理分布和尺寸分布进行逼近，提取唯一变动的权系数向量，用来表征浮选泡沫图像的颜色纹理特征和尺寸特征。然后，基于密集连接网络和迁移学习的深层特征提取方法，通过实现密集连接网络模型的迁移学习有效地提取了浮选泡沫图像的深层特征。在此基础上，提出了基于串行连接堆叠自编码器的二阶段多特征融合方法对泡沫图像的颜色纹理特征，尺寸特征和深层特征进行深浅层融合降维，全面地描述特征信息，消除特征冗余和噪声信息。然后将融合后的特征送入密集连接网络决策树模型进行工况识别。

本基础方案的原理及效果在于：

1.与现有技术相比，针对现有的泡沫纹理、尺寸特征提取方法都是基于一些常规的统计量对纹理和尺寸进行描述，难以完整准确地表征各工况下泡沫图像的局部差异的问题，在得到浮选泡沫图像的颜色纹理和尺寸分布的基础上，利用改进的非参数核密度估计方法来对泡沫的颜色纹理分布和尺寸分布进行逼近，提取唯一变动的权系数向量，用来表征浮选泡沫图像的颜色纹理特征和尺寸特征。

2.与现有技术相比，针对提取的浮选泡沫图像特征不够细致全面的问题，提出基于密集连接网络和迁移学习的深层特征提取方法，通过实现密集连接网络模型的迁移学习有效地提取了浮选泡沫图像的深层特征。

3.与现有技术相比，针对提取的浮选泡沫图像特征具有较多的冗余信息和噪声信息的问题，提出了基于串行连接堆叠自编码器的二阶段多特征融合方法对泡沫图像的颜色纹理特征，尺寸特征和深层特征进行深浅层融合降维，全面地描述了特征信息，消除了特征冗余和噪声信息。然后将融合后的特征送入基于密集连接网络决策树的分类模型进行工况识别，有效地提升了工况识别的准确率。

进一步，在步骤S01中的颜色特征提取，把浮选现场采集到的泡沫图像根据式(1)从RGB空间转换到HSV空间；

式(1)：

其中，R、G、B分别指代表红、绿、蓝三个通道的颜色，H、S、V分别指色彩、深浅、明暗三个直观颜色特性。

进一步，在步骤S01中的纹理特征提取，定义纹理单元TU＝(E

定义N

假设浮选动态系统的输入为u(t)∈R

其中，u(t)是控制输入，即浮选过程中的矿浆底流流量调节值，反映在泡沫层厚度的变化上；x(t)是浮选泡沫图像的实际纹理单元数；f

通过式(5)可估计实际纹理单元分布：

其中，

进一步，关于颜色纹理特征提取，将摄像机采集的RGB泡沫图像按照式(1)转换到HSV颜色空间，获得了泡沫图像中每个像素点的色调H、饱和度S以及亮度V三个分量。然后对HSV空间进行非等间隔量化，H、S、V分别被量化为34级(0-33)、10级(0-9)、7级(0-6)。然后，通过式(6)构建一个新的颜色变量：

C＝6H+5S+2V (6)

其中，C的取值范围为[0,255]。并基于式(5)获得泡沫图像颜色纹理分布。

进一步，关于尺寸分布特性提取：先将工业现场采集的泡沫图像转换为灰度图像；在灰度图像的基础上，分别进行形态学腐蚀和膨胀操作；以膨胀后的图像作为标记，对图像进行形态学闭重构操作；在对图像进行平滑处理以后，再结合不同精度下的距离变换及分水岭分割算法对图像进行分割。根据数理统计原理，对分割后每个区域的尺寸大小进行统计，利用每个区域的尺寸大小值的数量来描述尺寸分布。

进一步，在步骤S02中，具体如下：首先将泡沫图像的大小调整为512×512，然后对其进行中心裁剪操作，得到泡沫的尺寸为224×224，最后将图像进行归一化处理。接着就是将预处理完的图像数据按每批次32张样本图像随机送入预训练的DenseNet121模型进行训练，提取浮选泡沫图像的深层特征。通过记录全连接层的节点输出，得到了三个特征向量，维度分别为1×1000、1×512和1×4，这些特征将会用于后续工况识别的判别，通过将所得特征用于分类器模型对工况进行分类，当把1×512维的特征向量用于分类器进行工况识别时，得到的识别准确率最高，说明此时特征所包含的信息更能反映浮选过程的工况信息，因此将维度维1×512的特征向量作为浮选泡沫图像的深层特征。

进一步，基于串行连接-堆叠自编码器的二阶段多特征融合：将颜色纹理、尺寸等浅层特征进行融合，然后再将融合后的浅层特征与深层特征进行融合，首先将各单一特征向量进行串行连接得到具有更多图像信息的高维特征向量，然后通过堆叠自编码器将含有大量信息冗余和噪声的高维特征数据进行降维，用低维的向量表示原始数据，去除变量之间的相关性和冗余信息，通过串行连接、堆叠自编码器二阶段多特征融合方法对特征进行融合降维。

进一步，工况识别：基于密集连接网络决策树的工况识别的核心在于构建特定损失函数最小的决策树，考虑由N个样本组成的训练集D，D＝{(x

训练决策树的关键在于如何选择最优划分属性。采用信息熵来划分属性，假定当前样本集合D中第K类样本所占的比例为P

其中Ent(D)的值越小，则D的纯度越高。

信息增益直接以信息熵为基础，计算当前划分对信息熵所造成的变化。以属性a对样本集D进行划分所获得的信息增益如式(18)所示：

其中，离散属性a的取值为{a

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提出的一种基于深浅层特征融合的浮选过程工况识别方法的工况识别过程图；

图2示出了本申请实施例提出的一种基于深浅层特征融合的浮选过程工况识别方法的特征向量串行连接融合过程图；

图3示出了本申请实施例提出的一种基于深浅层特征融合的浮选过程工况识别方法的基于串行连接-堆叠自编码器的二阶段特征融合过程；

图4出了本申请实施例提出的一种基于深浅层特征融合的浮选过程工况识别方法的硫浮选工艺流程图；

图5出了本申请实施例提出的一种基于深浅层特征融合的浮选过程工况识别方法的硫浮选图像采集系统示意图。

具体实施方式

为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如后。

实施例如图1、图2、图3、图4和图5所示：

一种基于深浅层特征融合的浮选过程工况识别方法，步骤1：基于改进非参数核密度估计的浅层特征提取。

颜色特征提取：

把浮选现场采集到的泡沫图像根据式(1)从RGB空间转换到HSV空间。

其中，R、G、B分别指代表红、绿、蓝三个通道的颜色，H、S、V分别指色彩、深浅、明暗三个直观颜色特性。

纹理特征提取：

定义纹理单元TU＝(E

定义N

假设浮选动态系统的输入为u(t)∈R

其中，u(t)是控制输入，即浮选过程中的矿浆底流流量调节值，反映在泡沫层厚度的变化上；x(t)是浮选泡沫图像的实际纹理单元数；f

通过式(5)可估计实际纹理单元分布：

其中，

颜色纹理特征提取：

将摄像机采集的RGB泡沫图像按照式(1)转换到HSV颜色空间，获得了泡沫图像中每个像素点的色调H、饱和度S以及亮度V三个分量。然后对HSV空间进行非等间隔量化，H、S、V分别被量化为34级(0-33)、10级(0-9)、7级(0-6)。然后，通过式(6)构建一个新的颜色变量：

C＝6H+5S+2V(6)

其中，C的取值范围为[0,255]。并基于式(5)获得泡沫图像颜色纹理分布。

尺寸分布特性提取：

首先将工业现场采集的泡沫图像转换为灰度图像；在灰度图像的基础上，分别进行形态学腐蚀和膨胀操作；以膨胀后的图像作为标记，对图像进行形态学闭重构操作；在对图像进行平滑处理以后，再结合不同精度下的距离变换及分水岭分割算法对图像进行分割。根据数理统计原理，对分割后每个区域的尺寸大小进行统计，利用每个区域的尺寸大小值的数量来描述尺寸分布。

步骤2：基于密集连接网络和迁移学习的深层特征提取。

首先将泡沫图像的大小调整为512×512，然后对其进行中心裁剪操作，得到泡沫的尺寸为224×224，最后将图像进行归一化处理。接着就是将预处理完的图像数据按每批次32张样本图像随机送入预训练的DenseNet121模型进行训练，提取浮选泡沫图像的深层特征。通过记录全连接层的节点输出，得到了三个特征向量，维度分别为1×1000、1×512和1×4，这些特征将会用于后续工况识别的判别，通过将所得特征用于分类器模型对工况进行分类，当把1×512维的特征向量用于分类器进行工况识别时，得到的识别准确率最高，说明此时特征所包含的信息更能反映浮选过程的工况信息，因此将维度维1×512的特征向量作为浮选泡沫图像的深层特征。

步骤3：基于密集连接网络决策树的工况识别。

基于串行连接-堆叠自编码器的二阶段多特征融合：

将颜色纹理、尺寸等浅层特征进行融合，然后再将融合后的浅层特征与深层特征进行融合，首先将各单一特征向量进行串行连接得到具有更多图像信息的高维特征向量，然后通过堆叠自编码器将含有大量信息冗余和噪声的高维特征数据进行降维，尽可能保留有用信息，用低维的向量表示原始数据，去除变量之间的相关性和冗余信息，通过串行连接、堆叠自编码器二阶段多特征融合方法对特征进行融合降维。

其中，在串行连接中，假设有两个特征向量T

T

T

T＝[T

将特征向量进行串行连接融合过程如附图2所示，融合前两个特征向量的维度分别为p、q，融合完以后得到的特征向量维度为p+q。

在二阶段融合中，第一阶段，对颜色纹理和尺寸等浅层特征的融合。首先，将颜色纹理特征和尺寸特征进行串行连接融合，得到具有更多有用信息的特征；然后，使用堆叠自编码器对融合后的特征进行降维，得到具有更少冗余和噪声信息、更加抽象的高级特征。第二阶段，对融合后的浅层特征与深层特征进行融合。首先，将融合后的浅层特征与深层特征进行串行连接融合；然后，使用堆叠自编码器对融合后的特征进行降维，得到最终用于工况识别的特征数据。基于串行连接-堆叠自编码器的多特征融合过程如图3所示。

假设颜色纹理特征、尺寸特征与深层特征向量分别由式(10)、(11)和(12)表示：

T

T

T

(1)浅层特征融合

首先将颜色纹理和尺寸特征进行串行连接融合，得到浅层融合特征，由式(13)给出：

T

其中T

然后将融合特征T

T

其中T

(2)浅层特征与深层特征融合

将融合完以后的浅层特征与深层特征进行串行连接融合，得到最终用于分类器分类的特征，如式(15)：

T

其中T

然后将融合特征T

T

其中T

工况识别：

基于密集连接网络决策树的工况识别的核心在于构建特定损失函数最小的决策树。考虑由N个样本组成的训练集D，

D＝{(x

训练决策树的关键在于如何选择最优划分属性。本发明采用信息熵来划分属性。假定当前样本集合D中第K类样本所占的比例为P

其中Ent(D)的值越小，则D的纯度越高。

信息增益直接以信息熵为基础，计算当前划分对信息熵所造成的变化。以属性a对样本集D进行划分所获得的信息增益如式(18)所示：

其中，离散属性a的取值为{a

实例1：以某冶炼厂硫浮选过程为例测试工况识别方法，改过程的工艺流程图如附图4所示，图像采集系统如附图5所示。系统主要由摄像机、光纤、光源和计算机组成。由于最终硫精矿品位主要取决于二次精选槽的状态，因此将摄像头安装在二次精选槽上方，摄像头为RGB相机，分辨率为1280×960，35mm镜头，摄像机垂直安装在目标单元泡沫表面上方96.5cm处，以15帧/秒的速度在线捕捉窗口大小为24.26×18.2cm2的泡沫图像。

摄像机拍摄得到的是硫浮选泡沫视频图像，泡沫视频不能作为工况识别的输入，因此我们采用截取视频中关键帧的方式制作泡沫图像数据集。首先获取每个视频的关键帧图像，然后通过人工经验观察泡沫图像的表观特征对截取的关键帧进行一个分类，最终得到包括四类具有不同性能的泡沫图像，共750张硫浮选泡沫图像(包括30张工况1图像、300张工况2图像、190张工况3图像和230张工况4图像)，我们按照8:2的比例将750张泡沫图像分为了训练集和测试集，其中训练集600张，测试集150张。

为了量化本发明和其他方法的性能，使用了准确率、精确率、回召率和F1分数四个评估指标。

准确率表示预测正确的样本占总样本的百分比，公式如式(19)：

其中TP为真正类，TN为真负类，FP为假正类，FN为假负类。

精确率表示被预测为正的样本中实际为正的样本的概率，公式如式(20)：

回召率表示实际为正的样本中被预测为正样本的概率，公式如式(21)：

F1分数表示精确率和回召率的调和平均值，公式如式(22)：

我们采用本发明的基于深浅层特征融合密集连接网络决策树(Deep and ShallowFeature Fusion Densely Connected Network Decision Tree，DSFF-DenseNet-DT)的工况识别方法进行了10次对比实验，为了避免实验的偶然性，取10次实验的平均值作为最终的实验结果，实验结果如表1所示。实验结果表明所提方法在四个评价指标上均高于其他方法，准确率、精准率和回召率至少提高了6.67％、9.2％和9.6％，F1分数至少提高了0.094。一方面，深层特征可以给分类器带来更多的细节信息，另外一方面，多特征融合可以让各特征互补融合，具有更多对分类器有用的信息。因此，本文提出的方法对矿物浮选过程工况识别是有效的，并且在性能上优于其他的方法。表1中其他方法的全称分别为颜色纹理分布密集连接网络决策树(Color Texture Distribution DenseNet-DT，CTD-DenseNet-DT)，尺寸分布密集连接网络决策树(Size Distribution DenseNet-DT，SD-DenseNet-DT)，深层特征密集连接网络决策树(Deep Feature DenseNet-DT，DF-DenseNet-DT)，浅层特征融合密集连接网络决策树(Shallow Fusion Feature DenseNet-DT，SFF-DenseNet-DT)。

表1工况识别实验结果

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。