浓度与组分含量协同优化的稀土元素组分含量预测方法

技术领域

本发明属于稀土含量检测领域，特别是涉及一种浓度与组分含量协同优化的稀土元素组分含量预测方法。

背景技术

稀土因其特有的光、电、磁等性质，成为永磁材料、催化材料、储氢材料等材料必须的关键元素，而这些高性能的稀土材料在冶金、化工、航空航天、国防科技等高新技术领域起核心作用，受到国内外科学界的广泛关注。我国是稀土储量大国，稀土的分离工业规模和产量雄踞世界首位，然而稀土分离工业自动化生产过程中获取组分含量值的方式还基本停留在离线分析的低水平阶段。稀土联动萃取分离工艺流程主要依靠在连续的生产过程中对监测点处的稀土各元素组分含量进行在线检测，通过检测数据来优化控制料液、有机相、洗涤液等物料流量，以此保证分离产品的高纯化。

国内有学者对多目标优化问题进行研究，张波等在基于多重梯度下降和Frank-Wolfe两个算法上将多目标优化问题分解为多个两目标优化问题，对梯度下降的方向进行梯度更新和线性搜索。周晓君等将多重梯度下降算法用于多车牌识别中，提出基于多目标优化多任务学习的端到端车牌识别方法；赵佳铭等将多重梯度下降算法用于泡沫浮选过程工况识别中，取得了良好的预测效果，但周、赵并没有对训练过程的迭代时间进行统计与比较，无法得知不同算法在不同任务训练迭代过程中的时间性能。

发明内容

本发明的目的是提供一种浓度与组分含量协同优化的稀土元素组分含量预测方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种浓度与组分含量协同优化的稀土元素组分含量预测方法，包括：

获取稀土，对稀土进行萃取，获得萃取纯溶液；

对所述萃取纯溶液设置检测点，获取稀土混合萃取溶液图像数据；

构建预测模型，将所述稀土混合萃取溶液图像数据输入至所述预测模型中进行训练，生成优化模型；

基于所述优化模型对稀土元素组分含量进行预测，生成预测结果。

优选地，所述获得萃取纯溶液的过程包括：

获取稀土，将所述稀土与有机液进行融合，生成融合溶液；

设置分离出口，生成相关分离单元；

将所述融合溶液通过所述相关分离单元进行萃取，生成萃取纯溶液。

优选地，所述获取稀土混合萃取溶液图像数据的过程包括：

设置溶液检测点，基于所述溶液检测点以及光学成像条件对所述萃取纯溶液进行检测，获取稀土混合萃取溶液图像；

将所述稀土混合萃取溶液图像进行特征分类，获得所述稀土混合萃取溶液图像数据。

优选地，所述构建预测模型的过程包括：

构建ResNet18网络，所述ResNet18网络中残差模块由卷积层、非线性激活函数层、批处理归一化层构成；

将所述ResNet18网络中特定任务层与对应全连接层连接，生成预测模型。

优选地，所述生成优化模型的过程包括：

输入所述稀土混合萃取溶液图像数据至所述预测模型进行加载，获得溶液参数数据集；

基于所述溶液参数数据集获取集中数据点；

基于所述集中数据点对所述预测模型进行多目标优化，生成优化模型。

优选地，所述生成优化模型的过程还包括：

对所述预测模型中网络参数进行初始化，并进行模型参数设置；

对目标上界进行多目标优化，并求得特定任务梯度；

基于所述特定任务梯度求得多目标优化解，基于所述多目标优化解对所述预测模型进行多目标优化，生成优化模型。

优选地，所述网络参数包括图像样本对应真实标签值、共享层网络参数，特定任务层网络参数；

所述模型参数包括损失函数、最大迭代次数、批大小、优化器参数和学习率。

优选地，其特征在于，所述基于所述多目标优化解对所述预测模型进行多目标优化的过程包括：

基于所述特定任务梯度获取预测多个任务的平稳点；

基于所述平稳点对共享层网络参数以及任务层网络参数进行更新，生成优化参数；

基于所述优化参数优化特定任务的下降方向，完成多目标优化。

优选地，所述生成预测结果的过程包括：

获取优化模型中共享层网络参数和特定层网络参数；

基于所述共享层网络参数和特定层网络参数需检测的稀土混合萃取溶液图像中组分含量与浓度进行预测，生成预测结果。

本发明的技术效果为：

1)本发明证明了多任务学习能够找到多个任务之间的共性，提升模型整体泛化力和鲁棒性；

2)本发明在训练过程中迭代时长与耗时最低的单任务学习和同方差不确定性接近，远远低于多重梯度下降方法，且训练时长不会随着任务数量的增加而增长，在多任务优化方法中具有训练耗时短的优势；

3)本发明方法在双任务学习中整体性能仅次于多重梯度下降；在三任务学习中整体性能仅次于单任务学习；在四任务学习中整体性能优于其他优化方法，相较其他多任务优化方法，更适用于组分含量、浓度同时训练及预测。因此，本文方法相较其他多任务优化方法，更适用于稀土多元素组分含量与浓度预测；

4)本发明证明了双任务学习(Pr、Nd组分含量预测)比四任务学习(Pr、Nd组分含量，Pr、Nd浓度预测)的组分含量预测精度稍高，说明组分含量与浓度两种任务同时训练并不能明显提升组分含量预测的精度；

5)本发明方法在各任务中对组分含量预测的最大相对误差均在稀土萃取生产中对组分含量检测最大相对误差在±5％要求以内，预测时间成本在3s以内，满足稀土联动萃取过程中对多元素组分含量在线软测量的要求，为稀土元素组分含量软测量方法提供了新思路。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的稀土组分含量软测量方法；

图2为本发明实施例中的La/Ce/Pr/Nd四元素联动萃取分离流程图；

图3为本发明实施例中的基于多任务学习的稀土多元素组分含量与浓度预测模型结构图；

图4为本发明实施例中的Frank-Wolfe算法流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1所示，本实施例中提供一种浓度与组分含量协同优化的稀土元素组分含量预测方法，包括：

稀土联动萃取分离流程中为降低萃取流程所需物料(有机相、洗涤液等)的消耗，使用横纵相连的方式将萃取分离流程中相关分离单元关联，每个单元间彼此提供物料。这种关联方式使稀土分离整体流程中各物料仅需一个输入口，即可设置同时产出所需萃取元素纯产品的各出口。La/Ce/Pr/Nd四个稀土元素的联动萃取分离过程如图2所示，共有六个分离单元：(LaCePr)/(CePrNd)、(LaCe)/(CePr)、(CePr)/(PrNd)、La/Ce、Ce/Pr、Pr/Nd，六个单元相互横纵相连，通过(La Ce Pr)/(Ce Pr Nd)、La/Ce和Pr/Nd三个单元分别输入需萃取分离的混合稀土料液、有机相和洗涤液，便可从各元素出口获取四种元素萃取后的纯溶液。

为便于优化整个萃取流程的进料过程，需通过各监测点对萃取液中各元素组分含量的检测值计算出三个进料单元所输入的各料液流量。而由于部分稀土元素(如Pr、Nd)具有独特的离子颜色特征，其萃取溶液具备对光线呈一定反射性和折射性的特点，透光性较好，能在可见光区域呈现颜色特征，满足基于机器视觉技术对稀土元素组分含量软测量的光学成像条件。因此，可在稀土联动萃取分离流程中的待测稀土元素组分含量处设置检测点，采集稀土混合萃取溶液图像，用于模型训练与预测。将稀土元素组分含量软测量数据通过理论公式计算，便可得到各分离单元所需的理论最小萃取量、最小洗涤量及分离单元横纵间联动衔接所需的最优化流量，从而优化控制萃取流程，以此保证分离产品的高纯化。

为满足稀土联动萃取过程对多元素组分含量检测需求，和探索多元素组分含量之间与组分含量与浓度之间的共性，本实施例提出一种基于多任务学习的稀土多元素组分含量与浓度预测模型，对所采集稀土混合萃取溶液图像中的稀土多元素组分含量与浓度在共享层网络中同时训练，并设置多个特定任务层网络同时输出组分含量与浓度多个任务的预测结果。多任务学习模型结构如图3所示，该模型中共享层网络由除去末尾全连接层的ResNet18网络构成；每个特定任务层网络头部都与共享层网络相连，实现参数共享，并各设置一个全连接层用于输出特定任务预测值。

该模型建立在基于多图像级分类任务的硬参数共享结构之上，在经过对单稀土元素与浓度同时训练的比较实验中选取了对数据集预测结果拟合效果较好的ResNet18作为共享主干网络。其中ResNet18网络中的残差模块由卷积层、非线性激活函数层、批处理归一化层构成，将批处理归一化(Batch Normalization)层取代dropout层，对网络隐含层输出进行标准化处理，在保留原有数据的同时使数值更加稳定，并防止了过拟合。而残差模块的特征短接操作使模型可以学习到更深层网络的特征。特别地，为获得单一准确的稀土元素组分含量与浓度预测值，本实施例将特定任务层网络中正向传播过程中的全连接层输出与Softmax函数相连，利用Softmax函数对特定任务各类别概率的输出与各类别真实值通过线性回归损失函数建立回归模型，再将损失函数值进行反向传播，优化网络参数。线性回归模型中常用的损失函数有L1Loss和L2Loss，分别计算平均绝对误差MAE(式1)和均方误差MSE(式2)；

其中y

在稀土多元素组分含量与浓度预测多任务学习模型的训练过程中，多个特定任务之间可能会发生冲突，导致共享层网络参数偏向某一个特定任务的情况。本实施例在受到Sener启发后尝试将该情况通过多目标优化算法来解决，将多个特定任务共同训练过程视为多目标优化过程，通过找到多个特定任务之间的Pareto解来平衡各任务之间的竞争，使共享层网络参数不会偏向某个特定任务，从而提高对稀土多元素组分含量与浓度预测的精度。

给定稀土多元素组分含量与浓度预测的多任务学习问题中输入空间为所采集稀土混合萃取溶液图像，

其中c

假设式3中有两组参数解θ和

式(5)由包含稀土元素组分含量与浓度预测多个任务对应损失函数的向量L组成，目的在于寻求平衡多个任务之间的Pareto解。下面给出在多目标优化中多个任务之间Pareto解的定义：

定义1对所有任务t有

定义2如果不存在参数解θ支配θ

本实施例提出一种基于优化上界的多重梯度下降算法用于寻求稀土元素组分含量与浓度预测多任务学习中的Pareto最优解，通过多任务学习模型训练中的梯度下降方式完成多目标优化。下面将使用Karush-Kuhn-Tucker(KKT)条件实现多目标优化，该条件也是多目标优化的必要条件。现将基于多任务学习的稀土多元素组分含量与浓度预测模型中共享层网络参数与特定任务层网络参数所需的KKT条件表示如下：

1)存在α

2)对于任意稀土元素组分含量与浓度预测任务t，

满足上述条件的任何解都被称为Pareto平稳点，其中本实施例模型在完成上述优化条件中所使用损失函数为L1Loss，在2.2节中被提及。再考虑如下优化问题：

Désidéri等表明：该优化问题的解为0时，其解满足KKT条件；否则该解给定了一个下降方向，优化稀土元素组分含量与浓度所有预测任务。然而该问题描述的算法需要计算

对此本实施例提出基于优化上界的多重梯度下降算法，不同于多重梯度下降算法，该算法优化了目标上界，仅需一遍反向传播就可在正向传播中得到所有特定任务的梯度，节约了内存和时间上的消耗。优化上界需要将共享的表示函数与特定任务的决策函数相结合，可以将假设类约束定义为下式：

其中g为所有任务共享的表示函数，f

/>

其中

1)

2)

为得到近似优化解，考虑到上述两个理想性质，可将式(6)中的

求解该式的算法则称为基于优化上界的多重梯度下降算法，Sener提出当

1)

2)

则该算法找到了一个Pareto平稳点，且计算开销可忽略不计。

公式(9)属于具有线性约束的凸二次问题，求解该优化问题等价于在输入点集的凸包中找到最小范数点。我们先考虑基于两个任务求解的情况，优化问题可被定义为：

这是一个具有解析解的关于α的一维二次函数，下面我们将

虽然式(11)只适用于两个任务的求解，但本实施例将使用Jaggi等提出的Frank-Wolfe算法将式(10)作为线性搜索的子进程，从而解决两个及以上任务的约束优化问题。Frank-Wolfe算法流程如图4。所求得α

在对于稀土多元素组分含量与浓度预测多个目标进行优化过程中，本实施例采用基于优化上界的多重梯度下降算法求解各任务在模型训练中的梯度，该算法优化了目标上界，因此只需经过一遍反向传播，便可在正向传播过程中得到所有特定任务的梯度。此后再将各特定任务梯度代入Frank-Wolfe算法中求多目标优化解，得到关于稀土多元素组分含量与浓度预测多个任务的Pareto平稳点，实现多目标优化。详细步骤描述如下：

输入：将标准化预处理后的稀土混合萃取溶液图像输入基于多任务学习的稀土多元素组分含量与浓度预测模型，加载图像样本对应真实标签值。初始化共享层网络参数θ

输出：在各特定任务层输出稀土元素组分含量或浓度预测值。

步骤1.根据公式(9)初始化多目标优化上界

步骤2.在优化上界下求得每个特定任务的梯度

步骤3.将所有特定任务的梯度代入Frank-Wolfe算法中求多目标优化解，得到关于稀土多元素组分含量与浓度预测多个任务的Pareto平稳点α

步骤4.利用α

步骤5.更新特定任务层网络参数

步骤6.判断是否达到最大迭代次数，是则进入步骤7，否则返回步骤1；

步骤7.根据优化后的共享层网络参数θ

为体现本实施例所提多目标优化算法对稀土多元素组分含量与浓度预测的有效性，本节将在不同预测任务上从：1)验证集的损失函数值变化、训练过程单次迭代平均时长；2)10个测试集样本预测值与真实值的误差评价指标值，这两个角度，对单任务学习与不同多任务优化方法进行比较。

本实施例对基于多目标优化算法的稀土多元素组分含量与浓度预测以Pr(苹果绿色)、Nd(紫红色)两种具备离子颜色特征的稀土萃取溶液为例，进行仿真实验，所使用的Pr/Nd混合萃取溶液经由如下途径获得：

原溶液组分含量测量：于赣南某稀土公司分别购买纯度均为99.9％的1L1.8275mol/LPrCL

溶液稀释：将两种元素原溶液的浓度分别稀释为0.01mol/L～0.50mol/L各11种不同浓度且透光性良好的稀土萃取纯溶液。

溶液混合：将两种稀土元素不同浓度的溶液各50ml分别相互混合，共得到121组不同组分含量与浓度的Pr/Nd混合萃取溶液。

由上述步骤得到Pr/Nd各元素组分含量由1.96％～98.04％变化、浓度由0.005mol/L～0.25mol/L变化的121组稀土混合萃取溶液，并将各组分含量与浓度不同的稀土混合萃取溶液倒入收集皿中密封保存。由于实验室制备的稀土混合萃取溶液具备对光线呈现一定反射性和折射性的实际特点，透光性较好，满足基于机器视觉实验稀土元素组分含量软测量的光学成像条件。同时，在充满稀土混合溶液的容器中形成的“离子颜色特征带”为采用快速、准确且可连续检测的图像识别技术提供可行途径。

实验图像采集时将稀土混合萃取溶液倒入至长宽高为150×5×170mm的石英容器中，直至溶液填充满容器。并随后将容器置于60CM摄影棚中。其中，摄影棚中搭建两处LED光源，光源输出电压为24V、功率为48W、灯珠流明最大为15000LM；背景为纯白色；图像采集设备为NIKON D700相机；最终采集图像为4256×2832分辨率的JPG格式图片。

由于拍摄得到的Pr/Nd混合萃取溶液图像中包含石英容器边缘外非溶液部分及边缘内颜色不均匀部分，因此将拍摄图像中充满颜色特征的部分进行裁剪，每组溶液图像依照从上至下、从左至右的顺序裁剪10张图片，共获取1210张颜色均匀的稀土混合萃取溶液图像。将稀土混合萃取溶液图像按照Pr、Nd各元素的组分含量与浓度不同归为121个类别，并将每个类别分别标记上Pr、Nd组分含量与浓度的真实标签值，将其中70％划分为训练集、20％划分为验证集和10％划分为预测集，制备成完整数据集，用于基于多任务学习的稀土多元素组分含量与浓度预测模型构建。

所有模型训练及预测实验都在以下实验环境中实现：硬件环境为Windows10操作系统，CPU Intel Core i7-12700F(12核)，GPU RTX30(内存为10G)；软件环境为在PyChram上使用的PyTorch深度学习框架。

为验证本实施例所提基于多目标优化算法的稀土多元素组分含量与浓度预测方法有效性，下面将本实施例所用多目标优化算法(基于优化上界的多重梯度下降)与单任务学习、多重梯度下降及其他多任务优化主流方法：1)梯度归一化；2)同方差不确定性，从验证集的损失函数值变化、训练过程单次迭代平均时长的角度在以下多个预测任务上进行比较：

1.双任务学习：预测Pr、Nd组分含量；

2.三任务学习：预测Pr、Nd组分含量和Pr浓度；

3.四任务学习：预测Pr、Nd组分含量和Pr、Nd浓度；

为保证对比实现的公平性，本实施例所有优化方法都在基于多任务学习的稀土多元素组分含量与浓度预测模型中实现，并设置统一的模型主要参数如表1所示，这些主要参数是提升模型整体性能的一般性参数。因此，这对对比实验中所有优化方法都是公平的。

表1

可以看出本实施例方法在双、三、四任务学习中Nd组分含量预测任务的验证集损失函数值最低；在三任务学习中Pr组分含量预测任务及四任务学习中Pr、Nd浓度预测任务中仅次于损失函数值最低的单任务学习；在其他多任务学习中Pr组分、Pr、Nd浓度预测任务的损失函数值均与最低值接近，且优于大部分优化方法。而多重梯度下降在所有预测任务中也呈现出较优的性能，损失函数值普遍低于其他主流多目标优化方法。特别地，梯度归一化在各多任务学习中对Pr、Nd浓度预测的验证集损失值较高，可能是由于Pr、Nd组分含量与浓度两种预测任务的量级不一所导致。

表2

下面将各优化方法在多个任务训练中的单次迭代平均时长进行比较，其中单任务学习训练中的单次迭代平均时长如表2，不同多任务优化方法在多任务学习训练中的单次迭代平均时长如表3。

表2中各任务的单次迭代平均时长与表3中各方法同时对所有任务训练不同，是由单任务学习对各任务进行独立训练所得。

表3

由表2-3可以得知在多任务优化方法中同方差不确定性训练耗时最短，与单任务学习训练时长接近；多重梯度下降耗时最长，且训练时间会随任务数量的增加而增长；本实施例方法的训练时长仅高于同方差不确定性与单任务学习，优于其他多目标优化方法。

综上可得本实施例方法在多任务学习中损失函数值普遍较低，在个别预测任务中损失值仅高于当前任务的最低值，基本优于其他多任务优化方法；本实施例方法在训练过程中迭代时长与耗时最低的单任务学习和同方差不确定性接近，远远低于多重梯度下降方法，且训练时长不会随着任务数量的增加而增长；由此证明本实施例所提基于优化上界的多重梯度下降算法在训练时间上相较多重梯度下降算法的较大优势，在降低训练耗时的同时降低了各任务损失函数值。

为避免基于多任务学习的稀土多元素组分含量与浓度预测模型训练过拟合情况，本小节将对测试集样本进行仿真预测，将预测值与真实值的误差进行比较与分析，判断模型是否在稀土联动萃取过程中对稀土混合萃取图像中组分含量预测误差的最大容错范围内。下面将本实施例所用多目标优化算法(基于优化上界的多重梯度下降)与单任务学习、多重梯度下降及其他多任务优化主流方法：1)梯度归一化；2)同方差不确定性，从10个测试集样本预测值与真实值的误差评价指标值角度在以下预测任务上进行比较：

可以从纵坐标明显看出各优化方法在对Pr、Nd组分含量预测任务中相对误差相差不大，但在对Pr、Nd浓度预测任务中相对误差较大，由其是梯度归一化的误差波动幅度较大，该现象与梯度归一化在验证集损失函数值较高表现一致。

表4

表5

表6

表7

由表4-7可以看出如下6点：

1)在双任务学习中，将本实施例方法与单任务学习比较：本实施例方法在Pr组分预测任务的平均相对误差、均方根误差、最大相对误差绝对值与Nd组分最大相对误差绝对值都低于单任务学习，在Nd组分预测任务的平均相对误差、均方根误差与单任务学习接近，整体优于单任务学习；与其他多任务优化方法比较：本实施例方法在Pr组分含量预测任务的平均相对误差、均方根误差仅次于多重梯度下降，Pr组分预测任务的最大相对误差值为所有优化方法中最低，Nd组分预测任务的最大相对误差值仅低于梯度归一化。因此，本实施例方法在双任务学习中整体性能仅次于多重梯度下降。

2)在三任务学习中，本实施例方法在Pr浓度预测任务的平均相对误差、均方根误差、最大相对误差绝对值均为所有优化方法中最低，将本实施例方法与单任务学习比较：除上述最低外其他误差评价指标均高于单任务学习，整体次于单任务学习；将本实施例方法与其他多任务优化方法比较：本实施例方法在除上述最低外，其余误差评价指标均高于梯度归一化，但梯度归一化在Pr浓度预测中误差较高，相较于除梯度归一化的其他方法，本实施例方法性能总体更优。因此，梯度归一化方法不适用于组分、浓度同时训练及预测，考虑此情况，本实施例方法在三任务学习中整体性能仅次于单任务学习。

3)在四任务学习中，本实施例方法在Nd组分、Nd浓度预测任务的平均相对误差、均方根误差、最大相对误差绝对值与Pr组分预测任务中的平均相对误差均低于其他优化方法，整体性能较优；将文本方法与单任务学习比较：除上述最低外，其余误差评价指标值均高于单任务学习，但整体性能优于单任务学习；与其他多任务优化方法比较，除上述最低外，在Pr浓度预测任务的平均相对误差、均方根误差均低于其他优化方法。因此，在四任务学习中，本实施例方法整体性能优于其他优化方法，相较于其他多任务优化方法更适用于组分、浓度同时训练及预测。

4)将单任务学习与多任务学习比较：单任务学习仅在与四任务学习比较中Pr浓度预测任务的各项指标较低，其余指标在与所有多任务学习比较中均较高，说明多任务学习相较于单任务学习，能找到组分与浓度各任务中的相关性，共同提升模型整体性能。

5)将多任务学习之间进行比较，首先，将双、三、四任务学习中的Pr、Nd组分预测任务误差评价指标值进行比较，可以发现三任务学习中的各Pr、Nd组分预测任务误差均高于双、四任务学习，说明只有将各元素组分同时训练及预测或将各元素组分与浓度同时训练及预测对提高组分含量预测精度有效；其次，将三、四任务学习中的Pr浓度预测任务进行比较，可以发现三任务学习中Pr浓度预测任务的误差评价指标值普遍低于四任务学习，因此将元素组分与浓度两种任务同时训练及预测只能提升组分预测的精度，并不能提升浓度预

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。