基于多模态数据融合的回转窑异常工况识别方法及其系统

技术领域

本发明涉及回转窑异常工况识别，具体是涉及一种基于多模态数据融合的回转窑异常工况识别方法及其系统。

背景技术

燃煤高温工业过程是我国化石能源的主要消耗领域，广泛应用于发电、水泥、金属冶炼等传统流程行业，其生产过程关键装备-回转窑的稳定控制，是减少碳排放、提高产品质量和降低能源消耗的关键。由于燃煤回转窑生产过程存在生产机理复杂、关键工艺参数难以在线检测等固有问题，其异常工况高精度检测仍然存在较大挑战。

回转窑异常工况检测通常依赖多传感器采集的热工数据及火焰视频数据。DCS(集散控制系统)采集的多变量热工数据蕴含着丰富的工况波动、设备状态等流程参数信息，可反映工况的长期变化规律，而视频监控系统采集的火焰视频图像在反映燃烧状况方面具有更直观的优势，基于这两类非结构数据驱动的工况软测量成为了主流的回转窑生产工况识别方法。然而，现有针对回转窑生产工况高精度检测的研究仍然面临如下问题：(1)由于多变量热工数据之间通常存在多重大滞后及变量时空强耦合特性，导致工况信息挖掘困难；(2)由于燃煤回转窑内高温、烟尘等环境因素干扰，其火焰视频图像通常较模糊，且火焰本身存在纹理不清晰的特性，导致常规基于视觉进行工况识别的方法提取的工况特征区分度不足；(3)两类过程数据的上述特性，通常导致基于单数据源提取的单模态工况特征信息量不足、鲁棒性不强；(4)由于异常工况与正常工况的数据体量差异，工况样本呈长尾分布，常规分类识别模型通常难以实现小样本异常工况的高精度识别。

CN 111680715 A公开了一种考虑类别不平衡的回转窑烧结状态识别方法，该方法是基于单模态工况特征(热工信号)的回转窑异常工况识别，由于单数据源提取的单模态工况特征信息量不足，鲁棒性不强，导致转窑烧结状态识别率较低；且其采用的核修正方法是基于间隔均值计算保角变换函数，需要预先训练标准分类器以获得样本间隔，计算效率较低，难以满足工业应用实时性需求。

发明内容

本发明所要解决的技术问题是，克服上述背景技术的不足，提供一种基于多模态数据融合的回转窑异常工况识别方法及其系统，实现多模态信息互补融合，能够有效地提高尾类样本异常工况的识别精度。

本发明解决其技术问题采用的技术方案是，一种基于多模态数据融合的回转窑异常工况识别方法，包括以下步骤：

步骤S1：采集回转窑工况样本集；

步骤S2：利用火焰视频图像序列特征提取模块提取火焰视频图像序列特征，得到火焰视频动态特征F

步骤S3：利用多热工变量数据特征提取模块提取多热工变量数据特征，得到多热工变量动态特征F

步骤S4：利用融合特征提取模块提取火焰视频图像序列与多热工变量数据融合特征，得到多模态融合特征F

步骤S5：构造复合损失函数对火焰视频图像序列特征提取模块、多热工变量数据特征提取模块和融合特征提取模块进行训练；

步骤S6：级联火焰视频动态特征F

步骤S7：构造保角变换函数，对mcODM分类器的核函数进行修正，得到适应长尾样本分类识别的KM-mcODM分类器；

步骤S8：将统一烧结工况特征F及对应类标输入KM-mcODM分类器进行分类识别。

进一步，步骤S2中，提取火焰视频图像序列特征的具体方法为：

步骤S2-1：提取火焰视频图像序列X

步骤S2-2：将火焰视频多特征序列Fv输入第一Bi-LSTM网络，得到火焰视频动态特征F

进一步，步骤S3中，提取多热工变量数据特征具体方法为：

步骤S3-1：对各热工变量进行李普希茨计算，获得各热工变量相关时段X

步骤S3-2：采用线性插值方法对各热工变量相关时段长度进行统一，形成维度一致的多热工变量数据；

步骤S3-3：将维度一致的多热工变量数据输入第二Bi-LSTM网络，得到多热工变量动态特征F

进一步，步骤S4中，提取火焰视频图像序列与多热工变量数据融合特征的具体方法为：

对火焰视频多特征序列Fv进行下采样，将下采样后得到的Fv′与各热工变量相关时段X

进一步，步骤S5中，构造的复合损失函数包括单模态分类损失函数L

所述单模态分类损失函数L

式中，

所述跨模态三元组损失函数L

式中，

基于单模态分类损失函数L

Loss＝λL

式中，λ为权重参数，其取值范围为[0，1]。

进一步，步骤S7中，构造保角变换函数，对mcODM分类器的核函数进行修正，得到适应长尾样本分类识别的KM-mcODM分类器，具体方法为：

步骤S7-1：选定mcODM分类器的核函数为RBF核，通过核技巧计算异类样本距离均值；

步骤S7-2：基于异类距离均值构造保角变换函数；

步骤S7-3：采用保角变换函数对RBF核函数的核矩阵K进行修正，得到修正后的核矩阵

进一步，步骤S7-1中，通过核技巧计算异类样本距离均值的方法如下：

当样本数据体量不大时，采用式(10)：

其中，x∈c表示样本x是c类样本，x

核空间中两个异类样本之间的距离转换为核函数计算：

式中，K()为预先选定的核函数，也即RBF核函数，K(x，x)表示核函数K()输入为x，x，K(x，x

当样本数据体量大时，采用式(12)：

其中，A

进一步，步骤S7-2中，基于异类距离均值构造保角变换函数的具体方法为：

当样本数据体量不大时，采用式(13)构造保角变换函数：

其中，N是反映训练样本不均衡比例IR的参数，N由下式计算得到：

其中，max(n

当样本数据体量大时，采用式(15)构造保角变换函数：

与异类样本之间的距离均值替换为与异类样本聚类中心之间的距离均值，因此式(13)保角变换函数替换为：

式中，A

若定义向量u(x)＝(D

式中，x(j)表示样本x的第j维元素，x

进一步，步骤S7-3中，修正后的核矩阵

式中，

一种应用于基于多模态数据融合的回转窑异常工况识别方法的系统，包括火焰视频图像序列特征提取模块、多热工变量数据特征提取模块、融合特征提取模块、复合损失函数构造模块、特征级联模块和核修正模块，火焰视频图像序列特征提取模、多热工变量数据特征提取模块分别与融合特征提取模块相连，特征级联模块分别与火焰视频图像序列特征提取模块、多热工变量数据特征提取模块、融合特征提取模块相连，复合损失函数构造模块分别与火焰视频图像序列特征提取模块、多热工变量数据特征提取模块、融合特征提取模块相连，核修正模块与特征级联模块相连；

所述火焰视频图像序列特征提取模块用于提取火焰视频图像序列特征，得到火焰视频动态特征F

所述多热工变量数据特征提取模块用于提取多热工变量数据特征，得到多热工变量动态特征F

所述融合特征提取模块用于提取火焰视频图像序列与多热工变量数据融合特征，得到多模态融合特征F

所述复合损失函数构造模块用于构造复合损失函数；

所述特征级联模块用于级联火焰视频动态特征F

所述核修正模块用于构造保角变换函数，对mcODM分类器的核函数进行修正，得到KM-mcODM分类器；

所述KM-mcODM分类器用于对统一烧结工况特征F进行分类识别。

与现有技术相比，本发明的优点如下：

本发明基于多模态数据融合的回转窑异常工况识别方法分别提取各模态工况特征(火焰视频图像特征及多热工变量数据特征)，融合多模态工况特征，实现多模态信息互补融合；并结合提出的核修正分类器(KM-mcODM分类器)，在核修正过程中，采用异类样本间隔均值构造保角变换函数，异类距离均值可通过核技巧直接计算得到，无需预训练标准分类器，计算效率可有效提高，能更好的满足工业应用实时性需求；核修正分类器能够有效地提高尾类样本异常工况的识别精度，回转窑过烧、欠烧等异常工况的识别率可达到90％以上。

附图说明

图1是本发明实施例之多模态数据融合的回转窑异常工况识别方法的多模态数据特征提取示意图。

图2是本发明实施例之多模态数据融合的回转窑异常工况识别系统的结构示意图。

图中，M1-1-火焰视频图像序列特征提取模块，M1-2-多热工变量数据特征提取模块，M1-3-融合特征提取模块，M2-复合损失函数构造模块，M3-特征级联模块，M4-核修正模块。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细描述。

参照图1，本实施例基于多模态数据融合的回转窑异常工况识别方法包括以下步骤：

步骤S1：采集回转窑工况样本集：

本实施例于2021年4月-6月从内蒙古某氧化铝回转窑生产现场进行回转窑工况样本集采集，工况样本集中分别有1509、1414和8755个欠烧、过烧和正烧工况样本，属于典型的长尾分布样本。每类工况采用70％的样本做训练集，20％的样本做测试集，其余的作为验证集。回转窑工况样本集中，包括采集的多热工变量数据和火焰视频图像。多热工变量数据采样频率为4s，火焰视频图像为每秒25帧、尺寸704*576的RGB格式。

步骤S2：利用火焰视频图像序列特征提取模块M1-1提取火焰视频图像序列特征，得到火焰视频动态特征F

步骤S2-1：提取火焰视频图像序列X

步骤S2-2：将火焰视频多特征序列Fv输入第一Bi-LSTM网络，得到火焰视频动态特征F

为了便于直观了解，步骤S2-1、S2-2的计算过程可简化表示为：

F

步骤S3：利用多热工变量数据特征提取模块M1-2提取多热工变量数据特征，得到多热工变量动态特征F

步骤S3-1：考虑到各热工变量之间存在大滞后、非线性、强耦合的特点，对各热工变量进行李普希茨(Lipschitz)计算，获得各热工变量相关时段X

式中，

随着热工变量X

步骤S3-2：由于各热工变量时滞特性不一，导致对应的相关时段X

步骤S3-3：将维度一致的多热工变量数据输入第二Bi-LSTM网络，得到多热工变量动态特征F

为了便于直观了解，步骤S3-1、S3-2、S3-3的计算过程可简化表示如下：

F

步骤S4：利用融合特征提取模块M1-3提取火焰视频图像序列与多热工变量数据融合特征，得到多模态融合特征F

具体方法为：对火焰视频多特征序列Fv进行下采样，将下采样后得到的Fv′与各热工变量相关时段X

为了便于直观了解，步骤S4的具体计算过程可简化表示如下：

F

步骤S5：通过同步考虑多模态融合特征分类识别能力及多模态融合特征间的低信息冗余，利用复合损失函数构造模块M2构造复合损失函数，对火焰视频图像序列特征提取模块M1-1、多热工变量数据特征提取模块M1-2和融合特征提取模块M1-3进行训练，设定特征提取模块M1-1、M1-2及M1-3训练的超参数，批尺寸batchsize＝64，学习率lr＝0.001，迭代次数epoch＝1000。

构造的复合损失函数包括单模态分类损失函数L

式中，

而跨模态三元组损失函数L

式中，

基于单模态分类损失函数L

Loss＝λL

式中，λ为权重参数，其取值范围为[0，1]。

复合损失函数Loss中，利用Adam优化算法在反向传播中对每个权重参数求网络误差的梯度，通过参数更新过程得到新的权重。迭代计算模型权重，直到达到预定的小损失，并获得最佳预测值。

选择Adam作为优化算法的原因是它可以为不同的参数设计独立的自适应学习率，计算效率较高。

步骤S6：利用特征级联模块M3级联火焰视频动态特征F

为了便于直观了解，步骤S6的计算过程可简化表示如下：

F＝Concat(F

步骤S7：利用核修正模块M4构造保角变换函数，对mcODM分类器的核函数进行修正，得到KM-mcODM分类器，KM-mcODM分类器适应长尾样本分类识别，具体方法为：

步骤S7-1：选定mcODM分类器的核函数为RBF核，通过核技巧计算异类样本距离均值；

异类样本距离均值的计算不需要预训练标准分类器，只需要选定核函数，即可完全基于数据进行计算：

其中，x∈c表示样本x是c类样本，x

核空间中两个异类样本之间的距离同样可用如下核技巧转换为核函数计算：

式中，K()为预先选定的核函数，也即RBF核函数，K(x，x)表示核函数K()输入为x，x，K(x，x

上述异类距离均值具有较高计算复杂度，考虑到样本的聚类中心是样本集的整体分布体现，在核空间中进行聚类，同样也可以表征样本的粗略空间分布情况。通过计算当前样本到异类样本的聚类中心的距离均值，同样可以较好的反映当前样本与异类样本的之间的相对位置分布。鉴于此，在大规模数据条件下，考虑如下异类距离均值的计算：

其中，A

本发明根据数据量大小提供了两种异类距离均值计算方法，其中式(11)适用于样本数据体量不大的情况，而式(12)适用于样本数据体量较大的情况。由于本实施例所采用的回转窑实际数据提取工况样本总数为11678个，不属于大规模数据，因此采用式(10)计算即可。根据经验，本实施例样本数据体量不大是指样本数量为50000个以下，样本数据体量大是指样本数量不低于50000个。在实际应用中，样本数据体量大小也可以是其他定义标准。

步骤S7-2：基于异类距离均值构造保角变换函数；

以扩大类边缘区域的空间分辨率、缩小少数类区域的空间分辨率为目标构造保角变换函数如下：

其中，N是反映训练样本不均衡比例IR的参数，可以由下式计算得到：

max(n

当样本数据体量大时，为了提高保角变换函数的计算效率，与异类样本之间的距离均值可以替换为与异类样本聚类中心之间的距离均值，因此大规模数据情况下，上述保角变换函数可以替换为：

式中，A

若定义向量u(x)＝(D

式中，x(j)表示样本x的第j维元素，x

步骤S7-3：采用保角变换函数对RBF核函数的核矩阵K进行修正，得到修正后的核矩阵

修正后的核矩阵

式中，

步骤S8：将统一烧结工况特征F及对应类标输入KM-mcODM分类器进行分类识别。

参照图2，本实施例基于多模态数据融合的回转窑异常工况识别系统包括火焰视频图像序列特征提取模块M1-1、多热工变量数据特征提取模块M1-2、融合特征提取模块M1-3、复合损失函数构造模块M2、特征级联模块M3、核修正模块M4，火焰视频图像序列特征提取模块M1-1、多热工变量数据特征提取模块M1-2分别与融合特征提取模块M1-3相连，特征级联模块M3分别与火焰视频图像序列特征提取模块M1-1、多热工变量数据特征提取模块M1-2、融合特征提取模块M1-3相连，复合损失函数构造模块M2分别与火焰视频图像序列特征提取模块M1-1、多热工变量数据特征提取模块M1-2、融合特征提取模块M1-3相连，核修正模块M4与特征级联模块M3相连。

火焰视频图像序列特征提取模块M1-1用于提取火焰视频图像序列特征，得到火焰视频动态特征F

多热工变量数据特征提取模块M1-2用于提取多热工变量数据特征，得到多热工变量动态特征F

融合特征提取模块M1-3用于提取火焰视频图像序列与多热工变量数据融合特征，得到多模态融合特征F

复合损失函数构造模块M2用于构造复合损失函数。

特征级联模块M3用于级联火焰视频动态特征F

核修正模块M4用于构造保角变换函数，对mcODM分类器的核函数进行修正，得到KM-mcODM分类器。

KM-mcODM分类器用于对统一烧结工况特征F进行分类识别。

本发明基于多模态数据融合的回转窑异常工况识别方法分别提取各模态工况特征(火焰视频图像特征及多热工变量数据特征)，融合多模态工况特征，实现多模态信息互补融合；并结合提出的核修正分类器(KM-mcODM分类器)，能够有效地提高尾类样本异常工况的识别精度，回转窑过烧、欠烧等异常工况的识别率可达到90％以上。相对于采用单一模态工况特征和常规分类器的方法均有较大性能提升。表1为本发明的方法进行燃煤回转窑异常工况识别的实验结果。

表1不同方法工况识别结果

表1中，F

本领域的技术人员可以对本发明进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。

说明书中未详细描述的内容为本领域技术人员公知的现有技术。