一种球团矿生产工况检测方法、装置、设备及介质

技术领域

本申请涉及矿产工业检测技术领域，特别涉及一种球团矿生产工况检测方法、装置、设备及介质。

背景技术

目前，随着计算机技术不断地发展，其技术已经进入到各行各业，尤其是深度学习和大模型的飞速发展，为各行业的效率带来了极大的提升。球团矿是当代高炉炼铁中的一种重要原材料，具有含铁品位高、粒度均匀、透气性好、易还原等优点，能为高炉冶炼提供稳定优质的原料，实现铁前节能减排

目前造球流程工况指标的检测与控制主要依靠人工完成。以国内某钢铁厂球团矿生产车间为例，操作工人通过观察圆盘造球机内球团颗粒情况，估计球团矿质量特征包括粒径、亮度(湿度)的变化趋势(俗称“看球”)，据此凭经验对球团矿生产工况进行判定并手动调整加水量，使球团矿质量指标达标。这种人工操作控制的生产方式主观性强、误差大、效率低、劳动强度大，导致测量的结果反馈滞后，从而使得调控不及时。现有部分研究人员利用机器视觉方法进行生产测量，相比于人工传统方法，效率有所提升，误差有所降低，但对于数据规模和模型结构有一定要求，且需要经过复杂的图像分割过程。易受生产现场存在的水雾、粉尘、震动、不均匀光照等因素影响，导致存在球团矿生产工况检测精度低的问题。

发明内容

本申请提供了一种球团矿生产工况检测方法、装置、设备及介质，可以解决球团矿生产工况检测精度低的问题。

第一方面，本申请实施例提供了一种球团矿生产工况检测方法，该球团矿生产工况检测方法包括：

获取球团矿的多张生产工况图像，并分别对每张生产工况图像进行文本标注，获取生产工况图像的标签；

利用图像特征提取模型分别对每张生产工况图像进行特征提取，得到生产工况图像的图像特征；

利用文本编码器分别对每张生产工况图像的标签进行编码，得到生产工况图像的文本特征；

根据所有生产工况图像的图像特征和文本特征，对图像特征提取模型和文本编码器进行优化，得到优化后的图像特征提取模型和优化后的文本编码器；

利用优化后的文本编码器获取每张生产工况图像的最终文本特征；

利用优化后的图像特征提取模型获取生产样本图像的最终图像特征；生产样本图像为具有实际的标签的球团矿的生产图像；

基于生产样本图像的最终图像特征和所有最终文本特征，利用多任务分类模型获取生产样本图像与每个最终文本特征之间的边际概率；

根据所有边际概率对多任务分类模型进行优化，得到优化后的多任务分类模型，并利用优化后的多任务分类模型获取需进行工况检测的球团矿生产的生产图像与每个最终文本特征之间的最终边际概率；

基于所有最终边际概率获取需进行工况检测的球团矿生产的工况检测结果。

可选的，利用图像特征提取模型分别对每张生产工况图像进行特征提取，得到生产工况图像的图像特征，包括：

分别针对每张生产工况图像，利用图像特征提取模型进行以下步骤：

对生产工况图像进行编码，得到生产工况图像的初始图像特征；

获取初始图像特征的序列特征，并将初始图像特征转换为与序列特征维度相同的序列图像特征；

将序列图像特征与初始图像特征相乘，得到生产工况图像的图像特征。

可选的，根据所有生产工况图像的图像特征和文本特征，对图像特征提取模型和文本编码器进行优化，得到优化后的图像特征提取模型和优化后的文本编码器，包括：

判断所有图像特征中达到预期质量的占比是否大于预设图像占比；

若所有图像特征中达到预期质量的占比大于预设图像占比，则判断所有文本特征中达到预期质量的占比是否大于预设文本占比；

若所有文本特征中达到预期质量的占比大于预设文本占比，则将图像特征提取模型作为优化后的图像特征提取模型，将文本编码器作为优化后的文本编码器；

若所有文本特征中达到预期质量的占比小于等于预设文本占比，则调整文本编码器中的参数，并返回利用文本编码器分别对每张生产工况图像的标签进行编码，得到生产工况图像的文本特征的步骤；

若所有图像特征中达到预期质量的占比小于等于预设图像占比，则调整图像调整提取模型中的参数，并返回利用图像特征提取模型分别对每张生产工况图像进行特征提取，得到生产工况图像的图像特征的步骤。

可选的，基于生产样本图像的最终图像特征和所有最终文本特征，利用多任务分类模型获取生产样本图像与每个最终文本特征之间的边际概率，包括：

利用多任务分类模型计算生产样本图像的最终图像特征与每个最终文本特征之间的相似度；

分别针对每个最终文本特征，根据生产样本图像的最终图像特征与最终文本特征之间的相似度，计算生产样本图像与最终文本特征之间的边际概率。

可选的，利用多任务分类模型计算生产样本图像的最终图像特征与每个最终文本特征之间的相似度，包括：

通过公式：

计算生产样本图像y与第x个最终文本特征之间的相似度logit(c,s,d|x)；

其中，c表示c类标签，s表示s类标签，d表示d类标签，第x个最终文本特征对应的标签属于c类标签、s类标签或d类标签中的一类，x＝1,2,...,X，X表示生产工况图像的数量，F(y)表示生产样本图像y的最终图像特征，G(x)表示第x个最终文本特征；

根据生产样本图像的最终图像特征与最终文本特征之间的相似度，计算生产样本图像与最终文本特征之间的边际概率，包括：

通过公式：

计算生产样本图像y与第x个最终文本特征之间的边际概率

其中，τ表示参数。

可选的，根据所有边际概率对多任务分类模型进行优化，包括：

通过公式：

L

计算多任务分类模型的损失函数值L

其中，w

其中，p(h|y)表示生产样本图像y与标签h之间的关系，生产样本图像y的标签与标签h相同时，p(h|y)＝1，生产样本图像y的标签与标签h不同时，p(h|y)＝0，S表示s类标签的集合，

判断多任务分类模型的损失函数值是否小于损失函数预设值；

若是，则将多任务分类模型作为优化后的多任务分类模型；

否则，调整多任务分类模型中的参数，并返回基于生产样本图像的最终图像特征和所有最终文本特征，利用多任务分类模型获取生产样本图像与每个最终文本特征之间的边际概率的步骤。

可选的，基于所有最终边际概率获取需进行工况检测的球团矿生产的工况检测结果，包括：

从所有最终边际概率中选择数值最大的最终边际概率作为目标边际概率；

将目标边际概率对应的标签作为需进行工况检测的球团矿生产的工况检测结果。

第二方面，本申请实施例提供了一种球团矿生产工况检测装置，包括：

标注模块，获取球团矿的多张生产工况图像，并分别对每张生产工况图像进行文本标注，获取生产工况图像的标签；

特征提取模块，利用图像特征提取模型分别对每张生产工况图像进行特征提取，得到生产工况图像的图像特征；

编码模块，利用文本编码器分别对每张生产工况图像的标签进行编码，得到生产工况图像的文本特征；

第一优化模块，根据所有生产工况图像的图像特征和文本特征，对图像特征提取模型和文本编码器进行优化，得到优化后的图像特征提取模型和优化后的文本编码器；

第一获取模块，利用优化后的文本编码器获取每张生产工况图像的最终文本特征；

第二获取模块，利用优化后的图像特征提取模型获取生产样本图像的最终图像特征；生产样本图像为具有实际的标签的球团矿的生产图像；

边际概率获取模块，基于生产样本图像的最终图像特征和所有最终文本特征，利用多任务分类模型获取生产样本图像与每个最终文本特征之间的边际概率；

第二优化模块，根据所有边际概率对多任务分类模型进行优化，得到优化后的多任务分类模型，并利用优化后的多任务分类模型获取需进行工况检测的球团矿生产的生产图像与每个最终文本特征之间的最终边际概率；

检测模块，基于所有最终边际概率获取需进行工况检测的球团矿生产的工况检测结果。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，该处理器执行上述计算机程序时实现上述的球团矿生产工况检测方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述的球团矿生产工况检测方法。

本申请的上述方案有如下的有益效果：

在本申请的实施例中，通过获取多张生产工况图像，并分别对每张生产工况图像进行文本标注，获取生产工况图像的标签，然后利用图像特征提取模型分别对每张生产工况图像进行特征提取，得到生产工况图像的图像特征，再利用文本编码器分别对每张生产工况图像的标签进行编码，得到生产工况图像的文本特征，然后根据所有生产工况图像的图像特征和文本特征，对图像特征提取模型和文本编码器进行优化，得到优化后的图像特征提取模型和优化后的文本编码器，再利用优化后的文本编码器获取每张生产工况图像的最终文本特征，然后利用优化后的图像特征提取模型获取生产样本图像的最终图像特征，再基于生产样本图像的最终图像特征和所有最终文本特征，利用多任务分类模型获取生产样本图像与每个最终文本特征之间的边际概率，然后根据所有边际概率对多任务分类模型进行优化，得到优化后的多任务分类模型，并利用优化后的多任务分类模型获取需进行工况检测的球团矿生产的生产图像与每个最终文本特征之间的最终边际概率，最后基于所有最终边际概率获取需进行工况检测的球团矿生产的工况检测结果。其中，仅使用多个生产工况图像的图像特征和文本特征对图像特征提取模型和文本编码器进行优化，降低了参与优化的数据量，提高优化效率，同时提高了图像特征提取模型和文本编码器的质量，根据所有边际概率对多任务分类模型进行优化，能够提高多任务分类模型的质量，利用质量高的多任务分类模型获取的最终边际概率的准确性高，基于准确度高的最终边际概率获取需进行工况检测的球团矿生产的工况检测结果，能够有效提高球团矿生产工况检测的检测精度。

本申请的其它有益效果将在随后的具体实施方式部分予以详细说明。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的球团矿生产工况检测方法的流程图；

图2为本申请一实施例提供的改进的Unet的结构示意图；

图3为本申请一实施例提供的球团矿生产工况检测方法的具体流程示意图；

图4为本申请一实施例提供的需进行工况检测的球团矿生产的工况检测结果的示意图；

图5为本申请一实施例提供的球团矿生产工况检测装置的结构示意图；

图6为本申请一实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

针对现有的球团矿生产工况检测精度低的问题，本申请实施例提供了一种球团矿生产工况检测方法，该球团矿生产工况检测方法通过在本申请的实施例中，通过获取多张生产工况图像，并分别对每张生产工况图像进行文本标注，获取生产工况图像的标签，然后利用图像特征提取模型分别对每张生产工况图像进行特征提取，得到生产工况图像的图像特征，再利用文本编码器分别对每张生产工况图像的标签进行编码，得到生产工况图像的文本特征，然后根据所有生产工况图像的图像特征和文本特征，对图像特征提取模型和文本编码器进行优化，得到优化后的图像特征提取模型和优化后的文本编码器，再利用优化后的文本编码器获取每张生产工况图像的最终文本特征，然后利用优化后的图像特征提取模型获取生产样本图像的最终图像特征，再基于生产样本图像的最终图像特征和所有最终文本特征，利用多任务分类模型获取生产样本图像与每个最终文本特征之间的边际概率，然后根据所有边际概率对多任务分类模型进行优化，得到优化后的多任务分类模型，并利用优化后的多任务分类模型获取需进行工况检测的球团矿生产的生产图像与每个最终文本特征之间的最终边际概率，最后基于所有最终边际概率获取需进行工况检测的球团矿生产的工况检测结果。其中，仅使用多个生产工况图像的图像特征和文本特征对图像特征提取模型和文本编码器进行优化，降低了参与优化的数据量，提高优化效率，同时提高了图像特征提取模型和文本编码器的质量，根据所有边际概率对多任务分类模型进行优化，能够提高多任务分类模型的质量，利用质量高的多任务分类模型获取的最终边际概率的准确性高，基于准确度高的最终边际概率获取需进行工况检测的球团矿生产的工况检测结果，能够有效提高球团矿生产工况检测的检测精度。

接下来对本申请提供的球团矿生产工况检测方法做示例性说明。

如图1所示，本申请提供的球团矿生产工况检测方法包括如下步骤：

步骤11，获取球团矿的多张生产工况图像，并分别对每张生产工况图像进行文本标注，获取生产工况图像的标签。

需要说明的是，上述生产工况图像为球团矿进行加工时的生产图像。

示例性的，标签可以为多种类型下的标签，如颗粒尺寸类型(粉状、粒度偏大、粒度偏小、粒度适中)、加工环境状况(粉尘干扰、雾气干扰、光照不足、正常、水量偏少、水量偏多)、颗粒分布状况(不均匀、均匀)等。对于一张生产工况图像，可以通过人工或labelme、CVAT等计算机软件对生产工况图像进行文本标注，获取生产工况图像的标签，如该生产工况图像的标签为粉状。对于球团矿的生产工况，颗粒尺寸类型和颗粒分布状况的标签能够描述球团矿的颗粒状态，加工环境状况的标签能够描述对球团矿进行加工时的加工环境，如：由于水体影响球体表面的摩擦，光滑的球体反射灯光导致生产图像的亮度高于正常亮度，为水量偏少。

值得一提的是，通过对生产工况图像进行文本标注，得到了多张具有标签的生产工况图像，便于后续计算。

步骤12，利用图像特征提取模型分别对每张生产工况图像进行特征提取，得到生产工况图像的图像特征。

在本申请的一些实施例中，上述利用图像特征提取模型分别对每张生产工况图像进行特征提取，得到生产工况图像的图像特征的步骤具体为：

需要说明的是，图像特征提取模型包括图像编码模块和图像序列特征提取模块。

分别针对每张生产工况图像，利用图像特征提取模型进行以下步骤：

第一步，对生产工况图像进行编码，得到生产工况图像的初始图像特征。

具体的，利用图像特征提取模型中的图像编码模块对生产工况图像进行编码，得到生产工况图像的初始图像特征。

第二步，获取初始图像特征的序列特征，并将初始图像特征转换为与序列特征维度相同的序列图像特征。

具体的，利用图像序列特征提取模块获取初始图像特征的序列特征，然后利用reshape函数将初始图像特征转换为与序列特征维度相同的序列图像特征。

第三步，将序列图像特征与初始图像特征相乘，得到生产工况图像的图像特征。

示例性的，图像序列特征提取模块中可以是经过预训练的视觉变换器(ViT，Vision Transformer)的改进算法ViT-32，图像编码模块中可以是经过预训练的改进的U型语义分割网络(Unet)，改进的Unet的所有3×3卷积均为多维度融合模块，在每一层的跳跃连接处加入通道与空间双注意力机制。上述多维度融合模块包括三个依次连接的特征提取单元以及加法单元，第一个特征提取单元的输入端为多维度融合模块的输入端，每个特征提取单元的输出端均与加法单元的输入端相连接，加法单元的输出端为多维度融合模块的输出端。上述特征提取单元包括依次连接的卷积子单元和激活函数子单元，卷积子单元的输入端为特征提取单元的输入端，激活函数子单元的输出端为特征提取单元的输出端，卷积子单元中的卷积为3×3卷积，激活函数子单元中为ReLU和Drop函数。

值得一提的是，将Unet的所有3×3卷积均替换为多维度融合模块，能够提高获取的初始图像特征的信息精确度，基于精确度高的初始图像特征得到的图像特征对信息进行表示的准确性高。

下面结合一具体实例对上述图像编码模块进行示例性说明。

如图2所示，图2(a)为改进的Unet，MDA-Conv表示将3×3卷积替换为多维度融合模块的编码器，A表示通道与空间双注意力机制，解码器为传统Unet的解码器，up表示上采样，图2(b)为多维度融合模块的结构，3×3表示为3×3卷积的卷积子单元，ReLU+Drop表示激活函数子单元，+表示加法单元。

步骤13，利用文本编码器分别对每张生产工况图像的标签进行编码，得到生产工况图像的文本特征。

在本申请的一些实施例中，上述文本编码器可以为生成式预训练转换器(GPT，Generative Pre Trained transformer)的改进模型GPT-2。且GPT-2经过预训练。

示例性的，可以利用matlab等计算机软件运行上述经过预训练的GPT-2，得到每张生产工况图像的文本特征。

值得一提的是，标签为文本形式的数据，不便于与其他模态的数据直接进行计算，获取生产工况图像的文本特征，能够在对生产工况图像的标签的信息进行表示的同时，将文本数据转化为便于计算的数据形式。

步骤14，根据所有生产工况图像的图像特征和文本特征，对图像特征提取模型和文本编码器进行优化，得到优化后的图像特征提取模型和优化后的文本编码器。

具体的，判断所有图像特征中达到预期质量的占比是否大于预设图像占比。

若所有图像特征中达到预期质量的占比大于预设图像占比，则判断所有文本特征中达到预期质量的占比是否大于预设文本占比。

若所有文本特征中达到预期质量的占比大于预设文本占比，则将图像特征提取模型作为优化后的图像特征提取模型，将文本编码器作为优化后的文本编码器。

若所有文本特征中达到预期质量的占比小于等于预设文本占比，则调整文本编码器中的参数，并返回利用文本编码器分别对每张生产工况图像的标签进行编码，得到生产工况图像的文本特征的步骤。

若所有图像特征中达到预期质量的占比小于等于预设图像占比，则调整图像调整提取模型中的参数，并返回利用图像特征提取模型分别对每张生产工况图像进行特征提取，得到生产工况图像的图像特征的步骤。

示例性的，10张生产工况图像对于10个图像特征和10个文本特征，达到预期质量的图像特征为7个，文本特征为4个，达到预设图像占比60％，未达到预设文本占比60％，说明此时图像特征提取模块的性能达到预期，而文本编码器的性能未达到预期，则调整文本编码器中的参数，并重新获取10个文本特征，此时达到预期质量的文本特征为8个，说明此时文本编码器的性能达到预期，为优化后的文本编码器。

值得一提的是，在本步骤中仅需要少量的数据，就能实现对文本编码器和图像特征提取模型的优化，降低文本编码器和图像特征提取模型处理数据的时间消耗，提高优化效率。

步骤15，利用优化后的文本编码器获取每张生产工况图像的最终文本特征。

具体的，利用优化后的文本编码器分别对每张生产工况图像的标签进行编码，得到生产工况图像的最终文本特征。

示例性的，可以利用matlab等计算机软件运行优化后的文本编码器，获取生产工况图像的最终文本特征。

值得一提的是，利用性能达到预期的文本编码器获取的最终文本特征的准确性高。

步骤16，利用优化后的图像特征提取模型获取生产样本图像的最终图像特征。

上述生产样本图像为具有实际的标签的球团矿的生产图像。生产样本图像可以是上文中经过文本标注，获取了标签的生产工况图像。

具体的，利用优化后的图像特征提取模型中的图像编码模块对生产样本图像进行编码，得到生产样本图像的初始图像特征，然后利用优化后的图像特征提取模型中的图像序列特征提取模块获取初始图像特征的序列特征，并将初始图像特征转换为与序列特征维度相同的序列图像特征，然后将序列图像特征与初始图像特征相乘，得到生产样本图像的最终图像特征。

示例性的，可以利用matlab等计算机软件运行优化后的图像特征提取模型，获取生产样本图像的最终图像特征。

值得一提的是，利用性能达到预期的图像特征提取模型获取的生产样本图像的最终图像特征的准确性高。

步骤17，基于生产样本图像的最终图像特征和所有最终文本特征，利用多任务分类模型获取生产样本图像与每个最终文本特征之间的边际概率。

在本申请的一些实施例中，上述多任务分类模型可以是多标签决策树模型(ML-DT，Multi Label DecisionTree)，上述基于生产样本图像的最终图像特征和所有最终文本特征，利用多任务分类模型获取生产样本图像与每个最终文本特征之间的边际概率的步骤具体包括：

第一步，利用多任务分类模型计算生产样本图像的最终图像特征与每个最终文本特征之间的相似度。

具体的，通过公式：

计算生产样本图像y与第x个最终文本特征之间的相似度logit(c,s,d|x)。

其中，c表示c类标签，s表示s类标签，d表示d类标签，第x个最终文本特征对应的标签属于c类标签、s类标签或d类标签中的一类，x＝1,2,...,X，X表示生产工况图像的数量，F(y)表示生产样本图像y的最终图像特征，G(x)表示第x个最终文本特征。

示例性的，c类标签为上述的颗粒尺寸类型(粉状、粒度偏大、粒度偏小、粒度适中)、s类标签为上述的加工环境状况(粉尘干扰、雾气干扰、光照不足、正常、水量偏少、水量偏多)、d类标签为上述的颗粒分布状况(不均匀、均匀)。若第x个最终文本特征对应的标签为d类标签，则计算得到的生产样本图像y与第x个最终文本特征之间的相似度为logit(d|x)。

第二步，分别针对每个最终文本特征，根据生产样本图像的最终图像特征与最终文本特征之间的相似度，计算生产样本图像与最终文本特征之间的边际概率。

具体的，通过公式：

计算生产样本图像y与第x个最终文本特征之间的边际概率

其中，τ表示参数。

可以理解的是，上述计算相似度logit(c,s,d|x)的公式和计算边际概率

示例性的，第x个最终文本特征对应的标签为d类标签，则计算得到的生产样本图像y与第x个最终文本特征之间的边际概率为

值得一提的是，通过计算每个最终文本特征与生产样本图像的边际概率，能够反映生产样本图像与最终文本特征之间的关联程度，边际概率越高，说明生产样本图像的标签与最终文本特征对应的标签越相似。

下面结合一具体实例上述步骤进行示例性说明。

如图3所示，生产工况图像的标签进入文本编码器中，得到文本特征，生产工况图像进入图像特征提取模型的图像编码器模块中，得到初始图像特征，初始图像特征经过图像特征提取模型的图像序列特征提取模块的处理，得到序列特征，初始图像特征转换为与序列特征维度相同的序列图像特征，序列图像特征与初始图像特征相乘，得到图像特征，将图像特征和文本特征输入到多任务分类模型中，输出边际概率。

步骤18，根据所有边际概率对多任务分类模型进行优化，得到优化后的多任务分类模型，并利用优化后的多任务分类模型获取需进行工况检测的球团矿生产的生产图像与每个最终文本特征之间的最终边际概率。

在本申请的一些实施例中，上述根据所有边际概率对多任务分类模型进行优化，得到优化后的多任务分类模型，并利用优化后的多任务分类模型获取需进行工况检测的球团矿生产的生产图像与每个最终文本特征之间的最终边际概率的步骤具体包括：

第一步，通过公式：

L

计算多任务分类模型的损失函数值L

其中，w

其中，p(h|y)表示生产样本图像y与标签h之间的关系，生产样本图像y的标签与标签h相同时，p(h|y)＝1，生产样本图像y的标签与标签h不同时，p(h|y)＝0，S表示s类标签的集合，

第二步，判断多任务分类模型的损失函数值是否小于损失函数预设值。

若是，则将多任务分类模型作为优化后的多任务分类模型。

否则，调整多任务分类模型中的参数，并返回基于生产样本图像的最终图像特征和所有最终文本特征，利用多任务分类模型获取生产样本图像与每个最终文本特征之间的边际概率的步骤。

第三步，利用优化后的多任务分类模型获取需进行工况检测的球团矿生产的生产图像与每个最终文本特征之间的最终边际概率。

具体的，首先利用优化后的图像特征提取模型获取需进行工况检测的球团矿生产的生产图像的最终图像特征，然后利用优化后的多任务分类模型获取需进行工况检测的球团矿生产的生产图像的最终图像特征与每个最终文本特征之间的最终边际概率。

示例性的，多任务分类模型的损失函数值为3，大于损失函数预设值2.7，说明此时多任务分类模型的性能没有达到预期，则调整多任务分类模型中的参数，重新获取生产样本图像与每个最终文本特征之间的边际概率并计算损失函数值，此时的损失函数值为1.8，说明此时的多任务分类模型的性能达到预期，为优化后的多任务分类模型。

需要说明的是，上述计算损失函数值的公式中的参数w

值得一提的是，利用损失函数值对多任务分类模型进行优化，能够提高多任务分类模型的质量，使得多任务分类模型的性能达到预期性能，同时根据实际的任务要求调整损失函数值的计算公式中的参数，能够令多任务分类模型满足任务要求，提高多任务分类模型的合理性。

步骤19，基于所有最终边际概率获取需进行工况检测的球团矿生产的工况检测结果。

需要说明的是，工况检测为对需进行工况检测的球团矿生产的工况进行检测，上述工况检测结果为标签(如上文中的粉状、粒度偏大、粒度偏小、粒度适中、雾气、不均匀、均匀等)。

在本申请的一些实施例中，上述基于所有最终边际概率获取需进行工况检测的球团矿生产的工况检测结果的步骤具体为：

第一步，从所有最终边际概率中选择数值最大的最终边际概率作为目标边际概率。

第二步，将目标边际概率对应的标签作为需进行工况检测的球团矿生产的工况检测结果。

示例性的，最终边际概率分别为2、1.3、4.2、3.7、0.7，则将最终边际概率4.2作为目标边际概率，目标边际概率对应的标签为雾气，则需进行工况检测的球团矿生产的工况检测结果为雾气。

需要说明的是，对于一张尺寸较大或工况复杂的需进行工况检测的球团矿生产的生产图像，将该生产图像裁剪为多张生产子图像，并获取每张生产子图像的工况检测结果。

下面结合一具体实例对上述需进行工况检测的球团矿生产的工况检测结果进行示例性说明。

如图4所示，图中第一行为标签类型是颗粒尺寸类型的四张需进行工况检测的球团矿生产的生产图像，标签分别为粉状、粒度偏大、粒度偏小、粒度适中，第二行为标签类型是加工环境状况的四张需进行工况检测的球团矿生产的生产图像，标签分别为粉尘干扰、雾气干扰、光照不足、正常，第三行为标签类型为颗粒分布状况的两张需进行工况检测的球团矿生产的生产图像，标签分别为不均匀、均匀。

值得一提的是，仅使用多个生产工况图像的图像特征和文本特征对图像特征提取模型和文本编码器进行优化，降低了参与优化的数据量，提高优化效率，同时提高了图像特征提取模型和文本编码器的质量，根据所有边际概率对多任务分类模型进行优化，能够提高多任务分类模型的质量，利用质量高的多任务分类模型获取的最终边际概率的准确性高，基于准确度高的最终边际概率获取需进行工况检测的球团矿生产的工况检测结果，能够有效提高球团矿生产工况检测的检测精度。

下面结合一具体实例对本申请的球团矿生产工况检测装置进行示例性说明。

如图5所示，本申请实施例提供了一种球团矿生产工况检测装置，该球团矿生产工况检测装置500包括：

标注模块501，获取球团矿的多张生产工况图像，并分别对每张生产工况图像进行文本标注，获取生产工况图像的标签；

特征提取模块502，利用图像特征提取模型分别对每张生产工况图像进行特征提取，得到生产工况图像的图像特征；

编码模块503，利用文本编码器分别对每张生产工况图像的标签进行编码，得到生产工况图像的文本特征；

第一优化模块504，根据所有生产工况图像的图像特征和文本特征，对图像特征提取模型和文本编码器进行优化，得到优化后的图像特征提取模型和优化后的文本编码器；

第一获取模块505，利用优化后的文本编码器获取每张生产工况图像的最终文本特征；

第二获取模块506，利用优化后的图像特征提取模型获取生产样本图像的最终图像特征；生产样本图像为具有实际的标签的球团矿的生产图像；

边际概率获取模块507，基于生产样本图像的最终图像特征和所有最终文本特征，利用多任务分类模型获取生产样本图像与每个最终文本特征之间的边际概率；

第二优化模块508，根据所有边际概率对多任务分类模型进行优化，得到优化后的多任务分类模型，并利用优化后的多任务分类模型获取需进行工况检测的球团矿生产的生产图像与每个最终文本特征之间的最终边际概率；

检测模块509，基于所有最终边际概率获取需进行工况检测的球团矿生产的工况检测结果。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

如图6所示，本申请的实施例提供了一种终端设备，该实施例的终端设备D10包括：至少一个处理器D100(图6中仅示出一个处理器)、存储器D101以及存储在所述存储器D101中并可在所述至少一个处理器D100上运行的计算机程序D102，所述处理器D100执行所述计算机程序D102时实现上述任意各个方法实施例中的步骤。

具体的，所述处理器D100执行所述计算机程序D102时，通过在本申请的实施例中，通过获取多张生产工况图像，并分别对每张生产工况图像进行文本标注，获取生产工况图像的标签，然后利用图像特征提取模型分别对每张生产工况图像进行特征提取，得到生产工况图像的图像特征，再利用文本编码器分别对每张生产工况图像的标签进行编码，得到生产工况图像的文本特征，然后根据所有生产工况图像的图像特征和文本特征，对图像特征提取模型和文本编码器进行优化，得到优化后的图像特征提取模型和优化后的文本编码器，再利用优化后的文本编码器获取每张生产工况图像的最终文本特征，然后利用优化后的图像特征提取模型获取生产样本图像的最终图像特征，再基于生产样本图像的最终图像特征和所有最终文本特征，利用多任务分类模型获取生产样本图像与每个最终文本特征之间的边际概率，然后根据所有边际概率对多任务分类模型进行优化，得到优化后的多任务分类模型，并利用优化后的多任务分类模型获取需进行工况检测的球团矿生产的生产图像与每个最终文本特征之间的最终边际概率，最后基于所有最终边际概率获取需进行工况检测的球团矿生产的工况检测结果。其中，仅使用多个生产工况图像的图像特征和文本特征对图像特征提取模型和文本编码器进行优化，降低了参与优化的数据量，提高优化效率，同时提高了图像特征提取模型和文本编码器的质量，根据所有边际概率对多任务分类模型进行优化，能够提高多任务分类模型的质量，利用质量高的多任务分类模型获取的最终边际概率的准确性高，基于准确度高的最终边际概率获取需进行工况检测的球团矿生产的工况检测结果，能够有效提高球团矿生产工况检测的检测精度。

所称处理器D100可以是中央处理单元(CPU，Central Processing Unit)，该处理器D100还可以是其他通用处理器、数字信号处理器(DSP，Digital Signal Processor)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现成可编程门阵列(FPGA，Field-Programmable Gate Array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器D101在一些实施例中可以是所述终端设备D10的内部存储单元，例如终端设备D10的硬盘或内存。所述存储器D101在另一些实施例中也可以是所述终端设备D10的外部存储设备，例如所述终端设备D10上配备的插接式硬盘，智能存储卡(SMC，SmartMedia Card)，安全数字(SD，Secure Digital)卡，闪存卡(Flash Card)等。进一步地，所述存储器D101还可以既包括所述终端设备D10的内部存储单元也包括外部存储设备。所述存储器D101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器D101还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到球团矿生产工况检测方法装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。