基于梯度场标签的浮选泡沫图像实例分割方法和装置

技术领域

本发明涉及浮选技术领域，尤其涉及一种基于梯度场标签的浮选泡沫图像实例分割方法和装置。

背景技术

泡沫浮选是一种常见的矿物分离技术，常用于选别金属矿物、非金属矿物和稀有金属等矿物。在浮选过程中，基于矿物表面的化学和物理性质差异，在适当的化学药剂和气泡的作用下，目标矿物与气泡结合形成泡沫，从而使矿物颗粒升到液面，形成浮渣，达到分离矿物的目的。因此，泡沫的数量、大小、稳定性等对浮选过程的效率和分离效果有着重要影响。

当前的选矿作业中，通常是由浮选工观察浮选槽中泡沫，并依据已有的自身经验来判断工况，针对不同情况采取改变添加的硫酸量、药剂量等的控制操作。但是，浮选工的判断的主观性和不稳定性难以保证浮选过程的稳定性以及浮选效果的最优性，即矿物利用率、药剂消耗比例和生产过程的可控程度缺乏客观的指标保障。而对于浮选泡沫图像进行分割能高效地提供泡沫的形态、大小、密度等更为详细的定量分析，得到更多有用的信息，从而帮助优化浮选工艺和提高分离效率，因此亟需一种有效的浮选泡沫图像分割方法。

发明内容

本发明提供了一种基于梯度场标签的浮选泡沫图像实例分割方法和装置，用以对浮选泡沫图像实例进行分割。所述技术方案如下：

一方面，提供了一种基于梯度场标签的浮选泡沫图像实例分割方法，包括：

S1、采集浮选泡沫图像，进行泡沫实例层级的掩膜标注；

S2、将所述掩膜标注转化成能够利用梯度强度拟合泡沫空间分布的梯度场标签；

S3、将所述泡沫图像输入泡沫实例分割网络模型，预测出所述浮选泡沫图像的梯度图，所述泡沫实例分割网络模型的训练学习，利用所述梯度场标签替代所述掩膜标注进行监督；

S4、将预测出的梯度图转化成实例掩膜，得到实例层级的分割结果。

可选地，所述S2中将所述掩膜标注转化成能够利用梯度强度拟合泡沫空间分布的梯度场标签，具体包括：

S21、将掩膜标注图作为输入，获取所述掩膜标注图中所标注的各个泡沫掩膜区域边界像素的坐标位置；

S22、根据所述泡沫掩膜区域边界像素的坐标位置，计算各个泡沫掩膜的质心，以及各个泡沫掩膜内所有像素点与所述质心的距离；

S23、以所述质心为梯度中心，根据泡沫掩膜内像素点与所述质心的距离远近，计算各个泡沫掩膜的水平和垂直两个方向上的梯度，形成梯度场标签图，所述梯度场标签图反映泡沫的空间分布，作用于所述泡沫实例分割网络模型的模型训练监督。

可选地，所述S22中根据所述泡沫掩膜区域边界像素的坐标位置，计算各个泡沫掩膜的质心，以及各个泡沫掩膜内所有像素点与所述质心的距离，具体包括：

假设某个泡沫掩膜区域边界像素的坐标分别为(x

依据每个泡沫掩膜内像素点在图中的坐标，遍历所有的像素点，采用欧几里得距离公式计算距离：

可选地，所述S23中以所述质心为梯度中心，根据泡沫掩膜内像素点与所述质心的距离远近，计算各个泡沫掩膜的水平和垂直两个方向上的梯度，形成梯度场标签图，具体包括：

先计算各个泡沫掩膜对应的热力场，以各个泡沫掩膜质心为热源，每次迭代对热源增加常数值1，并采用八邻域填充算法，依据距离远近顺序对周围像素点进行填充，泡沫掩膜外的像素位置的热力值恒定为0，对此过程进行N次迭代，其中N为泡沫掩膜的像素长度与宽度之和的2倍，得到各个泡沫掩膜的热力值分布场；

利用所述热力值分布场的热力值分布进行水平和垂直梯度计算，每个像素位置的水平梯度值为水平方向左右两像素的热力值之差，每个像素位置的垂直方向梯度值为垂直方向上下两像素的热力值之差；

最后，将水平梯度与垂直梯度合并，形成梯度场标签图。

可选地，所述泡沫实例分割网络模型采用镜像对称的U型网络架构，网络前半部分利用编码器进行特征提取，后半部分利用解码器将提取到的特征进行回归得到预测结果；

所述编码器由下采样通道组成，所述解码器由上采样通道组成，两个通道都由四个空间尺度组成，每个空间尺度由两个残差块组成，每个残差块由两个卷积组成，卷积核大小为3×3；

每个空间尺度进行4次卷积操作，每次卷积得到一个卷积图，使用最大池化来对卷积图进行下采样，每个卷积图之前都有一个批范数和Relu操作，两个残差块之间采用1×1卷积进行跳跃连接；

下采样通道完成特征提取后，在上采样之前，对下采样通道得到的每个特征图进行全局的平均池化生成256维的特征向量作为图像的全局特征，所述全局特征是将不同层次和不同尺度的特征进行融合得到的；

在上采样通道上，每个空间尺度先将前一空间尺度的输出作为输入进行第一次卷积；

对上采样的每一空间尺度的后3个卷积层都添加所述全局特征，选择不同上采样空间尺度的维度进行线性投影，再将所述全局特征在所匹配的卷积图中的每个位置进行全局广播，得到对应空间尺度大小的全局特征；

每一个空间尺度完成第一次卷积后，将下采样通道中等效级别的特征、对应空间尺度大小的全局特征、所述空间尺度的第一个卷积输出采用拼接的方式进行特征融合，将其输入到第二个卷积上，再依次类推完成3次卷积操作；

上采样通道上的最后一个空间尺度后接三个并行的1×1卷积层，最终预测得到三个输出，前两个输出被用于直接预测图像的水平和垂直梯度，第三个输出用于预测像素在泡沫实例个体内部或外部的概率。

可选地，所述S4中将预测出的梯度图转化成实例掩膜，得到实例层级的分割结果，具体包括：

对像素概率映射设置阈值，只考虑阈值以上的像素；

对梯度场进行滤波平滑降噪，合并水平和垂直的梯度场分量并计算梯度场强度，梯度场强度大于0的为有效像素点；

重整梯度场，所述有效像素点沿梯度方向进行200轮的步长为1的欧拉积分迭代，完成迭代后，所述有效像素点更容易向局部最大值方向聚类，区分出不同实例的坐标位置以及边界；

对梯度场进行最大池化，找出梯度场中局部最大值的位置，池化后的值没有变化且其强度值大于2的点为局部最大值的位置；

以局部最大值点作为起始点，以梯度场的导向为方向利用八邻域填充算法进行漫水填充，所属同一实例位置的连通区域到达边界进行统一颜色填充，区别不同的泡沫。

可选地，所述泡沫实例分割网络模型预测泡沫图像水平和垂直方向上的梯度场，以及每个像素处于泡沫实例个体内部或位外部的概率，预测结果与梯度场标签进行比较，使用L2损失函数计算梯度场水平分量和垂直分量的损失，使用交叉熵损失计算像素是否在泡沫实例个体内部或外部的概率的损失，并计算以上两者的和作为模型训练的损失，用以反向传播更新参数，直至损失最小化后停止训练，使得模型能够准确预测泡沫图像梯度场和像素概率。

另一方面，提供了一种基于梯度场标签的浮选泡沫图像实例分割装置，包括：

采集标注模块，用于采集浮选泡沫图像，进行泡沫实例层级的掩膜标注；

第一转化模块，用于将所述掩膜标注转化成能够利用梯度强度拟合泡沫空间分布的梯度场标签；

预测模块，用于将所述泡沫图像输入泡沫实例分割网络模型，预测出所述浮选泡沫图像的梯度图，所述泡沫实例分割网络模型的训练学习，利用所述梯度场标签替代所述掩膜标注进行监督；

第二转化模块，用于将预测出的梯度图转化成实例掩膜，得到实例层级的分割结果。

另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于梯度场标签的浮选泡沫图像实例分割方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于梯度场标签的浮选泡沫图像实例分割方法。

上述技术方案，与现有技术相比至少具有如下有益效果：

本发明可以有效地直接将泡沫分割成不同的泡沫实例，以更好地量化浮选泡沫的视觉信息，从而提高浮选工艺的效率和质量，且分割精度高，鲁棒性强，为浮选工况的判断提供了准确的泡沫大小、数量等必要参数值。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于梯度场标签的浮选泡沫图像实例分割方法流程图；

图2为本发明实施例提供的整体算法结构图；

图3为本发明实施例提供的掩膜标注转梯度场标签流程图；

图4为本发明实施例提供的泡沫实例分割网络模型的网络结构图；

图5是本发明实施例提供的由梯度场预测以及像素概率复原实例掩膜流程图；

图6为本发明实施例提供的一种基于梯度场标签的浮选泡沫图像实例分割装置框图；

图7是本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供了一种基于梯度场标签的浮选泡沫图像实例分割方法，包括：

S1、采集浮选泡沫图像，进行泡沫实例层级的掩膜标注；

S2、将所述掩膜标注转化成能够利用梯度强度拟合泡沫空间分布的梯度场标签；

S3、将所述泡沫图像输入泡沫实例分割网络模型，预测出所述浮选泡沫图像的梯度图，所述泡沫实例分割网络模型的训练学习，利用所述梯度场标签替代所述掩膜标注进行监督；

S4、将预测出的梯度图转化成实例掩膜，得到实例层级的分割结果。

本发明实施例结合泡沫的凸曲面的立体形态，将纯平面的掩膜标注转化为反映泡沫空间分布的梯度场标签，用梯度场标签替代现有的掩膜作为标签进行泡沫浮选的泡沫实例分割网络模型的监督学习；所述泡沫实例分割网络模型，不同于现有直接预测实例掩膜的方法，预测泡沫图像对应的梯度场、像素概率，由梯度场复原掩膜，完成实例层级的分割，得到准确的分割结果。

下面结合图2-图5，详细说明本发明实施例提供的一种基于梯度场标签的浮选泡沫图像实例分割方法，包括：

S1、采集浮选泡沫图像，进行泡沫实例层级的掩膜标注；

浮选槽上架立高清工业摄像头进行泡沫图像的采集；

对采集到的泡沫图像进行人工的实例层级的掩膜标注(纯平面的)，标注出各个泡沫掩膜区域，得到泡沫图像对应的分割标注图；

将掩膜标注与原始图像构建成数据集，并按比例划分训练集、验证集和测试集；

对浮选泡沫的图像数据集中的训练集样本进行数据增强，使用包括但不限于随机水平翻转、随机垂直翻转、随机多尺度变换、随机角度变换的方法来扩充训练样本。

S2、将所述掩膜标注转化成能够利用梯度强度拟合泡沫空间分布的梯度场标签；

可选地，如图3所示，所述S2中将所述掩膜标注转化成能够利用梯度强度拟合泡沫空间分布的梯度场标签，具体包括：

S21、将掩膜标注图作为输入，获取所述掩膜标注图中所标注的各个泡沫掩膜区域边界像素的坐标位置；

S22、根据所述泡沫掩膜区域边界像素的坐标位置，计算各个泡沫掩膜的质心，以及各个泡沫掩膜内所有像素点与所述质心的距离；

假设某个泡沫掩膜区域边界像素的坐标分别为(x

依据每个泡沫掩膜内像素点在图中的坐标，遍历所有的像素点，采用欧几里得距离公式计算距离：

S23、以所述质心为梯度中心，根据泡沫掩膜内像素点与所述质心的距离远近，计算各个泡沫掩膜的水平和垂直两个方向上的梯度，形成梯度场标签图，所述梯度场标签图反映泡沫的空间分布，作用于所述泡沫实例分割网络模型的模型训练监督。

先计算各个泡沫掩膜对应的热力场，以各个泡沫掩膜质心为热源，每次迭代对热源增加常数值1，并采用八邻域填充算法，依据距离远近顺序对周围像素点进行填充，泡沫掩膜外的像素位置的热力值恒定为0，对此过程进行N次迭代，其中N为泡沫掩膜的像素长度与宽度之和的2倍，得到各个泡沫掩膜的热力值分布场；

利用所述热力值分布场的热力值分布进行水平和垂直梯度计算，每个像素位置的水平梯度值为水平方向左右两像素的热力值之差，每个像素位置的垂直方向梯度值为垂直方向上下两像素的热力值之差；

由于泡沫掩膜外的热力值为0，明显可得泡沫掩膜外的水平梯度及垂直梯度值均为0。

最后，将水平梯度与垂直梯度合并，形成梯度场标签图。

该梯度场标签图上，泡沫掩膜与非泡沫掩膜区域，即泡沫及非泡沫区域梯度变化明显，有易于区分的边界线，每一个泡沫掩膜的梯度场近似泡沫的曲面特征，梯度场标签图则反映了泡沫空间分布，更有助于监督模型的学习泡沫的实例分割。

S3、将所述泡沫图像输入泡沫实例分割网络模型，预测出所述浮选泡沫图像的梯度图，所述泡沫实例分割网络模型的训练学习，利用所述梯度场标签替代所述掩膜标注进行监督；

可选地，如图4所示，所述泡沫实例分割网络模型采用镜像对称的U型网络架构，网络前半部分利用编码器进行特征提取，后半部分利用解码器将提取到的特征进行回归得到预测结果；

所述编码器由下采样通道组成，所述解码器由上采样通道组成，两个通道都由四个空间尺度组成，每个空间尺度由两个残差块组成，每个残差块由两个卷积组成，卷积核大小为3×3；

每个空间尺度进行4次卷积操作，每次卷积得到一个卷积图，使用最大池化来对卷积图进行下采样，每个卷积图之前都有一个批范数和Relu操作，两个残差块之间采用1×1卷积进行跳跃连接；

下采样通道完成特征提取后，在上采样之前，对下采样通道得到的每个特征图进行全局的平均池化生成256维的特征向量作为图像的全局特征，所述全局特征是将不同层次和不同尺度的特征进行融合得到的，因此能有更好的全面、综合的表达；

由于浮选泡沫图像中存在的泡沫大小存在的明显尺度差异，不利于模型对泡沫进行分割，提取全局特征并将其融合到上采样过程中，有利于模型学习泡沫不同尺度的特征信息，获得更精确的实例分割结果。

在上采样通道上，每个空间尺度先将前一空间尺度的输出作为输入进行第一次卷积；

对上采样的每一空间尺度的后3个卷积层都添加所述全局特征，选择不同上采样空间尺度的维度进行线性投影(使得线性投影后的全局特征的尺度匹配上采样对应的卷积图的维度)，再将所述全局特征在所匹配的卷积图中的每个位置进行全局广播，得到对应空间尺度大小的全局特征；

每一个空间尺度完成第一次卷积后，将下采样通道中等效级别的特征、对应空间尺度大小的全局特征、所述空间尺度的第一个卷积输出采用拼接的方式进行特征融合，将其输入到第二个卷积上，再依次类推完成3次卷积操作；

上采样通道上的最后一个空间尺度后接三个并行的1×1卷积层，最终预测得到三个输出，前两个输出被用于直接预测图像的水平和垂直梯度，第三个输出用于预测像素在泡沫实例个体内部或外部的概率。

S4、将预测出的梯度图转化成实例掩膜，得到实例层级的分割结果。

可选地，如图5所示，所述S4中将预测出的梯度图转化成实例掩膜，得到实例层级的分割结果，具体包括：

对像素概率映射设置阈值(比如可以设置为0.5)，只考虑阈值以上的像素；

对梯度场进行滤波平滑降噪，合并水平和垂直的梯度场分量并计算梯度场强度，梯度场强度大于0的为有效像素点；

重整梯度场，所述有效像素点沿梯度方向进行200轮的步长为1的欧拉积分迭代，完成迭代后，所述有效像素点更容易向局部最大值方向聚类，区分出不同实例的坐标位置以及边界；

对梯度场进行最大池化，找出梯度场中局部最大值的位置，池化后的值没有变化且其强度值大于2的点为局部最大值的位置；

以局部最大值点作为起始点，以梯度场的导向为方向利用八邻域填充算法进行漫水填充，所属同一实例位置的连通区域到达边界进行统一颜色填充，区别不同的泡沫。

可选地，所述泡沫实例分割网络模型预测泡沫图像水平和垂直方向上的梯度场，以及每个像素处于泡沫实例个体内部或位外部的概率，预测结果与梯度场标签进行比较，使用L2损失函数计算梯度场水平分量和垂直分量的损失，使用交叉熵损失计算像素是否在泡沫实例个体内部或外部的概率的损失，并计算以上两者的和作为模型训练的损失，用以反向传播更新参数，直至损失最小化后停止训练，使得模型能够准确预测泡沫图像梯度场和像素概率。

本发明实施例中使用的所有数值，都是本发明的较佳示例，但本发明并不限制这些数值，都在本发明实施例的保护范围内。

本发明实施例可以采用AP公式分别评估训练好的网络模型精度。

通过将每个预测的掩膜与真实掩膜进行匹配计算其交集IoU；

根据设定的0.5的IoU阈值对每个预测掩膜进行分类，IoU大于阈值的预测掩膜分类为有效匹配即TP，低于阈值的预测掩膜为无效匹配即FP，不能有效匹配的真值掩膜为FN；

由TP、FP、FN计算得出AP。

如图6所示，本发明实施例还提供了一种基于梯度场标签的浮选泡沫图像实例分割装置，包括：

采集标注模块610，用于采集浮选泡沫图像，进行泡沫实例层级的掩膜标注；

第一转化模块620，用于将所述掩膜标注转化成能够利用梯度强度拟合泡沫空间分布的梯度场标签；

预测模块630，用于将所述泡沫图像输入泡沫实例分割网络模型，预测出所述浮选泡沫图像的梯度图，所述泡沫实例分割网络模型的训练学习，利用所述梯度场标签替代所述掩膜标注进行监督；

第二转化模块640，用于将预测出的梯度图转化成实例掩膜，得到实例层级的分割结果。

本发明实施例提供的一种基于梯度场标签的浮选泡沫图像实例分割装置，其功能结构与本发明实施例提供的一种基于多模态时序信息的浮选控制参数预测方法相对应，在此不再赘述。

图7是本发明实施例提供的一种电子设备700的结构示意图，该电子设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)701和一个或一个以上的存储器702，其中，所述存储器702中存储有至少一条指令，所述至少一条指令由所述处理器701加载并执行以实现上述基于梯度场标签的浮选泡沫图像实例分割方法的步骤。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于梯度场标签的浮选泡沫图像实例分割方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。