基于噪声扰动与结构相似性损失函数的图像分割方法及系统

技术领域

本发明涉及图像处理技术，具体涉及一种基于噪声扰动与结构相似性损失函数的图像分割方法及系统。

背景技术

在近年来的工业应用中，图像分割技术的重要性日益凸显，尤其在尺寸测量和位置度检测等任务中，图像分割对目标物体的边界提取和精确定位起到关键作用。然而，由于实际工业环境较为复杂性，相机抖动、设备抖动和环境光线的变化等因素的影响，易在成像时引入噪声，导致即使连续拍摄相同工件获得的图像也存在微弱的色彩、亮度和对比度差异，给图像分割技术带来了挑战。

公开号为CN115170808 A的专利提供了一种图像分割方法及系统，对图像进行旋转、平移、噪声扰动等数据增强操作，将增强后的图像输送至包括编码层和解码层的端到端模型进行模型训练，得到目标分割图像。该方法进行了包括噪声扰动在内的数据增强操作以保持数据的多样性，避免模型过拟合，但未考虑同一图像引入微弱噪声时分割结果的稳定性。

公开号为CN112949529 A的专利提供了一种基于损失函数的视频图像分割稳定性提升方法，通过对图像进行旋转、缩放和平移线性几何变换来模拟目标运动并生成不同视角的图片，再引入稳定性损失调整模型，增强分割边界的一致性。但该方法未考虑噪声对模型的影响，且使用的损失函数未将优化重点放在边界上。

综上，现有技术多从图像增强、融合多层特征、后处理等方面入手来获得单张图像的精确边界，而未考虑噪声对图像分割的影响，难以有效地处理图像中由于光照变化等因素引起的微小差异，在对相同工件多次拍摄的图像进行分割时，得到的分割结果一致性有待提升。

发明内容

本发明所要解决的技术问题是：提出一种基于噪声扰动与结构相似性损失函数的图像分割方法及系统，提高图像分割结果的一致性。

本发明解决上述技术问题采用的技术方案是：

一方面，本发明提供了一种基于噪声扰动与结构相似性损失函数的图像分割方法，包括以下步骤：

A、训练图像分割模型：

A1、获取目标的图像数据并预处理，获得目标的训练集；

A2、针对目标的训练集中的单张图像，进行加噪处理或者增强处理后再加噪处理，获得单张图像对应的序列图像组；

A3、以单张图像对应的序列图像组作为输入，利用图像分割模型进行预测，获得单张图像对应的序列图像组中各图像的预测结果；

A4、对所述单张图像对应的序列图像组中图像的预测结果进行逆变换；

A5、以进行逆变换操作后的单张图像对应的序列图像组中图像的预测结果与该单张图像的真值标签的二值交叉熵损失和结构相似性损失作为总损失，进行图像分割模型的训练；

B、执行图像分割任务：

在实际应用中，以待分割的图像作为输入，利用训练好的图像分割模型获得分割出来的目标。

进一步的，步骤A1中，获取目标的图像数据并预处理，获得目标的训练集，包括：

对目标进行一次拍摄，获得一张目标图像，对该图像中各个待分割前景进行标注，再利用标注信息对整图进行批量裁剪操作，将所述目标图像中各个待分割的前景裁剪为预设大小的子图，构成该目标的训练集。

进一步的，步骤A2中，所述增强处理包括但不限于：旋转、平移和翻转；所述加噪处理包括但不限于：随机添加高斯噪声、添加对抗噪声或Zero-DCE等低照度图像增强。

进一步的，步骤A2中，所述单张图像对应的序列图像组包括：子图的原图像、子图仅进行加噪处理后的图像以及子图进行增强处理再加噪处理后的图像。

进一步的，步骤A3中，所述分割模型包括但不限于：基于深度学习的语义分割模型或者基于深度学习的显著性目标检测模型等。

进一步的，步骤A4中，对所述单张图像对应的序列图像组中图像的预测结果进行逆变换，包括：若序列图像组中的某个图像是经过增强处理后获得的，假设增强处理时采用的旋转角度、xy方向平移量、翻转方向分别为θ、(tx，ty)、flip_h，则对该图像的预测结果进行逆变换采用的旋转角度、xy方向平移量、翻转方向分别为-θ、(-tx，-ty)、flip_h；

对于序列图像组中的原图和仅进行加噪处理后的图像，则不对其预测结果进行逆变换。

进一步的，步骤A5中，所述二值交叉熵损失计算如下：

其中，L

进一步的，步骤A5中，所述结构相似性损失计算如下：

其中，

对于一个局部窗口的结构相似性损失，计算如下：

其中，x、y表示两张图像中相对应的局部窗口的像素值，其中x＝{x

进一步的，步骤A5中，所述总损失计算如下：

其中，K表示单张图像对应的序列图像组中的图像的个数，

另一方面，本发明还提供了一种基于噪声扰动与结构相似性损失函数的图像分割系统，包括：模型训练单元和图像分割任务执行单元；所述模型训练单元包括：数据获取模块、序列图像生成模块、预测模块、逆变换模块和损失计算模块；

所述数据获取模块，用于获取目标的图像数据并预处理，获得目标的训练集；

所述序列图像生成模块，用于针对目标的训练集中的单张图像，进行加噪处理或者增强处理后再加噪处理，获得单张图像对应的序列图像组；

所述预测模块，用于以单张图像对应的序列图像组作为输入，利用图像分割模型进行预测，获得单张图像对应的序列图像组中各图像的预测结果；

所述逆变换模块，用于对所述单张图像对应的序列图像组中图像的预测结果进行逆变换；

所述损失计算模块，用于根据逆变换操作后的单张图像对应的序列图像组中图像的预测结果与该单张图像的真值标签的二值交叉熵损失和结构相似性损失，计算出总损失，以训练图像分割模型；

所述图像分割任务执行单元，用于以待分割的图像作为输入，利用训练好的图像分割模型获得分割出来的目标。

本发明的有益效果是：

本发明通过对单张图像进行旋转、平移、翻转变换并添加噪声，生成序列图像以模拟工业场景中可能出现的情况，然后将这些序列图像输入到分割模型中得到模型预测结果，对得到的预测结果进行逆变换，再结合交叉熵损失函数和结构相似性损失函数进行损失计算和分割模型的训练。本发明通过添加噪声模拟真实场景，引入结构相似性损失使分割模型训练时更加关注目标边缘，可以有效地提高图像分割结果的一致性和稳定性。

附图说明

图1为本发明中的图像分割模型的训练过程示意图；

图2为实施例1中基于噪声扰动与结构相似性损失函数的图像分割方法流程图；

图3为实施例2中基于噪声扰动与结构相似性损失函数的图像分割系统结构图。

具体实施方式

本发明旨在提出一种基于噪声扰动与结构相似性损失函数的图像分割方法及系统，提高图像分割结果的一致性。本发明方案中，在训练图像分割模型时，参见图1，通过对单张图像进行旋转、平移、翻转变换并进行噪声扰动，生成序列图像组以模拟工业场景中可能出现的情况，然后将序列图像组输入到分割模型中得到模型预测结果，接着，对得到的预测结果进行逆变换，最后根据逆变换操作后的单张图像对应的序列图像组中图像的预测结果与该单张图像的真值标签的二值交叉熵损失和结构相似性损失，计算出总损失，进行图像分割模型的训练。

下面结合附图及实施例对本发明的方案作进一步的描述。

实施例1

本实施例提供了一种基于噪声扰动与结构相似性损失函数的图像分割方法，参见图2，其包括以下实施步骤：

S1、获取目标的图像数据并预处理，获得目标的训练集；

本步骤中，“目标”为待分割对象，即，需要将该对象从包含该对象的图像中分割出来。一种示例性的方案中，通过对目标进行一次拍摄可以获得包含该目标的一张图像，接着对该图像进行预处理，如标注、裁剪等操作，对目标进行一次拍摄，获得一张目标图像，对该图像中各个待分割前景进行标注，其中属于目标的像素的像素值标注为255，不属于该目标的背景的像素值标注为0，再利用标注信息对整图进行批量裁剪操作，将所述目标图像中各个待分割的前景裁剪为预设大小的子图，构成该目标的训练集。

S2、对单张图像进行噪声扰动，获得序列图像组；

本步骤中，对单张图像(单个子图)进行噪声扰动的方式包括直接添加噪声和先进行图像增强后再添加噪声。一种示例性的方案中，通过对输入的单张图像的原图先进行旋转、平移、翻转数据增强，得到3张增强后的图像，再分别对3张增强后的图像和1张原图添加噪声，从而获得4张经过噪声扰动的图像，加上1张原图则可以得到5张子图，构成对应此单张图像的序列图像组。

其中，数据增强方式需要确定必要参数，包括：旋转角度、xy方向上的平移量、翻转方向。这些必要参数通过在提前设定参数的范围中随机确定：旋转角度在[0°，360°]范围内随机确定；xy方向平移量(tx，ty)的选取范围均为[-p，p]，p的具体值根据图像尺寸与待分割目标尺寸确定；翻转方向在[水平翻转(flip_h)，垂直翻转(flip_v)，水平垂直翻转(flip_hv)]中选择。并且，这些必要参数需要进行保留，以便步骤S4中进行逆变换。

所述添加噪声的方式包括但不限于：随机添加高斯噪声、添加对抗噪声或Zero-DCE等低照度图像增强。

S3、利用图像分割模型对序列图像组中各图像进行预测；

本步骤中，所述分割模型包括但不限于基于深度学习的语义分割模型、基于深度学习的显著性目标检测模型等。一种示例性的方案中，分割模型采用基于深度学习算法的显著性目标检测模型U2Net。以单张图像对应的序列图像组中的各图像作为输入，利用图像分割模型进行预测，获得单张图像对应的序列图像组中各图像的预测结果；所述预测结果是经过Sigmoid激活函数转换之后的模型预测结果。

S4、对预测结果进行逆变换；

本步骤中，所述对模型预测结果进行逆变换是与步骤S2中对图像进行的数据增强相对应的，例如步骤S2中对原图的旋转角度、xy方向平移量、翻转方向分别为θ、(tx，ty)、flip_h，则在步骤S4中对对应图像的预测结果的旋转角度、xy方向平移量、翻转方向就分别为：-θ、(-tx，-ty)、flip_h。

需要说明的是，逆变换是针对数据增强的逆变换，因此，对于单张图像对应的序列图像组中的原图以及直接对原图进行噪声扰动而未进行数据增强的图像，则不进行逆变换。

S5、结合二值交叉熵损失函数与结构相似性损失函数计算损失，进行模型训练；

本步骤中，计算损失是将序列图像组中的各图像的预测结果分别与真值标签计算损失，如在步骤S2中，图像序列组中有5张图像，包括1张原图、1张原图直接加噪后的图像、3张原图先进行图像增强再加噪后的图像。那么，此步骤中则是计算此5张图像的预测结果与真值标签的损失之和。

本发明中考虑了两种损失，其一为二值交叉熵损失(Binary Cross-EntropyLoss，BCE)，其二为结构相似性损失(Structural Similarity Loss，SSIM)。

二值交叉熵损失以像素为单位，不考虑邻域的标签，对前景和背景像素进行同等加权，有助于所有像素的收敛。二值交叉熵损失计算公式为：

其中，L

结构相似性是分别从结构、亮度、对比度三个方面来衡量两张图像相似程度的指标。结构相似性损失通过设置一个M×M大小的局部窗口，计算窗口内像素值的均值作为亮度的度量、标准差作为对比度的度量、协方差作为结构相似度的度量，进而计算结构相似性损失，以像素为单位滑动，最后取所有窗口的结构相似性损失的平均。

由于结构相似性是在局部窗口中计算的，边界区域的窗口可能同时包含前景和背景，导致该区域的像素值更加多样化，这种多样性可能导致窗口内像素值的统计特性(如亮度均值、方差和协方差)与非边界区域显著不同，更能影响损失值，所以结构相似性可以使模型更加关注边界区域的优化。

结构相似性损失计算如下：

其中，Lj

对于一个局部窗口的结构相似性损失，计算如下：

其中，x、y表示两张图像中相对应的局部窗口的像素值，其中x＝{x

则最终总损失计算如下：

其中，K表示单张图像对应的序列图像组中的图像的个数，

在计算出总损失后，可以将最小化总损失作为目标，通过反向传播法训练图像分割模型，即不断优化模型参数，在达到训练截止条件时，获得训练完成的图像分割模型。

S6、在实际应用中，以待分割的图像作为输入，利用训练好的图像分割模型获得分割出来的目标。

本步骤中，对于实际应用过程中，将包含了目标的待分割的图像作为训练好的图像分割模型的输入，可以获得分割出来的目标。

实施例2

本实施例提供了一种基于噪声扰动与结构相似性损失函数的图像分割系统，参见图3，该系统包括模型训练单元和图像分割任务执行单元；

所述模型训练单元包括：数据获取模块、序列图像生成模块、预测模块、逆变换模块和损失计算模块；

所述数据获取模块，用于获取目标的图像数据并预处理，获得目标的训练集；

所述序列图像生成模块，用于针对目标的训练集中的单张图像，进行加噪处理或者增强处理后再加噪处理，获得单张图像对应的序列图像组；

所述预测模块，用于以单张图像对应的序列图像组作为输入，利用图像分割模型进行预测，获得单张图像对应的序列图像组中各图像的预测结果；

所述逆变换模块，用于对所述单张图像对应的序列图像组中图像的预测结果进行逆变换；

所述损失计算模块，用于根据逆变换操作后的单张图像对应的序列图像组中图像的预测结果与该单张图像的真值标签的二值交叉熵损失和结构相似性损失，计算出总损失，以训练图像分割模型；

所述图像分割任务执行单元，用于以待分割的图像作为输入，利用训练好的图像分割模型获得分割出来的目标。

由于上述各个模块的功能与实施例1中的相应方法步骤对应，基于实施例1中的描述，此处不再对各个模块的具体实现进行赘述。

最后应当说明的是，上述实施例仅是优选实施方式，并不用以限制本发明。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出若干修改，等同替换、改进等，均应包含在本发明的保护范围之内。