一种锈蚀检测方法，检测装置及存储介质

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种一种锈蚀检测方法，检测装置及存储介质。

背景技术

钢铁材料因其良好的支撑性被广泛使用于电线铁塔、桥梁等基础设施结构中。然而，钢铁易与氧气等活跃氧化剂产生反应，产生锈蚀，减短基础设施的寿命，可能导致灾难性的后果。电线铁塔均架设在野外，极易受外部环境影响而产生材料性能下降。若铁塔螺栓长期受含盐量高的雨水侵蚀，将逐渐沙化，雨水可沿着保护帽与塔材的接缝渗入，易造成螺栓锈蚀。若锈蚀不断加剧，受持续强风作用和覆冰等外力条件的影响，将突破铁塔受力临界极限，发生铁塔倾斜、倒塔断线等事故，严重影响输电线路的安全可靠运行。

现有的锈蚀检测往往依赖于人工检测，人工检测容易存在判断误差，难以为后续的检测维修提供客观公正的反馈。当前主流的锈蚀检测的方法包括数字图像处理、传统机器学习以及深度学习。数字图像处理与传统机器学习方法便于实现且计算量小，且应用锈蚀的特征进行检测，标注出锈蚀区域，但不同程度的锈蚀具有明显的特征差异，难以用前两者实现鲁棒的特征表示。同时，锈蚀区域的边界与未锈蚀区域紧贴，难以准确划定，需要较多的训练数据需求量制作高质量的数据集训练深度学习模型，难以标注出准确的锈蚀区域。

发明内容

本申请实施例提供了一种锈蚀检测方法，检测装置及存储介质，能在待测图像中准确地确定出锈蚀区域。

本申请实施例提供了一种锈蚀的检测方法，包括：

获取待测图像，并提取所述待测图像的中每一像素点的特征向量；

将所述特征向量输入预先训练的混合高斯模型，得到所述待测图像中每一像素点的第一锈蚀概率；

将所述待测图像输入预设聚类算法，基于所述预设聚类算法将所述待测图像中颜色特征相似的像素点聚类成超像素，并获取所述待测图像中每一超像素的第二锈蚀概率；

基于预设阈值算法以及所述第一锈蚀概率，得到所述待测图像的目标阈值；

根据所述超像素的第二锈蚀概率以及所述目标阈值，确定所述超像素是否为锈蚀区域。

进一步的，所述提取所述待测图像的中每一像素点的特征向量包括：

将所述待测图像从RGB色彩空间转换为HSV色彩空间；

对HSV色彩空间的所述待测图像根据公式：H(i,j)＝(H(i,j)+180)mod 360，转化所述待测图像中目标像素点的色调值，其中，i,j表示所述目标像素点在所述待测图像中的坐标位置；

将所述目标像素点对应的转化后色调值、饱和值以及明度值进行归一化处理，得到所述目标像素点的特征向量。

进一步的，所述将所述特征向量输入预先训练的混合高斯模型前，所述方法还包括：

获取锈蚀图像训练集以及初始混合高斯模型，提取所述锈蚀图像训练集中像素点的第一特征向量；

将所述第一特征向量输入所述初始混合高斯模型，所述初始混合高斯模型输出第三锈蚀概率；

根据所述第三锈蚀概率与预设锈蚀概率构建损失值；

基于所述损失值调整所述初始混合高斯模型的均值以及协方差，直至所述初始混合高斯模型收敛，则得到训练完成的混合高斯模型。

进一步的，所述将所述特征向量输入预先训练的混合高斯模型，得到所述待测图像中每一像素点的第一锈蚀概率包括：

将所述特征向量输入预先训练的混合高斯模型：

其中，x

所述预先训练的混合高斯模型输出第i个特征向量对应的p个锈蚀概率，选取p个锈蚀概率中最大值作为所述第i个特征向量对应的像素点的第一锈蚀概率。

进一步的，所述预设聚类算法包括：超像素分割算法，所述基于所述预设聚类算法将所述待测图像中颜色特征相似的像素点聚类成超像素包括：

根据所述待测图像中超像素的总数，确定每一超像素的初始聚类中心；

根据公式：G(x,y)＝||L(x+1,y)-L(x-1,y)||

将目标邻域超像素中的初始聚类中心，移至所述目标邻域超像素中梯度值最小的像素点对应的位置作为所述标邻域超像素的聚类中心；

通过所述超像素分割算法：

其中，d

对所述待测图像中每一超像素的聚类中心，测得预设范围内的像素点到聚类中心的距离，并取距离最小的聚类中心作为超像素的目标聚类中心。

进一步的，所述预设阈值算法包括：自适应阈值分割算法，所述基于自适应阈值分割算法以及所述第一锈蚀概率，得到所述待测图像的目标阈值包括：

基于所述第一锈蚀概率生成所述待测图像对应的锈蚀灰度图；

将所述锈蚀灰度图输入所述自适应阈值分割算法，得到所述待测图像对应的二值化阈值，并将所述二值化阈值作为所述待测图像的目标阈值；

其中，所述自适应阈值分割算法包括：

其中，k

进一步的，根据所述超像素的第二锈蚀概率以及所述目标阈值，确定所述超像素是否为锈蚀区域包括：

若所述超像素的第二锈蚀概率大于所述目标阈值，则确定所述超像素为锈蚀区域；

若所述超像素的第二锈蚀概率小于所述目标阈值，则确定所述超像素为非锈蚀区域。

本申请实施例还提供了一种锈蚀的检测装置，包括：

获取单元，用于获取待测图像，并提取所述待测图像的中每一像素点的特征向量；

输入单元，用于将所述特征向量输入预先训练的混合高斯模型，得到所述待测图像中每一像素点的第一锈蚀概率；

聚类单元，用于将所述待测图像输入预设聚类算法，基于所述预设聚类算法将所述待测图像中颜色特征相似的像素点聚类成超像素，并获取所述待测图像中每一超像素的第二锈蚀概率；

执行单元，用于基于预设阈值算法以及所述第一锈蚀概率，得到所述待测图像的目标阈值；

确定单元，用于根据所述超像素的第二锈蚀概率以及所述目标阈值，确定所述超像素是否为锈蚀区域。

本申请实施例还提供了一种锈蚀的检测装置，包括：

中央处理器，存储器以及输入输出接口；

所述存储器为短暂存储存储器或持久存储存储器；

所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行上述的方法。

本申请实施例还提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行上述的方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例方法包括：获取待测图像，并提取待测图像的中每一像素点的特征向量；将特征向量输入预先训练的混合高斯模型，得到待测图像中每一像素点的第一锈蚀概率；将待测图像输入预设聚类算法，基于预设聚类算法将待测图像中颜色特征相似的像素点聚类成超像素，并获取待测图像中每一超像素的第二锈蚀概率；基于预设阈值算法以及第一锈蚀概率，得到待测图像的目标阈值；根据超像素的第二锈蚀概率以及目标阈值，确定超像素是否为锈蚀区域，通过将颜色特征相似的像素点聚类成超像素，根据超像素的第二锈蚀概率以及目标阈值，能准确地超像素是否为锈蚀区域，能在待测图像中准确地确定出锈蚀区域。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一个锈蚀的检测流程图；

图2为本申请实施例公开的另一锈蚀的检测流程图；

图3为本申请实施例公开的一个混合高斯模型的流程图；

图4为本申请实施例公开的一个超像素分割以及阈值分割的流程图；

图5为本申请实施例公开的一个锈蚀检测的效果图；

图6为本申请实施例公开的一个锈蚀的检测装置图；

图7为本申请实施例公开的另一锈蚀的检测装置图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请实施例的限制。

在本申请实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请实施例中的具体含义。

现有的锈蚀检测往往依赖于人工检测，人工检测容易存在判断误差，难以为后续的检测维修提供客观公正的反馈。当前主流的锈蚀检测的方法包括数字图像处理、传统机器学习以及深度学习。数字图像处理与传统机器学习方法便于实现且计算量小，且应用锈蚀的特征进行检测，标注出锈蚀区域，但不同程度的锈蚀具有明显的特征差异，难以用前两者实现鲁棒的特征表示。同时，锈蚀区域的边界与未锈蚀区域紧贴，难以准确划定，需要较多的训练数据需求量制作高质量的数据集训练深度学习模型。现有的锈蚀检测技术存在锈蚀特征提取不鲁棒以及训练数据需求量等不足，难以标注出准确的锈蚀区域。因此，本申请实施例提供了一种锈蚀的检测方法，能在待测图像中准确地确定出锈蚀区域，如图1所示，具体步骤如下：

101、获取待测图像，并提取待测图像的中每一像素点的特征向量。

本申请实施例中，锈蚀的检测装置可以先获取需要识别或分割出锈蚀区域的待测图像，该待测图像可以由人为输入检测装置，或检测装置通过网络连接获取，具体此处不做限定。检测装置可以提取待测图像的中每一像素点的特征向量，具体的，可以以HSV颜色空间的的色调、饱和度和亮度值作为锈蚀概率预测的主要特征向量，还可以在特征向量的提取和转化过程中提取像素点在RGB色彩空间内的值，或将RGB色彩空间里的值和HSV色彩空间里的值的部分或者全部经过线性组合和函数映射结合成为不同特征，从而形成特征向量，具体此处不做限定。其中，将待测图像从RGB颜色空间转化到HSV颜色空间，提取色调、饱和度和亮度三个通道的特征作为像素点的特征向量，更符合肉眼信息感知机理。

通过像素点在HSV色彩空间的色调(H)，饱和度(S)，和亮度(V)的值来提取转化得到特征向量的具体过程为：将待测图像从RGB色彩空间转换为HSV色彩空间，具体可以通过Opencv或数字图像处理工具，将RGB色彩空间的待测图像转换为HSV色彩空间的待测图像，具体此处不做限定。接着，将HSV色彩空间的待测图像中目标像素点的色调值单独提取(色调值的范围为0到360)，并根据公式：(H(i,j)＝(H(i,j)+180)mod 360，转化待测图像中目标像素点的色调值，其中，i,j表示目标像素点在待测图像中的坐标位置；进行转化后，锈斑(锈蚀)的色调值的范围会相对集中且连续。将目标像素点对应的转化后色调值、饱和值以及明度值三者进行归一化处理，得到目标像素点的特征向量。此时，一个三维向量代表了一个像素点。

102、将特征向量输入预先训练的混合高斯模型，得到待测图像中每一像素点的第一锈蚀概率。

提取到像素点的特征向量后，可以将特征向量输入预先训练的混合高斯模型，得到待测图像中每一像素点的第一锈蚀概率，即利用预训练的混合高斯模型来实现像素级别的锈蚀概率预测。其中，该预训练的混合高斯模型可以由人工收集处理的锈蚀(锈斑)图像经过特征向量转化后训练而成，具体的，如图3所示，获取锈蚀图像训练集以及初始混合高斯模型，其中，该锈蚀图像训练集包含由锈蚀区域的图像训练数据，从图像训练数据中抠出锈蚀(锈斑)区域；接着，提取锈蚀图像训练集中像素点的第一特征向量，即将锈蚀区域对应的像素点转化为第一特征向量；将第一特征向量输入初始混合高斯模型(GMM)，初始混合高斯模型输出第三锈蚀概率；根据第三锈蚀概率与预设锈蚀概率构建损失值，其中，该预设锈蚀概率可以根据输入初始混合高斯模型的锈蚀区域确定；基于损失值调整初始混合高斯模型的均值以及协方差，直至初始混合高斯模型收敛，则得到训练完成的混合高斯模型。可以理解的是，该收敛指的是第三锈蚀概率与预设锈蚀概率的差异较小，且差异在一定范围内。

混合高斯模型预训练完成后，在概率预测阶段，可以将提取到的待测图像的中每一像素点的特征向量，利用预训练的混合高斯模型预测待测图像中每一像素点的第一锈蚀概率。其中，混合高斯模型中包括多个高斯模型，每一个高斯模型代表一种锈蚀类型，设共有c个高斯模型，可以根据高斯模型的权重的大小，选取出权重大于c分之一的高斯模型，如剩下p个高斯模型。将像素点的特征向量输入预先训练的混合高斯模型，可以计算出该特征向量属于每一个锈蚀类型的概率，作为该像素点属于每一个锈蚀类型的概率，即每一个像素点能相应计算出p个锈蚀概率。其计算公式为：

其中，x

可见，本申请实施例中，构建了预训练的混合高斯模型，对待测图像进行像素级的锈蚀概率预测，为后续锈蚀区域分割提供了可量化的数值基础，使用混合高斯模型基于HSV颜色空间中提取的特征向量对待测图像进行像素级的锈蚀概率预测，对不同场景、不同程度的锈蚀具有更好的鲁棒性。

103、基于预设聚类算法将待测图像中颜色特征相似的像素点聚类成超像素，并获取待测图像中每一超像素的第二锈蚀概率。

为了引入相邻锈蚀像素点的关联性，提高锈蚀分割的一致性并提升锈蚀检测的效果，本申请实施例中，对待测图像在RGB颜色空间内进行超像素分割，即基于预设聚类算法将待测图像中颜色特征相似的像素点聚类成超像素，其中，该预设聚类算法可以为K-means聚类算法，或SLIC超像素分割算法，具体此处不做限定。需要注意的是，步骤102与步骤103的执行先后关系此处不做限定。

如图4所示，在待测图像上利用超像素分割算法，将得到超像素分割结果投影到混合高斯模型输出的热力图上。超像素分割算法可以将待测图像细分为多个图像子区域(像素的集合，超像素)，超像素由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域。这些小区域保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。超像素分割有助于引入相邻像素点的相关性，增加分割的一致性，提高锈蚀分割的一致性。其中，超像素分割算法以原始图像(RGB色彩空间的待测图像)为输入，根据待测图像的像素点在图像平面上的颜色相似度进行聚类输出超像素，具体的，先对超像素的聚类中心初始化，根据所述待测图像中超像素的总数，确定每一超像素的初始聚类中心，可以将图像中的聚类中心按规则的网格间隔S分布；接着，对聚类中心重新选择，为了重新选择n*n邻域中的聚类中心(通常n＝3)，需要计算邻域中所有像素点的梯度值，并将聚类中心移动到该邻域内梯度最小的位置。具体的，根据公式：G(x,y)＝||L(x+1,y)-L(x-1,y)||

其中，d

对待测图像中每一超像素的聚类中心，测得预设范围内的像素点到聚类中心的距离，每个像素点会被多个聚类中心搜索到，所以每个像素点会得到多个距离，并取距离最小的聚类中心作为超像素的目标聚类中心。最后重复迭代，直到残余误差(前一次迭代的聚类中心到重新计算聚类中心的距离)收敛。当待测图像的像素点聚类为超像素后，还可以获取超像素的锈蚀概率，具体的，可以对该超像素包含的像素点的第一锈蚀概率取平均值，或取众数，得到该超像素的第二锈蚀概率，具体此处不做限定。

可以理解的是，SLIC超像素分割将颜色特征相似的像素点聚类成超像素，有助于更好地识别和细化检测到的锈蚀区域的边缘。对于一些由于阳光反射而得到的生锈概率较低的锈斑区域，SLIC会将其聚类为锈斑超像素，可以正确分类。这样就可以将GMM模型确定为未生锈区域的一些小区域修正为生锈区域，反之亦然。考虑到锈蚀的聚集属性，引入超像素分割算法，从而在一定程度上减少了像素点锈蚀概率预测错误而造成锈蚀分割误判的“锈斑”。超像素分割引入临域像素的相关性，增加分割的一致性，提升锈蚀分割的效果。

104、基于预设阈值算法以及第一锈蚀概率，得到待测图像的目标阈值。

为了使算法的鲁棒性与兼容性更强，适配于多种场景的锈蚀检测，可以使用预设阈值算法进行二值化分割，基于预设阈值以及第一锈蚀概率，得到待测图像的目标阈值，该预设阈值算法可以为自适应阈值分割算法或其他阈值分割算法，具体此处不做限定。如图4所示，使用自适应阈值分割算法在模型输出的灰度图(为锈蚀的概率)计算出适合此测试图片的阈值，将阈值投影到[0,1]。其中，自适应阈值分割算法可以自动确定图像的二值分割阈值，不受图像亮度和对比度的影响，相比手动设定的固定阈值具有更好的鲁棒性和泛化性。自适应阈值分割算法包括：OTSU算法，OTSU算法是一种图像分割算法，将灰度图像分割为二值图像，并返回全局自适应二值化阈值。OTSU阈值的取值不是人工选择的，而是由算法自动确定的，针对每一幅具体图像具有自适应能力。该算法利用最大类间方差来区分图像的前景和背景。因此，基于自适应阈值分割算法以及所述第一锈蚀概率，得到所述待测图像的目标阈值包括：基于第一锈蚀概率生成待测图像对应的锈蚀灰度图；其中，该锈蚀灰度图为第一锈蚀概率越大，灰度值越大，第一锈蚀概率越小，灰度值越小，待测图像中一些第一锈蚀概率为0的像素点，对应的灰度值为0。将所锈蚀灰度图输入自适应阈值分割算法，得到待测图像对应的二值化阈值，并将二值化阈值作为待测图像的目标阈值；其中，自适应阈值分割算法包括：

其中，k

可见自适应阈值分割在GMM模型的输出灰度图上取出分割效果较好的阈值，映射到[0,1]，用于超像素分割后的热力图的分割阈值。可以不用手动把每张待测图像的阈值都设成一样的，可以自动找到分别适合每张待测图像的阈值。在一种可实施的方式中，该目标阈值也可以为固定阈值，该固定阈值可以根据对锈蚀图像进行实验得到。

105、根据超像素的第二锈蚀概率以及目标阈值，确定超像素是否为锈蚀区域。

锈蚀的检测装置，可以利用目标阈值与每块超像素的第二锈蚀概率对比在超像素分割的热力图上做二值化分割，得到最终的锈蚀分割结果。具体的，若超像素的第二锈蚀概率大于目标阈值，则确定超像素为锈蚀区域；若超像素的第二锈蚀概率小于目标阈值，则确定超像素为非锈蚀区域。若超像素为锈蚀区域，则从待测图像中分割出超像素，确定为锈蚀区域。

本申请实施例方法包括：获取待测图像，并提取待测图像的中每一像素点的特征向量；将特征向量输入预先训练的混合高斯模型，得到待测图像中每一像素点的第一锈蚀概率；将待测图像输入预设聚类算法，基于预设聚类算法将待测图像中颜色特征相似的像素点聚类成超像素，并获取待测图像中每一超像素的第二锈蚀概率；基于预设阈值算法以及第一锈蚀概率，得到待测图像的目标阈值；根据超像素的第二锈蚀概率以及目标阈值，确定超像素是否为锈蚀区域，通过将颜色特征相似的像素点聚类成超像素，根据超像素的第二锈蚀概率以及目标阈值，能准确地超像素是否为锈蚀区域，能在待测图像中准确地确定出锈蚀区域。

进一步的，如图2以及图5所示，本申请实施例可以对多个待测图像进行锈蚀检测，并分割出锈蚀区域。将输入的RGB色彩空间的图像转化为HSV色彩空间的图像，提取特征向量，将特征向量输入混合高斯模型预测像素点的锈蚀概率，并使用超像素分割对像素点进行聚类保留邻近像素点的关联性，基于自适应阈值的分割，在锈蚀分割后输出检测完成的图像，实现快速、准确的锈蚀区域分割，并体现了良好的鲁棒性和分割的一致性。

本申请实施例还提供了一种锈蚀的检测装置，如图6所示，包括：

获取单元601，用于获取待测图像，并提取所述待测图像的中每一像素点的特征向量；

输入单元602，用于将所述特征向量输入预先训练的混合高斯模型，得到所述待测图像中每一像素点的第一锈蚀概率；

聚类单元603，用于将所述待测图像输入预设聚类算法，基于所述预设聚类算法将所述待测图像中颜色特征相似的像素点聚类成超像素，并获取所述待测图像中每一超像素的第二锈蚀概率；

执行单元604，用于基于预设阈值算法以及所述第一锈蚀概率，得到所述待测图像的目标阈值；

确定单元605，用于根据所述超像素的第二锈蚀概率以及所述目标阈值，确定所述超像素是否为锈蚀区域。

本申请实施例还提供了一种锈蚀的检测装置700，如图7所示，包括：

中央处理器701，存储器702以及输入输出接口703；

所述存储器702为短暂存储存储器或持久存储存储器；

所述中央处理器701配置为与所述存储器702通信，并执行所述存储器702中的指令操作以执行权利上述的检测方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。