基于机器视觉的电力设备表面缺陷检测方法及装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于机器视觉的电力设备表面缺陷检测方法及装置。

背景技术

产品外观是产品表面质量的重要组成部分，由于生产环境等因素的限制，产品表面会不可避免地存在各种类型的缺陷。

产品表面的缺陷表现为和产品其它部分不同的地方，即具有显著性，人眼很容易找到，因此传统的表面缺陷检测主要依靠人眼，但人容易受主观因素影响，判断缺陷标准不一，不能得到可靠、一致、准确的检测结果，人眼对缺陷目标和背景灰度差异较小的缺陷、尺寸非常小的缺陷或者复杂背景中的缺陷较难辨别，因此如何提高电力设备表面缺陷的检测准确性，成为了亟待解决的问题。

发明内容

本发明提供一种基于机器视觉的电力设备表面缺陷检测方法及装置，其主要目的在于解决电力设备表面缺陷检测时准确性较低的问题。

为实现上述目的，本发明提供的一种基于机器视觉的电力设备表面缺陷检测方法，包括：

获取电力设备的设备图像，对所述设备图像进行图像处理，得到所述设备图像的目标图像；

获取预设的卷积神经网络，利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集；

生成所述表面缺陷训练集中训练数据的训练标签，利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果；

根据所述训练结果和所述训练标签生成所述预设的卷积神经网络的损失函数；

对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，根据所述衰减函数和预设的梯度下降算法对所述预设的卷积神经网络进行参数更新，得到训练完成的卷积神经网络；

利用所述训练完成的卷积神经网络进行目标电力设备的表面缺陷检测。

可选地，所述对所述设备图像进行图像处理，得到所述设备图像的目标图像，包括：

对所述设备图像进行区域提取，得到所述设备图像的标准图像；

对所述标准图像进行图像预处理，得到所述标准图像的预处理图像；

对所述预处理图像进行图像分割，得到所述预处理图像的目标图像。

可选地，所述对所述标准图像进行图像预处理，得到所述标准图像的预处理图像，包括：

对所述标准图像进行去噪处理，得到所述标准图像的去噪图像；

对所述去噪图像进行增强处理，得到所述去噪图像的预处理图像。

可选地，所述利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集，包括：

对所述目标图像进行特征提取，得到所述目标图像的图像特征；

根据所述图像特征建立所述目标图像的特征序列，按照预设的抽样比例对所述特征序列进行分层抽样，得到所述目标图像的抽样数据；

汇集所述抽样数据为所述预设的卷积神经网络的表面缺陷训练集。

可选地，所述生成所述表面缺陷训练集中训练数据的训练标签，包括：

确定所述训练数据的标签映射规则，根据所述标签映射规则生成所述训练数据的训练标签。

可选地，所述利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果，包括：

对预设的卷积神经网络进行参数初始化，得到初始卷积神经网络；

将所述表面缺陷训练集输入至所述初始卷积神经网络，利用预设的感受野值和所述初始卷积神经网络对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据；

对所述卷积数据进行池化处理，得到所述卷积数据的池化数据；

利用所述初始卷积神经网络的全连接层对所述池化数据进行数据整合，得到所述初始卷积神经网络的训练结果。

可选地，所述利用预设的感受野值和所述初始卷积神经网络对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据，包括：

根据预设的感受野值确定所述初始卷积神经网络中池化层的池化维度；

利用如下卷积算法对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据：

其中，

可选地，所述对所述卷积数据进行池化处理，得到所述卷积数据的池化数据，包括：

确定所述卷积数据的下采样函数类型，根据所述下采样函数类型和如下采样算法对所述卷积数据进行池化处理，得到所述卷积数据的池化数据：

其中，

可选地，所述对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，包括：

确定所述损失函数的正则化类型，根据所述正则化类型生成所述损失函数的惩罚项；

利用所述惩罚项对所述损失函数进行衰减处理，得到所述损失函数的衰减函数。

为了解决上述问题，本发明还提供一种基于机器视觉的电力设备表面缺陷检测装置，所述装置包括：

图像处理模块，用于获取电力设备的设备图像，对所述设备图像进行图像处理，得到所述设备图像的目标图像；

生成训练集模块，用于获取预设的卷积神经网络，利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集；

模型训练模块，用于生成所述表面缺陷训练集中训练数据的训练标签，利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果；

损失函数模块，用于根据所述训练结果和所述训练标签生成所述预设的卷积神经网络的损失函数；

参数更新模块，用于对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，根据所述衰减函数和预设的梯度下降算法对所述预设的卷积神经网络进行参数更新，得到训练完成的卷积神经网络；

缺陷检测模块，用于利用所述训练完成的卷积神经网络进行目标电力设备的表面缺陷检测。

本发明实施例通过对电力设备的设备图像进行预处理，消除了所述设备图像的部分噪声，降低噪声对后续分析的影响，并增强了所述设备图像局部特征和全局特征，使得感兴趣的图像区域更加凸显，提高图像的识别效果，利用预设的感受野值和生成的表面缺陷训练集对预设的卷积神经网络进行训练，使得模型参数更加精确，生成所述预设的卷积神经网络的损失函数并对所述损失模型进行衰减处理，降低了模型误差，利用预设的梯度下降算法进行参数更新，加快了参数更新速度，因此本发明提出基于机器视觉的电力设备表面缺陷检测方法及装置，可以解决电力设备表面缺陷检测准确度较低的问题。

附图说明

图1为本发明一实施例提供的基于机器视觉的电力设备表面缺陷检测方法的流程示意图；

图2为本发明一实施例提供的生成表面缺陷训练集的流程示意图；

图3为本发明一实施例提供的预设的卷积神经网络的训练的流程示意图；

图4为本发明一实施例提供的基于机器视觉的电力设备表面缺陷检测装置的功能模块图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本申请实施例提供一种基于机器视觉的电力设备表面缺陷检测方法。所述基于机器视觉的电力设备表面缺陷检测方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于机器视觉的电力设备表面缺陷检测方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

参照图1所示，为本发明一实施例提供的基于机器视觉的电力设备表面缺陷检测方法的流程示意图。在本实施例中，所述基于机器视觉的电力设备表面缺陷检测方法包括：

S1、获取电力设备的设备图像，对所述设备图像进行图像处理，得到所述设备图像的目标图像。

在本发明实施例中，电力设备可以是各种，例如：电站锅炉、蒸汽轮机、燃气轮机、水轮机、发电机、变压器等发电设备，各种电压等级的输电线路、互感器、接触器等供电设备；所述设备图像是指对所述电力设备进行拍照取样得到的照片。

在本发明实施例中，所述对所述设备图像进行图像处理，得到所述设备图像的目标图像，包括：

对所述设备图像进行区域提取，得到所述设备图像的标准图像；

对所述标准图像进行图像预处理，得到所述标准图像的预处理图像；

对所述预处理图像进行图像分割，得到所述预处理图像的目标图像。

详细地，所述区域提取是指在所述设备图像上选取出需要进行分析的图像区域。

详细地，所述图像预处理包括：图像去噪和图像增强，其中所述图像去噪是由于获取的设备图像可能会受环境、传感器、电子元件等的影响产生噪声，因此要对设备图像进行去噪，从而降低噪声对后续分析的影响；所述图像增强是强调图像的局部或者全局特征，使得感兴趣的图像区域更加凸显，提高图像的识别效果。

进一步地，所述对所述预处理图像进行图像分割目的是将缺陷从整体图像中分割出来，以便下一步对缺陷提取特征以及识别。

详细地，所述图像分割的方法可分为基于边缘的图像分割、基于区域的图像分割、基于阈值的图像分割、基于聚类的图像分割以及基于特定理论的图像分割等，其中，所述基于特定理论的图像分割包括：分水岭分割、基于模糊理论的分割、基于图论的分割等。

详细地，所述对所述标准图像进行图像预处理，得到所述标准图像的预处理图像，包括：

对所述标准图像进行去噪处理，得到所述标准图像的去噪图像；

对所述去噪图像进行增强处理，得到所述去噪图像的预处理图像。

详细地，图像中的常见噪声包含椒盐噪声和高斯噪声，所述去噪处理可以利用均值滤波、中值滤波、双边滤波等方法，其中，所述均值滤波使用中心像素及其邻域窗口中像素点的灰度均值代替该中心像素点的灰度值，邻域越大去噪效果越好，但图像会越模糊，不能保持边缘细节特征，适合去除高斯噪声；所述中值滤波检测中心像素点邻域窗口像素的中值，代替该中心像素点的灰度值，可以减少均值滤波带来的图像模糊问题，适合去除椒盐噪声和脉冲噪声；所述双边滤波既考虑了像素点空间位置关系，又考虑了像素灰度的相似性，在滤除噪声的同时也能保持良好的边缘信息。

详细地，由于光照变化、缺陷形状、大小不同、缺陷深浅不一等原因，图像灰度分布不均匀，且缺陷目标和背景之间差异不明显，因此需要图像增强来提高缺陷目标的显著性，使得目标和背景差异性增大。图像增强技术大致可分为两类：间接增强和直接增强。间接增强计算图像的直方图来调整图像对比度。如直方图均衡化，通过改变像素在整个灰度级上的分布，达到增强图像对比度的效果；直接增强基于对比度策略调整图像的对比度，对比度策略表示目标和背景之间的颜色或者亮度的定量差异。

S2、获取预设的卷积神经网络，利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集。

在本发明实施例中，参图2所示，所述利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集，包括：

S21、对所述目标图像进行特征提取，得到所述目标图像的图像特征；

S22、根据所述图像特征建立所述目标图像的特征序列，按照预设的抽样比例对所述特征序列进行分层抽样，得到所述目标图像的抽样数据；

S23、汇集所述抽样数据为所述预设的卷积神经网络的表面缺陷训练集。

详细地，所述目标图像的图像特征包括但不限于：几何特征、灰度特征和纹理特征，其中，所述几何特性是指缺陷通常具有面积、椭圆度、线性度、矩形度、周长等几何特征，因此可以采用几何特征描述缺陷，几何特征主要分为两种：简单描述子，包括边界的长度、区域的面积、外接矩形长宽比等；形状描述子，包括圆度、不变矩、链码、曲率等，一般要求几何特征具有平移不变性、旋转不变性和尺度不变性；所述灰度特征描述图像像素值的分布情况，包括灰度的均值、方差、熵、峤度等，一般图像的纹理特征与图像灰度特征有关，可由灰度特征组成；所述纹理特征反映了图像表面的结构信息以及各个像素与其周围像素的关系，不依赖于图像的颜色，是非常重要的特征，它需要在像素点邻域内计算统计性而不仅仅只依赖于单个像素灰度值，因此它具有局部性，并且纹理特征通常具有旋转不变性，对噪声不敏感，鲁棒性较好。

详细地，所述根据所述图像特征建立所述目标图像的特征序列是指将所述图像特征用向量集或者矩阵形式表示，将代表所述图像特征的特征点用向量或者数字表示。

详细地，所述预设的抽样比例可以选择8：2，其中，所述特征序列中80%的数据用来构成抽样数据。

S3、生成所述表面缺陷训练集中训练数据的训练标签，利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果。

在本发明实施例中，所述训练标签是指用来表示所述训练数据的特征的标签，其中，所述训练标签和所述训练数据具有一一对应的关系，可用来检验所述预设的卷积神经网络的实用性和准确性。

详细地，所述预设的感受野值是指在预设的卷积神经网络中的卷积层进行卷积时的卷积维度和所述池化层进行池化时的池化维度，亦即，卷积层和池化层都会受到感受野影响，感受野是指特征图上的某个点能看到的输入图像的区域,即特征图上的点是由输入图像中感受野大小区域的计算得到的，神经元感受野的值越大表示其能接触到的原始图像范围就越大，也意味着它可能蕴含更为全局，语义层次更高的特征；相反，值越小则表示其所包含的特征越趋向局部和细节。因此感受野的值可以用来大致判断每一层的抽象层次。

在本发明实施例中，所述生成所述表面缺陷训练集中训练数据的训练标签，包括：

确定所述训练数据的标签映射规则，根据所述标签映射规则生成所述训练数据的训练标签。

详细地，所述标签映射规则是根据键值对产生的，例如：值value=1时，对应标签“存在缺陷”，又或者值value=1时，对应标签“无缺陷”，所述训练标签是自定义的。

在本发明实施例中，参图3所示，所述利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果，包括：

S31、对预设的卷积神经网络进行参数初始化，得到初始卷积神经网络；

S32、将所述表面缺陷训练集输入至所述初始卷积神经网络，利用预设的感受野值和所述初始卷积神经网络对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据；

S33、对所述卷积数据进行池化处理，得到所述卷积数据的池化数据；

S34、利用所述初始卷积神经网络的全连接层对所述池化数据进行数据整合，得到所述初始卷积神经网络的训练结果。

详细地，所述预设的卷积神经网络主要由输入层、卷积层、池化层、全连接层及输出层组成，其中，所述卷积层进行卷积处理，所述池化层进行池化处理，所述全连接层进行数据整合处理。

详细地，所述利用预设的感受野值和所述初始卷积神经网络对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据，包括：

根据预设的感受野值确定所述初始卷积神经网络中池化层的池化维度；

利用如下卷积算法对所述表面缺陷训练集进行卷积处理，得到所述表面缺陷训练集的卷积数据：

其中，

详细地，考虑到每个模式可能出现在图像的局部区域，同一模式可能出现在图像的不同区域，并且下采样原始图像不会影响识别结果，因此 CNN 采用卷积层提取图像局部特征，采用池化层实现对图像下采样的目的，通过局部感受野和下采样逐层对图像特征进行提取，并且为了减少网络参数，采用权值共享的方式。

详细地，所述对所述卷积数据进行池化处理，得到所述卷积数据的池化数据，包括：

确定所述卷积数据的下采样函数类型，根据所述下采样函数类型和如下采样算法对所述卷积数据进行池化处理，得到所述卷积数据的池化数据：

其中，

详细地，池化层是通过一定的规则对特征图进行下采样，规则一般包括：平均池化、最大池化等，亦即，下采样函数类型包括：平均下采样函数和最大下采样函数等，其中，所述平均池化是对感受野内各特征值求均值，所述最大池化是取感受野内特征的最大值，池化层的目的是对图像下采样，减少模型参数数量，有效避免模型过拟合，并且逐步扩大图像的感受野，使得提取图像的局部特征逐渐过渡到提取图像的全局特征。

S4、根据所述训练结果和所述训练标签生成所述预设的卷积神经网络的损失函数。

在本发明实施例中，所述损失函数就是用来度量所述预设的卷积神经网络的预测值与真实值的差异程度的运算函数，亦即，所述损失函数就是用来度量所述预设的卷积神经网络的所述训练结果与所述训练标签的差异程度的运算函数，它是一个非负实值函数，损失函数越小，模型的鲁棒性就越好。

详细地，所述损失函数包括但不限于：均方误差损失函数、欧氏距离损失函数、曼哈顿距离损失函数、huber损失函数、相对熵等。

S5、对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，根据所述衰减函数和预设的梯度下降算法对所述预设的卷积神经网络进行参数更新，得到训练完成的卷积神经网络。

在本发明实施例中，所述衰减函数的使用主要是在所述预设的卷积神经网络的训练阶段，每个批次的训练数据送入模型后，通过前向传播输出预测值，然后所述衰减函数会计算损失值，得到损失值之后，模型通过反向传播去更新各个参数，来降低真实值与预测值之间的损失，使得所述预设的卷积神经网络生成的预测值往真实值方向靠拢，从而达到学习的目的。

在本发明实施例中，所述对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，包括：

确定所述损失函数的正则化类型，根据所述正则化类型生成所述损失函数的惩罚项；

利用所述惩罚项对所述损失函数进行衰减处理，得到所述损失函数的衰减函数。

详细地，所述正则化类型包括：L2正则化和L1正则化，其中，所述L2正则化是在损 失函数中加入权重参数的惩罚项

详细地，所述预设的梯度下降算法为：

其中，

详细地，预设的梯度下降算法是使得参数在朝着所述衰减函数降低的方向更新更 快，而垂直于所述衰减函数降低的方向变化较慢，避免出现所述衰减函数“之字形”下降现 象；

S6、利用所述训练完成的卷积神经网络进行目标电力设备的表面缺陷检测。

在本发明实施例中，产品表面的缺陷表现为和产品其它部分不同的地方，即具有显著性，例如：带钢表面会出现划痕、夹杂、麻面、擦伤、氧化皮等，金属表面会出现斑块、孔洞等，纸张表面会出现污点、色差等，产品表面的缺陷不仅影响产品的商业价值，对产品的后续加工以及用户体验都有严重的影响，因此，在产品出厂之前，需要严格检查产品外观是否存在缺陷。

详细地，利用所述训练完成的卷积神经网络可以检测出所述目标电力设备的表面缺陷，例如：所述训练完成的卷积神经网络输出值大于预设的缺陷阈值，那么就可以确定所述目标电力设备的表面存在缺陷。

本发明实施例通过对电力设备的设备图像进行预处理，消除了所述设备图像的部分噪声，降低噪声对后续分析的影响，并增强了所述设备图像局部特征和全局特征，使得感兴趣的图像区域更加凸显，提高图像的识别效果，利用预设的感受野值和生成的表面缺陷训练集对预设的卷积神经网络进行训练，使得模型参数更加精确，生成所述预设的卷积神经网络的损失函数并对所述损失模型进行衰减处理，降低了模型误差，利用预设的梯度下降算法进行参数更新，加快了参数更新速度，因此本发明提出基于机器视觉的电力设备表面缺陷检测方法，可以解决电力设备表面缺陷检测准确度较低的问题。

如图4所示，是本发明一实施例提供的基于机器视觉的电力设备表面缺陷检测装置的功能模块图。

本发明所述基于机器视觉的电力设备表面缺陷检测装置100可以安装于电子设备中。根据实现的功能，所述基于机器视觉的电力设备表面缺陷检测装置100可以包括图像处理模块101、生成训练集模块102、模型训练模块103、损失函数模块104、参数更新模块105及缺陷检测模块106。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。

在本实施例中，关于各模块/单元的功能如下：

所述图像处理模块101，用于获取电力设备的设备图像，对所述设备图像进行图像处理，得到所述设备图像的目标图像；

所述生成训练集模块102，用于获取预设的卷积神经网络，利用所述目标图像构建所述预设的卷积神经网络的表面缺陷训练集；

所述模型训练模块103，用于生成所述表面缺陷训练集中训练数据的训练标签，利用所述表面缺陷训练集和预设的感受野值对所述预设的卷积神经网络进行训练，得到所述预设的卷积神经网络的训练结果；

所述损失函数模块104，用于根据所述训练结果和所述训练标签生成所述预设的卷积神经网络的损失函数；

所述参数更新模块105，用于对所述损失函数进行衰减处理，得到所述损失函数的衰减函数，根据所述衰减函数和预设的梯度下降算法对所述预设的卷积神经网络进行参数更新，得到训练完成的卷积神经网络；

所述缺陷检测模块106，用于利用所述训练完成的卷积神经网络进行目标电力设备的表面缺陷检测。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用装置。

此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。