基于图像差分的电力装置状态变化检测方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于图像差分的电力装置状态变化检测方法。

背景技术

目标检测一般分为物体定位和物体分类两个任务阶段，即确定物体的类别(Recognition)和位置(Location)信息，常用矩形框标识检测结果。目标检测是计算机视觉与图像处理学科的重要支柱之一，也是驱动人工智能领域取得重大进步的核心算法。目标检测技术的应用十分广泛，在人脸检测、车辆检测、行人计数、自动驾驶、医疗辅助等领域都有使用。

目前，基于深度学习的目标检测算法已经达到了令人满意的成就。在相当多的场景中，取得了远超人工识别和检测的效果。比如，在安全监测，人流监测，医疗疾病检测与诊断领域等。但是，基于深度学习的目标检测算法需要大量的数据用来训练，在一些应用场景中，初始的图像并不是那么容易搜集时，这些基于深度学习的算法应用就有相当大的局限性。因此，使用一些传统的图像处理方法来解决目标检测的问题就有现实的意义。

目前已有一些通过ORB提取特征的现有技术，例如专利CN110309831A公开一种基于机器视觉的非智能水表识读方法，首先读取用户上传的水表图片以及模板图片，通过SIFT算法获取水表图片与模板图片的关键点进行关键点的匹配，从而找出模板图片在水表图片中的位置。通过关键点的匹配，获得特征区域的匹配点的位置从而获得特征区域的位置。在确定特征区域位置后，截取特征区域。通过特征区域的匹配点矫正截取的特征区域图片，获得矫正角度，从而矫正水表图片。对矫正后的水表图片再次定位特征区域的位置，从而获得水表示数位置，截取水表示数区域，对其进行二值化及去噪等处理后分割为单个数字字符的图片，最后通过模板匹配算法识别数字并输出。但是该专利中需要使用某一具体模板图片，而且只能进行单一图像单一水表的识别，在其检测过程中通过特征点匹配后，图片的待检测区域是不确定的，待检测的异常点也是不确定的。

例如专利CN114972458A公开一种可见光与红外热成像图像配准的方法及系统，拟合仿射变换曲线；采集目标对象的图像和距离信息；使用单阶段目标检测模型识别定位目标，输出目标像素区域；可见光图像与红外热成像图像初次配准；可见光图像与红外热成像精准配准，匹配得到特征点对；由于处理对象热红外图像和其原图像的位置基本上是贴近的，只是一个是热红外的像素图，一个是可见光图片，可以使用这种技术方案，但是如果处理图像不是可见光图像与红外热成像，则配对非常不精准。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于图像差分的电力装置状态变化检测方法，是一种基于图像配准之后再做图像差分，最后进行目标检测的异常目标检测方法，本发明解决检测相同类别图像中一些装置异常的问题。

技术方案：本发明的一种基于图像差分的电力装置状态变化检测方法，具体包括以下步骤：

步骤1、采集不同类别的电力装置图像得到图像数据集，其中每一类别电力装置图像均需包含正常状态下的图像和异常状态下的部分图像；

步骤2、将步骤1所得图像数据集的电力装置图像按照不同的判别类别分类，即是指将异常状态图像归为异常类、将正常状态图像归为正常类；

步骤3、将正常状态图像和待比较图像同时输入到ORB特征提取算法，通过ORB特征提取算法进行初步配准，具体方法为：

步骤3.1、先基于FAST算法分别对正常状态图像和待比较图像提取对应特征点；

对于图像中一个像素点p，其灰度值为Ip；以该像素点为中心考虑一个半径为3的离散化的Bresenham圆，圆边界上有16个像素；设定一个合适的阈值t，如果圆边界上有n个连续像素点的灰度值小于Ip-t或者大于Ip+t，那么这个像素点即可判断为特征点(角点)，n取值12或9；

步骤3.2、在步骤3.1所得特征点的描述区域范围(系数*尺度)内，随机生成256个位置对；对于每对位置，如果位置1点的像素值大于位置2点的像素值则该对位置的输出为1，反之为0；由于共有256个位置对，所得ORB特征描述形式为二元特征向量组，该特征向量组中256个元素均是二进制数；

步骤3.3、用正常状态图像和待比较图像这两幅图像所得相应的ORB特征描述符通过单应性矩阵变换来进行关键点匹配；

步骤4、利用步骤3.3所得关键点匹配的配准结果，先对配准的区域图像差分处理；然后进行二值化处理来突出差异区域，最后使用MSER算法检测出合适的区域；

步骤5、根据区域图像来调整参数，包括ORB检测要定位的关键点的最大数量等；本发明所检测的图像处于复杂场景下，两张需要对齐的图像中电力装置的状态差异较大，为确定参数，在关键点检测、配准、单应性变换、差异点检测阶段均做可视化处理，此处调整的ORB检测定位的最大关键点数量参数可根据关键点检测时的可视化结果来调整；

步骤6、调整完毕，同时输入电力设备正常状态下的图像和异常状态下的图像，输出检测出的检测框。

进一步地，所述步骤3.1的具体方法为：

步骤3.1.1、对于图像中像素点p圆边界上位置1和9，先判断是否灰度值均小于Ip-t或者大于Ip+t，若是，则判断该像素点p为特征点，若否，则判断该像素点p不是特征点；此处根据单个像素点的像素值来判断；

步骤3.1.2、判断像素点p圆边界上位置1，9，5以及13的灰度值中，是否有三个灰度值均小于Ip-t或者大于Ip+t，若是，则判断该像素点p为特征点，若否，则判断该像素p不是特征点；此处同时考虑三个位置相关的点来对像素点是否为关键点进行判断，提高精度；

步骤3.1.3、判断是否有n个连续像素点的灰度值小于Ip-t或者大于Ip+t，那么当前像素点即可判断为特征点(角点)，此处n指得是当前要判断的像素点圆边界位置上的点。

进一步地，所述步骤4先将所得ORB特征描述符进行单应性变换，并将正常状态图像的检测点映射到待比较图像的对应位置；正常状态图像检测点位置范围由存在认为正确的匹配对的区域位置决定，进而得到两幅图的差异点；为得到差异部位的标注框，对所得差异点进行聚类，形成多个椭圆区域；对于所得椭圆区域中有一定重复度且重复度超出阈值的椭圆区域，判定为差异区域，此时将差异区域合并到一个标注框内(例如若椭圆区域重复度高于0.2，即可判断为两个区域检测到的是同一处异常)；对于椭圆框(也就是指椭圆区域)内包含的点少的，则判定为噪声区域，并舍弃该噪声区域。

上述单应性矩阵变换是指将正常状态图像和待比较图像这两个图像平面上的对应点进行坐标变换。

有益效果：与现有技术相比，本发明具有以下优点：

(1)本发明能够在样本较少但图像特征明显的情况下，通过对电力设备图像本身特点的分析和测试调整，达到了较为理想的检测效果。

(2)本发明所需要的计算量相对于深度学习而言是比较少的，其内存空间小于10MB。

(3)为解决现有ORB算法匹配准确率比较低的问题，本发明使用应用单应性矩阵匹配，可以得到更好的匹配结果。

附图说明

图1为本发明的的整体流程图；

图2为实施例中配准同类型图像；

图3为实施例中对同类别图像做差分处理得到的灰度图像；

图4为实施例中使用调整参数后的算法对图像做检测的效果图；

图5为实施例中使用调整参数后的算法对图像做检测的效果图；

图6为实施例中单应性矩阵匹配结果示意图；

图7为实施例同时传入正常状态和待检测图像做比较配对示意图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1所示，本发明的基于图像差分的电力装置状态变化检测方法，具体包括以下步骤：

步骤1、采集不同类别的电力装置图像得到图像数据集，其中每一类别电力装置图像均需包含正常状态下的图像和异常状态下的部分图像；

步骤2、将步骤1所得图像数据集的电力装置图像按照不同的判别类别分类，即是指将异常状态图像归为异常类、将正常状态图像归为正常类；

步骤3、将正常状态图像和待比较图像同时输入到ORB特征提取算法，通过ORB特征提取算法进行初步配准，具体方法为：

步骤3.1、先基于FAST算法分别对正常状态图像和待比较图像提取对应特征点；

对于图像中一个像素点p，其灰度值为Ip；以该像素点为中心考虑一个半径为3的离散化的Bresenham圆，圆边界上有16个像素；设定一个合适的阈值t，如果圆边界上有n个连续像素点的灰度值小于Ip-t或者大于Ip+t，那么这个像素点即可判断为特征点(角点)，n取值12或9；

步骤3.2、在步骤3.1所得特征点的描述区域范围(系数*尺度)内，随机生成256个位置对；对于每对位置，如果位置1点的像素值大于位置2点的像素值则该对位置的输出为1，反之为0；由于共有256个位置对，所得ORB特征描述形式为二元特征向量组，该特征向量组中256个元素均是二进制数；

步骤3.3、用正常状态图像和待比较图像这两幅图像所得相应的ORB特征描述符通过单应矩阵变换进行关键点匹配；

步骤4、利用步骤3.3所得配准的结果，先进行图像差分处理；然后进行二值化处理来突出差异区域，最后使用MSER算法检测出合适的区域；

步骤5、根据图像，调整合适的方法参数，比如，ORB检测要定位的关键点的最大数量等；

步骤6、调整完毕，同时输入电力设备正常状态下的图像和异常状态下的图像，输出检测出的检测框

实施例1

本实施例对图2的电力设备(灭火装置)进行异常检测，具体过程如下：

步骤一：采集消防器材的摆放的场景，包含正常状态(图2中左图)和异常状态(图2中右图)。

步骤二：将图像按照不同装置分为不同类别，同一类别应该包含正常状态和至少一张异常状态图像。

步骤三：依次进行图像初步配准、图像差分和二值化处理(如图3所示)及区域检测，初步配准结果如图4和图5所示，单应性矩阵匹配结果如图6所示。

步骤四：根据图像配准结果，调整参数以适应装置场景检测。

步骤六：将最终算法配置到相应环境上，使用时，同时传入正常状态和待检测图像做比较配对，如图7所示。

通过上述实施例可以看出，本发明适合复杂场景条件的电力装备状态检测，并且不需要模板图像，针对一类电力设备进行检测，提高了效率；在实际检测过程中，通过特征点匹配后，图像的待检测区域以及待比较检测的异常点基本确定，再根据异常点的位置和数量关系，选择合适的异常区域标出。本发明无需使用大量数据来训练神经网络，节约了计算量；另外，本发明由于两个图像的角度位置变化较大，容易产生较多噪声，通过单应性变换对异常区域进行筛选，将异常点数量明显低于同图像其他位置的异常点数量作为噪声区域抛弃，提高了检测精度。