一种基于无人机巡航的光伏故障检测方法

技术领域

本发明属于模式识别领域，具体涉及通过无人机获得高清真彩色图像，对分布式光伏组件故障进行识别与定位的方法。

背景技术

随着光伏发电技术应用越来越广泛，已有大量的光伏系统投入运行。光伏电站实际运行自然环境恶劣，光伏阵列故障复杂多样，严重影响了电站的安全稳定运行和经济效益。

光伏系统主要的故障包括了光伏组件投运前及运行中的隐裂、因局部阴影遮挡或光照接收不均而产生的热斑、电势诱发衰减、腐蚀等造成的光伏组件性能退化、因部分组件性能退化或连接排布失当而造成的阵列失配以及因接线盒错误导致的光伏电池组件开路或短路。这些故障严重降低了光伏组件及多种电气设备的寿命，降低光伏电站发电量，甚至对整个光伏系统的安全运行造成严重影响。

目前光伏发电故障诊断的方法主要包括基于电路结构的方法、基于红外图像的方法、基于电气测量的方法、基于数学参考模型的方法和基于智能检测的故障诊断方法。

光伏故障类型大致可以分为两种：1、肉眼可见的故障，如鸟粪、树叶、尘土等肉眼可见遮挡；2、热斑信息。第一种故障类型可以通过清扫光伏板表面解决，第二种故障类型需要对光伏组件进行更换。

现有技术主要专注热斑故障的识别，因其肉眼难以发现，一般采用红外成像模式，如中国专利申请CN115100296A。

光伏板局部被长期遮挡、表面被异物覆盖等故障，如果没有早期发现、及时清理，会产生热斑，对光伏组件造成更严重的损害。

发明内容

为解决上述问题，提出了本发明。本发明采用了以下技术手段：一种基于无人机巡航的光伏故障检测方法，包括以下步骤：

1.1、无人机自适应巡航获取高清真彩色图像；

1.2、基于获取图像的GPS信息进行图像合成，获取全场站高清总图；

1.3、对获取的每幅图像进行拆分；

1.4、针对不同故障原因进行检测模型的训练、验证与测试；

1.5、利用检测模型对故障原因进行识别，输出包含故障图像的故障框坐标；

1.6、故障框像素定位；

1.7、基于图像GPS信息和像素定位，在高清总图上标记识别位置。

本申请使用无人机巡航拍摄高清真彩色图像，合成全场站高清总图，便于显示和标记，并且使用高清真彩色图像进行肉眼可识别故障的模型建立和识别，实现发明目的。

有益效果：采用本发明提出的技术方案，无人机自适应巡航，自动改变拍摄高度与角度，保证获取的图像具有一致性；通过图像合成，获取全场站的高清总图；通过图像拆分，在保证准确率前提下提高算法效率；可以发现多种肉眼可见的故障类型，及时清理可杜绝光伏板产生热斑，减少光伏组件的损失；像素级GPS定位计算，精准确定故障位置。

附图说明

图1为单张图像的覆盖范围，

图2为部分场站总图，

图3为有故障的图像，

图4故障框、拆分图以及原图之间的关系示意图。

具体实施方式

一种基于无人机巡航的光伏故障检测方法，包括以下步骤：

1.1、无人机自适应巡航获取高清真彩色图像；

1.2、基于获取图像的GPS信息进行图像合成，获取全场站高清总图；

1.3、对获取的每幅图像进行拆分；

1.4、针对不同故障原因进行检测模型的训练、验证与测试；

1.5、利用检测模型对故障原因进行识别与像素定位；

1.6、基于图像GPS信息和像素定位，在高清总图上标记识别位置。

首先使用无人机自适应巡航获取高清真彩色图像。

在拍摄前设置无人机巡检参数：根据光伏板的位置和倾斜角度，设定无人机巡航参数，保证对所有光伏板的拍摄高度和角度大概保持一致。无人机巡检参数包括无人机飞行航线、无人机相机云台角度、拍摄模式、角度与方向。本实施例中，摄像机距高度为15-20米；光伏板铺设一般是与地面有一定夹角，而且不同地域因采光不同，角度也不一样，因此一般图像采集都是垂直于地面平飞拍摄。将飞行参数保存下来，工程使用时可按照既定路线和参数飞行，不用每次都重新设置。

无人机拍摄的图像，由于拍摄角度等原因，直接映射到地面有可能产生偏差，为了精确地映射到实际物理位置坐标系（经纬度坐标系），本实施例中，在合成图像前，将无人机自适应巡航获取高清真彩色图像进行视角变换，计算图像在平面的投影位置。

视角变换包括：摄像机变换：以无人机为原点，摄像头的朝向作为x轴构建右手坐标系，利用矩阵变换将世界坐标系转换为摄像机坐标系；投影变换：将摄像头拍到的三维图像利用投影变换矩阵投影到二维空间中；视口变换：将无人机二维空间中的图像利用反向投影矩阵变换为实际物理世界中的数字图像。

以上处理为现有技术，这里不在冗述。

本实施例中，只针对用于图像合成，获取全场站高清总图的图像进行上述变换处理，模型训练、故障识别使用无人机拍摄的原图。

基于获取图像的GPS信息进行图像合成，获取全场站高清总图。

合成全场站高清总图是将数字图像合成标准的OSM（OpenStreetMap）地图。本实施例中，首先确定场站的地理坐标位置即经纬度范围，得到覆盖区域大小，再根据无人机获取的单幅照片覆盖的范围，全场用照片填满，按照照片最高分辨率计算，得到合成图像的像素尺寸，在此基础上，将照片按照经纬度进行合成，得到地理坐标区域任一点与像素坐标的对应关系。

具体包括以下步骤：

首先确定合成图像的高h和宽w，通过以下步骤实现。

4.1.1、确定整个场站地理坐标区域的经纬度范围(maxLon, minLon, maxLat,minLat)，其中，maxLon为经度最大值，minLon为经度最小值，maxLat为纬度最大值，minLat为纬度最小值。

4.1.2、获取单张图像的像素值Sh*Sw，Sh为单张图像高度的像素值，Sw为单张图像宽度的像素值；获取单张图像的覆盖范围Ch*Cw，Ch为单张图像覆盖范围的高度，单位为米，Cw为单张图像覆盖范围的宽度，单位为米。

如单张图像的像素值（即分辨率）为5472*3648，在15米的巡航高度下，每幅图像可以看到5-6排，每排18个光伏组件，覆盖范围大约为18*12m

4.1.3、计算全场站用单张图像覆盖需要的图像的数量：Rw=(maxLon-minLon)/Cw，Rh=( maxLat-minLat)/Ch，其中，maxLon-minLon及maxLat-minLat转换单位为米。

Rw为东西方向覆盖需要的图像数量，Rh为南北方向覆盖需要的图像数量。

以上计算公式只是一个示意。

赤道上经度相差1°，距离相差约111千米；任意纬度纬线上，经度相差1°，实地距离相差约111*cosα千米，α表示纬度数。

同一经线上纬度差1°约为111千米，纬度每隔0.00001度，距离相差约1.1米； 每隔0.0001度，距离相差约11米； 每隔0.001度，距离相差约111米； 每隔0.01度，距离相差约1113米； 每隔0.1度，距离相差约11132米。

在以上基础上可以进行精确计算。

4.1.4、计算合成图像的高h和宽w，h=Sh*Rh，w=Sw*Rw，h和w为像素值。

高h对应纬度，即南北方向，宽w对应经度，即东西方向。

获取每张图像GPS信息中的经纬度，在经纬度空间中进行第一步图像合成，针对重叠区域进行去重操作。

已知图像中心点GPS以及无人机的飞行姿态和摄像机参数，经过变换得到数字图像，识别相邻图像的相似物体特征及位置并进行图像变换和拼接，将两张带有部分重合区域的图像拼接为一张图形，依次类推将所有图像合称为高清大图。

地理坐标区域任一点与像素坐标的对应关系：

X = (lon - minLon) * w / (maxLon-minLon)，

Y = (maxLat - lat) * h / (maxLat-minLat)，

其中，(lon，lat)为地理坐标系中的某一点的经度和纬度，(X，Y)为对应的像素坐标。

根据屏幕坐标信息计算图像之间的相对位置与绝对位置，利用栅格法将每张图像放于对应的格子中，完成图像合成。

在场站范围内，可能只有个别区域有光伏组件，为了减少工作量，本实施例中，无人机只拍摄安装光伏组件的区域，合成后高清图后，与现有的电子地图进行二次合成，生成最终的场站总图。

现有的电子地图包含建筑、道路、地貌等，两者结合使用，将合成的高清图覆盖到电子地图的对应经纬度范围，可以呈现出更多信息，更加直观。

通过以上步骤，获取了场站总图，图2为场站总图的一部分。

对获取的每幅图像进行拆分。

在日常使用时，使用无人机定期巡航获取高清真彩色图像，用于故障的判定。

无人机获取的图像分辨率比较高，整体直接用于算法进行识别会影响效率。本实施例中，将图像拆分为算法所接受的最优分辨率的多幅图像，达到更快的计算速度。

定义拆分图像的大小Dh*Dw，Dh和Dw分别为拆分图像高和宽的像素值；定义重叠区域大小m%；基于上述参数，使用滑动窗口技术对图像进行拆分，得到多个拆分图像。

由于原图的像素数不一定是Dh和Dw的整倍数，因此需要设置重叠区域m%，即相邻拆分图像的横向和/或纵向有m%的重叠，m在10到20之间。

本实施例中，Dh和Dw取值相同，优选的是1280或960。

所述的滑动窗口技术将一个Dh*Dw的窗口，按照重复区域在原图上进行滑动定位，每个位置上取一幅图像。

具体实现示例如下：

（1）定义拆分图像的大小，这里设置拆分图像的宽和高为相同值，设为Wp。

（2）定义重叠区域大小，为保证待检测目标不被拆分开，因此拆分图像宽度或高度需要设置重叠区域，覆盖区域overlay=Wp*m%。

（3）基于滑动窗口技术对合成图像进行拆分，得到多个拆分图像，滑动的步长为step，则W和step、overlay的关系为：

以宽度为例子，当原始图像的宽大于W值，从宽度上就要进行循环拆分：

当原始图像宽度

高度拆分方法与宽度的拆分方法一致。得到拆分图像的同时，得到拆分的图像位置信息，即拆分图像在原始图像中的左上角和右下角像素坐标（x_min，y_max）和（x_max,y_min）。

拆分后的图像与原始图像的位置关系信息将以文件形式缓存，用于后面的计算。

针对不同故障原因进行检测模型的训练、验证与测试。

1、数据集准备。

获取光伏故障数据集FP，并将光伏故障数据集划分为训练数据集TRFP和测试数据集TEFP。

将TRFP和TEFP数据集随机抽取80％进行训练，20％进行测试。

本发明中将不同故障类型设置为鸟粪、树叶和其他异物。

2、组织数据训练。

训练数据生成方式：利用labelImg工具进行图像标注，生成txt格式标签，文件中每一行代表故障框信息。

网络结构：yolov5模型，其中Conv、激活函数、梯度更新的计算方法如下：

Conv的计算方法如下：

，

其中输入特征映射

激活函数Sigmoid计算方式如下：

其中

SGD的参数更新公式为：

其中

3、组织数据测试。

测试数据生成方式与训练数据生成方式相同，模型的测试方法为现有技术，不再冗述。

利用检测模型对故障原因进行识别与像素定位。

将无人机获取的图像拆分后，利用检测模型识别故障原因，识别后对故障位置进行像素定位。

图像拆分后，故障定位在拆分的图像中。

故障识别后，算法输出故障框信息，故障框中包含识别出的故障图片，故障框信息中包括yolo格式的坐标。

故障框信息包括：

其中

如图4所示，检测模型输出的为yolo格式坐标，由于故障识别的基础是拆分的图像，需要将坐标还原为在原图中的坐标。

1、解析算法识别的输出文件，计算故障框在原始图像中的位置。

1-1、首先计算被识别的拆分图像在原始图像中的yolo格式坐标。

，

，

，/>

，

其中，

Percent

1-2、计算故障框在原始图像中的yolo格式坐标。

，

，

，

，

2、计算包含故障物体的故障框的左上和右下坐标。

故障框左上角坐标（

fault

fault

故障框右下角坐标（

fault

fault

3、解析原图Exif信息并计算故障框所在的经纬度位置。

读取图像Exif信息，获取图像中心点像素的经纬度坐标为

，

，

利用python的haversine软件包，输入图像中心点像素的经纬度坐标

为了进一步纠偏，本实施例还根据计算得出的（

首先，根据以下公式反算

。

其中，

通过高斯投影反算公式计算大地gps坐标：

。

。

其中，

将前面得到的（

将所有故障点经纬度信息、故障类型、故障置信度信息变换为数组，输入pytorch框架的nms方法进行去重处理，得到无重复的故障检测数据。

通过以上计算，根据图像的像素坐标计算故障框的经纬度坐标，进一步地，通过经纬度坐标计算出大地gps坐标，利用地图软件的功能，可以在全场站高清总图上精确地标出故障所在的区域。

为了能在总图上看到具体故障类型，确定故障的经纬度信息后，将故障照片叠加到全场站高清总图上，如图3所示，灰色方框处为故障点。故障消除后，手工撤去故障照片，恢复总图。

日常拍摄的照片，用于故障识别和位置计算，完成后不用保存。