一种基于红外图像的光伏组件边缘十字交点检测方法

技术领域

本发明属于无人机巡检技术领域，具体涉及一种基于红外图像的光伏组件边缘十字交点检测方法。

背景技术

国家能源局2022年11月公布新能源最新装机规模。截至2022年9月底，全国光伏发电累计装机3.58亿千瓦，预计2035年全球光伏发电装机将达到2476GW，占全球发电装机的21％，成为装机规模最大的发电类型。电站的安全问题及发电量损失问题一直是业主关注的痛点，热斑引起组件持续发热，严重会烧毁组件，引发火灾，导致电力资产设备损失和人员伤亡；光伏组件导致的发电量损失占比70％以上，需要对光伏组件进行精细化巡检，精准运维，提升发电量，提高经济效益。

传统方式是通过人工进行巡检维护，由于电站面积广、设备多、位置偏、人工巡检难度大、工作量大、效率低以及成本高等特点，巡检覆盖率和频次难以保障。无人机的出现能够很好的缓解传统方式的压力。智能无人机具备机动性高，不受地形限制可以自由移动的特性，可携带的任务设备多种多样。在光伏系统巡检中，可使用双光相机，通过红外图像对组价进行检测，异常组件会表现出发热的现象，通过深度学习AI的方法对其进行自动检测及定位。由于光伏板面积分布广，在无人机巡检中有效的目标定位方式起着至关重要的作用，不仅可实现电站更精准的数字化管理，大大提高消缺人员的更换效率，而且打通了无人机巡检与其他维度诊断信息的融合通道。

光伏场景会因为场站地形、组件排列方式、并网规模等因素的不同，呈现出多种多样的形态。这为异常组件的检测和定位提出了更高的要求。如果能够对图像中的组件进行分割，可有效提高检测及定位算法的鲁棒性。但是由于拍照环境、光线以及组件材质不同，图像中的直线边缘信息存在较多噪声，直线检测的方法存在较多缺陷，不能满足精准分割的要求。

基于无人机智能巡检在图像处理阶段产生众多困难，导致算法在不同场景中的通用性表现较差，因此研发一种能有效解决多种复杂场景中组件的分割问题的检测方法很有必要。

发明内容

本发明的目的在于克服上述现有技术的不足，提供一种基于红外图像的光伏组件边缘十字交点检测方法。

为了解决技术问题，本发明的技术方案是：一种基于红外图像的光伏组件边缘十字交点检测方法，包括以下步骤：

步骤1：通过无人机获取多种场景的红外图像，对红外图像进行预处理，通过均值滤波剔除光伏组件区域的高频噪声；

步骤2：对预处理后的红外图像通过自定义算子进行滤波，检测出满足要求的像素区域，并通过霍夫变化及形态学处理确定十字交点候选区域；

步骤3：对十字交点候选区域中的像素进行自定义算子滤波，检测出光伏组件区域的十字交点。

优选的，所述步骤1具体为：通过无人机拍摄得到多种场景的红外图像，无人机上的相机沿着光伏组件的支架方向进行拍摄，设定红外图像中上下走向的线为经线，左右走向的线为纬线，经线长，纬线短；控制无人机相对于光伏组件的高度，以及相机的等效焦距，保证光伏组件的边缘宽度为3～30个像素。

优选的，所述步骤1中通过均值滤波剔除光伏组件区域的高频噪声，其中均值滤波的均值滤波算子为5*5。

优选的，所述多种场景包括山地场景、水面场景、屋顶场景、四排平原场景、平单轴场景和斜单轴场景。

优选的，所述步骤2具体为：

步骤2-1：通过自定义算子进行滤波，算子为1*n的矩阵，其中包括三部分区域：当前像素区域、组件边框区域和组件区域，对每个像素都通过自定义算子进行滤波，检测光伏组件经线特征的像素点区域；

步骤2-2：通过霍夫变化及形态学处理确定十字交点候选区域。

优选的，所述步骤2-1中自定义算子滤波为：

2-1-1)以当前像素作为中心，确定窗口区范围，在该范围内判断当前像素值是否为窗口区的最小值，如果不满足直接跳出执行下一个像素滤波，说明当前像素不在具有十字交点的经线上，如果满足执行下一步；

2-1-2)对组件区域的每个像素与自身相邻的像素进行像素值比对，如果出现一个大差值，立即跳出执行下一个像素滤波，如果组件区域的像素都满足低差值的要求，说明当前像素点满足要求，检测出满足要求的经线区域图像。

优选的，所述窗口区范为20～30个像素。

优选的，所述步骤2-2中霍夫变化及形态学操作确定十字交点候选区域具体为：对经线区域图像进行霍夫变换，实现对真实经线区的直线拟合，拟合后的直线重新绘制并经过形态学膨胀处理，即可得到连续的十字交点候选区域。

优选的，所述步骤3包括以下步骤：

3-1)以十字交点候选区域图像作为掩码图像，对其中每个有效像素，在预处理后的红外图像中找到对应像素位置；

3-2)针对该像素，在其周围确定方形区域，并对方形区域的四边分别确定上、下、左、右四个区域，这四个区域为1*n或n*1的像素区域；

3-3)寻找每个区域中像素值最小的像素；

3-4)计算四边最小值像素与正方形中心点的位置差值Δxt、Δxb、Δyl、Δyr；

3-5)如果Δxt与Δxb的差值以及Ayl与Δyr差值都能保证在10个像素范围之内，则认为该像素点为十字交叉点。

优选的，所述步骤3-1中方形区域为正方形。

与现有技术相比，本发明的优点在于：

(1)本发明提出了一种基于红外图像的光伏组件边缘十字交点检测方法，该检测方法依托多种真实场景数据，结合光线、噪声、形态等多种因素的影响，通过整理多种场景的真实数据，对图像中表现出的共性和差异进行分析，提炼出检测十字交点的思路，由于光伏组件边缘的金属边框与电池片温度不同，在众多场景中红外图像都能呈现出较为稳定的十字交点边缘，该特征的检测可有效提高组件边缘分割的准确性与稳定性，从而提高后续异常检测算法和组件定位算法的鲁棒性，降低了后续检测算法和定位算法的难度；

(2)本发明首先采用均值滤波的算法对整张初始红外图像进行处理，在保证光伏组件边缘区域相对亮度不变的情况下，剔除其他区域的高频噪声，保证了输出质量，最大化节省处理时间，提高后续步骤的鲁棒性；

(3)本发明利用自定义算子进行滤波，以及霍夫变化及形态学处理，缩小了十字交点的候选区域，进一步缩小误检的概率，提高检测速度；

(4)本发明最后利用十字交点的候选区域的每个像素通过自定义算子滤波在预处理后的图像上直接进行十字交点检测，利用缩小后的十字交点的候选区域与预处理后的图像进行比对，保证准确性的同时提高了效率，有效提高后续异常检测算法和组件定位算法的鲁棒性。

附图说明

图1是本发明所应用的多样性场景；

图2是本发明步骤1中预处理的示意图；

图3是本发明步骤2中自定义算子示意图；

图4是本发明步骤3十字交点检测示意图；

图5是本发明一种基于红外图像的光伏组件边缘十字交点检测方法的处理流程的示意图。

具体实施方式

下面结合实施例描述本发明具体实施方式：

如图1所示，为本发明所应用的多样性场景，光伏场站根据支架的转向灵活度可分为固定轴、平单轴、斜单轴等；根据安装位置及地形可分为平地场景、山地场景、水面场景、屋顶等；同一支架或组串内部又存在多种多样的组件排列方式。因为上述差异的存在，基于无人机智能巡检在图像处理阶段产生众多困难，导致算法在不同场景中的通用性表现较差。本发明通过整理多种场景的真实数据，对图像中表现出的共性和差异进行分析，提炼出检测十字交点的思路。

如图1所示，因为组件边缘的金属边框与电池片温度不同，在众多场景中(除了少数的单排)红外图像都能呈现出较为稳定的十字交点边缘，该特征的检测可有效提高组件边缘分割的准确性与稳定性，从而提高后续异常检测算法和组件定位算法的鲁棒性。

本发明公开了一种基于红外图像的光伏组件边缘十字交点检测方法，包括以下步骤：

步骤1：通过无人机获取多种场景的红外图像，对红外图像进行预处理，通过均值滤波剔除光伏组件区域的高频噪声；

步骤2：对预处理后的红外图像通过自定义算子进行滤波，检测出满足要求的像素区域，并通过霍夫变化及形态学处理确定十字交点候选区域；

步骤3：对十字交点候选区域中的像素进行自定义算子滤波，检测出光伏组件区域的十字交点。

优选的，所述步骤1具体为：通过无人机拍摄得到多种场景的红外图像，无人机上的相机沿着光伏组件的支架方向进行拍摄，设定红外图像中上下走向的线为经线，左右走向的线为纬线，经线长，纬线短；控制无人机相对于光伏组件的高度，以及相机的等效焦距，保证光伏组件的边缘宽度为3～30个像素。

所述均值滤波为现有技术，本申请不再赘述。

优选的，所述步骤1中通过均值滤波剔除光伏组件区域的高频噪声，其中均值滤波的均值滤波算子为5*5。

优选的，所述多种场景包括山地场景、水面场景、屋顶场景、四排平原场景、平单轴场景和斜单轴场景。

优选的，所述步骤2具体为：

步骤2-1：通过自定义算子进行滤波，算子为1*n的矩阵，其中包括三部分区域：当前像素区域、组件边框区域和组件区域，对每个像素都通过自定义算子进行滤波，检测光伏组件经线特征的像素点区域；

步骤2-2：通过霍夫变化及形态学处理确定十字交点候选区域。

优选的，所述步骤2-1中自定义算子滤波为：

2-1-1)以当前像素作为中心，确定窗口区范围，在该范围内判断当前像素值是否为窗口区的最小值，如果不满足直接跳出执行下一个像素滤波，说明当前像素不在具有十字交点的经线上，如果满足执行下一步；

2-1-2)对组件区域的每个像素与自身相邻的像素进行像素值比对，如果出现一个大差值，立即跳出执行下一个像素滤波，如果组件区域的像素都满足低差值的要求，说明当前像素点满足要求，检测出满足要求的经线区域图像。

优选的，所述窗口区范为20～30个像素。

优选的，所述步骤2-2中霍夫变化及形态学操作确定十字交点候选区域具体为：对经线区域图像进行霍夫变换，实现对真实经线区的直线拟合，拟合后的直线重新绘制并经过形态学膨胀处理，即可得到连续的十字交点候选区域。

所述霍夫变化及形态学处理为现有技术，本申请不再赘述。

优选的，所述步骤3包括以下步骤：

3-1)以十字交点候选区域图像作为掩码图像，对其中每个有效像素，在预处理后的红外图像中找到对应像素位置；

3-2)针对该像素，在其周围确定方形区域，并对方形区域的四边分别确定上、下、左、右四个区域，这四个区域为1*n或n*1的像素区域；

3-3)寻找每个区域中像素值最小的像素；

3-4)计算四边最小值像素与正方形中心点的位置差值Δxt、Δxb、Δyl、Δyr；

3-5)如果Δxt与Δxb的差值以及Δyl与Ayr差值都能保证在10个像素范围之内，则认为该像素点为十字交叉点。

优选的，所述步骤3-1中方形区域为正方形。

实施例1

本发明所述方法的具体实施步骤如下：

步骤1：

将红外图像中十字区域放大如图2-c所示，组件的边缘信息表现出较低亮度，在电池片区域表现出较高亮度，虽然红外图像的亮度与温度具有线性关系，但在实际巡检过程中，天气、角度以及组件型号的不同都会导致不同的图像亮度。为了提高算法的鲁棒性，减少阈值设置的数量，步骤2及步骤3都将采用像素间的相对亮度进行处理。为了提高后续步骤的鲁棒性，需要对输入的原始图像进行预处理，在不影响组件边缘区域相对亮度不变的情况下，剔除其他区域的高频噪声，本发明在该环节采用均值滤波的算法对整张初始图像进行处理，在保证输出质量的基础上，最大化节省处理时间。

由于本发明使用的红外图像都为50m左右高度拍摄，相机的等效焦距为58mm，所以组件的大小和边缘的宽窄都能保证在一定的尺度范围内，即保证光伏组件的边缘宽度在3～30个像素内；所述均值滤波算子的默认设置为5*5，如果相机及飞行高度不同可调整该参数。

如图2所示，图2-b为图2-a的局部放大图，图2-c为图2-b的局部放大图，图2-d为去噪后的图片。

步骤2：

光伏场景中，除了组件前景外，复杂的地面背景会产生众多疑似十字交点的干扰特征，为步骤3的准确检测增加了难度。为了缩小误检的概率，提高检测速度，本环节将会缩小十字交点的候选区域。

实施过程分为两步：

2-1)检测组串经线特征的像素点区域，如图5-b所示；

2-2)通过霍夫变化及形态学处理确定十字交点候选区域，如图5-c所示。

由于本发明在图像采集过程中要求相机沿着支架方向进行拍摄，为了方便阐述，本发明定义图像中上下走向的线为经线，左右走向的线为纬线，经线较长，纬线较短。根据图像显示，十字交点肯定出现在经线或纬线区域，由于经线长于纬线，抗干扰能力更强，本发明选择对经线区域进行像素级分割。

采用自定义算子对步骤1的结果进行滤波，该算子为1*n的矩阵，其中包括三部分区域：当前像素区域、组件边框区域和组件区域；对每个像素都通过该算子进行滤波，步骤如下：

2-1-1)以当前像素作为中心，确定窗口区范围，在该范围内判断当前像素值是否窗口中最小值，如果不满足直接跳出执行下一个像素滤波，说明当前像素不在具有十字交点的经线上，如果满足执行下一步；

2-1-2)对组件区域的每个像素与自身相邻的像素进行像素值比对，如果出现一个较大差值，立即跳出执行下一个像素滤波，如果组件区域的像素都满足低差值的要求，说明当前像素点满足要求。整张图像滤波完成后就得到了如图5-b的经线区域。

由于经线区图像中存在较多背景干扰，以及有些经线区因为尺度问题和分辨率问题未能在上一步中找出来。

本发明采用变换统计的思想，对经线区图像进行霍夫变换，这样不仅实现了对真实经线区的直线拟合，也可以排除背景区域的干扰；拟合后的直线重新绘制并经过形态学膨胀处理，就可得到连续的十字交点候选区域，如图5-c所示。

步骤3：

步骤2生成的候选区域缩小了十字交点检测的范围，降低了误检的概率。本步骤对候选区内的每个像素通过图4-e的方式在预处理后的图像上直接进行十字交点检测。

如图4所示，十字交点为中心，在周围画一个正方形，十字交点的边缘与正方形的边会呈现多种的相交方式，其中除图4-b以外，其他都会与边存在交点，由于本发明在图像采集的过程中沿着支架方向进行拍摄，十字交点与正方形的交点都能收缩在图4中a、c、d三种状态之内。

具体实现步骤如下：

3-1)候选区图像作为掩码图像，对其中每个有效像素，在步骤1预处理后的红外图像中找到对应像素位置；

3-2)针对该像素，在其周围确定方形区域，并对方形区域的四边分别确定上、下、左、右四个区域，这四个区域为1*n或n*1的像素区域；

3-3)寻找每个区域中像素值最小的像素；

3-4)计算四边最小值像素与正方形中心点的位置差值Δxt、Δxb、Δyl、Δyr；

3-5)如果Δxt与Δxb的差值以及Δyl与Δyr差值都能保证在10个像素范围之内，则认为该像素点为十字交叉点，最终的处理结果如图5-d所示。

图5-d的结果需要在5-a图像中检测十字，需要用到5-c的模板，5-c中白色区域对应的5-a中的区域才参与十字检测，黑色区域不参加。

本发明的原理如下：

如图1～5所示，本发明提出的一种基于红外图像的光伏组件边缘十字交点检测方法，先对输入的原始图像进行预处理，在确保光伏组件边缘区域相对亮度不变的情况下，剔除其他区域的高频噪声，提高了后续步骤的鲁棒性，减少阈值设置的数量，接着自定义算子进行滤波和霍夫变化及形态学处理，缩小了十字交点的候选区域，进一步缩小误检的概率，提高检测速度，最后在十字交点的候选区域的每个像素通过自定义算子滤波在预处理后的图像上直接进行十字交点检测，本发明可实现对红外图像中相邻组件边缘形成的十字交点进行快速检测，在多种场景中表现出良好的通用性和准确性，十字交点的检测为光伏巡检后续环节提供了帮助，可有效降低组件分割、组件检测以及组件定位等环节的难度。

本发明提出了一种基于红外图像的光伏组件边缘十字交点检测方法，该检测方法依托多种真实场景数据，结合光线、噪声、形态等多种因素的影响，通过整理多种场景的真实数据，对图像中表现出的共性和差异进行分析，提炼出检测十字交点的思路，由于光伏组件边缘的金属边框与电池片温度不同，在众多场景中红外图像都能呈现出较为稳定的十字交点边缘，该特征的检测可有效提高组件边缘分割的准确性与稳定性，从而提高后续异常检测算法和组件定位算法的鲁棒性，降低了后续检测算法和定位算法的难度。

本发明首先采用均值滤波的算法对整张初始红外图像进行处理，在保证光伏组件边缘区域相对亮度不变的情况下，剔除其他区域的高频噪声，保证了输出质量，最大化节省处理时间，提高后续步骤的鲁棒性。

本发明利用自定义算子进行滤波，以及霍夫变化及形态学处理，缩小了十字交点的候选区域，进一步缩小误检的概率，提高检测速度。

本发明最后利用十字交点的候选区域的每个像素通过自定义算子滤波在预处理后的图像上直接进行十字交点检测，利用缩小后的十字交点的候选区域与预处理后的图像进行比对，保证准确性的同时提高了效率，有效提高后续异常检测算法和组件定位算法的鲁棒性。

上面对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。