一种基于颜色分割的光伏电池色差分类方法

技术领域

本申请涉及图像处理领域，具体涉及一种基于颜色分割的光伏电池色差分类方法。

背景技术

光伏电池板的颜色主要受生产过程中制绒工序的影响，光伏电池板差种类有花片、红片及部分阴阳片。现阶段主要依靠人工观察来判断光伏电池板是否有色差，存在耗时长、效率低、成本高、判断标准不统一的问题。而且长时间的人眼分选势必会造成人眼的疲劳，进而导致工作效率下降、误检率增加。

发明内容

针对以上问题，本发明提出一种基于颜色分割的光伏电池色差分类方法。获取光伏电池板的原始图像并输入关键点检测网络检测光伏电池板关键点，输出关键点热力图和关键点坐标。将关键点按顺序连接起来，得到光伏电池板区域图像并对光伏电池板区域图像进行投影变换，得到光伏电池板正射图ImageA。通过杂物检测网络检测ImageA中杂物并转化为白色并输出ImageB；设定若干种参考颜色，基于参考颜色和KD-Tree最邻近搜索对像素进行分类并输出颜色分类图像ImageC，按一定比例分割成若干个光伏电池板栅格区域图像。统计各个栅格区域图像中所有参考颜色像素占总像素数量的比例K并判断光伏电池板栅格区域是否存在色差。

一种基于颜色分割的光伏电池色差分类方法，其特征在于，该方法包括：

步骤S1：设置轨道相机拍摄光伏电池板，获取原始图像；将原始图像输入关键点检测网络，检测光伏电池板关键点，输出关键点热力图和关键点坐标；将关键点按顺序连接起来，得到光伏电池板区域图像；

步骤S2：对光伏电池板区域图像进行投影变换，得到光伏电池板正射图ImageA；通过杂物检测网络检测ImageA中的杂物，将ImageA中杂物像素转化为白色，输出ImageB；

步骤S3：设定白色和其他若干种参考颜色，基于参考颜色和KD-Tree最邻近搜索对ImageB中像素进行分类，输出颜色分类图像ImageC；将ImageC按一定比例分割成若干个光伏电池板栅格区域图像ImageD；

步骤S4：统计各个ImageD中不同参考颜色像素占总像素数量的比例K，得到最高像素数量比例K

所述关键点检测网络的训练方法为：以相机拍摄的若干张原始图像为数据集；人工标注数据集中每张原始图像中光伏电池板的左上、左下、右上、右下四种角点，生成标注数据；使用均方误差损失函数进行训练。

所述投影变换的方法包括：根据光伏电池板区域的四个角点的坐标与投影变换后的四个角点的坐标估算出单应性矩阵，使用得出的单应性矩阵将光伏电池板区域投影变换成光伏电池板正射图。

所述杂物检测网络的训练方法包括：采用若干张ImageA为数据集；人工标注出数据集中属于杂物的像素，生成标注数据；使用交叉熵损失函数进行训练。

所述判断光伏电池板栅格区域是否存在色差的方法包括：设置经验比例阈值M，当(K

一种基于颜色分割的光伏电池色差分类系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上基于颜色分割的光伏电池色差分类方法的步骤。

本发明和现有技术相比有如下有益效果：

(1)通过神经网络检测光伏电池板上的杂物，并将杂物像素替换为白色像素，降低了杂物对后续色差分析的影响，使色差分析更准确。

(2)本发明通过白平衡算法处理光伏电池板区域图像，解决了光照不均匀导致图像颜色失真的问题，使处理后的图像更能准确地反映物体的真实色彩。本发明还通过直方图均衡算法处理光伏电池板区域图像，提高了图像的对比度和清晰度，突出了图像中像素颜色，表现使得KD-Tree算法能更准确地进行颜色分类

(3)本发明通过投影变换使得光伏电池板区域图像正射化，去除原始图像中电池板区域以外的图像，统一了图像分析的标准，使得后续色差分析的准确度不会因为图像大小不统一、图像背景的影响而下降。

(4)本发明将电池板分割成若干个栅格区域，对每个栅格区域单独进行色差分析，可以更加精确地定位光伏电池板上出现色差的区域，且色差分析时考虑了栅线的颜色，提高了色差分析的准确度。

(5)本发明将光伏电池板上像素的颜色替换为最近邻的参考颜色，得到ImageC，可以更直观地观察到色差部分，对色差部分进行定位。

(6)本发明可以针对不同种类的色差定义参考颜色，适用于多种色差的分析，通用性强且容易操作。

附图说明

图1为方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一：

本发明的主要目的是实现光伏电池板的色差检测。

为了实现本发明所述内容，本发明设计了一种基于颜色分割的光伏电池色差分类方法，方法流程图如图1所示。

设置轨道相机，相机在轨道上滑动并拍摄光伏电池板，获取原始图像。需要说明的是，轨道相机拍摄图像的位置是提前设定好的，一张原始图像中最多包含一个完整的光伏电池板。

本发明通过神经网络检测光伏电池板的四个角点，来获得光伏电池板区域的图像，进行投影变换。为了将光伏电池板区域图像从原始图像中分割出来，需要定位光伏电池板的四个角点，四个角点连成的四边形区域内即为光伏电池板区域。

关键点检测网络的训练步骤包括：以相机拍摄的若干张原始图像为数据集；人工标注数据集中每张原始图像中光伏电池板的左上、左下、右上、右下四种角点，生成标注数据；使用均方误差损失函数进行训练。

将原始图像输入训练好的关键点检测网络，检测光伏电池板的四种角点，输出关键点热力图，通过softargmax获得每个角点的二维坐标，在原始图像中将四个角点连接成一个四边形区域，该四边形区域即为光伏电池板区域。

本发明需要将光伏电池板区域图像通过单应性变换转化为正射图像，统一图像分析的标准，使后续分析不会受到图像大小不统一、图像背景的影响而导致精度下降。单应性变换就是从一个平面到另一个平面的映射关系，通过单应性矩阵H可以将图像进行单应性变换。

光伏电池板区域图像中像素l(x,y)与光伏电池板区域正射图像中对应像素l′(x

H为单应性矩阵，h

选取原始图像的四个角点a为特征点，确定这四个角点在光伏电池板区域正射图像中的对应点a′的坐标，利用SVD(奇异值分解)算法和四对角点的坐标得出第一单应性矩阵，然后根据第一单应性矩阵将该光伏电池板区域图像变换成正射图像。

需要说明的是点a′的坐标需要根据相机分辨率来确定，点a′的坐标决定了单应性变换后光伏电池板区域正射图像的大小。例如：相机拍摄得到的正射图像中光伏电池板区域图像分辨率为300×300，则应基于该分辨率来确定4个点a′的坐标，使单应性变换后得到的光伏电池板正射图为300×300的图像。

根据单应性矩阵将光伏电池板区域图像进行单应性变换，经白平衡算法和直方图均衡化处理，输出光伏电池板正射图。

利用白平衡算法处理图像，可以消除光照不均匀问题，使处理后的图像更能正确反映物体的真实色彩。白平衡算法是多样且公知的，本发明不对使用的白平衡算法进行限制。可以使用单尺度SSR图像增强Retinex算法等。

一般原始图像的色彩对比不明显，可采用直方图均衡化提高图像的对比度，使得图像更加颜色分明，使得后续基于参考颜色的图像分割更具鲁棒性。最终得到ImageA。

由于本发明是采用的KD-Tree算法来基于参考颜色进行图像分割的，因此上述白平衡算法和直方图均衡化处理是必不可少的，经过这两种处理可以更好地还原光伏电池板区域图像的色彩信息，从而使KD-Tree的分类结果更鲁棒、更精确。

根据调色板进行人为先验的参考颜色定义。光伏电池板的栅线为白色，多晶硅电池板的主要颜色为暗蓝色，单晶硅电池板的主要颜色为黑色。光伏电池色差种类有花片、红片及部分阴阳片，其不同于无色差光伏电池板的颜色一般为印度红色、淡紫色、淡绿色。

本实施例选择了5种参考颜色：白色、暗蓝色、淡紫色、印度红、淡绿色。

参考颜色的RGB值分别为：

白色：[255,255,255]；

暗蓝色：[0,0,139]；

淡紫色：[218,112,214]；

印度红：[176,23,31]；

淡绿色：[144,238,144]。

以淡绿色：[144,238,144]为例，其R、G、B值分别为144、238、144。

需要说明的是，白色是必须要选择的参考颜色，白色为光伏电池板栅线的颜色，在ImageA中有相当一部分像素为白色，且白色不是色差颜色，所以白色必须为参考颜色，否则会导致后续对色差的判断出现误差。还需要根据光伏电池板的种类选择暗蓝色和黑色中的一个为参考颜色。但除白色、暗蓝色、黑色以外的其他参考颜色可由实施者根据要检测的色差类型自由选择，本发明不对其他参考颜色的选择进行限制。

在生产车间里光伏电池板上会有杂物，如气泡、毛发、边角料等。杂物的颜色通常和光伏电池板颜色不同，如果不考虑杂物，会影响后续色差分析的准确性。所以本发明利用杂物检测网络检测光伏电池板上的杂物。并将属于杂物的像素转换成白色，避免了杂物影响后续色差分析的准确性。

所述杂物检测网络的训练方法包括：采用若干张ImageA为数据集；人工标注出数据集中属于杂物的像素，生成标注数据；使用交叉熵损失函数进行训练。

将ImageA输入训练好的杂物检测网络，检测杂物像素，输出杂物语义分割图，根据杂物语义分割图生成杂物遮罩，将杂物遮罩和对应的ImageA点对点相乘，得到杂物区域，将ImageA中杂物区域的所有像素的RGB值变为[255,255,255]，即变为白色，使之与栅线颜色相同，得到修正后的图像ImageB。

然后根据上述参考颜色对ImageB中所有像素进行分类，本发明利用KD-Tree进行基于参考颜色的像素分类。

KD-Tree(k-dimensional)，是一种分割k维数据空间的数据结构，主要应用于多维空间关键数据的搜索，例如：范围搜索、最邻近搜索。本发明利用KD-Tree进行最邻近搜索来找出与像素RGB值最接近的参考颜色。

本发明中数据为三维数据，数据的三个维度分别为R、G、B，其值分别为像素的R、G、B值。

首先创建KD-Tree。选择5种参考颜色，其R、G、B值分别为[255,255,255]；[0,0,139]；[218,112,214]；[176,23,31]；[144,238,144]。

输入ImageA中一个像素S的RGB值，通过最邻近搜索找出S的最近邻参考颜色点，并将像素S的RGB值转换为和该参考颜色的R、G、B值一致。

需要说明的是KD-Tree最邻近搜索是公知技术，最邻近搜索的方法不作为本发明的保护内容。

依次将ImageB中所有像素的RGB值输入KD-Tree中进行最邻近搜索，将所有像素基于RGB值分类，本实施例中像素可分为5类，一类对应一种参考颜色。将像素的RGB值转换为和所属类别的RGB值一致，最后得到颜色分类图像ImageC。

本实施例选择了5种参考颜色，所以ImageC中像素颜色只可能是5种参考颜色中的一种。

根据电池板栅线组成的方形区域的大小对ImageC进行分割，将ImageC分成若干个栅格区域，输出若干个光伏电池板栅格区域图像ImageD。

统计ImageD中各种参考颜色的像素占总像素数量的比例K，以一张ImageD的统计为例：

对于一种参考颜色的像素，计算其参考颜色像素的数量d，则该参考颜色像素所占比例为

计算各个参考颜色的像素所占比例。需要说明的是，栅线颜色虽然和正常电池板硅晶的颜色不同，但栅线颜色不是色差颜色，所以判断是否有色差时需要去除栅线的白色的影响，这样对色差的判断才会更加精确。计算白色像素所占比例K

设置经验比例阈值M，当(K

至此本发明完成。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。