一种基于人工智能的光伏电站零件松动检测系统及方法

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的光伏电站零件松动检测系统及方法。

背景技术

光伏电站是利用太阳光能、采用特殊材料诸如晶硅板、逆变器等电子元件组成的。由于光伏电站的天气、地理环境的影响，光伏电站的组件的零件难免会发生松动或脱落，可能造成严重后果。

在现有的零件检测技术中，通过单一网络输入零件图片信息进行训练。将当前零件图片信息输入到网络中得出网络输出结果。对于光伏电站而言由于零件种类多，连接点多，在判断零件松动时，可能会有当前零件未松动但是其附属连接的零件松动了的情况。在这种情况下使用单一网络容易判定当前零件松动，造成错判误判，使得判定不精准。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的光伏电站零件松动检测系统及方法，所采用的的技术方案如下：

本发明提供一种基于人工智能的光伏电站零件松动检测系统，包括图像获取模块、实例分割模块、姿态特征提取模块、相对特征提取模块、特征融合模块和松动判别模块；

所述图像获取模块用于获取零件图像信息；所述零件图像信息分为初始图像信息和当前图像信息；

所述实例分割模块用于通过分割所述初始图像信息，输出每个零件的实例掩膜；

所述姿态特征提取模块用于通过处理所述实例掩膜获取每个零件的姿态特征；

所述相对特征提取模块用于通过处理所述实例掩膜得到实例邻域掩膜，所述实例邻域掩膜表示零件周围的附属零件；通过处理所述实例邻域掩膜和所述实例掩膜获取每个零件与其周围附属零件的相对特征；

所述特征融合模块用于分别将所述实例掩膜、所述姿态特征和所述相对特征融合到所述松动判别模块中；

所述松动判别模块用于结合所述图像信息和所述特征融合模块融合的特征对零件根据所预设的松动等级进行判别。

进一步地，所述图像获取模块采用线扫描相机或者面阵相机获得所述零件图像信息。

进一步地，所述姿态特征提取模块包括：第一图像裁切模块和边缘提取模块；

所述第一图像裁切模块，用于裁切所述实例掩膜获得零件像素数据；

所述边缘提取模块，用于通过预先训练好的边缘提取网络处理所述零件像素数据，获取每个零件的边缘特征，所述边缘特征表示每个零件的姿态特征。

进一步地，：所述相对特征提取模块包括：实例邻域掩膜提取模块、第二图像裁切模块、相对特征编码器、相对特征解码器；

所述实例邻域掩膜提取模块，用于处理所述实例掩膜，输出所述实例邻域掩膜；

所述第二图像裁切模块，用于裁切所述实例邻域掩膜，获得零件邻域像素数据；

相对特征编码器，用于提取所述零件像素数据和所述零件邻域像素数据的特征作为所述相对特征解码器的输入；

相对特征解码器，用于对所述相对特征解码器的输入进行采样，输出所述相对特征。

进一步地，：所述特征融合模块包括3个相同的融合单元：第一融合单元、第二融合单元和第三融合单元；

所述融合单元利用注意力机制分别处理所述实例掩膜、所述姿态特征和所述相对特征，将处理好的融合特征信息输入所述松动模块中，使得所述松动判别模块处理所述图像信息时更专注所述融合特征信息进行运算判别；

进一步地，所述松动判别模块包括当前信息编码层、初始信息编码层、第一全连接层、第二全连接层和第三全连接层；

所述当前信息编码层和所述初始信息编码层处理时权值共享；所述当前信息编码层用于处理所述当前图像信息；所述初始信息编码层用于处理所述初始图像信息，将处理结果输入所述融合单元，使松动判别模块分别与所述实例掩膜、所述姿态特征和所述相对特征融合；

所述当前信息编码层将处理的结果传递给所述第一全连接层，所述初始信息编码层将处理结果传递给第二全连接层；所述第一全连接层和所述第二全连接层处理信息时权值共享；

所述第一全连接层和所述第二全连接层的处理结果共同输入所述第三全连接层，所述第三全连接层输出所预设的松动等级。

进一步地，所述融合单元包括：乘法单元、第一融合编码器和第二融合编码器；

将所需融合的特征作为所述第一融合编码器的输入；所述乘法单元将所述初始信息判别编码器的输出和所述第一融合编码器的输出相乘，经过所述第二融合编码器输入所述松动模块中。

本发明还提出了一种基于人工智能的光伏电站零件松动检测方法，所述基于人工智能的光伏电站零件松动检测方法包括以下步骤：

获取零件图像信息；所述零件图像信息分为初始图像信息和当前图像信息；

通过实例分割网络对所述初始图像信息进行分割，获取每个零件的实例掩膜；

通过边缘提取网络处理所述实例掩膜获取每个零件的姿态特征；

通过处理所述实例掩膜得到实例邻域掩膜，所述实例邻域掩膜表示其零件周围附属零件；相对特征提取网络通过处理所述实例邻域掩膜和所述实例掩膜获取每个零件与其周围附属零件的相对特征；

分别将所述实例掩膜、所述姿态特征和所述相对特征分别融合进松动判别网络中；

所述松动判别网络结合所述图像信息和融合进来的所述特征对零件根据所预设的松动等级进行判别。

进一步地，所述相对特征的获取方法包括以下步骤：

所述实例掩膜经过裁切后获零件像素数据；

所述实例邻域掩膜经过裁切后获得零件邻域像素数据；

相对提取网络根据所述零件像素数据和所述零件邻域像素数据获得零件与周围附属零件的相对特征。

进一步地，利用注意力机制融合所述实例掩膜、所述姿态特征和所述相对特征；将所述需融合的特征和松动判别网络的输出相乘再处理，融入进松动判别网络中。

本发明具有如下有益效果：

1、通过基于经过多种特征融合的松动判别网络获得零件的松动程度，考虑零件是否存在、零件自身姿态和零件与其连接的附属零件的相对特征三个方面。利用注意力机制将实例掩膜、姿态特征和相对特征分别融合进松动判别网络，使得松动判别网络判断图片信息时更关注所输入的特征，从所输入的特征上对图片信息进行处理对比，输出图片相似度即零件松动等级。保障了判别的准确程度。

2、通过拍摄到松动零件的相机的位置和输出的零件实例来确定松动零件的位置和类别，可以使巡检人员及时检修。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一种基于人工智能的光伏电站零件松动检测的结构框图；

图2为本发明一种利用线扫描相机实施系统的结构框图；

图3为本发明融合模块中融合单元的结构框图；

图4为本发明一种利用面阵相机实施系统的结构框图；

图5为本发明一种基于人工智能的光伏电站零件松动检测方法的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种光伏电站零件松动检测系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种光伏电站零件松动检测系统的具体方案。

请参阅图1，其示出了本发明一个基于人工智能的光伏电站零件松动检测系统的结构框图。本系统包括：图像获取模块101、实例分割模块102、姿态提取模块103、相对特征提取模块104、特征融合模块105和松动判别模块106。

其中松动判别模块106为主网络，用于对图像获取模块101获取到的实时图像信息进行松动等级判别；实例分割模块102包含实例分割网络，对图像获取模块101输入的图像进行实例分割，获得各零件的实例掩膜；姿态提取模块103对实例掩膜进行边缘特征提取，获得零件的姿态特征；相对特征提取模块104对零件是实例掩膜进行处理获得零件的实例邻域掩膜，即零件周围零件的掩膜。通过实例掩膜和实例邻域掩膜获得零件的相对特征；特征融合模块105通过融合网络将实例掩膜、相对特征、姿态特征三个特征融合，引导主网络分别对零件从零件是否存在、零件自身姿态是否变化和零件周围零件是否变化，三个方面进行判别。

主网络的输出是该零件的松动等级。在本实施例中预设松动等级分为三级：轻微松动、明显松动、严重松动。轻微的松动代表没松动或松动的程度不明显，这种情况是可以接受的，不用修复；明显松动说明零件明显偏离了原来的位置，需要去手工修复；严重松动即所谓的脱落，会引起严重后果，需要及时进行修复。当出现明显松动或严重松动的零件是要通知巡检人员进行修补。利用轨道相机的位置来确定出现松动或脱落的光伏组件的位置，根据实例分割结果确定脱落或松动零件的类型和在图像上的位置，将这些位置通知给巡检人员。

综上所述，通过处理初始图像信息，得到每个零件的实例掩膜、姿态特征和相对特征。将上述特征融入进松动判别模块，使得松动判别模块在处理信息时更加关注融入进来的特征，从零件是否存在、零件自身姿态和零件与其连接的附属零件的相对特征三个方面判别松动程度，避免了误判，使得主网络的判别更加精准。并且可以根据相机拍摄位置和输出的零件实例，清楚的获得松动零件的位置和类型，通知巡检人员及时检修。

基于上述系统本发明实施例提供了两种具体实施方案，请参阅图2，图2给出了其中第一种实施方案。

整个系统包括图像获取模块101、实例分割模块102、姿态提取模块103、相对特征提取模块104、特征融合模块105和松动判别模块106组成。具体的：

图像获取模块101具体工作方式：在每一排光伏组件安装轨道相机，相机采用线扫描相机2101，使得相机正对光伏组件的背面支架。通过匀速移动相机，采集整排光伏组件的图像数据。图像数据经过切分成相同大小的图像输入到系统中。当光伏电站刚安装好后没有零件松动，使用上述相机扫描获得的图像数据为初始图像信息2103。线扫描相机2101 每隔一定时间获取一次光伏组件背面支架图像，所获得的图像信息为当前图像信息2102。

实例分割模块102用于使用实例分割网络分割图像信息中的各个零件实例。常见的实例分割网络有FCN网络(Fully Convolutional Networks，全卷积网络)、编解码结构(Encoder-Decoder)语义分割网络、空洞卷积、轻量级语义分割网络等，在本发明中采用编解码结构语义分割构建实例分割网络。

实例分割模块102包括：实例分割编码器2201和实例分割解码器2202。该实例分割模块102是经过预先训练好的分割网络，用于获取初始图像信息2103的各个零件的实例，包括纵横的檩条、竖直的金属承重柱、螺钉、三角支架、固定支架的金属部件、铰链等。实例分割模块102通过初始图像信息2103获取每个零件的实例掩膜，将掩膜二值化处理输出。

姿态特征提取模块103用于使用边缘提取网络，提取零件的边缘特征，零件的姿态即由其边缘进行表示，因此可将零件的边缘特征视为零件的姿态特征。

常见的边缘提取网络例如HED(Holistically-Nested Edge Detection，整体嵌套边缘检测)、CASNet(Category-Aware Semantic Edge，类别感知的语义边缘检测算法)和CEDN (全卷积编码器-解码器网络)等已经广泛使用，在此不多赘述。

姿态特征提取模块103包括：第一图像裁切模块2301和边缘提取模块2302组成。第一图像裁切模块2301利用实例分割网络输出的实例掩膜裁切出零件像素数据，将零件像素数据输入边缘提取模块2302中，通过预先训练好的边缘提取网络获取零件的边缘特征。

相对特征提取模块104同样采用编解码结构网络进行处理，具体的：

相对特征提取模块104包括：实例邻域掩膜提取模块2401、第二图像裁切模块2402、相对特征编码器2403、相对特征解码器2404。实例邻域掩膜提取模块2401通过对实例分割网络102输出的实例掩膜提取，获得实例邻域掩膜，即零件周围零件的掩膜。将实例邻域掩膜用第二图像裁切模块2402进行裁切，输出一个零件周围零件的像素数据，与第一图像裁切模块2301裁切过的零件像素数据一起输入到相对特征编码器2403中进行特征提取，再经过相对特征解码器2402的采样，输出该零件与周围零件的相对特征。

特征融合模块105包括：第一融合单元2501、第二融合单元2502和第三融合单元2503。松动判别模块106包括：第一当前信息判别编码器2601、第一初始信息判别编码器2602、第二当前信息判别编码器2603、第二初始信息判别编码器2604、第三当前信息编码器2605、第三初始信息判别编码器2606、第一全连接层2607、第二全连接层2608和第三全连接层 2609。

松动判别模块106利用多个编码器处理图像信息，与特征融合模块105融合进来的融合特征信息进行融合，使得松动判别模块在处理图像时更关注融合进来的特征。最终由全连接层进行处理结果，对两个图像信息计算相似度，输出判定结果。具体的，特征融合模块105和松动判别模块106的具体工作方式如下：

第一当前信息判别编码器2601处理输入进来的当前图像信息2102，处理后向下传递给第二当前信息判别编码器2603。第一初始信息判别编码器2602处理初始图像信息2103，处理后传递给第一融合单元2501和第二初始信息判别编码器2604。第一融合单元2501将融合后的特征输入进第二初始信息判别编码器2604中。第一当前信息判别编码器2601和第一初始信息判别编码器2602处理信息时权值共享。

第二当前信息判别编码器2603处理结果后向下输入给第三当前信息编码器2605中，第二初始信息判别编码器2604处理结果输入到第二融合单元2502和第三初始信息判别编码器2606中。第二融合单元2502处理姿态特征提取模块103输出的姿态特征和第二初始判别编码器2604的输出，将处理后的结果输入给第三初始编码器2606中。第二当前信息判别编码器2603和第二初始信息判别编码器2604处理信息时权值共享。

第三当前信息判别编码器2605处理结果后向下输入给第一全连接层2607中，第三初始信息判别编码器2606接收到输入后，处理后的结果输入进第三融合单元2503和第二全连接层2608中。第三融合编码器2503处理相对特征提取模块104输出的相对特征和第三初始信息判别编码器的输出，将处理后的结果输入给第二全连接层。第三当前信息判别编码器和第三初始信息判别编码器处理信息时权值共享。

经过上述步骤的处理，松动判别模块106分别经过特征融合模块105融合了所需要的特征。使得判别时更加专注于所融合的这几个特征。

第一全连接层2607和第二全连接层2608将处理的信息时权值共享，将结果输入给第三全连接层2609中。最后由第三全连接层2609输出判别的松动等级。

另外的，图2所示的各个网络的训练数据集均是由线扫描相机进行采集，数据集获取方法可如下方式获取：

1)由于金属等刚体结构很容易用模拟器去逼真的模拟，因此本发明用虚幻4引擎或 Unity3D等模拟器模拟光伏组件，包含电池板和金属之间等。

2)构建光伏组件的真实三维模型，与逼真的贴图数据。用模拟器的灯光模拟不同的自然光。利用虚拟的线扫描相机获取图像数据。

3)在模拟器中不仅数据集的获取难度减小，而且标注难度更小。

4)数据集按松动等级划分为3个等级：轻微松动、明显松动、严重松动。每个部分都会包括多幅图像，这些图像均由线扫描相机获取，真实数据表示没有零件松动或脱落的图像数据，标签数据为零件松动后的图像数据，以及每个零件在真实数据的掩膜,以及零件的边缘掩膜。

5)图2的实例分割网络、边缘提取网络、相对特征提取网络分开独立训练。

6)将数据集的80％作为训练集，余下20％做测试集，利用交叉熵损失函数和随机梯度下降法训练网络。

请参阅图3，图3给出了本发明融合模块中融合单元的示意图。

该融合单元利用注意力机制使得松动判别模块中的主网络关注所融合的几个特征。具体包括乘法单元3101、第一融合编码器3102和第二融合编码器3103。

第一融合编码器3102用于接收传递过来所需融合的特征，将所需融合的特征经过第一融合编码器3102处理，传递给乘法单元3101，乘法单元接收松动判别模块传递过来的输入，与所需融合的特征相乘然后传递给第二融合编码器3103。第二融合编码器3103处理传递过来的数据，将处理结果输入进松动判别模块中。

请参阅图4，图4给出了本发明第二种实施方案。

本发明第二实施例与第一实施例的构思相同，不同的是将线扫描相机换成面阵相机。将面阵相机安装在轨道上，匀速运动采集一排光伏组件的图像，每个零件会获得多个视角的图像数据。将包含同一个零件的图像数据划分为一个集合，一个零件对应一个唯一的图像集合，图像集合中包含了这个零件不同视角的图像数据。经过面阵相机获取图像后会生成多个图像集合，因为一个图像中至少会有两个零件，所以不同集合中也会出现相同图片。

根据相同原理，将所得图像数据划分为当前图像集合和初始图像集合。当前图像集合与初始图像集合通过合并模块分别输入到松动判别模块中。

对于每个初始图像集合，将集合中的图像做实例分割，分割出不同光伏组件实例，即获取到每个初始图像集合中图像的零件的实例掩膜集合。将不属于该零件集合的实例掩膜删除掉，将掩膜区域过小的图像删除掉，最终使得不同集合中拥有相同数量的图像，输出每个零件的实例掩膜集合。

与第一实施例相同，将所得的实例掩膜集合输入到姿态特征提取模块和相对特征提取模块，获得每个零件的的姿态特征和相对特征。这些特征输出的同样是一个集合，即姿态特征集合和相对特征集合，表示不同视角的特征。

将上述实例掩膜集合、姿态特征集合、相对特征集合分别通过合并模块合并到一起输入到特征融合网络中。再通过与第一实施例同样的特征融合模块将特征融入到松动判别模块中。松动判别模块输出与第一实施例相同，同样都是输出零件松动和脱落等级。

本发明提出的两种实施例劣势互补，第一种实施例通过线扫描相机获取图像信息，对微小的松动判别能力较高，但是无法获得遮挡地方或相机死角地方的信息。第二种实施例通过面阵相机获取图像信息，对微小的松动判别能力较低，但是通过多视角信息可以获取到更多部位的松动信息。两种实施例相互补充验证能获得更准确的结果。

请参阅图5，图5示出了本发明一种基于人工智能的光伏电站零件松动检测方法。

S1:获取零件图像信息；所述零件图像信息分为初始图像信息和当前图像信息；

S2:分割所述初始图像信息，输出每个零件的实例掩膜；

S3:处理所述实例掩膜获得每个零件的姿态特征；

S4:通过处理所述实例掩膜得到实例邻域掩膜，所述实例邻域掩膜表示其零件周围附属零件；通过处理所述实例邻域掩膜和所述实例掩膜获取每个零件与其周围附属零件的相对特征；

S5:分别将所述实例掩膜、所述姿态特征和所述相对特征分别融合进松动判别网络中；

S6:所述松动判别网络结合所述图像信息和融合进来的所述特征对零件根据所预设的松动等级进行判别。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。