一种基于无人机拍摄图像的风电机组图像分割方法

技术领域

本发明涉及图像分割技术领域，具体为一种基于无人机拍摄图像的风电机组图像分割方法。

背景技术

无人机航拍技术的发展使其在各个领域得到了应用，例如灾害救援、全景拍摄、环保检测和设备巡检等。用无人机远程监测风力发电机组的运行状态已经引起了风能行业的高度重视。基于无人机检测的一个基本问题就是，如何从无人机拍摄的图像或视频中提取风力发电区域。在计算机视觉领域，通常使用传统图像分割算法和深度学习的方法进行图像分割，解决这一相关问题。有学者提出了全卷积神经网络进行端到端的语义分割。也有学者针对医学数据集，设计了一种形状类似U形的对称网络结构，命名为U-Net。由于表现突出，U-Net网络结构以及后续的变体，包括UNet++，UNet 3+和Res-UNet等，都广泛应用在类似的问题中。

虽然上述方法能够进行分割，但从无人机拍摄图片中分割风机发电机组仍然需要克服一些挑战。这些挑战包括：(1)无人机拍摄的图片受不同环境和光照条件影响(2)拍摄角度和距离不同致使风力发电机外形变化(3)深度学习训练需要大量图片，而无人机拍摄的图像有限。

U-Net网络具有训练时间短，结构简单，样本需求少等优势，得以应用在数据收集困难的场景中。风力发电机在无人机图片中远近不同导致形状大小不一，具有多尺度的特点。U-Net网络处理多尺度特征是通过跳级结构拼接不同大小特征维度实现的，因此其处理多尺度具有局限性，无法保证方法的鲁棒性。并且，特征提取部分不够复杂，很多细节无法被提取，导致网络无法学习。为了处理这些问题，现有技术融合多种注意力机制并增强编码结构，调整了具有细节能力的多尺度U-Net网络，获得了更好地结果。

基于此，本发明提出来改进U-Net网络对无人机拍摄图像的风力发电机图像进行分割。

发明内容

本发明的目的在于提供一种基于无人机拍摄图像的风电机组图像分割方法，以U-Net为基础，并使用ECA-Net和PSA-Net这两种注意力机制以及ResNet改进网络结构，极大的增强了该模型图片分割方法的鲁棒性。

为实现上述目的，本发明提供如下技术方案：一种基于无人机拍摄图像的风电机组图像分割方法，包括U-Net网络，所述U-Net网络包括编码部分和解码部分，使用ResNet作为编码部分特征提取的主干网络；

编码部分的每个卷积层包括一个3×3卷积操作和ReLU激活函数，同时使用BatchNormalization层加速训练和平滑损失函数；

输入的图像通过5层编码，共可以产生512通道的特征图，在从上层到下层过程采用Maxpooling取局部接受域中值最大的点，其中，为了获得通道注意力，在卷积层后面使用ECA-Net，在跳级结构中加入PSA-Net进一步产生多尺度特征；

将下层的ECA-Net输出特征图上采样，并且为了进一步上采样而拼接PSA-Net的输出，最终，就获得对原始图像进行像素级标注的分割图像。

优选的，所述ECA-Net改进了基于SENet的通道注意力，通过使用一维空间卷积，考虑每个通道及其K个邻居来捕获局部跨通道交互信息。

优选的，假设初始特征图x

其中x

其中，β和γ是两个可调参数，一维卷积操作的输出是Sigmoid函数的输入，并且产生每个通道的权重，通道通过乘积权重，得到重新编码的特征，突出了重要的通道特征。

优选的，所述PSA-Net是基于SENet的多尺度特征提取注意力机制。

优选的，首先，在Split and Concat模块中，初始的特征图x被划分为S组[X

F

F＝Cat([F

接下来，计算每个通道组的权重，并通过SENet和Softmax函数标准化。先使用SENet产生不同特征群的注意力权重，如公式(6)所示，再根据公式(7)、(8)将权重标准化，最后PSA-Net输出计算如公式(9)。

Z

att＝Softmax(Z) (8)

无人机拍摄的风力发电机图像正负样本不平衡，为了解决这一问题，使用基于Dice loss和交叉熵的混合损失函数，公式如下：

Loss＝L

其中，y

与现有技术相比，本发明的有益效果如下：

该算法通过改进U-Net，极大的增强了该模型图片分割方法的鲁棒性，将本发明的模型应用到无人机图像中与现有的方法相比能得到优点：1)保留了更多风力发电机细节；2)图像更加自然；3)对不同形状大小的风力发电机分割更清晰。并且由于使用注意力机制，在图片通道中找到高效通道，学习和收敛速度更快，提高了计算速度。

附图说明

图1为本发明方法流程示意图；

具体实施方式

下面将结合本发明的实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了保证方法对于不同图片的鲁棒性，本发明提出了一种改进U-Net网络来改善对无人机拍摄图片的分割效果。在所提出的方法中，相比于原版U-Net存在3个主要的提升。首先，使用ResNet作为编码部分特征提取的主干网络，加深网络结构，通过不同层次的抽象提取风机的细节。接下来，基于ECA-Net的通道注意力机制融合进U-Net模型，使得跨通道间的交互更为高效。同时，为了充分地探索全局上下文信息，在跳级结构里加入PSA-Net。最终得到了具有多尺度和更多细节学习能力的改进U-Net模型以优化无人机拍摄图片的分割结果。

具体方案如下：一种基于无人机拍摄图像的风电机组图像分割方法，以U-Net为基础，并使用ECA-Net和PSA-Net这两种注意力机制以及ResNet改进网络结构。

改进的U-Net网络被分为编码和解码两部分。为了高效的提取图像特征，使用了ResNet作为特征提取器。每个卷积层由一个3×3卷积操作和ReLU激活函数组成。同时，使用Batch Normalization层加速训练和平滑损失函数。

总的来说，输入图像通过5层编码，产生了512通道的特征图。再上采样放大特征图，并且为了进一步上采样而拼接PSA-Net的输出。最终，就获得对原始图像进行像素级标注的分割图像。其中，为了获得通道注意力，在卷积层后面使用ECA-Net，在跳级结构中加入PSA-Net进一步产生多尺度特征。

所述ECA-Net改进了基于SENet的通道注意力，通过使用一维空间卷积，考虑每个通道及其K个邻居来捕获局部跨通道交互信息。

优选的，假设初始特征图x

其中x

其中，β和γ是两个可调参数，一维卷积操作的输出是Sigmoid函数的输入，并且产生每个通道的权重，通道通过乘积权重，得到重新编码的特征，突出了重要的通道特征。

优选的，所述PSA-Net是基于SENet的多尺度特征提取注意力机制。

优选的，首先，在Split and Concat模块中，初始的特征图x被划分为S组[X

F

F＝Cat([F

接下来，计算每个通道组的权重，并通过SENet和Softmax函数标准化。先使用SENet产生不同特征群的注意力权重，如公式(6)所示，再根据公式(7)、(8)将权重标准化，最后PSA-Net输出计算如公式(9)。

Z

att＝Softmax(Z) (8)

无人机拍摄的风力发电机图像正负样本不平衡，为了解决这一问题，使用基于Dice loss和交叉熵的混合损失函数，公式如下：

Loss＝L

其中，y

工作原理：本发明提出了一种改进U-Net网络的图像分割方法提高无人机拍摄的风力发电机的分割质量。所提出的方法基于U-Net网络，它包含大量参数需要通过训练学习，而这些参数中缺乏明确的多尺度特征和细节提取能力，而本发明使用改进后的U-Net网络以调整实现无人机分割的学习参数。本发明使用ResNet，ECA-Net和PSA-Net对网络进行改进，这些调整使得所提出的方法与使用U-Net网络的标准方法相比，分割图像具有更丰富细腻的细节，也减小了形状大小对分割效果的影响，确保了无人机在不同场景下拍摄图像保持良好的鲁棒性。同时，注意力机制的引入，使得网络能在大量通道中找到重要的通道，提升了算法的效率。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。