一种SAM模型扩增样本的输电线路金具检测方法和系统

技术领域

本发明涉及输电线路维护领域，尤其是一种SAM模型扩增样本的输电线路金具检测方法和系统。

背景技术

金具是输电线路上广泛使用的金属附件，用于支持、固定、接续裸导线、导体及绝缘子等部件。由于输电线路长期运行在户外，受到各种气象环境和线路荷载因素的影响，输电线路上各种金具极易发生锈蚀、破损、变形等故障，故对固定于输电线路上的金具进行定期的运行维护非常重要。

随着输电线路日渐增多，金具的运行维护需求量增长与巡检人员数量之间的矛盾也逐渐凸显，对金具自动化与智能化故障判断技术的需求也越来越迫切。当前输电线路金具的故障判断技术主要依靠无人机航拍获得的金具图像，以计算机视觉和图像处理技术为支撑，实现对金具目标的检测定位和故障判断。

对于金具的检测定位任务，目前主流技术是依靠深度学习模型，自主提取多层次多角度的特征，依托模型强大的学习能力和表达能力对金具目标进行定位。

基于深度学习的目标检测模型理论上可以对多种金具同时进行检测，但其性能受到模型训练所用数据中不同种类金具样本量分布极大的限制。在实际场景中，不同金具发挥的作用和固定在输电线路上的数量不同，导致采集到的图像数据中不同种类金具样本量的不平衡分布，例如数据中均压环、防震锤和U型挂环等金具出现的频率远远高于预绞式悬垂线夹、楔形耐张线夹和并沟线夹等金具。使用金具样本量分布高度不平衡的数据训练模型会使模型在检测时倾向于正确检测样本量多的金具种类，而样本量少的金具种类基本无法被检测出来，因此金具多种类检测的性能很难有较大的提升。

为了平衡训练数据中不同金具种类的样本量分布，在很多时候，只能通过人工PS从无人机采集的图像中抠出样本量少的金具样本，然后将其粘贴至其他图像中来扩充该金具种类的样本量。采用人工PS的方法一方面具有耗费人力，效率低的缺点；另一方面普通抠图粘贴生成的金具样本并不能使模型充分学习金具的特征，使得将其用于训练数据集效果也不明显。

在人工智能计算机视觉技术兴起之后，越来越多枯燥的人工操作被取代，解放了双手。近年来，结合语义和视觉的多模态人工智能技术发展迅速，其中SAM(SegmentAnything Model)模型具有仅需要图像中前景对象的外接框信息便能分割出该对象的功能，进而，如何实现高精度的金具多种类检测，是值得研究的。

发明内容

为了解决上述问题，本发明采用先进的SAM模型用于金具目标自动裁剪，并结合多种数据增强技术生成金具样本，扩增原样本量少的金具样本，最终生成金具样本量分布平衡的数据训练目标检测模型，实现高精度的金具多种类检测。

本发明的技术方案具体如下：

一种SAM模型扩增样本的输电线路金具检测方法，包括：

步骤(1)基于无人机影像分拣出需要检测的金具种类的图像，对图像中的金具进行标注；

步骤(2)根据图像对应的标注文件，分割出图像中的金具样本；

将图像与对应标签文件中的金具标注框位置信息作为SAM模型的输入，SAM模型首先利用图像编码器和提示语义编码器分别将图像和金具标注框位置信息编码为特征向量，再使用一个轻量级掩码解码器对两组特征向量进行解码，输出掩码图像；

结合掩码图像和原图像，在原图上提取对应掩码图像上的所有前景区域的像素信息，即可实现金具目标自动裁剪；

步骤(3)将金具样本进行数据增强后粘贴至图像中，构建金具样本量分布平衡的训练数据集；

采用缩放、旋转和形变三种投影变换方法对金具样本图像进行随机的图像处理；

步骤(4)利用训练数据对目标检测模型进行迭代训练，获取高精度的多种类金具检测模型。

进一步地，步骤(2)中，金具扩增样本量计算，并利用该数值限制每种类型金具样本的裁剪数量，具体公式如下：

其中，N为所需检测的金具类型数量；E

进一步地，步骤(1)中，利用标注工具，框出图像中的金具目标并进行标注，标注框的信息包含类别名称和位置信息；

其中，类别名称使用所框金具名称的拼音首字母；位置信息含有标注框的左上角和右下角坐标信息；在标注完一张图像后，该图像中的所有标注信息以VOC数据格式保存进xml标签文件。

进一步地，步骤(3)中，金具样本图像投影变换如下：

整体图像处理公式表达为：

其中，x和y表示图像投影变换前的某一像素点横坐标和纵坐标，x′和y′表示该像素点投影变换后新的横坐标和纵坐标，投影变换处理将图像所有像素点(x，y)的颜色信息转换至(x′，y′)处；A

其中，w与h分别表示图像沿宽度和长度方向的缩放倍数；θ为图像旋转角度；ω与

进一步地，步骤(3)中，为了获取形状随机且合理的金具样本图像，在每次进行投影变换处理前，w、h、θ、ω、

进一步地，步骤(3)中，金具样本图像颜色转换如下：

先将图像从RGB颜色空间转换为HSV颜色空间，并在保持色调H分量不变的同时，对其中的饱和度S和明暗度V分量进行随机调整。对于图像上像素点的S分量和V分量的随机调整公式如下：

式中，S

饱和度表示颜色接近光谱色的程度，饱和度高，颜色则深而艳；明暗度表示颜色明亮的程度；随机调整图像的颜色饱和度和颜色明暗度可以在不改变金具样本实际颜色的基础上生成具有不同颜色特征的金具样本。

进一步地，步骤(3)中，金具样本图像增加噪声如下：

对于待处理的金具样本图像，首先将图像上每个像素点的R、G、B三通道分量归一化到[0，1]的范围内；其次，随机生成均值为0，标准差为0.1，维度与图像相同的高斯噪声数组；最后，将图像与高斯噪声数组相加，获得带噪声的图像，并对处理后图像的像素点分量通过乘以255的方式进行反归一化，恢复到原来的范围。

进一步地，步骤(3)中，构建金具样本量分布平衡的训练数据集，按以下进行：

遍历步骤(1)中获取的所有图像，将金具样本图像进行数据增强后随机数量地粘贴至图像中的随机位置，构建金具样本量分布平衡的训练数据集；

执行遍历处理时，对步骤(2)获取的每类金具的扩增样本量进行降序排序，按顺序粘贴扩增样本量多的金具样本图像。对于第i类金具，每粘贴一个该类型的金具，则E

在金具样本图像进行数据增强时，首先进行投影变换，再进行颜色转换，之后生成一个(0，1)范围内的随机数，若该随机数大于0.7，则对图像增加噪声；

在将金具样本图像粘贴至图像中时，取[1，3]范围内的随机整数Num，对金具样本图像进行Num次数据增强，获取Num张处理后的金具样本图像；

将这些样本图像以像素覆盖的方式逐一粘贴至图像中的随机位置，并将粘贴后金具样本的外接矩形框信息写入对应xml文件中；每次粘贴时需结合xml文件中已有的标注框的信息进行位置是否冲突的判断，若位置冲突，则对位置信息进行重新随机取值。

进一步地，步骤(4)采用获取的金具样本量分布平衡的训练数据集对目标检测模型进行训练，获取高精度的多种类金具检测模型；

采用YOLOX模型作为检测模型，确定模型需要训练学习的金具类型；

训练YOLOX模型采用自适应矩估计优化器作为网络的训练优化策略；学习率从0.0003开始动态调整，每一轮次更新完成后，学习率乘以0.9；

前25个轮次冻结主干网络和特征融合网络的权重参数，仅对不冻结的网络层进行微调，参与反向传播中的梯度更新；后25个轮次则对模型整体进行训练；

每一轮训练后计算模型损失，当损失值连续5个轮次没有下降的时候，停止训练，获得最终多种类金具检测模型。

本发明还涉及的一种SAM模型扩增样本的输电线路金具检测系统，其特征在于：包括存储器、处理器以及在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

本发明提出一种金具样本自动扩增方法，用于生成金具样本量分布平衡的数据训练目标检测模型，实现高精度的金具多种类检测。

本发明基于先进的分割模型SAM模型提出一种金具样本自动裁剪方法，根据已有标注文件的标注框信息对图像内金具样本进行自动裁剪。

对于裁剪得到的金具样本图像，设计了投影变换、色彩转换和增加噪声三种随机的图像变换方法进行数据增强，为模型提供更优质的训练数据，使模型可以学习到不同类型金具更通用的特征。

本发明通过平衡金具样本量分布，实现高精度的多种类金具检测。该方法与人工PS技术相比，一方面不需要人工逐个地裁剪金具样本，大幅减少人力物力，大大提高了作业的高效性；另一方面通过数据增强算法在金具样本粘贴之前增强其特征表达，为模型提供更优质的训练数据，使模型可以学习到不同类型金具更通用的特征。我们的方法能够流程化地实现金具样本扩增、平衡样本分布和数据增强，为多种类金具检测模型训练提供数据基础。

附图说明

图1是本发明实施例的方法的流程图；

图2是本发明实施例的数据流向图；

图3是本发明实施例的系统框图。

具体实施方式

下面将结合本申请实施例中的附图，对实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另外定义，本申请实施例中使用的技术术语或者科学术语应当为所属领域内具有一般技能的人士所理解的通常意义。本实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。“上”、“下”、“左”、“右”、“横”以及“竖”等仅用于相对于附图中的部件的方位而言的，这些方向性术语是相对的概念，它们用于相对于的描述和澄清，其可以根据附图中的部件所放置的方位的变化而相应地发生变化。

如图1所示，本实施例的一种采用SAM模型扩增样本的输电线路金具检测方法，包括：

步骤(1)基于无人机影像分拣出含有需要检测的金具种类的图像，对图像中的金具进行标注。

前期通过无人机巡检输电线路来采集影像数据，由于无人机拍摄的影像中包含大量不包含需检测金具目标的图像，因此需要以人工分拣的方式，挑选出含有需要检测的金具种类的图像。

利用标注工具，框出图像中的金具目标并进行标注，标注框的信息包含类别名称和位置信息。其中，类别名称使用所框金具名称的拼音首字母；位置信息含有标注框的左上角和右下角坐标信息，分别是Xmin(标注框左上角X坐标)、Ymin(标注框左上角Y坐标)、Xmax(标注框右下角X坐标)、以及Ymax(标注框右下角Y坐标)。在标注完一张图像后，该图像中的所有标注信息以VOC数据格式保存进xml标签文件。

步骤(2)根据图像对应的标注文件，采用SAM模型分割出图像中的金具样本。

SAM模型是一种先进的图像分割模型，其模型结构基于Facebook AI在2020年分布的Foundation Model3，该模型利用了传统的计算机视觉技术和深度学习算法，在一个涵盖了1100万张图像和11亿个分割掩码的庞大数据集上进行了训练，具有卓越的泛化性能，因此可以应用于各种领域。SAM模型能够根据简单的输入提示(如坐标点、框或掩码)准确地分割图像中的任意前景对象，因此本实施例采用SAM模型代替人工手动裁剪，根据图像对应标注文件中的标注框信息自动裁剪出图像中的金具。

SAM模型进行金具目标自动裁剪并获取金具样本的流程图如下。将图像与对应xml标签文件中的金具标注框位置信息作为SAM模型的输入，SAM模型首先利用图像编码器和提示语义编码器分别将图像和金具标注框位置信息编码为特征向量，再使用一个轻量级掩码解码器对两组特征向量进行解码，输出掩码图像。掩码图像是一种只有0和255组成的二值灰度图像，其中，0表示前景，在图像中呈黑色，255表示背景，在图像呈白色。结合掩码图像和原图像，在原图上提取对应掩码图像上的所有前景区域的像素信息，即可实现金具目标自动裁剪。

对每种类型的金具建立单独的文件夹，用于储存样本图像，将SAM模型裁剪得到的金具样本保存为背景透明的PNG格式图像并存入相对应的文件夹中。如图2所示。

由于平衡金具样本量分布主要在于扩增原先样本量少的金具类型，因此对于原先样本量就多的金具类型则仅需裁剪出少量样本用于扩增即可，并非所有图像中的所有金具样本都需要裁剪出来。为了平衡金具样本量分布且有效减少整体裁剪时间，本实施例设计了一种金具扩增样本量计算公式，并利用该数值限制每种类型金具样本的裁剪数量，具体公式如下

其中，N为所需检测的金具类型数量；E

步骤(3)为了增强金具样本的特征表达，使模型可以学习到不同类型金具更通用的特征，本实施例设计投影变换、色彩转换和增加噪声三种随机的图像变换方法对步骤(2)所获取的金具样本图像进行数据增强，为模型提供更优质的训练数据。再将金具样本随机数量地粘贴至图像中的随机位置，构建金具样本量分布平衡的训练数据集。

步骤3-1：金具样本图像投影变换

使用不同尺度、角度的金具样本训练模型可以使模型学习到更通用的金具特征，为了从同一金具样本上生成具有不同特征的金具样本，本发明采用缩放、旋转和形变三种投影变换方法对金具样本图像进行随机的图像处理。整体图像处理公式可表达为：

其中，x和y表示图像投影变换前的某一像素点横坐标和纵坐标，x

其中，w与h分别表示图像沿宽度和长度方向的缩放倍数；θ为图像旋转角度；ω与

步骤3-2：金具样本图像颜色转换

金具在现实中通常呈现银灰色，直接在其RGB图像上对红色(R)、绿色(G)和蓝色(B)分量的进行颜色变换极容易生成现实场景中不存在的金具颜色。因此，本专利先将图像从RGB颜色空间转换为HSV颜色空间，并在保持色调(H)分量不变的同时，对其中的饱和度(S)和明暗度(V)分量进行随机调整。对于图像上像素点的S分量和V分量的随机调整公式如下：

式中，S

饱和度表示颜色接近光谱色的程度，饱和度高，颜色则深而艳；明暗度表示颜色明亮的程度。随机调整图像的颜色饱和度和颜色明暗度可以在不改变金具样本实际颜色的基础上生成具有不同颜色特征的金具样本。

步骤3-3：金具样本图像增加噪声

在实际应用中，图像可能会受到各种不同的干扰和噪声的影响，如果模型只是在高质量的图像上进行训练，很容易出现过拟合的情况，因此本专利给金具样本图像随机增加高斯噪声，提高所训练检测模型的鲁棒性和抗干扰能力。

对于待处理的金具样本图像，首先将图像上每个像素点的R、G、B三通道分量归一化到[0，1]的范围内；其次，随机生成均值为0，标准差为0.1，维度与图像相同的高斯噪声数组；最后，将图像与高斯噪声数组相加，获得带噪声的图像，并对处理后图像的像素点分量通过乘以255的方式进行反归一化，恢复到原来的范围。

步骤3-4：构建金具样本量分布平衡的训练数据集

遍历步骤(1)中获取的所有图像，将金具样本图像进行数据增强后随机数量地粘贴至图像中的随机位置，构建金具样本量分布平衡的训练数据集。

在执行遍历处理时，对步骤(2)获取的每类金具的扩增样本量进行降序排序，按顺序粘贴扩增样本量多的金具样本图像。

对于第i类金具，每粘贴一个该类型的金具，则E

在金具样本图像进行数据增强时，首先进行投影变换，再进行颜色转换。之后生成一个(0，1)范围内的随机数，若该随机数大于0.7，则对图像增加噪声。

在将金具样本图像粘贴至图像中时，取[1，3]范围内的随机整数Num，对金具样本图像进行Num次数据增强，获取Num张处理后的金具样本图像。将这些样本图像以像素覆盖的方式逐一粘贴至图像中的随机位置，并将粘贴后金具样本的外接矩形框信息写入对应xml文件中。每次粘贴时需结合xml文件中已有的标注框的信息进行位置是否冲突的判断，若位置冲突，则对位置信息进行重新随机取值。

步骤(4)采用步骤(3)-(4)中获取的金具样本量分布平衡的训练数据集对目标检测模型进行训练，获取高精度的多种类金具检测模型。

在本实施例中，采用检测性能较高的YOLOX模型作为检测模型，模型需要训练学习的金具类型包括均压环、预绞式悬垂线夹、防震锤、提包悬垂线夹、联板、U型挂环、挂板、调整板、屏蔽环、间隔棒、压缩耐张线夹、并沟线夹和楔形耐张线夹，共13类。

训练YOLOX模型采用自适应矩估计优化器作为网络的训练优化策略，共训练50轮次。学习率从0.0003开始动态调整，每一轮次更新完成后，学习率乘以0.9。前25个轮次冻结主干网络和特征融合网络的权重参数，仅对不冻结的网络层进行微调，参与反向传播中的梯度更新；后25个轮次则对模型整体进行训练。每一轮训练后计算模型损失，当损失值连续5个轮次没有下降的时候，停止训练，获得最终多种类金具检测模型。

本实施例中，训练好的YOLOX模型部署在需要进行输电线路金具检测的计算平台上。将无人机采集的输电线路巡检视频通过网络传输进入计算平台，平台启动改进YOLOX模型对视频进行逐帧的检测，视频中的每一帧图像首先被缩放为416×416的尺寸大小并进行归一化预处理；之后输入改进YOLOX模型对图像进行金具检测，所检测的金具类别包括均压环、预绞式悬垂线夹、防震锤、提包悬垂线夹、联板、U型挂环、挂板、调整板、屏蔽环、间隔棒、压缩耐张线夹、并沟线夹和楔形耐张线夹，共13类；若检测到图像中含金具目标，则记录该图像中的金具坐标信息和类别信息，在视频检测结束后，生成可视化报告，以便电力从业人员对该线路进行进一步的分析与处理。

如图3所示，本实施例一种SAM模型扩增样本的输电线路金具检测系统，包括存储器、处理器以及在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

上述的处理器可以是通用处理器，包括中央处理器、网络处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可选的，本申请实施例还提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如上述所示实施例的方法。

可选的，本申请实施例还提供一种运行指令的芯片，所述芯片用于执行上述所示实施例的方法。

本申请实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在存储介质中，至少一个处理器可以从所述存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序时可实现上述实施例的方法。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。