一种用于变电站场景的语义理解方法、介质及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种用于变电站场景的语义理解方法、介质及系统。

背景技术

变电站的安全和可靠运行对供电系统的稳定性至关重要。定期的巡检和维护是确保变电站设备在良好状态下运行的关键环节。传统的变电站巡检方法主要依赖于人工视觉和手动测量，这种方法不仅费时费力，还存在潜在的危险。因此，寻求一种更高效、安全且可靠的巡检方法变得尤为迫切。

目前，可见光相机和激光雷达被广泛应用于图像和深度信息的获取。可见光相机能够捕捉高分辨率的可见光图像，但在低光、雨雾等恶劣条件下表现不佳。激光雷达则可以获得高精度的深度信息，但对物体的外观和纹理了解有限。此外，传统的深度信息和可见光图像融合方法通常仅在感知层面进行融合，缺乏对融合后数据的语义理解和分析。因此，需要一种更为综合的方法来结合可见光图像和激光雷达数据，增加对变电站设备的语义理解，实现更高效的变电站设备语义分割。

发明内容

本发明实施例提供一种用于变电站场景的语义理解方法、介质及系统，以解决现有技术的深度信息和可见光图像融合方法通常仅在感知层面进行融合，缺乏对融合后数据的语义理解和分析的问题。

第一方面，提供一种用于变电站场景的语义理解方法，包括：

将同步采集的变电站的可见光图像的像素点和激光雷达点云数据对齐；

将所述变电站的激光雷达点云数据的深度值作为颜色值赋予对齐的所述变电站的可见光图像的像素点，得到稀疏深度图像；

基于增强局部自注意力方法获得所述变电站的可见光图像的光谱特征块；

基于自适应空间学习方法获得所述可见光图像和所述稀疏深度图像的融合空间特征块；

对所述光谱特征块和所述融合空间特征块进行融合，获得融合特征；

将所述融合特征依次通过全局池化层和全连接层后，采用Softmax函数判断所述融合特征的类别。

第二方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如第一方面实施例所述的用于变电站场景的语义理解方法。

第三方面，提供一种用于变电站场景的语义理解系统，包括：如第二方面实施例所述的计算机可读存储介质。

这样，本发明实施例，增强了设备分割边缘的特征，能够有效的抑制边缘信息的干扰，充分实现光谱信息与空间信息的利用，增强光谱与空间之间的信息交互，提高了对变电站设备语义分割的精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的用于变电站场景的语义理解方法的流程图；

图2是本发明实施例的用于变电站场景的语义理解方法的网络结构的示意图；

图3是本发明实施例的基于增强局部自注意力方法获得变电站的可见光图像的光谱特征块的示意图；

图4是本发明实施例的基于自适应空间学习方法获得可见光图像和稀疏深度图像的融合空间特征块的示意图；

图5是本发明实施例的双层的多层感知机的Transformer模块的示意图；

图6是本发明实施例的对光谱特征和融合空间特征进行融合的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种用于变电站场景的语义理解方法。如图1所示，本发明实施例的方法具体包括如下的步骤：

步骤S101：将同步采集的变电站的可见光图像的像素点和激光雷达点云数据对齐。

一般的，可将激光雷达置于可见光相机上方，激光雷达向下倾斜一定角度，二者在竖直方向上保持中线一致，以扩大两者的采集视野的重叠面积。

具体的，该步骤包括如下的过程：

步骤一、采集黑白棋盘格标定板的多张可见光图像和多个激光雷达点云数据。

具体的，为提高可见光相机和激光雷达的标定精度，该黑白棋盘格标定板采用了抗氧化铝合金材质定制，在黑白棋盘格标定板的基础上增加了圆形通孔，以便能够被可见光相机和激光雷达所检测到。

通过设计本发明实施例的标定板，用于联合标定激光雷达和可见光相机，能够提高两个传感器之间外参的标定精度。

步骤二、采用多张黑白棋盘格标定板的可见光图像校准可见光相机，获得可见光相机的内参、外参和畸变参数。

具体的，该步骤包括如下的过程：

1、采用opencv的棋盘格角点检测方法检测黑白棋盘格标定板的可见光图像，得到黑白棋盘格标定板的角点信息。

棋盘格角点检测方法为现有技术，在此不再赘述。

2、采用角点信息校准可见光相机，获得可见光相机的内参、外参和畸变参数。

采用角点信息校准可见光相机为现有技术，在此不再赘述。畸变参数包括三个径向畸变参数和两个切向畸变参数，用于后续的相机畸变模型。

步骤三、将黑白棋盘格标定板的每一激光雷达点云数据在雷达坐标系中分割出四个标定目标，并计算每一标定目标的中心点的三维坐标。

具体的，该步骤包括如下的过程：

1、将去噪后的黑白棋盘格标定板的激光雷达点云数据，通过带有方向约束的RANSAC方法进行平面拟合，得到标定目标。

本发明实施例的标定目标为圆形通孔。

去噪处理为惯用技术手段，可设置阈值，将大于阈值的激光雷达点云数据删除。

带有方向约束的RANSAC方法进行平面拟合为现有技术，在此不再赘述。

本发明实施例中，标定板的一张可见光图像可得到四个标定目标。

2、采用网络搜索方法在雷达坐标系中搜索标定目标和预先生成的点云掩膜的最佳匹配。

网络搜索方法为现有技术，在此不再赘述。

3、当标定目标中落入的激光雷达点云数目最少时，完成最佳匹配，得到旋转角度为yaw的旋转矩阵和相对黑白棋盘格标定板的平移量为(x,y)的平移矩阵。

具体的，最佳匹配的表达式为：

R

其中，R

4、根据旋转角度为yaw的旋转矩阵和相对标定板的平移量为(x,y)的平移矩阵，计算黑白棋盘格标定板的激光雷达点云数据在雷达坐标系中分割出的标定目标的中心点的三维坐标。

该计算为现有技术，在此不再赘述。

步骤四、基于相机的内参和外参，将多个标定目标的中心点的三维坐标投影到相机平面上，得到多个标定目标的中心点的二维坐标，形成包含多个三维坐标-二维坐标对的集合。

具体的，三维坐标投影到相机平面上的表达式为：

其中，

步骤五、根据多个三维坐标-二维坐标对，最小化目标函数，求解得到激光雷达到可见光相机的外参。

具体的，目标函数E如下：

其中，R

步骤六、根据激光雷达到可见光相机的外参和变电站的激光雷达点云数据的三维坐标，计算得到变电站的激光雷达点云数据对应的变电站的可见光图像的像素点的二维坐标。

具体的，对应的变电站的可见光图像的像素点的二维坐标的计算式如下：

其中，X

步骤S102：将变电站的激光雷达点云数据的深度值作为颜色值赋予对齐的变电站的可见光图像的像素点，得到稀疏深度图像。

步骤S103：基于增强局部自注意力方法获得变电站的可见光图像的光谱特征块。

具体的，该步骤包括如下的过程：

步骤一、对于变电站的可见光图像，以一像素点为中心向四周扩展像素，将可见光图像划分为多个正方形的可见光图像块。

可见光图像记为

步骤二、将变电站的可见光图像块输入第一浅层特征提取器，提取可见光图像块的浅层特征，输出可见光图像块的第一浅层特征块。

具体的，第一浅层特征提取器包括依次连接的三个卷积层，三个卷积层依次包括16、32和64个滤波器。

第一浅层特征块记为F

步骤三、将变电站的可见光图像块输入具有64个滤波器的卷积层处理后，输出特征图像块。

特征图像块记为X

步骤四、将特征图像块依次进行层正则化处理与增强局部光谱自注意力方法处理，得到局部光谱特征块。

层正则化处理和增强局部光谱自注意力方法处理均为现有技术，在此不再赘述。

步骤五、通过残差结构将局部光谱特征块与特征图像块相加，再经过多层感知机后，通过层正则化处理，得到光谱级特征权重。

残差结构，以及，多层感知机，均为现有技术，在此不再赘述。

综上，步骤四到步骤五可用如下的表达式表示：

其中，Norm(·)为正则化方法，MLP(·)为多层感知机，ELSA(·)为增强局部光谱自注意力方法，

步骤六、将光谱级特征权重乘以可见光图像块的第一浅层特征块，得到光谱特征块。

光谱特征块记为F

步骤S104：基于自适应空间学习方法获得可见光图像和稀疏深度图像的融合空间特征块。

具体的，该步骤包括如下的过程：

步骤一、对于稀疏深度图像，以一像素点为中心向四周扩展像素，将稀疏深度图像划分为多个正方形的稀疏深度图像块。

稀疏深度图像记为

步骤二、将可见光图像块和稀疏深度图像块分别输入第二浅层特征提取器，分别提取可见光图像块的第二浅层特征块和稀疏深度图像块的第一浅层特征块。

其中，第二浅层特征提取器包括依次连接的两个卷积层，两个卷积层依次包括32和64个滤波器。

通过该步骤处理，联合从可见光图像和深度图像中提取空间信息，获得两种浅层空间特征，可见光图像块的第二浅层特征块记为

步骤三、将稀疏深度图像块的第一浅层特征块输入双层的多层感知机的Transformer模块后，输出稀疏深度图像块的第二浅层特征块。

具体的，双层的多层感知机的Transformer模块包括依次设置的残差结构模块、层正则化模块和多层感知机。

步骤四、将可见光图像块的第二浅层特征块和稀疏深度图像块的第二浅层特征块输入自适应的空间权重融合层，对可见光图像块的第二浅层特征块和稀疏深度图像块的第二浅层特征块赋予不同的权重后加和，输出空间级特征权重。

通过本步骤，采用自适应的空间权重融合层来学习融合的特征权重，以确保深度图的空间信息，具体采用如下的表达式表示：

其中，

步骤五、将空间级特征权重乘以可见光图像的第一浅层特征块，得到融合空间特征块。

融合空间特征块记为

步骤S105：对光谱特征块和融合空间特征块进行融合，获得融合特征。

具体的，该步骤包括如下的过程：

步骤一、对于光谱特征块和融合空间特征块，分别将每类特征块进行展平操作，得到每类特征块的序列。

展平操作为现有技术，在此不再赘述。展平后的序列的尺寸从

步骤二、采用通道嵌入方法将每类特征块的序列生成每类特征块的第一特征向量。

通道嵌入方法为现有技术，在此不再赘述。光谱特征块的第一特征向量记为

步骤三、使用交叉注意机制，将每类特征块的第一特征向量嵌入对应的每个头部的键K和值V中。

该操作为现有技术，在此不再赘述。

步骤四、计算嵌入每类特征块的第一特征向量后的键K和值V的乘积，得到每类特征块的全局上下文向量。

具体的，该步骤可用下式表示：

光谱特征块：

融合空间特征块：

其中，G

步骤五、将每类特征块的全局上下文向量通过Softmax函数处理后，与另一类特征块的第一特征向量相乘，得到每类特征块的结果向量。

具体的，该步骤可用下式表示：

光谱特征块：

融合空间特征块：

其中，U

步骤六、将每类特征块的结果向量与第一特征向量进行级联，再采用通道嵌入方法处理后，调整大小为每类特征块的大小，得到每类特征块的第二特征向量。

级联为现有技术，在此不再赘述。光谱特征块、融合空间特征块的第二特征向量记为F

步骤七、采用concat方法合并两类特征块的第二特征向量，得到合并特征向量。

concat方法为现有技术，在此不再赘述。合并特征向量记为F

步骤八、将合并特征向量输入第一特征提取网络，输出第三特征向量。

具体的，第一特征提取网络包括依次设置的卷积层(1×1)、激活函数(RELU)、深度卷积层DWConv(3×3)、卷积层(1×1)。

步骤九、将合并特征向量输入第二特征提取网络，输出第四特征向量。

具体的，第二特征提取网络为一层卷积层(1×1)。

步骤十、将第三特征向量和第四特征向量相加后，再进行正则化处理，得到融合特征。

第三特征向量和第四特征向量相加后的大小为

步骤S106：将融合特征依次通过全局池化层和全连接层后，采用Softmax函数判断融合特征的类别。

经过全局平均池(GAP)和全连接层(FC)层之后，转换O

应当理解的是，预先训练时，采用MarginLoss作为损失函数评估输出的融合特征的类别和对应的类别真值的差异，以便不断地修改网络的权重，使得输出的结果更加准确。

通过上述的方法，对变电站图像的所有对应图像块都进行相同的处理，可以得到语义分割结果。

通过仿真实验，本发明实施例的分割准确率为82.3％，现有技术如RDFNet-152，RedNet-34，FuseNet网络，在相同的数据集上分割准确率分别为81.5％，80.8％和76.3％，可以看出本发明实施例的准确率高于现有技术。

此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如上述实施例所述的用于变电站场景的语义理解方法。

此外，本发明实施例还提供一种用于变电站场景的语义理解系统，包括：如上述实施例所述的计算机可读存储介质。

综上，本发明实施例，通过设计用于联合标定激光雷达和可见光相机的标定板，能够提高两个传感器之间外参的标定精度；增强了设备分割边缘的特征，能够有效的抑制边缘信息的干扰，充分实现光谱信息与空间信息的利用，增强光谱与空间之间的信息交互，提高了对变电站设备语义分割的精度。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。