基于语义分割与立体匹配的大型施工机械安全距离检测方法及装置

技术领域

本发明属于电力安全管控方法技术领域，涉及基于语义分割与立体匹配的大型施工机械安全距离检测方法，还涉及基于语义分割与立体匹配的大型施工机械安全距离检测装置。

背景技术

大型施工机械在电力检修、维护和改造等作业中扮演着重要角色，但其作业环境中存在大量带电设备，为防止高压触电作业人员应时刻注意车体与带电体间的距离。同时，电力企业为保障施工过程的安全制定了严格的安全距离标准，并由专责监督人员携带辅助工具现场监督。然而人工监督过程因人的视觉疲劳、主观臆断和外界干扰等造成的误判，使施工过程中安全隐患频发。因此，如何借助智能化手段提取施工机械的作业安全区域并实时监测施工机械的安全距离，对于提高大型施工机械作业过程本质安全水平具有重要意义。现有的安全距离检测方法确定的安全距离精确度较低。

发明内容

本发明的目的是提供基于语义分割与立体匹配的大型施工机械安全距离检测方法，解决了现有技术中存在的安全距离精确度较低的问题。

本发明所采用的技术方案是，基于语义分割与立体匹配的大型施工机械安全距离检测方法，包括以下步骤：

步骤1、计算电力作业场景图像中施工机械与候选区域的边缘像素坐标、边缘长度；

步骤2、根据前后帧候选区域边缘长度的变化，识别安全区域；

步骤3、将施工机械、安全区域的边缘像素坐标转换为三维空间坐标，得到施工机械外轮廓、安全区域边界三维空间坐标；

步骤4、将安全区域沿深度轴Z轴空间扩充，使施工机械三维坐标与安全区域三维坐标在空间中对应，得到安全区域边界三维坐标；

步骤5、利用施工机械外轮廓三维坐标和安全区域边界三维坐标计算施工机械与安全区域之间的安全距离。

本发明的特点还在于：

步骤1具体为：利用改进SegFormer语义分割模型获取电力作业场景图像中施工机械与候选区域的掩膜信息，并基于边缘追踪算法根据掩膜信息计算施工机械与候选区域的边缘像素坐标、边缘长度。

改进SegFormer语义分割模型是在SegFormer语义分割模型基础上，将MLP替换为ResMLP得到。

候选区域为龙门架支柱与横担所围成的区域。

步骤2具体过程为：计算当前帧图片与前一帧图片的边缘长度变化是否小于等于预设值，若是，为安全区域，否则为候选区域；

步骤3具体过程为：利用改进IGEV-Stereo模型提取大型施工机械复杂作业场景图像的视差信息，结合视差信息和相机内外参数矩阵，将施工机械、安全区域的边缘像素坐标转换为三维空间坐标，得到施工机械外轮廓、初始安全区域边界三维空间坐标。

改进IGEV-Stereo模型是在IGEV-Stereo模型的重叠图块嵌入与上采样模块之间添加EfficientViT特征提取主干得到的。

步骤4中对应原则为：在垂直方向上，施工机械三维坐标与安全区域三维坐标中X轴，Z轴相同，Y轴不同；水平方向上，施工机械三维坐标与安全区域三维坐标中Y轴，Z轴相同，X轴不同。

通过下式计算施工机械与安全区域之间的安全距离L：

式中：(X

本发明的另一目的是提供基于语义分割与立体匹配的大型施工机械安全距离检测装置。

本发明所采用的另一技术方案是，基于语义分割与立体匹配的大型施工机械安全距离检测装置，包括：

边缘数据获取模块，用于计算电力作业场景图像中施工机械与候选区域的边缘像素坐标、边缘长度；

安全区域确认模块，用于根据前后帧候选区域边缘长度的变化，识别安全区域；

坐标转换模块，用于将施工机械、安全区域的边缘像素坐标转换为三维空间坐标，得到施工机械外轮廓、初始安全区域边界三维空间坐标；

安全区域三维坐标确定模块，用于将安全区域沿深度轴Z轴空间扩充，使施工机械三维坐标与安全区域三维坐标在空间中对应，得到安全区域三维坐标；

安全距离计算模块，用于利用施工机械三维坐标和安全区域三维坐标计算施工机械与安全区域之间的安全距离。

本发明的有益效果是：本发明基于语义分割与立体匹配的大型施工机械安全距离检测方法，采用改进后Segformer语义分割模型实现复杂场景中施工机械的边缘坐标的提取，解决遮挡部分存在边缘信息丢失的问题，提高边缘坐标提取的准确度；采用改进后IGEV-Stereo立体感知模型在基于特征图相似度计算、成本体积构建时能够囊括更多的细节纹理信息，从而实现复杂场景中施工机械视差值的精准预测，并提高模型的整体预测精度；将安全区域沿着深度轴方向向外延伸，解决了获取的图像中施工机械实际外轮廓极值点与图像中的极值点不匹配的问题，实现大型施工机械近电作业安全距离的高精度检测。

附图说明

图1是本发明基于语义分割与立体匹配的大型施工机械安全距离检测方法的流程图；

图2是本发明基于语义分割与立体匹配的大型施工机械安全距离检测方法中改进SegFormer语义分割模型的结构图；

图3是本发明基于语义分割与立体匹配的大型施工机械安全距离检测方法中改进IGEV-Stereo模型的结构图；

图4是本发明基于语义分割与立体匹配的大型施工机械安全距离检测方法中复杂作业场景图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

实施例1

基于语义分割与立体匹配的大型施工机械安全距离检测方法，如图1所示，包括以下步骤：

步骤1、计算电力作业场景图像中施工机械与候选区域的边缘像素坐标、边缘长度；

步骤2、根据前后帧候选区域边缘长度的变化，识别安全区域；

步骤3、将施工机械、安全区域的边缘像素坐标转换为三维空间坐标，得到施工机械、安全区域三维空间坐标；

步骤4、将安全区域沿深度轴Z轴空间扩充，使施工机械三维坐标与安全区域三维坐标在空间中对应，得到安全区域的三维坐标；

步骤5、利用施工机械三维坐标和安全区域三维坐标计算施工机械与安全区域之间的安全距离。

实施例2

基于语义分割与立体匹配的大型施工机械安全距离检测方法，包括以下步骤：

步骤1、利用改进SegFormer语义分割模型获取电力作业场景图像中施工机械与候选区域的掩膜信息，并基于边缘追踪算法根据掩膜信息计算施工机械与候选区域的边缘像素坐标、边缘长度；候选区域为龙门架支柱与横担所围成的区域；

本实施例中，考虑到复杂作业环境中同一安全区域存在多种施工机械协同作业且施工机械部分区域存在遮挡问题，同时场景中带电设备密集型分布。基于目标检测与Canny边缘分割的方法难以有效准确的从复杂环境中提取施工机械的边缘坐标，同时遮挡部分存在边缘信息丢失的问题。如图2所示，本实施例在SegFormer语义分割模型基础上，将MLP替换为ResMLP得到改进SegFormer语义分割模型，通过深度学习的方式来实现复杂场景中施工机械的边缘坐标的提取，并对遮挡部分的边缘信息进行拟合，并且实现在进行解码时既能够关注到局部的轮廓信息又可以借助残差链接的方法获取目标全局轮廓信息，从而输出更加精细化的掩码图像。

步骤2、根据前后帧候选区域边缘长度的变化，在候选区域中挑选安全区域；

具体的，依据施工机械侵入安全区域会造成候选区域边缘长度增加的特性，计算当前帧图片与前一帧图片的边缘长度变化是否小于等于预设值，若是，为安全区域，否则为候选区域；

步骤3、利用改进IGEV-Stereo模型提取大型施工机械复杂作业场景图像的视差信息，结合视差信息和相机内外参数矩阵，将施工机械、安全区域的边缘像素坐标转换为三维空间坐标，得到施工机械外轮廓、初始安全区域边界三维空间坐标；

本实施例中，考虑到复杂作业场景中施工机械与带电设备种类繁多，在同一个安全区域中可能存在多种施工机械协同作业，且带电设备呈密集型分布，使图像存在大量纹理信息，进而导致预测施工机械纹理的视差值难度加大。为了提高在视差提取方面的精确性，如图3所示，本实施例在IGEV-Stereo模型的重叠图块嵌入与上采样模块之间添加EfficientViT特征提取主干，得到改进IGEV-Stereo模型，使模型在基于特征图相似度计算、成本体积构建时能够囊括更多的细节纹理信息，从而实现复杂场景中施工机械视差值的精准预测，并提高模型的整体预测精度。改进IGEV-Stereo模型的特征提取速度近似于MobileNetV3(原模型特征提取网络)，但特征提取的精度远超原模型。

步骤4、考虑到施工机械近电作业施工机械位于安全区域正前方时，因拍摄角度使得获取的图像中施工机械实际外轮廓极值点与图像中的极值点不匹配。由图4可知，不匹配点的主要来源为拍摄大体积施工机械存在的仰视导致机械臂上边缘极值点不匹配。为此，本实施例将安全区域沿深度轴Z轴空间扩充，使施工机械三维坐标与安全区域三维坐标在空间中对应，从而形成一个类似立方体的结构，得到安全区域边界的三维坐标；其对应原则为在垂直方向上，施工机械三维坐标与安全区域三维坐标中X轴，Z轴相同，Y轴不同；水平方向上，施工机械三维坐标与安全区域三维坐标中Y轴，Z轴相同，X轴不同。

步骤5、利用施工机械三维坐标和安全区域三维坐标计算施工机械与安全区域之间的距离，通过下式计算施工机械与安全区域之间的安全距离L。

式中：(X

实施例3

基于语义分割与立体匹配的大型施工机械安全距离检测装置，包括：

边缘数据获取模块，用于计算电力作业场景图像中施工机械与候选区域的边缘像素坐标、边缘长度；

安全区域确认模块，用于根据前后帧候选区域边缘长度的变化，识别安全区域；

坐标转换模块，用于将施工机械、安全区域的边缘像素坐标转换为三维空间坐标，得到施工机械外轮廓、初始安全区域边界三维空间坐标；

安全区域三维坐标确定模块，用于将安全区域沿深度轴Z轴空间扩充，使施工机械三维坐标与安全区域三维坐标在空间中对应，得到安全区域边界三维坐标；

安全距离计算模块，用于利用施工机械外轮廓三维坐标和安全区域边界三维坐标计算施工机械与安全区域之间的安全距离。

通过以上方式，本发明基于语义分割与立体匹配的大型施工机械安全距离检测方法，采用改进后Segformer语义分割模型实现复杂场景中施工机械的边缘坐标的提取，解决遮挡部分存在边缘信息丢失的问题，提高边缘坐标提取的准确度；采用改进后IGEV-Stereo立体感知模型在基于特征图相似度计算、成本体积构建时能够囊括更多的细节纹理信息，从而实现复杂场景中施工机械视差值的精准预测，并提高模型的整体预测精度；将安全区域沿着深度轴方向向外延伸，解决了获取的图像中施工机械实际外轮廓极值点与图像中的极值点不匹配的问题，实现大型施工机械近电作业安全距离的高精度检测。