一种基于多特征U-Net网络的工程活动图斑的识别方法

技术领域

本发明涉及图像识别处理技术领域，尤其涉及一种基于多特征U-Net网络的工程活动图斑的识别方法。

背景技术

工程建设活动对城市现代化、设施完善、经济发展起着推动性的作用。当前，工程活动遥感监测工作主要依靠人工目视解译，不仅效率低下，结果还易受主观影响造成错误和遗漏。

随着影像质量的提高、成像频次的加快，通过图斑自动识别分类技术可代替人工目视监测，如早期研究方法有K邻近法(KNN)、BP神经网络、支持向量机(SVM)等，近年来，深度学习技术在计算机视觉、语音识别、信息检索等方面成效显著，也为工程活动图斑的自动识别提供了新的思路。Chen等将栈式自编码网络应用于高光谱数据图像分类中，Luus等采用深度卷积神经网络进行遥感影像土地利用分类，Li等基于DeepUNet模型实现了遥感影像海陆分割。然而这些方法的精度远不及人实际生产工作的要求，识别精度低。

发明内容

本发明的目的在于提供一种基于多特征U-Net网络的工程活动图斑的识别方法，使用U-Net网络模型进行训练，U-Net网络模型由经典全卷积语义分割神经网络改进而来，其基于编码器-解码器架构使网络模块清晰，能够更精确地捕获细节信息，提高识别精度。

为实现上述目的，本发明提供了一种基于多特征U-Net网络的工程活动图斑的识别方法，包括以下步骤：

获取光学遥感影像数据，并对光学遥感影像数据进行构建反映露天工程活动的标注，得到影像样本集；

提取所述影像样本集的多维特征，并基于多特征U-Net网络模型进行训练；

获取待识别光学遥感影像数据基于训练后的多特征U-Net网络模型，输出工程活动图斑识别结果。

在一实施方式中，提取所述影像样本集的多维特征，并基于多特征U-Net网络模型进行训练，其中，所述提取影像样本集的多维特征，具体步骤包括：

提取光谱特征；

提取纹理特征；

基于所述光谱特征和所述纹理特征定义图像多维特征向量。

在一实施方式中，所述提取光谱特征，具体步骤包括：

选取波段均值和波段标准差作为基本统计量。

在一实施方式中，所述提取纹理特征，具体步骤包括：

计算图像的灰度共生矩阵，并选取对比度、能量、同质度作为基本统计量。

在一实施方式中，提取所述影像样本集的多维特征，并基于多特征U-Net网络模型进行训练，具体步骤包括：

基于反卷积层对最后一个卷积层的特征图进行上采样。

在一实施方式中，获取光学遥感影像数据，并对光学遥感影像数据进行构建反映露天工程活动的标注，得到影像样本集，具体步骤包括：

获取未施工的包含规划施工类型施工区域的第一图片，对所述第一图片设置第一坐标轴和进行网格划分，得到每个网格的第一坐标值，提取规划施工区域对应的第一坐标值组成坐标集；其中，所述规划施工类型包括破土类、施工类、采矿类、弃渣碎石类；

第一预设时间获取包含工程施工的第二图片，标识工程活动边缘线，得到第一待划分图片，其中所述第一图片与所述第二图片的大小相同；

对所述第一待划分图片中标识的工程活动边缘线进行工程活动类别划分，所述工程活动类别包括破土类、施工类、采矿类、弃渣碎石类。

在一实施方式中，获取光学遥感影像数据，并对光学遥感影像数据进行构建反映露天工程活动的标注，得到影像样本集，具体步骤包括：

对所述第一待划分图片设置第二坐标轴和进行网格划分，得到每个网格的第二坐标值，提取标识工程活动边缘线内对应区域的第二坐标值，标识为第一待识别坐标值，其中所述第一坐标轴与所述第二坐标轴相同，网格划分大小相同；

获取所述第一待识别坐标值和所述坐标集进行对比；

若所述第一待识别坐标值均属于所述坐标集，则标注为待识别施工；

若至少其中一个所述第一待识别坐标值不属于所述坐标集，则标注为非正常施工。

本发明的一种基于多特征U-Net网络的工程活动图斑的识别方法，通过使用U-Net网络模型进行数据训练，该模型以高分二号光学遥感影像为数据源，采用U-Net深度神经网络架构，通过标注构建了反映露天工程活动的影像样本集，并提取样本的多维特征投入模型进行训练，从而实现了工程活动图斑的快速识别，提高识别精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明提供的一种基于多特征U-Net网络的工程活动图斑的识别方法的流程示意图；

图2是不同方法总体精度与平均精度对比图；

图3是不同方法分类结果并交比对比图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，图1是本发明提供的一种基于多特征U-Net网络的工程活动图斑的识别方法的流程示意图。具体的，所述基于多特征U-Net网络的工程活动图斑的识别方法可以包括以下步骤：

S101、获取光学遥感影像数据，并对光学遥感影像数据进行构建反映露天工程活动的标注，得到影像样本集；

本发明实施例中，采用高分二号卫星上的多光谱相机获取图片数据，高分二号卫星上的多光谱相机具有亚米级空间分辨率、高定位精度和快速姿态机动能力，有效地提升了卫星综合观测效能，提高数据的清晰度。获取未施工的包含规划施工类型施工区域的第一图片，所述规划施工类型包括破土类、施工类、采矿类、弃渣碎石类，即是已经规划过具体施工类型但还未进行施工的标识了具体的施工区域的图片，例如A区1万平米的矩形地用于弃渣碎石加工；对所述第一图片设置第一坐标轴和进行网格划分，得到每个网格的第一坐标值，提取规划施工区域对应的第一坐标值组成坐标集，所述坐标集组成了可弃渣碎石加工施工的规划区域；第一预设时间获取包含工程施工的第二图片，标识工程活动边缘线，得到第一待划分图片，其中所述第一图片与所述第二图片的大小相同，即获取的是已经进行施工与未施工大小相同的图片；同时对所述第一待划分图片中标识的工程活动边缘线进行工程活动类别划分，所述工程活动类别包括破土类、施工类、采矿类、弃渣碎石类，判断所述第一待划分图片对应的工程活动类型是否与规划施工类型一致，若不一致，则输出施工类型不符预警提示信息；例如A区实际为房地产建筑施工，则输出非法建设预警提示信息至行业主管部门管理人员进行对应处理；又如A区实际为采矿，则输出盗采预警提示信息至行业主管部门管理人员进行对应处理。对所述第一待划分图片设置第二坐标轴和进行网格划分，得到每个网格的第二坐标值，提取标识工程活动边缘线内对应区域的第二坐标值，标识为第一待识别坐标值，其中所述第一坐标轴与所述第二坐标轴相同，网格划分大小相同；即对所述第一图片和所述第二图片进行了同样大小的网格划分和坐标标识。获取所述第一待识别坐标值和所述坐标集进行对比；若所述第一待识别坐标值均属于所述坐标集，则标注为待识别施工，即已施工区域在规划的施工区域内，例如在A区1万平米的矩形地内进行弃渣碎石加工施工；若至少其中一个所述第一待识别坐标值不属于所述坐标集，则标注为非正常施工，即已施工区域未在规划的施工区域内，例如在A区1万平米的矩形地和B区0.3万平米的圆形地内进行弃渣碎石加工施工。

此外，若所述第一待识别坐标值均属于所述坐标集，未施工情况下，第二预设时间获取包含工程施工的第三图片，标识工程活动边缘线，得到第二待划分图片，其中所述第三图片与所述第二图片的大小相同；

对所述第二待划分图片设置第三坐标轴和进行网格划分，得到每个网格的第三坐标值，提取标识工程活动边缘线内对应区域的第三坐标值，标识为第二待识别坐标值，其中所述第三坐标轴与所述第二坐标轴相同，网格划分大小相同；

获取所有所述第一待识别坐标值对应的面积之和与所有所述第二待识别坐标值对应的面积之和对比；

若所有所述第二待识别坐标值对应的面积之和大于所有所述第一待识别坐标值对应的面积之和，则判断为非正常垮塌，输出预警提示信息。

具体的，在正常施工后，一段时间未施工，重新获取了目前包含施工区域的图片进行比对处理，目前的施工区域面积大于了正常施工后的区域面积，则排除人为施工原因，可能由于水土流失等原因而出现的垮塌造成面积的增加，需要提示管理人员进行对应处理，便于施工人员进行管理。例如采矿施工30天后，由于天气原因暂停施工10天，10天后检测到采矿施工面积较10天前增加了，排除人为施工原因后，可能是矿区塌陷，应通知管理人员，停止继续施工，查明原因，降低安全事故发生。

此外，根据所有所述第二待识别坐标值对应的面积之和大于所有所述第一待识别坐标值对应的面积之和之差，输出风险等级。

具体的，例如已经判断为水土流失垮塌，可根据面积差的大小升序排列对比，可清楚了解垮塌程度，便于施工人员进行工程管理。又例如采矿施工30天后的采矿施工面积为100平方米，未施工10天后检测到的采矿施工面积为200平方米，垮塌面积为之前的两倍，垮塌严重，通知管理人员，管理人员提早做好应急预案。

此外，标注为非正常施工后，第三预设时间获取包含工程施工的第四图片，标识工程活动边缘线，得到第三待划分图片，其中所述第四图片与所述第二图片的大小相同；

对所述第三待划分图片设置第四坐标轴和进行网格划分，得到每个网格的第四坐标值，提取标识工程活动边缘线内对应区域的第四坐标值，标识为第三待识别坐标值，其中所述第四坐标轴与所述第二坐标轴相同，网格划分大小相同；

获取所有所述第一待识别坐标值对应的面积之和与所有所述第三待识别坐标值对应的面积之和进行对比；

若所有所述第三待识别坐标值对应的面积之和大于所有所述第一待识别坐标值对应的面积之和，则输出预警提示信息。

具体的，即施工区域超出了规划施工区域后，一段时间后重新获取图片进行对比，根据施工区域的面积是否较之前增加可清楚施工方是否停止施工或者进行整改，如面积增大，即未停止施工，仍恶意侵占土地，便于管理人员管理进行对应必要措施。例如正常施工面积为100平方米，30天后施工面积为120平方米，通知整改后，60天后施工面积为150平方米，未停工仍继续施工，通知管理人员进行对应必要措施。

另外，获取所述第一待划分图片，对标识的工程活动边缘线进行工程活动类别划分，即使用经过校正、融合后的高分二号遥感影像作为数据源，分辨率0.8m，包含R、G、B、NIR(近红外)四个通道，格式为TIFF。通过解译标注，获得340套工程活动图斑样本及掩膜，样本规格均为512×512，根据图斑样本划分工程活动类别，所述工程活动类别包括破土类、施工类、采矿类、弃渣碎石类。

S102、提取所述影像样本集的多维特征，并基于多特征U-Net网络模型进行训练；

本发明实施例中，所述提取影像样本集的多维特征是提取光谱特征；提取纹理特征；基于所述光谱特征和所述纹理特征定义图像多维特征向量。其中，所述提取光谱特征是选取波段均值和波段标准差作为基本统计量。所述提取纹理特征是计算图像的灰度共生矩阵，并选取对比度、能量、同质度作为基本统计量。具体的，遥感浅层特征包括光谱特征、纹理特征、结构特征等，局部细节上对地貌浅层纹理、光谱结构层次、色彩空间分布等特征的描述较全面，把多个浅层特征组合起来优化分类结果。对于工程活动图斑，其遥感影像往往与周边原始地貌存在明显的差异，例如由于表层泥土裸露或弃土废渣堆积，图斑中通常存在红棕色地物；由于挖掘或爆破，图斑通常具有明显的几何形状和条纹阴影等。本发明选取光谱、纹理特征构建浅层特征，其中光谱特征选择了波段均值(μ)和波段标准差(σ)两个基本统计量；纹理特征通过计算图像的灰度共生矩阵来获得，选取了对比度(CT)、能量(E)和同质度(H)三个基本统计量。定义图像多特征向量：

F＝(μ,σ,CT,E,H)；其中波段均值

U-Net网络模型包括解码器、编码器、瓶颈层，在U-Net编码器部分，网络含有9个卷积层，被4个最大池化层两两分隔，卷积层从输入影像提取高维视觉特征，在计算过程中维持各输出特征图的空间尺寸，池化层对输入特征图做下采样，使输出特征图的空间分辨率更低，特征信息更为全局。为了使上采样的结果更加精细，将网络浅层的响应也考虑了进来。在采样的过程中，输入图像经过五个池化层后，特征图的尺寸缩小为原来的1/32，输出更精确。解码器部分的10个卷积层被4次反卷积分隔为5组，每组卷积通过跳跃连接融合了来自编码器对应抽象层级的模块输出特征信息，并配合反卷积层逐步恢复目标的类别与位置信息。此外，U-Net将传统卷积神经网络的全连接层替换为卷积层，采用反卷积层对最后一个卷积层的特征图进行上采样，使其可还原为原尺寸，因此可从抽象的特征中对所有像素都生成相应预测。

S103、获取待识别光学遥感影像数据基于训练后的多特征U-Net网络模型，输出工程活动图斑识别结果。

本发明实施例中，选取的深度学习语义分割模型是经典语义分割全卷积网络U-Net，该网络是由经典全卷积语义分割神经网络(Fully Convolutional Networks，FCN)改进而来，其基于编码器-解码器架构使网络模块清晰，通过获取到光学遥感影像数据，能够更精确地捕获细节信息，得出识别结果，提高识别精度。

本发明将露天工程活动图斑样本分为训练集、验证集两个部分使用，其中90％(306套)用作模型训练，10％(34套)用作后续精度验证。实验拟从总体精度、平均精度以及平均交并比上对各个类别的精度进行比较，并且选取了KNN、SVM方法与本发明进行横向对比。后文中，将用方法1、方法2分别代表KNN、SVM方法。

类别精度

表1展示了不同类型图斑在三种方法上的分类精度，本发明方法在弃渣碎石类图斑的识别上精度最高，达91.24％，且在所有类别精度上，本发明方法均优于其他两种方法。

表1分类精度对比表

总体精度与平均进度

假设图像共有k+1个待分割签类别，P

将本发明方法与其他两种方法进行比较，则总体精度和平均精度如图2所示。由该对比结果可知，本发明方法的总体精度是87.36％，平均精度是86.78％，均优于方法1和方法2。

平均交并MIoU比是计算真实值和预测值两个集合的交集和并集之比，在每个类别计算交并比后取平均值，该指标综合反映了目标的捕获程度，可表示为：

各方法在个类别上的交并比如图3所示。由图3可见，本发明方法平均交并比是79.71％，对破土类工程活动图斑的识别最有效，而对采矿类工程活动图斑的识别效果较差，但均优于方法1和方法2。综上，本发明方法在各个类别的交并比上优于其他两种方法。

工程活动图斑是重要的地表人类活动载体，对遥感影像工程活动的识别有助于维护工程秩序、监管环境影响。本发明为了优化传统遥感影像分类精度低的问题，将遥感浅层特征与深度学习相结合，提出了露天工程活动图斑提取的语义分割模型。实验结果表明，本发明方法相比传统方法具有更高的分割精度，识别效果较优。

以上所揭露的仅为本申请一种或多种较佳实施例而已，不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。