一种基于深度神经网络的建筑物场景理解系统及方法

技术领域

本发明环境管理及环境保护措施技术领域，特别涉及一种基于深度神经网络的建筑物场景理解系统及方法。

背景技术

在环境卫生管理及环境保护措施中，扬尘控制是重要的保护措施，在传统的扬尘管理中，环境质量传感器提供的PM10参数作为重要的扬尘指标参数，然而环境质量传感器给出的大颗粒物浓度报警时，说明此时环境质量已经下降，环境中的可吸入颗粒物已经接近或达到规定的浓度阈值，故基于环境质量传感器的环境监管与治理方式，往往导致环境保护的延时性，是环境质量变差时候的补救措施。为了从根本上减小扬尘情况，使用防尘网覆盖裸土成为了重要的扬尘抑制措施。

在防尘网覆盖裸土的保护措施中，裸土覆盖率成为了重要的环境监管指标，在传统的裸土覆盖监管中往往依靠监管人进行实地走访，主观给出裸土覆盖效果的判断。依靠人工的巡视监管会造成监管不及时、监管较为随机，难以真实及时的反应被监管场所的裸土覆盖情况，同时仅依靠人工难以做到长时间的高质量监管。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于深度神经网络的建筑物场景理解系统及方法，具有能够准确识别场景中的裸露土地、硬化地面、绿化地面以及防尘网覆盖地面来计算裸土覆盖率，从而实现长时间、高质量、可观的裸土覆盖率统计的效果。

一种基于深度神经网络的建筑物场景理解系统及方法，包括图像采集模块、边缘计算模块和存储模块，所述边缘计算模块包括AI核心运算模块和网络传输模块，所述图像采集模块收集到的图像通过网络传输模块上传至存储模块，所述AI核心运算模块包括模型应用单元和soil判断单元；

所述图像采集模块安装在建筑工地内并对建筑工地的地面进行拍摄，所述模型应用单元对图像采集模块采集到的图像进行判断，所述图像采集模块拍摄到的图像同步传输至模型应用单元，所述模型应用单元推理出图像中铁板、绿网、裸土、混凝土路面四种类型路面所在的位置及所占的大小并传输至soil判断单元判定是否存在裸土路面。

本发明进一步设置为：所述边缘计算模块还包括数据集制作单元、模型训练单元和精度判断单元，截取所述图像采集单元的图片，人工选取带有铁板、绿网、裸土、混凝土路面四种类型路面的图片上传至数据集制作单元；

所述数据集制作单元将选出的图片转化为数据集，所述数据集制作单元将选取出的图片制成数据集并将数据集上传至模型训练单元，所述模型训练单元对数据集进行训练并输出至模型应用单元。

本发明进一步设置为：所述模型训练单元采用目标检测深度神经网络，设置为Fast R-CNN、Faster R-CNN、Yolov3、Yolo4网络其中一种。

本发明进一步设置为：所述数据集制作单元通过计算机算法对输入图片进行尺寸修改和增强，尺寸修改和增强内容包括几何变换、随机修剪、标准化、归一化、调节亮度和对比度操作。

本发明进一步设置为：所述soil判断单元判断目标区域存在裸土路面时，显示检测后的效果图并输出裸土路面占比大小；

所述soil半段单元判断出目标区域不存在裸土路面时，显示检测后的效果图并输出符合要求字样。

本发明进一步设置为：所述图像采集模块设置为监控相机、广角相机以及红外线相机任意一种图像采集设备。

本发明进一步设置为：所述存储模块设置为云服务器。

一种基于深度神经网络的建筑物场景理解方法，包括以下步骤：

S1：图像采集模块拍摄工地的地面照片和视频上传至存储模块；

S2：人工选取存储模块中带有铁板、绿网、裸土、混凝土路面四种类型路面并传输至数据制作单元，形成数据集；

S3:数据集传输至模型训练单元，模型训练单元检测数据集图像中四种类型路面所在的位置及所占的大小，判断单元判定精度达到要求时传输至模型应用单元；

S4：调取图像采集模块拍摄工地的地面图片传输至模型应用单元，模型应用单元判断目标区域中四种类型路面所在的位置及所占的大小并传输至soil判断单元；

S5：soil判断单元对目标区域中是否存在裸土路面进行判断，存在裸土路面时显示检测后的效果图并输出裸土路面占比大小，不存在裸土路面时则显示检测后的效果图并输出符合要求字样。

本发明进一步设置为，S2包括以下步骤：

A1：使用图像标注工具进行打标签操作；

A2：利用图像处理工具对图片进行resize操作修改大小；

A3：对数据集进行增强操作，对图片进行几何变换、随机修剪、标准化与归一化、亮度和对比度调节，再对数据集进行打乱操作；

A4：将数据集按照m：n的比例分为训练集和测试集，比例根据数据量分为8:2/99:1；

A5：将数据集转换为模型训练所需要的数据格式。

综上所述，本发明具有以下有益效果：

1.通过图像采集模块、边缘计算模块和存储模块，图像采集模块采集工地的地面图像，边缘计算模块对裸土路面进行分析和判断，从而实现长时间、高质量、可观的裸土覆盖率统计的效果；

2.通过数据集制作单元、模型训练单元、精度判断单元、模型应用单元，调取存储模块中的图像选取后制作成数据集并对判断精度加以训练上传至模型应用单元，对实时拍摄的工地路面图像中裸土路面的位置和大小进行识别；

3.通过soil判断单元的设置，并对模型应用单元的识别结果进行判断并加以输出。

附图说明

图1为本发明中各个模块连接示意图；

图2为本发明中用于体现整体工作过程的流程图；

图3为本发明中用于体现模型训练模块的流程图。

具体实施方式

以下结合附图对本发明作进一步详细说明，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”等用语为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

实施例：

如图1至图3所示，为本发明中设计的一种基于深度神经网络的建筑物场景理解系统，包括图像采集模块、边缘计算模块和存储模块，存储模块设置为云服务器，边缘计算模块包括AI核心运算模块和网络传输模块，图像采集模块收集到的图像通过网络传输模块上传至存储模块，AI核心运算模块包括数据集制作单元、模型训练单元、精度判断单元、模型应用单元和soil判断单元，图像采集模块安装在建筑工地内并对建筑工地的地面进行拍摄并且设置为监控相机、广角相机以及红外线相机任意一种图像采集设备。

如图1至图3所示，尽可能多的调取存储模块中的图片和视频，将视频截取为所需要的工地的地面图片，人工将调出和截取到的图片分类为带有铁板、绿网、裸土、混凝土路面四种地面类型的图片并上传至数据集制作单元转化为数据集，数据集制作单元通过计算机算法对输入图片进行尺寸修改和增强，尺寸修改和增强内容包括几何变换、随机修剪、标准化、归一化、调节亮度和对比度操作后形成数据集，然后将数据集上传至模型训练单元，模型训练单元对数据集进行训练并输出至模型应用单元。

如图1至图3所示，模型训练单元采用目标检测深度神经网络，设置为Fast R-CNN、Faster R-CNN、Yolov3、Yolo4网络其中一种，本实施例中采用性能较佳的Yolov4深度神经网络。模型训练单元连接有精度判断单元，数据集输入至模型训练单元后，模型训练单元对数据集中目标区域不同类别所占用的位置进行识别和判断后输送至精度判断单元，精度判断单元识别到精度符合要求时传输至模型应用单元，反之重新进入模型训练单元再次识别。

如图2和图3所示，模型应用单元对图像采集模块采集到的图像进行判断，图像采集模块拍摄到的图像同步传输至模型应用单元，模型应用单元推理出图像中铁板、绿网、裸土、混凝土路面四种类型路面所在的位置及所占的大小并传输至soil判断单元判定是否存在裸土路面；

soil判断单元判断目标区域存在裸土路面时，显示检测后的效果图并输出裸土路面占比大小；

soil半段单元判断出目标区域不存在裸土路面时，显示检测后的效果图并输出符合要求字样。

本发明还设计了一种基于深度神经网络的建筑物场景理解方法，包括以下步骤：

S1：图像采集模块拍摄工地的地面照片和视频上传至存储模块；

S2：人工选取存储模块中带有铁板、绿网、裸土、混凝土路面四种类型路面并传输至数据制作单元，形成数据集；

S3:数据集传输至模型训练单元，模型训练单元检测数据集图像中四种类型路面所在的位置及所占的大小，判断单元判定精度达到要求时传输至模型应用单元；

S4：调取图像采集模块拍摄工地的地面图片传输至模型应用单元，模型应用单元判断目标区域中四种类型路面所在的位置及所占的大小并传输至soil判断单元；

S5：soil判断单元对目标区域中是否存在裸土路面进行判断，存在裸土路面时显示检测后的效果图并输出裸土路面占比大小，不存在裸土路面时则显示检测后的效果图并输出符合要求字样。

其中，S2包括以下步骤：

A1：使用图像标注工具进行打标签操作；

A2：利用图像处理工具对图片进行resize操作修改大小；

A3：对数据集进行增强操作，对图片进行几何变换、随机修剪、标准化与归一化、亮度和对比度调节，再对数据集进行打乱操作；

A4：将数据集按照m：n的比例分为训练集和测试集，比例根据数据量分为8:2/99:1；

A5：将数据集转换为模型训练所需要的数据格式。

首先搭建设备于需要拍摄的位置处，在能够拍摄到工地全貌的位置上安装图像采集模块和AI核心运算模块，设置为云服务器的存储设备通过4G网络获取到图像采集模块的实时码流。尽可能多的由云服务器端下载图像采集模块上传的视频和图片，人工由图片中选取带有铁板、绿网、裸土、混凝土路面四种类型路面的图片上传至数据集制作模块。

然后依次进行打标签、修改图像大小、对数据集进行增强、打乱、任务划分，当数据量很大时训练集和测试集的比例为99:1，反之为8:2，然后根据模型转换需要转换为voc格式的数据集。

进行网络选择，建筑工地检测作为一个检测任务，采用的目标检测深度神经网络，本实施例中采用Yolov4深度神经网络。首先配置深度学习环境，采用Darknat框架下的Yolov4深度神经网络，在Ubuntu系统下在电脑上安装nvidia显卡驱动，配置cuda和cudnn，安装OpenCV图像处理工具，安装Pytorch，搭载Deterctron2环境。

将数据集转化为coco数据集的格式并放入准备使用的图像分割网络模型，本实施例中采用Mask-RCNN网络，从Deterctron2官网获取Mask-RCNN网络相应权重，对网络模型进行个性化修改，定义相关配置参数，其中包括类别和超参数的设置，然后用Python脚本调用Deterctron2平台下配置好的Mask-RCNN深度学习网络模型训练自己的数据集，然后根据训练后模型在测试集的效果不断调整超参数进行训练，直至识别效果符合预期。

训练好模型后，当有用户下达查看裸土覆盖率的命令或相关类别面积占比任务时，本地立刻由服务器下载一张实时工地照片输入网络进行推理预测，结果是目标区域不同类别地面所占的位置和大小，然后对结果进行利用，传输至soil判断单元，存在裸土地面时显示检测后的效果图并输出裸土路面占比大小，不存在裸土路面时则显示检测后的效果并输出“符合要求”的字样。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。