基于视觉识别技术的城市道路积水深度预测及预警方法

技术领域

本发明涉及城市内涝监测预警技术领域，具体涉及一种基于视觉识别技术的城市道路积水深度预测及预警方法。

背景技术

由于全球变暖使得地表气温升高，在过去50年中，极端天气事件特别是强降雨、高温热浪等极端事件呈现不断增多增强的趋势，预计今后这种极端事件的出现将更加频繁。大暴雨和极端降水事件对城市的排水系统产生巨大压力，道路积水及内涝灾害频发，给人们的出行带来严重不便，严重的甚至造成生命及财产的重大损失。

传统的基于GIS，集合城市地理、河道地形、工程设施、气象监测、防洪调度等基础空间信息构建的暴雨内涝数学模型能够对能够在一定程度上对内涝状况进行预警预报，但受到资料完整性、精确性以及模型概化等因素的影响，数学模型较难提供实时的城市内涝积水信息。

部分城市建立的基于水位雨量传感和物联网技术建立的监测预警系统能够提供实时、精准的积水点信息，可在一定程度上提高防范水平，增强抵御暴雨灾害的能力。该技术方案的实施需要依托大量的水位监测以及传感设施等硬件投入，实现大面积覆盖以及技术推广具有较大难度。

当前，随着智慧城市、平安城市等建设项目的不断推进，各级城市的监控网络已达到较高的覆盖度，监控技术也逐步由模拟信号向高清数字技术发展。如果能基于现有城市监控视频资源，运用计算机视觉技术、人工智能算法和视频大数据处理等技术开发城市内涝预警系统，将大大节约内涝监测成本，建成由点及面的城区全覆盖监测系统，为破解城市内涝难题、完善排水系统提供新的方法。

发明内容

发明目的：针对现有技术中存在的问题，本发明提供一种基于视觉识别技术的城市道路积水深度预测及预警方法，通过采集道路视频监控系统视频数据，提取特征点位信息，运用二值化处理和像素特征识别对标尺特征物识别，并利用比例测算方计算测点的积水深度，并将该信息与电子地图相叠加，实现数据的可视化，并且利用了时间序列模型实现积水深度预测，便于气象部分进行内涝预报预警，减少内涝灾害。

技术方案：本发明提供了一种基于视觉识别技术的城市道路积水深度预测及预警方法，包括如下步骤：

步骤1：构建标尺特征物的目标检测模型，所述检测模型采用YOLO v3深度学习模型构建标尺特征物的目标检测模型；

步骤2：采集交通路口监控视频，对视频图像进行预处理后进行标尺特征物目标检测，并对检测结果图像进行畸变矫正和反透视变换，获得标尺特征物的正视图；

步骤3：根据步骤2中标尺特征物正视图对其进行二值化处理和像素特征识别，并利用比例测算方法计算各位置点积水深度；

步骤4：构建基于WebGIS的积水深度产品分析平台，将步骤3中的各位置积水深度利用热力图方式展示在平台上；

步骤5：根据已有的积水深度数据，构建时间序列模型，利用采集的多次降雨量和积水深度数据，预测下一时间段的积水深度。

进一步地，所述步骤1中构建目标检测模型及基本方法为：

S1.1：采集城市交通路口具有标尺特征的物体图像，进行类别划分，测量不同标尺特征物的特征尺寸，具体类别包括警示柱、交通指示杆和信号灯柱标尺特征物，特征尺寸主要包括色带高度、顶端色带与地面的距离；

S1.2：用LabelImg标注图片，获得与图片相匹配的.txt格式的标注文件；

S1.3：Python脚本文件将采集的图片制作成训练数据集文件“train.txt”和测试数据集文件“test.txt”；

S1.4：将S1.3中的数据集文件输入YOLO v3深度学习模型，完成目标检测模型训练和测试。

进一步地，所述步骤2中视频图像进行预处理包括将视频图像转换为一帧一帧的图片数据集，并对图片数据利用基于GAN网络的去雨算法进行去雨处理。

进一步地，所述步骤2中进行标尺特征物目标检测的具体方法为：

S2.1：读取图片数据集，传入步骤1训练好的目标检测模型中检测，将图片中的标尺特征物物体进行框选，并标识其标尺类别；

S2.2：根据S2.1中目标检测结果，抓取标尺特征物的局部区域图片；

S2.3：采用OpenCV的projectPoints函数对局部区域图片进行畸变矫正和反透视变换，获得标尺特征物的正视图。

进一步地，所述步骤3中计算各位置点积水深度的具体方法为：

S3.1：根据步骤2中标尺特征物正视图建立不同颜色色带交接处的局部图片模板；

S3.2：读取目标检测采集的特征物图片，用OpenCv的cv2.matchTemplate函数匹配出第一个红白或其他颜色间隔的区域位置，从而确定间隔线的位置；

S3.3：对图片进行二值化处理，从第一条红白相间或者其它颜色相间的间隔线开始，像素点循环找到红白或者其它颜色相间区域的最开始位置，从而确定第一条色带的图上高度c；

S3.4：通过OpenCv读取整体图片的高，获得图片底边所在的位置，再根据S3.3得到的色带顶部的位置，两者相减得到图上色带顶端到底部的图上高度x；

S3.5：结合特定类别标尺特征物的已知尺寸，通过比例测算计算积水深度，具体计算公式为：

其中，D为积水深度；H为抓取的标尺特征物顶端距离地面的实际高度；S为标尺特征物单个色带的宽度；x为图中第一个色带顶部到底边的图上高度；c为第一个色带的图上高度。

进一步地，所述积水深度产品分析平台进行热力图方式展示的具体方法为：

S4.1：对标尺性构筑物进行ID标注，将站点水深数据与站点ID进行匹配，通过java调用站点及站点属性，在WebGIS上进行站点水深展示；

S4.2：基于站点水深数据，利用站点拟合技术进行积水量模拟运算，实现任意区域、不同等级的格点插值，格点数据以JavaScript Object Notation数据格式进行存储，道路进行分段标注，根据道路段ID，将路段与属性进行匹配，最终采用Leaflet、Canvas等技术搭建了WebGIS框架，将水深站点数据、道路格点数据叠加地理信息统一展示。

进一步地，所述步骤S4.1中在WebGIS上进行站点水深展示的方法为：用带颜色的圆点表示不同程度的积水，根据积水深度分为不同等级：

1)轻微积水0～10cm，使用蓝色标注；

2)轻度积水10～15cm，使用黄色标注；

3)中度积水15～30cm，使用橙色标注；

4)重度积水>30cm，使用红色。

有益效果：

1、本发明方法主要是基于现有城市监控图像进行城市积水深度识别，无需新增雨量传感器等硬件设施的建设，不仅可以大大降低成本，还可以实现监控系统的大面积覆盖，具备良好的适用性和易于推广等优点。

2、本发明利用监控系统中识别的标尺特征物进行标尺提取和反透视矫正，根据标尺特征物的图像数据，通过二值化和像素特征提取方法，确定图像中第一条色带的图上高度c和色带顶端到底部的图上高度x，在利用比例测算随时测算积水深度，实时性高。

3、本发明基于时间序列模型将随着基础数据的累计不断提高预报精度，预报精度逐渐提高，其实用性和商业价值将在投运后逐步提升。

附图说明

图1为本发明积水深度预测及预警方法的技术路线图；

图2为本发明标尺特征物目标检测示意图；

图3为本发明标尺特征物积水深度标识图；

图4为本发明道路积水深度电子地图热力图展示；

图5为本发明积水深度预警可视化展示图；

图6为本发明电子地图上积水深度超阈值的报警示意图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明公开了一种基于视觉识别技术的城市道路积水深度预测及预警方法，包括如下步骤：

步骤1：构建标尺特征物的目标检测模型，所述检测模型采用YOLO v3深度学习模型构建标尺特征物的目标检测模型。

S1.1：采集城市交通路口具有标尺特征的物体图像，进行类别划分，测量不同标尺特征物的特征尺寸，主要包括色带高度、顶端色带与地面的距离，参见附图2，本发明采用基于现有城市监控系统采集的视频图像数据，标尺特征物主要有交通标志警示杆、信号灯杆等。

S1.2：用LabelImg标注图片，获得与图片相匹配的.txt格式的标注文件；

S1.3：Python脚本文件将采集的图片制作成训练数据集文件“train.txt”和测试数据集文件“test.txt”；

S1.4：将S1.3中的数据集文件输入YOLO v3深度学习模型，完成目标检测模型训练和测试。

步骤2：采集交通路口监控视频，对视频图像进行预处理后进行标尺特征物目标检测，并对检测结果图像进行畸变矫正和反透视变换，获得标尺特征物的正视图。

其上的预处理包括：将视频图像转换为一帧一帧的图片数据集，并对图片数据利用基于GAN网络的去雨算法进行去雨处理。

S2.1：读取图片数据集，传入步骤1训练好的目标检测模型中检测，将图片中的标尺特征物物体进行框选，并标识其标尺类别，参见附图2与附图3。

S2.2：根据S2.1中目标检测结果，抓取标尺特征物的局部区域图片，参见附图3。

S2.3：采用OpenCV的projectPoints函数对局部区域图片进行畸变矫正和反透视变换，获得标尺特征物的正视图。

步骤3：根据步骤2中标尺特征物目标检测结果利用比例测算方法计算各位置点积水深度。

步骤3中计算各位置点积水深度的具体方法为：

S3.1：根据标尺特征物建立不同颜色色带交接处的局部图片模板。

S3.2：读取目标检测采集的特征物图片，用OpenCv的cv2.matchTemplate函数匹配出第一个红白间隔的区域位置(或其他颜色)，从而确定间隔线的位置。

S3.3：对图片进行二值化处理，从第一条红白相间(或者其它颜色，附图中以红白相间的警示杆为例)的间隔线开始，像素点循环找到红白区域的最开始位置，从而确定第一条色带的图上高度c。

S3.4：通过OpenCv读取整体图片的高，获得图片底边所在的位置，然后再根据S3.3得到的色带顶部的位置，两者相减得到图上色带顶端到底部的图上高度x。

S3.5：结合特定类别标尺特征物的已知尺寸，通过比例测算计算积水深度，具体计算公式为：

其中，D为积水深度；H为抓取的标尺特征物顶端距离地面的实际高度；S为标尺特征物单个色带的宽度；x为图中第一个色带顶部到底边的图上高度；c为第一个色带的图上高度。

步骤4：构建基于WebGIS的积水深度产品分析平台，将步骤3中的各位置积水深度利用热力图方式展示在平台上。

S4.1：对标尺性构筑物进行ID标注，将站点水深数据与站点ID进行匹配，通过java调用站点及站点属性，在WebGIS上进行站点水深展示。

用带颜色的圆点表示不同程度的积水，根据积水深度分为不同等级：

1)轻微积水0～10cm，使用蓝色标注；

2)轻度积水10～15cm，使用黄色标注；

3)中度积水15～30cm，使用橙色标注；

4)重度积水>30cm，使用红色。

参见附图5与附图6，水深结果与地图点位匹配，对不同的水深进行分类，以不同的颜色在地图上显示，路口之间的数据用差值计算进行填充。对于积水深度超过30cm点位显示警示信号。

S4.2：基于站点水深数据，利用站点拟合技术进行积水量模拟运算，实现任意区域、不同等级的格点插值，格点数据以JavaScript Object Notation数据格式进行存储，道路进行分段标注，根据道路段ID，将路段与属性进行匹配，最终采用Leaflet、Canvas等技术搭建了WebGIS框架，将水深站点数据、道路格点数据叠加地理信息统一展示。

步骤5：根据已有的积水深度数据，构建时间序列模型，利用采集的多次降雨量和积水深度数据，预测下一时间段的积水深度。

上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。