一种基于空中机器人移动视觉的车速测量方法

技术领域

本发明属于计算机视觉技术领域，具体涉及一种车速测量方法。

背景技术

现有的车速测量一般多是基于卡口测速，其基本都是结合测速雷达进行测速的，这种设备只能针对特定位置或特定区间对超速行驶的车辆进行抓拍取证，具有极大的局限性。

由于传统的基于固定测速摄像头及测速仪器进行车速测量的方法抓拍区域有限、设备部署繁琐、设备造价高昂、损坏后难以及时修复等缺点，且大部分测速设备的位置都是已知的，车辆驾驶人员能够针对性的改变车速以躲避测速设备的监测。因此利用空中机器人的视觉进行车速测量具有巨大的实用价值和商业价值。

基于空中机器人的视觉进行车速测量在目前智慧交通管理中是一项具有挑战性和重要意义的任务。空中机器人在运作时，可向交警等地面人员提供实时的监测画面，让他们可以在较大的区域内找出违章司机。虽然空中机器人能够帮助交警找出危险驾驶者并且予以警告和处罚，但它们目前较少地应用到车辆测速的交通监测管理场景，超速等违法违规现象的抓拍取证仍主要依赖于固定测速摄像头以及测速仪器。

专利[一种利用无人机监测超速行车的方法、监测系统及无人机,CN 111583670A]提出了一种利用无人机监测超速行车的方法、监测系统及无人机。其通过一段时间内的无人机对地速度得到无人机的位移，同时计算在这段时间内目标车辆在画面中的位移，根据无人机上的吊舱对地角度及无人机高度算出车辆与无人机的相对位移，从而计算出目标车辆的对地位移，最后计算出车辆的速度。这种方法要求操纵无人机的飞手需要确保无人机在工作时，无人机具有固定的飞行速度、飞行高度和吊舱对地角度，这对飞手的操控水平提出了较高的要求。因此这种方法具有很大的局限性，不能适应复杂多变的环境。

发明内容

为了克服现有技术的不足，本发明提供了一种基于空中机器人移动视觉的车速测量方法，通过获取空中机器人所拍摄的视频图像画面，可以获取到车辆的运动轨迹；同时，通过检测车辆所在道路上的车道线，计算出图上距离，求得实际距离和图上距离的比值，算出车辆的实际运动距离；从而最终计算出画面内所有车辆的瞬时速度。本发明方法克服了传统固定测速设备灵活性不强、造价高昂、安装困难等缺点，摆脱了现有空中车辆测速方案对空中机器人飞行姿态的高要求，机动性强，对飞行姿态和飞手的要求不高，能够实时地监测地面车辆的速度，使用方便。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：收集数据；

利用空中机器人在移动视觉下采集不同车辆和道路的图像，并对采集到的图像中的车辆和道路进行标注；

对标注后的图像进行数据增广；

再用数据增广后的图像形成训练集；

步骤2：模型训练

采用神经网络模型，设置训练参数，利用训练集对神经网络模型进行训练；

训练完成的神经网络模型能够检测输入图像中的车辆和道路；

步骤3：车速测量；

步骤3-1：对空中机器人采集的视频，每隔N帧，截取一幅图像，输入步骤2训练完成的神经网络模型，检测出图像中的车辆和道路；

步骤3-2：计算出图像中两两相邻的车道线在图像中的距离，并求出多幅图像中车道线在图像中距离的平均值d

步骤3-3：获取两两相邻车道线的实际距离d

步骤3-4：计算车道线在图像中距离的平均值和车道线实际距离的比值

步骤3-5：计算视频每N帧的间隔时间

步骤3-6：计算车辆在相邻N帧图像上运动的距离s

步骤3-7：计算车辆的运动速度

步骤4：对空中机器人采集的视频，采用步骤3，测量视频中的车辆速度，当车辆的速度超过设定值时，则将车辆标为红色以警示操作人员。

优选地，所述数据增广的方法包括平移、旋转、翻转、裁切、放缩、调整色调、调整明度、调整饱和度、透视变换、图像融合和图像遮挡。

优选地，所述神经网络模型为YOLOv5。

优选地，所述N＝10。

本发明的有益效果如下：

1、本发明方法克服了传统固定测速设备灵活性不强、造价高昂、安装困难等缺点，摆脱了现有空中车辆测速方案对空中机器人飞行姿态的高要求。

2、本发明方法仅仅依赖于空中机器人的视觉，机动性强，对飞行姿态和飞手的要求不高，能够实时地监测地面车辆的速度，使用方便。

具体实施方式

下面通过实施例对本发明进一步说明。

由于传统的基于固定测速摄像头及测速仪器进行车辆测速的方法抓拍区域有限、设备部署繁琐、设备造价高、损坏后难以及时修复、测速设备位置已知，现有的车速测量方案需要搭载特定设备或是需要在特定条件下获取特别数据才能使用，为了解决这些问题，本发明提供了一种利用空中机器人视觉测量地面车辆速度的方法，该方法能够在只依赖于空中机器人的视觉的情况下，通过神经网络检测车辆和车道线，计算出车道线图上距离并计算图上距离和实际距离比值，求出地面车辆的实际运动距离，最后可以求出地面车辆的速度，并对其进行跟踪监测。

一种基于空中机器人移动视觉的车速测量方法，包括以下步骤：

步骤1：收集数据；

利用空中机器人在移动视觉下采集不同车辆和道路的图像，并对采集到的图像中的车辆和道路进行标注；

对标注后的图像进行数据增广；

再用数据增广后的图像形成训练集；

步骤2：模型训练

采用神经网络模型，设置训练参数，利用训练集对神经网络模型进行训练；具体如下：

(1)设置神经网络；初始化模型权重、优化函数、损失函数，设置神经网络初始的训练参数；

(2)预训练神经网络；利用开源的图像数据集预训练模型，提高神经网络对图像的分类性能。

(3)导入训练集；将经过数据预处理的数据导入神经网络模型；

(4)训练神经网络；利用标记好的训练数据，通过损失函数、优化函数优化更新网络权重，更新模型参数，并不断迭代；

(5)修改超参数，优化模型；通过修改超参数，调整阈值，不断地比对实验结果，选择效果最佳的神经网络模型。

训练完成的神经网络模型能够检测输入图像中的车辆和道路；

步骤3：车速测量；

步骤3-1：对空中机器人采集的视频，每隔N帧，截取一幅图像，输入步骤2训练完成的神经网络模型，检测出图像中的车辆和道路；

步骤3-2：计算出图像中两两相邻的车道线在图像中的距离，并求出多幅图像中车道线在图像中距离的平均值d

步骤3-3：获取两两相邻车道线的实际距离d

步骤3-4：计算车道线在图像中距离的平均值和车道线实际距离的比值

步骤3-5：计算视频每N帧的间隔时间

步骤3-6：计算车辆在相邻N帧图像上运动的距离s

步骤3-7：计算车辆的运动速度

步骤4：对空中机器人采集的视频，采用步骤3，测量视频中的车辆速度，当车辆的速度超过设定值时，则将车辆标为红色以警示操作人员。

具体实施例：

1、收集数据

利用空中机器人拍摄高速公路、省级道路等路面图像，得到大量的基于空中机器人移动视觉下的各种道路的图像数据。并利用labelme软件对图像中的车辆、车道线进行框选标注。

2、数据预处理

由于经常会出现车辆遮挡、车辆变道压住车道线、空中机器人的飞行方向和道路方向不一致、拍摄画面受到光照等的影响，为了保证模型训练的准确度和精度，需要在神经网络训练开始前对数据进行数据增广。采用了平移，旋转，翻转、裁切，放缩，调整色调、明度、饱和度，透视变换，图像融合，图像遮挡的手段，组合利用这些手段，对图像进行处理，以模拟不同条件下的道路情况，进行数据增广。数据增广后形成训练集。

3、模型训练

采用YOLOv5的方法训练和检测车辆和车道线。将检测阈值设置为0.5，即检测得到的边框和真实边框IOU>0.5，即认为能够将车辆和车道线检测出来。在训练时先将所有训练图像数据的尺寸调整为448×448来预训练特征提取神经网络，然后再将输入的训练图像数据尺寸增大到640×640，利用标记好的训练数据，通过损失函数、优化函数优化更新网络权重，更新模型参数，并不断迭代，进而继续使用检测数据集对神经网络进行微调。不断修改超参数，优化模型，通过修改超参数，调整阈值，不断地比对实验结果，选择效果最佳的神经网络模型。

4、车辆测速

(1)训练好的神经网络模型将能够检测出空中机器人所拍摄的道路图像中的车道线和车辆。

(2)每隔10帧，截取一幅图像帧，计算出图像中两两相邻的车道线的图上距离，并求出这些图上距离的平均值d

(3)查阅空中机器人飞行地的道路国标或省标要求，得出相邻的车道线的实际距离d

(4)计算车道线图上距离和实际距离的比值

(5)读取视频帧率信息，得出视频拍摄的帧率f，计算出视频每10帧的间隔时间

(6)计算出车辆在相邻10帧图像上运动的距离s

(7)计算车辆的运动速度

5、利用上述方法，在视频帧中追踪车辆的位置，获取在某一段时间内车辆在画面中的运动轨迹，对车辆进行跟踪监测，当画面中的车辆的速度超过设定值时，则将车辆标为红色以警示操作人员。