掌桥专利:专业的专利平台
掌桥专利
首页

一种高速公路场景事件监测系统及方法

文献发布时间:2023-06-19 18:37:28


一种高速公路场景事件监测系统及方法

技术领域

本发明涉及智慧交通技术领域,特别地涉及一种高速公路场景事件监测系统及方法。

背景技术

随着自动驾驶技术发展,激光雷达技术越发重要,因为它能够提供高分辨率、准确和全面的信息,以及它与其他传感器的互补性,比如雷达、摄像头等。激光雷达在传感器设备中占据越发重要的地位,在于其所具有的独特技术,提供可靠的、高效率的、高精度的三维数据。传统的视觉传感器如单目相机,极易收到光线以及天气等环境干扰,导致其在捕捉交通场景特征时出现纰漏。然而激光雷达抗环境干扰能力极强,可以准确测量视场中物体轮廓边沿与设备间的相对距离,这些轮廓信息组成点云并绘制出3D环境地图,精度可以达到厘米级别,从而提高测量精度。激光雷达在自动驾驶中的应用囊括了无人驾驶的定位、可行使区域检测、车道标识线检测、障碍物检测、动态物体跟踪、障碍物分类识别等各种功能。

现有技术中,在车辆目标检测方面,传统的视觉传感器,例如单目相机,在近距离内能采集海量的细节信息,对于图像中的车辆而言,其特征,如边缘、外形、对称性、阴影、位置等特征能进行很好的识别与区分,因而可以利用上述的某一个特征或联合几个不同的特征进行车辆检测,这种方法精度较高且技术门槛也比较低。但是由于单目相机对环境的依赖度较高,环境的变化会极大地影响相机的感知精度以及检测精度,尤其是强光环境或者雨雪天气会表现出极差的检测效果,需要依托复杂的计算保证其精度。而在抛物检测方面,抛物也是影响高速公路交通安全性的一个重要因素,目前的高速公路场景监测方法中未涉及到抛物检测,同时国内外基于障碍物检测的避障工作目前还不足以规避抛物这种突发性较强,反应时间较短的事件。在能见度检测方面,目前常用的方法为基于图像的暗通道先验算法,其去雾效果较为优秀,但是在雨雪等其他能见度较差的恶劣天气条件下,暗通道先验的方法所取得的效果就没有那么显著了,同时其检测方法与处理过程都较为繁琐,技术门槛也较高。

发明内容

有鉴于此,本发明提出一种高速公路场景事件监测系统及方法,能够实现对高速公路场景中目标车辆检测与跟踪、车窗抛物检测、车辆测速以及能见度检测。

本发明第一方面提供一种高速公路场景事件监测系统,该系统包括:至少一个激光雷达,每个激光雷达搭载于高速公路场景中一目标车辆上,用于采集目标车辆行驶区域的高速公路场景的点云数据;至少一个边缘处理器,每个边缘处理器与对应的激光雷达耦接,用于接收对应的激光雷达采集的高速公路场景的点云数据,对高速公路场景的点云数据进行预处理,将预处理后的点云数据传输给云端服务器;云端服务器,与边缘处理器藕接,用于接收每个边缘处理器传输的预处理后的高速公路场景的点云数据,对高速公路场景的所有点云数据进行处理,确定所有目标车辆的点云数据,生成每个目标车辆的3D边界框。

进一步的,所述云端服务器对高速公路场景的所有点云数据进行处理,确定所有目标车辆的点云数据,生成每个目标车辆的3D边界框包括:获取每个边缘服务器预处理后的高速公路场景的点云数据;对获取的高速公路场景的所有点云数据进行聚类分割,将点云数据以密集程度或几何形状为基础划分出不同的点云点集;提取不同的点云点集中目标车辆点云的特征,确定所有目标车辆的点云数据;根据所有目标车辆的点云数据,生成高速公路场景中每个目标车辆的3D预选框;计算每个目标车辆的3D预选框的中心点,规范调整每个目标车辆的3D预选框位置,获取每个目标车辆的规范化的中心点坐标,对每个目标车辆生成多个高置信度的车辆3D包围框;根据目标车辆的真实边界框与生成的3D包围框的交集和并集的比值大小去掉低置信度的3D包围框与重叠框,生成目标车辆的3D边界框。

进一步的,所述云端服务器还进一步用于:对高速公路场景的所有点云数据进行条件滤波,得到所有目标车辆前方区域的点云数据;根据所有目标车辆前方区域的点云数据,对高速公路场景中车窗抛物进行检测。

进一步的,所述云端服务器进一步用于:获取预处理后的高速公路场景中所有目标物体的点云数据,并提取所有目标物体的点云的反射强度数据,记录不同位置处目标物体的反射强度数据;所述目标物体包括目标车辆和交通信息指示牌;对每个目标物体的所有反射强度数据进行预处理;对预处理后的每个目标物体的所有反射强度数据进行角度归一化修正;构建回波强度计算公式;根据修正后的每个目标物体的所有反射强度数据和回波强度计算公式,计算所有目标物体对应的大气衰减系数;求取所有目标物体对应的大气衰减系数的平均值,得到高速公路场景的大气衰减系数;根据高速公路场景的大气衰减系数,计算不同天气状况下高速公路场景的大气能见度信息。

本发明第二方面提供一种高速公路场景事件监测方法,所述方法包括:激光雷达采集目标车辆行驶区域的高速公路场景的点云数据;边缘处理器接收激光雷达采集的高速公路场景的点云数据,并对高速公路场景的点云数据进行预处理,将预处理后的点云数据传输给云端服务器;云端服务器对预处理后的高速公路场景的所有点云数据进行处理,确定所有目标车辆的点云数据,生成每个目标车辆的3D边界框。

进一步的,所述方法还包括:所述云端服务器对高速公路场景的所有点云数据进行条件滤波,得到所有目标车辆前方区域的点云数据;对所有目标车辆前方区域的点云数据进行聚类分割,得到多个不同的点云点集;提取多个不同的点云点集中目标检测物的几何特征,得到所有目标检测物的点云数据;获取所有目标检测物的点云数据中点云的三维坐标数据,求取所有目标检测物点云的质心坐标;基于每个目标检测物的质心坐标,计算每个目标检测物相对于对应的目标车辆之间的距离;检测出设定时间段内出现的距离突变的目标检测物,计算目标检测物在竖直方向上的运动轨迹;构建自由落体运动轨迹方程;将在设定时间段内被检测到距离突变的目标检测物的轨迹与自由落体运动轨迹方程进行拟合,计算目标检测物的运动轨迹点和自由落体点的方差与协方差,判断方差与协方差是否在设定阈值范围内,若在,则将目标检测物判定为车窗抛物。

进一步的,所述方法还包括:所述云端服务器获取预处理后的高速公路场景中所有目标物体的点云数据,并提取所有目标物体的点云的反射强度数据,记录不同位置处目标物体的反射强度数据;所述目标物体包括目标车辆和交通信息指示牌;对每个目标物体的所有反射强度数据进行预处理;对预处理后的每个目标物体的所有反射强度数据进行角度归一化修正;构建回波强度计算公式;根据修正后的每个目标物体的所有反射强度数据和回波强度计算公式,计算所有目标物体对应的大气衰减系数;

求取所有目标物体对应的大气衰减系数的平均值,得到高速公路场景的大气衰减系数;根据高速公路场景的大气衰减系数,计算不同天气状况下高速公路场景的大气能见度信息。

上述的高速公路场景事件监测系统及方法采用面阵式激光雷达采集高速公路场景的三维点云数据,在基础三维点云数据的基础上加入天气能见度检测以及滤波处理,能够准确地提取出目标车辆的轮廓信息,有效地防止雨雾等视觉干扰;此外利用深度学习目标检测的方法对车辆进行检测与跟踪,能够精确提取出汽车的特征信息,要比传统的目标跟踪方法精度高;同时加入了抛物检测的算法,使其在交通场景可以检测到一些危险的车辆抛物并进行规避,并可进一步预测诸如山体滑坡、落石等突发事件。

附图说明

为了说明而非限制的目的,现在将根据本发明的优选实施例、特别是参考附图来描述本发明,其中:

图1是本发明一实施例提供的高速公路场景事件监测系统的结构示意图;

图2是本发明另一实施例提供的高速公路场景事件监测方法的流程图;

图3是本发明另一实施例提供的目标检测的流程图;

图4是本发明另一实施例提供的抛物检测的流程图;

图5是本发明另一实施例提供的能见度检测的流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施例对本发明进行详细描述。需要说明的是,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。

图1是本发明一实施例提供的高速公路场景事件监测系统的结构示意图。下面结合附图对本实施例提供的高速公路场景事件监测系统进行详细说明。

该高速公路场景事件监测系统用于采集及处理高速公路场景的点云数据,能够实现高速公路场景中目标车辆检测及追踪、抛物检测及能见度检测。请参阅图1,该高速公路场景事件监测系统包括:

至少一个激光雷达100,每个激光雷达100搭载于高速公路场景中一目标车辆上,用于采集该目标车辆行驶区域的高速公路场景的点云数据;

至少一个边缘处理器200,每个边缘处理器200与对应的激光雷达100和显示模块400耦接,用于接收对应的激光雷达100采集的高速公路场景的点云数据,对高速公路场景的点云数据进行预处理及格式转换,将预处理及格式转换后的点云数据传输给云端服务器300;还进一步用于接收云端服务器300反馈的检测结果,并对检测结果进行可视化处理,并将可视化处理结果传输给对应的显示模块400;

云端服务器300,与边缘处理器200藕接,用于接收每个边缘处理器200传输的预处理后的高速公路场景的点云数据,对高速公路场景的所有点云数据进行处理,包括目标检测及追踪、抛物检测及可见度检测,并将检测结果反馈给相应的边缘处理器200;

至少一个显示模块400,每个显示模块400与对应的边缘处理器200耦接,用于接收对应的边缘处理器200反馈的可视化处理结果,并显示可视化处理结果。

在一些实施例中,激光雷达100采用面阵式三维激光雷达,该面阵式三维激光雷达搭载于高速公路场景中目标车辆上,在目标车辆经可行驶区域的高速公路场景时,通过激光雷达100来采集高速公路场景的点云数据。该点云数据包括点云的三维坐标数据以及点云的反射强度数据。该激光雷达100与边缘处理器200通信连接,能够实时发送点云数据给边缘处理器200。

由于高速公路场景中有若干辆目标车辆,每个目标车辆上搭载有相应的激光雷达100,通过每一辆目标车辆上的激光雷达100来采集经可行驶区域的高速公路场景的点云数据。

在一些实施例中,边缘处理器200的内部主要由一款高性能主板构成,该主板包含CPU、GPU计算芯片。该边缘处理器200的外壳上有多个螺孔可安装多种角度支架进行固定,也可内接在车辆系统内。

该边缘处理器200主要用于实时接收与预处理激光雷达100所采集的高速公路场景的点云数据,以及对点云数据文件格式进行转换,将预处理后的高速公路场景的点云数据实时发送到云端服务器300中,使云端服务器300对点云数据进行处理,包括目标检测及追踪、抛物检测及可见度检测,云端服务器300还用于接收预处理后的点云数据创建数据集,利用训练集训练模型,并将训练后的模型发送给相应的边缘处理器200;云端服务器300还用于将处理得到的检测结果反馈给相应的边缘处理器200。边缘处理器200还用于接收经云端服务器300处理后的检测结果并将其进行可视化处理,并将可视化结果实时通过目标车辆上的显示模块400反馈给驾驶员。

本实施例通过边缘处理器200对激光雷达100采集的点云数据进行预处理,包括地面滤波、高斯噪声滤波等,以去除离群点、异常点等冗余点云信息,提高目标检测的准确率。

因云端服务器300对点云数据的格式有着不同的要求,通过边缘处理器200还对预处理后的pcd格式的点云数据转换成云端服务器300所需要的格式,如ply格式等,剔除掉冗余的点云信息,方便直接传输给云端服务器300进行处理。

在一些实施例中,云端服务器300由一款高性能工控机构成,搭载Ubuntu18.04系统,主要负责处理所有边缘处理器200传回的大批量点云数据,并利用其搭载的目标检测及追踪、车辆测速、抛物检测、以及能见度检测算法对点云数据进行进一步处理。云端服务器300包含kitti点云数据集与对应的txt格式的标签,适用于上述各种算法。

该云端服务器300用于在处理较大批量的点云数据,主要是负责数据集的训练以及对点云数据的处理,包含目标检测、目标追踪、抛物检测以及能见度检测等,实时接收每个边缘处理器200传回的预处理数据,并将检测结果发送给边缘处理器200。

在一些实施例中,边缘处理器200获取对应的激光雷达100采集的目标车辆行程过程中高速公路场景的点云数据进行预处理,该预处理包括地面滤波、高斯噪声滤波等。其中,地面滤波就是在无序、不规则的三维离散点云中找到哪些是由地表返回的,哪些是由地物返回的。通过地面滤波去除背景点中的地面点云数据,防止计算目标车辆的3D边界框时产生误选。高斯噪声滤波是信号的滤波器,其用途是信号的平滑处理,消除高斯噪声。通过高斯滤波去除点云数据中的离群点集和异常点集,减小计算工作量,提升运算效率。

在一些实施例中,云端服务器300接收每个边缘处理器200传输的预处理后的高速公路场景的点云数据,对高速公路场景的所有点云数据进行处理,确定所有目标车辆的点云数据,生成每个目标车辆的3D边界框,以实现高速公路场景中目标车辆的检测。

具体地,云端服务器300对所有高速公路场景的点云数据进行处理,确定所有目标车辆的点云数据,生成每个目标车辆的3D边界框的具体实现方式如下:

获取每个边缘服务器200预处理后的高速公路场景的点云数据;

对获取的高速公路场景的所有点云数据进行聚类分割,将点云数据以密集程度或几何形状为基础划分出不同的点云点集;

提取不同的点云点集中目标车辆点云的特征,确定所有目标车辆的点云数据和非目标车辆的点云数据;

根据所有目标车辆的点云数据,生成高速公路场景中激光雷达视野范围内每个目标车辆的3D预选框;

计算每个目标车辆的3D预选框的中心点,规范调整每个目标车辆的3D预选框位置,获取每个目标车辆的规范化的中心点坐标,对每个目标车辆生成多个高置信度的车辆3D包围框;

根据交并比IoU的大小去掉低置信度的3D包围框与重叠框,生成唯一的目标车辆3D边界框。

本实施例针对高速公路场景,降低干扰项的车辆点云数据的置信度,只用于捕捉目标车辆的点云数据以生成目标车辆的3D包围框。

本实施例中,云端服务器300采用PoinNet++网络结构提取每个点云数据集中点云的特征。点云的特征包括点云的法向量方向、点云的几何特征、点云的局部特征以及全局特征。其中,点云的几何特征包括三维尺寸等;点云的局部特征为将点云某点以及其邻域看作一个椭球体,求取椭球的短轴最短轴方向等;点云的全局特征为将点云全景投影到某一平面上,计算投影方差以及协方差等。

本实施例中,交并比IoU为目标车辆的真实边界框与预测出的3D包围框的交集和并集的比值。云端服务器300根据交并比IoU的大小去掉低置信度的3D包围框与重叠框,生成唯一的车辆3D边界框。

云端服务器300还进一步用于:根据目标车辆的3D边界框进行目标追踪。

本实施例采用AB3DMOT网络框架以及卡尔曼滤波器算法进行目标追踪,经过深度学习网络训练后得到可用目标检测模型,将模型导入AB3DMOT中,将静态点云数据转换为动态点云数据并进行目标追踪。

具体的,云端服务器300根据目标车辆的3D边界框进行目标追踪的具体实现方式为:

捕捉目标车辆的3D边界框;

通过3D卡尔曼滤波器将上一帧的目标车辆的3D边界框预测至当前帧目标车辆的边界框;

匹配目标车辆的预测边界框与当前边界框并计算损失函数;

通过3D卡尔曼滤波器依据匹配结果更新目标车辆的边界框,并优化预测算法得到高置信度的追踪结果;

删除掉对已经丢失视野的目标车辆的预测轨迹与3D边界框,实时更新结果。

云端服务器300还进一步用于统计一段时间段内已丢失视野的车辆3D边界框的数量,得到该时间段内的车流量。

本实施例可通过统计任意时间段内已丢失视野的车辆3D边界框的数量,得到任意时间段内的车流量,完成任意时间段内的车流量监测工作。

本实施例中,云端服务器300对点云数据进行目标检测,得到高速公路场景中激光雷达视野范围内目标车辆的3D包围框后,基于所获取的3D包围框以及卡尔曼滤波器,可使云端服务器300行进中以帧为单位动态优化目标车辆的追踪结果,实现对目标车辆每一个新的3D边界框的实时生成,进而实现对目标车辆的跟踪,可以完成车流量监测、辅助驾驶、规避部分交通事故的工作。

在一些实施例中,云端服务器300还进一步用于:对高速公路场景的所有点云数据进行条件滤波,得到所有目标车辆前方区域的点云数据;根据所有目标车辆前方区域的点云数据,对高速公路场景中车窗抛物进行检测。

激光雷达100所采集的点云数据包括点云的三维坐标信息以及反射强度信息。云端服务器300基于点云的三维坐标信息,可以计算出目标点云相对于激光雷达100的几何距离,从而能够基于点云数据实现抛物检测。除相对几何距离信息外,抛物检测的有效距离以及目标检测物的有效大小还依赖于所用激光雷达100的角分辨率以及获取点云的帧率。对于目标检测物,忽略其水平运动轨迹,其竖直运动轨迹可近似看做自由落体运动,故在进行抛物检测时,先检测出前后帧出现的几何距离突变的异常点云集,求出异常点云集在竖直方向上的轨迹,将其在短时间内被检测到的轨迹与自由落体运动方程进行拟合,无误差或误差较小可判定为车窗抛物。

具体地,云端服务器300根据所有目标车辆前方区域的点云数据,对高速公路场景中车窗抛物进行检测的具体实现方式如下:

对所有目标车辆前方区域的点云数据进行聚类分割,得到多个不同的点云点集;

提取多个不同的点云点集中目标检测物的几何特征,得到所有目标检测物的点云数据;

获取所有目标检测物的点云数据中点云的三维坐标数据,求取所有目标检测物点云的质心坐标;

基于每个目标检测物的质心坐标,计算每个目标检测物相对于对应的目标车辆之间的距离;

检测出设定时间段内出现的距离突变的目标检测物,计算目标检测物在竖直方向上的运动轨迹;

构建自由落体运动轨迹方程;

将在设定时间段内被检测到距离突变的目标检测物的轨迹与自由落体运动轨迹方程进行拟合,将无误差或误差较小的目标检测物判定为车窗抛物。

本实施例中,云端服务器300根据激光雷达100所获取的高速公路场景的所有点云数据,通过点云的条件滤波得到所有目标车辆前方区域的点云数据,然后对所有目标车辆前方区域的点云数据进行聚类分割,通过分割出的点云集的几何特征得到抛物的点云数据,即几何尺度最小的点云集。

本实施例中,自由落体运动轨迹方程的构建方法为:

以激光雷达为原点建立三维直角坐标系,设垂直于地面方向为z轴,激光雷达朝向的方向为y轴,与激光雷达在同一水平面,垂直于激光雷达朝向的方向为x轴,时间为t,忽略抛物在x轴与y轴方向上的运动,只考虑竖直方向上的坐标变换,则设抛物的质心坐标为(x,y,z

本实施例中,云端服务器300将在设定时间段内被检测到距离突变的目标检测物的轨迹与自由落体运动方程进行拟合,计算目标检测物的运动轨迹点和自由落体点的方差与协方差,当目标检测物的方差与协方差在一定阈值范围内时,表明目标检测物无误差或误差较小,可将该目标检测物判定为车窗抛物。

本实施例中,激光雷达100的帧率为一秒7帧,角分辨率为0.12°,可以检测50m处的易拉罐大小抛物,而50m正是高速公路场景中安全驾驶的极限距离。云端服务器300除了能够进行抛物检测外,还能够进行障碍物检测。

在一些实施例中,云端服务器300还进一步用于:根据所有目标车辆前方区域的点云数据,对高速公路场景中路面障碍物进行检测。

当路面存在固定障碍物时,如路障、坑洞等,云端服务器300根据所有目标车辆前方区域的点云数据,对高速公路场景中路面障碍物进行检测。

基于点云数据中点云的三维坐标数据,地面点云的竖直方向坐标应在一个大致区间内波动,当出现纵坐标明显低于或高于地面点云坐标的点云点集时,将其标为异常点集,当该异常点集随着车辆运行不断变近时,判定其为路面障碍物,对其进行规避。

具体地,云端服务器300根据所有目标车辆前方区域的点云数据,对高速公路场景中路面障碍物进行检测的具体实现方式如下:

对所有目标车辆前方区域的点云数据进行聚类分割,得到多个不同的点云点集;

提取多个不同的点云点集中所有目标检测物的几何特征,得到所有目标检测物的点云数据;

基于所有目标检测物的点云数据中点云的三维坐标数据,求取所有目标检测物点云的质心坐标;

基于每个目标检测物的质心坐标,计算出每个目标检测物相对于对应的目标车辆之间的距离;

预设危险距离阈值,检测位于危险距离阈值范围内的目标检测物,将该目标检测物判定为路面障碍物,对其进行规避。

本实施例预设一个危险距离,当在危险距离内检测到一定规模的目标检测物点云集,即z方向坐标异于路面坐标的点云集,且目标检测物点云集与目标车辆点云不同,当其距离不断接近目标车辆时,判定其为路面异物,并对其进行规避。

在一些实施例中,云端服务器300还进一步用于:根据所有目标车辆前方区域的点云数据,对高速公路场景中自然坠物进行检测。如高速公路隧道口的落石,对高速公路隧道口的落石的检测过程由坠落过程以及落地后直至静止的过程两部分组成,可将落石看作自由落体运动,由于落石较大,故检测距离也更远,同样计算出其运动轨迹,并将轨迹与雷达检测数据进行拟合,置信度高即可判断为落石。在落石静止后,再用上述路面障碍检测算法进行进一步检测以及规避。

具体地,云端服务器300根据所有目标车辆前方区域的点云数据,对高速公路场景中自然坠物进行检测的具体实现方式如下:

对所有目标车辆前方区域的点云数据进行聚类分割,得到多个不同的点云点集;

提取多个不同的点云点集中目标检测物的几何特征,得到所有目标检测物的点云数据;

基于所有目标检测物的点云数据中点云的三维坐标数据,求取所有目标检测物点云的质心坐标;

基于每个目标检测物的三维坐标信息,计算出每个目标检测物相对于对应的目标车辆之间的距离;

检测出设定时间段内出现的距离突变的目标检测物,计算目标检测物在竖直方向上的运动轨迹;

将目标检测物的运动轨迹与激光雷达实际的检测数据进行拟合,置信度高即可判断为落石。

激光雷达检测的数据即为所获取的自然坠物的真实三维坐标,目标检测物的运动轨迹为计算出的自由落体轨迹,通过上述自由落体轨迹方程进行拟合,判断计算出的z

在一些实施例中,云端服务器300进一步用于根据所有目标车辆的点云数据,计算所有目标车辆的速度。

具体地,云端服务器300根据所有目标车辆的点云数据,计算所有目标车辆的速度的具体实现方式如下:

以激光雷达所在位置为原点建立坐标系,根据目标车辆的点云数据中点云的三维坐标数据计算出目标车辆的中心点坐标,并通过计算前后两帧目标车辆中心点的位移距离,结合激光雷达帧率,计算出目标车辆在直线行进时的速度。

设每帧时间为t,前一帧目标车辆的中心点坐标为(x1,y1,z1),后一帧目标车辆的中心点坐标为(x2,y2,z2),目标车辆在两帧间的平均速度为u,则计算公式为:

同时,当目标车辆运动存在转向时,可将其运动轨迹近似看作一个圆形,通过对连续三帧的目标车辆中心点坐标连线,拟合出其运动轨迹的圆心坐标,结合其平动速度计算出目标车辆在转向时的角速度。

本实施例中,云端服务器300对高速公路场景的所有点云数据进行处理,实现对高速公路场景中车窗抛物检测、路面障碍物检测、自然坠物检测及车辆测速。

能见度是指视力正常的人能将目标物体从背景中识别出来的最大距离。即白天以靠近地平线的天空为背景,能清楚看出视角大于20度的地面灰暗目标物的轮廓并辨认出它是什么物体,夜间能清楚看见目标灯的发光点。能见度的大小,主要由两个因素决定:①目标物体与衬托它的背景之间的亮度差异,差异愈大(小),能见距离愈大(小),但这种亮度差异通常变化不大;②大气透明度。

本实施例利用激光雷达100扫描目标物体得到的点云数据携带的反射强度信息(Intensity)进行能见度计算。

目前能见度测量主要是透射式和前向散射式,都是在假定安装地点周围的气象环境均匀的前提下,“以点带面”的以单点测量值代表大范围区域的能见度。这两种测量方法都有局限性,仅能获取固定水平方向的能见度,对影响航行安全的天气现象无法做出准确、及时的判断和反馈。

在一些实施例中,云端服务器300进一步用于根据所有目标车辆及交通信息指示牌的点云数据,对高速公路场景进行能见度检测。

激光雷达100采集的反射强度值可以看作激光雷达所接收的目标车辆的回波光功率经过一定信号处理后得到的离散整数值。本实施例中,根据激光雷达所接收的反射强度值以及激光雷达的系统参数通过推导得到天气能见度的方法所需的各种参数以及各项影响因子。根据其回波方程推导得出回波强度计算公式,再进一步根据所得反射强度数据对回波强度计算公式进行数据拟合,并求出所需的参数,即大气衰减系数。

激光雷达的回波强度主要可以通过激光雷达方程来进行表征。根据激光雷达方程,激光雷达的回波光功率由激光器发射功率,发射光学系统参数,大气激光传输特性,接收光学系统参数以及目标反射特性共同决定。

其中,激光雷达方程为:

其中,P

三维扫描激光雷达的反射强度值可以看作激光雷达将接收的目标回波光功率,经过光电信号转换和放大,以及后续的修正处理及数字量化等一系列综合过程后返回给使用者的一个与接收光功率相关的强度值。这个强度值通常为一个离散整数值,类似于图像中的灰度像素值。本实施例用一个函数h来表征雷达后续的信号处理过程,记激光雷达的强度返回值为I,目标反射回波强度为Pr。

其中,激光雷达的回波强度的表达式为:

I=h(p) (3)

不同型号的激光雷达可能有不同的计算方式,故需要通过数据建模的方法建立其回波强度计算公式。具体建模思路即首先根据相关理论分析影响回波光功率或回波强度数值大小的现实因素,以控制变量的方法的实验方法对所有影响因素逐一分析,最终通过数据拟合来建立回波强度计算公式,并以拟合数据的相关系数表征模型的可靠性。最终确立的回波强度计算公式如下所示:

I=h(p)=Aexp(-2αs)cosθ (4)

其中,系数A包含着式(2)中的所有常数项,s即距离,α为所求大气衰减系数。

具体地,云端服务器300根据所有目标车辆及交通信息指示牌的点云数据,对高速公路场景进行能见度检测的具体实现方式如下:

获取预处理后的整个高速公路场景中所有目标物体的点云数据,并提取所有目标物体的点云的反射强度数据,记录不同位置处目标物体的反射强度数据;该目标物体包括目标车辆和交通信息指示牌;

对每个目标物体的所有反射强度数据进行预处理;

对预处理后的每个目标物体的所有反射强度数据进行角度归一化修正;

构建回波强度计算公式,该回波强度计算公式如公式(3);

根据修正后的每个目标物体的所有反射强度数据和回波强度计算公式,计算所有目标物体对应的大气衰减系数α;

求取所有目标物体对应的大气衰减系数α的平均值,得到高速公路场景的大气衰减系数;

根据高速公路场景的大气衰减系数,计算不同天气状况下高速公路场景的大气能见度信息。

本实施例中,云端服务器300对每个目标车辆的所有反射强度数据进行预处理,包括中值滤波与SOR空间滤波,从而降低测量误差。

本实施例中,对每个目标车辆的所有反射强度数据进行角度归一化修正,即将反射强度数据修正为0°入射角的强度信息,从而将回波强度归一化映射到同一参考系下,以此来消除其他变量对数据拟合的影响。

同一高速公路场景下可记录多组移动的目标车辆的点云的反射强度数据,多目标车辆则可产生多组大气衰减系数α,多目标车里使得更多的点云的反射强度数据融入计算并且多组大气衰减系数α取平均可以保证得到更加精准的大气衰减系数。

本实施例中,云端服务器300根据高速公路场景的大气衰减系数,计算不同天气状况下高速公路场景的大气能见度信息的方法为:

V=3·912/α(5)

其中,α为大气衰减系数;V为大气能见度信息。

上述的高速公路场景事件监测系统能够实现对高速公路场景中目标车辆检测与跟踪、车窗抛物检测、车辆测速以及能见度检测。

图2是本发明另一实施例提供的高速公路场景事件监测方法的流程图。下面结合附图对本实施例提供的高速公路场景事件监测系统进行详细说明。

请参阅图2,该高速公路场景事件监测方法包括以下步骤:

S100,激光雷达100采集高速公路场景的点云数据。

该激光雷达100搭载于高速公路场景中一目标车辆上,以采集该目标车辆行驶区域的高速公路场景的点云数据。

S200,边缘处理器200接收激光雷达采集的高速公路场景的点云数据,对高速公路场景的点云数据进行预处理及格式转换,将预处理及格式转换后的点云数据传输给云端服务器300。

本实施例中,由于高速公路场景中存在多个目标车辆,每个目标车辆上均搭载有激光雷达100。边缘处理器200与一对应的激光雷达100耦接,以接收该激光雷达100采集的点云数据并进行预处理。

S300,云端服务器300接收边缘处理器200传输的预处理后的高速公路场景的点云数据,对高速公路场景的所有点云数据进行处理,包括目标检测及追踪、抛物检测及可见度检测,并将检测结果反馈给相应的边缘处理器200;

S400,边缘处理器200接收云端服务器300反馈的检测结果,并对检测结果进行可视化处理,并将可视化处理结果传输给对应的显示模块400进行显示。

本实施例中,云端服务器300与至少一边缘处理器200耦接,以接收边缘处理器200预处理后的点云数据,并对点云数据进行处理,从而实现对高速公路场景中目标车辆检测及追踪、车窗抛物检测及可见度检测。

在一些实施例中,边缘处理器200获取对应的激光雷达100采集的目标车辆行程过程中高速公路场景的点云数据进行预处理,该预处理包括地面滤波、高斯噪声滤波等,以去除离群点、异常点等冗余点云信息,提高目标检测的准确率。

在一些实施例中,步骤S300中,云端服务器300对高速公路场景的所有点云数据进行处理包括:

S310,云端服务器300接收边缘处理器200传输的预处理后的高速公路场景的点云数据,对高速公路场景的所有点云数据进行处理,确定所有目标车辆的点云数据,生成每个目标车辆的3D边界框,以实现高速公路场景中目标车辆的检测。

图3是本发明另一实施例提供的目标检测的流程图。请参阅图3,云端服务器300对所有高速公路场景的点云数据进行处理,确定所有目标车辆的点云数据,生成每个目标车辆的3D边界框的具体实现方式如下:

S311,获取边缘服务器200预处理后的高速公路场景的点云数据;

S312,对获取的高速公路场景的所有点云数据进行聚类分割,将点云数据以密集程度或几何形状为基础划分出不同的点云点集;

S313,提取不同的点云点集中目标车辆点云的特征,确定所有目标车辆的点云数据和非目标车辆的点云数据;

S314,根据所有目标车辆的点云数据,生成高速公路场景中激光雷达视野范围内每个目标车辆的3D预选框;

S315,计算每个目标车辆的3D预选框的中心点,规范调整每个目标车辆的3D预选框位置,获取规范化的中心点坐标,对每个目标车辆生成多个高置信度的车辆3D包围框;

S316,根据交并比IoU的大小去掉低置信度的3D包围框与重叠框,生成唯一的目标车辆3D边界框。

本实施例针对高速公路场景,降低干扰项的车辆点云数据的置信度,只用于捕捉目标车辆的点云数据以生成目标车辆的3D包围框。

在一些实施例中,该方法还包括:

S317,根据目标车辆的3D边界框进行目标追踪。

本实施例采用AB3DMOT网络框架以及卡尔曼滤波器算法进行目标追踪,经过深度学习网络训练后得到可用目标检测模型,将模型导入AB3DMOT中,将静态点云数据转换为动态点云数据并进行目标追踪。

具体的,云端服务器300根据目标车辆的3D边界框进行目标追踪的具体实现方式为:

(1)捕捉目标车辆的3D边界框;

(2)通过3D卡尔曼滤波器将上一帧的状态预测至当前帧;

(3)匹配预测边界框与当前边界框并计算损失函数;

(4)通过3D卡尔曼滤波器依据匹配结果更新目标车辆的边界框,并优化预测算法得到高置信度的追踪结果;

(5)删除掉对已经丢失视野的目标车辆的预测轨迹与3D边界框,实时更新结果。

在一些实施例中,该方法还包括:

S318,云端服务器300统计一段时间段内已丢失视野的车辆3D边界框的数量,得到该时间段内的车流量。

本实施例可通过统计任意时间段内已丢失视野的车辆3D边界框的数量,得到任意时间段内的车流量,完成任意时间段内的车流量监测工作。

本实施例中,云端服务器300对点云数据进行目标检测,得到高速公路场景中激光雷达视野范围内目标车辆的3D包围框后,基于所获取的3D包围框以及卡尔曼滤波器,可使云端服务器300行进中以帧为单位动态优化目标车辆的追踪结果,实现对目标车辆每一个新的3D边界框的实时生成,进而实现对目标车辆的跟踪,可以完成车流量监测、辅助驾驶、规避部分交通事故的工作。

在一些实施例中,步骤S300中,云端服务器300对高速公路场景的所有点云数据进行处理还包括:

S320,云端服务器300对高速公路场景的所有点云数据进行条件滤波,得到所有目标车辆前方区域的点云数据;根据所有目标车辆前方区域的点云数据,对高速公路场景中车窗抛物进行检测。

图4是本发明另一实施例提供的车窗抛物检测的流程图。请参阅图4,云端服务器300根据所有目标车辆前方区域的点云数据,对高速公路场景中车窗抛物进行检测的具体实现方式如下:

S321,对所有目标车辆前方区域的点云数据进行聚类分割,得到多个不同的点云点集;

S322,提取多个不同的点云点集中目标检测物的几何特征,得到所有目标检测物的点云数据;

S323,获取所有目标检测物的点云数据中点云的三维坐标数据,求取所有目标检测物点云的质心坐标;

S324,基于每个目标检测物的质心坐标,计算每个目标检测物相对于对应的目标车辆之间的距离;

S325,检测出设定时间段内出现的距离突变的目标检测物,计算目标检测物在竖直方向上的运动轨迹;

S326,构建自由落体运动轨迹方程;

S327,将在设定时间段内被检测到距离突变的目标检测物的轨迹与自由落体运动轨迹方程进行拟合,将无误差或误差较小的目标检测物判定为车窗抛物。

本实施例中,云端服务器300将在设定时间段内被检测到距离突变的目标检测物的轨迹与自由落体运动方程进行拟合,计算目标检测物的运动轨迹点和自由落体点的方差与协方差,当目标检测物的方差与协方差在一定阈值范围内时,表明目标检测物无误差或误差较小,可将该目标检测物判定为车窗抛物。

在一些实施例中,步骤S300中,云端服务器300对高速公路场景的所有点云数据进行处理还包括:

S330,云端服务器300根据所有目标车辆前方区域的点云数据,对高速公路场景中路面障碍物进行检测。

基于点云数据中点云的三维坐标数据,地面点云的竖直方向坐标应在一个大致区间内波动,当出现纵坐标明显低于或高于地面点云坐标的点云点集时,将其标为异常点集,当该异常点集随着车辆运行不断变近时,判定其为路面障碍物,对其进行规避。

具体地,云端服务器300根据所有目标车辆前方区域的点云数据,对高速公路场景中路面障碍物进行检测的具体实现方式如下:

S331,对所有目标车辆前方区域的点云数据进行聚类分割,得到多个不同的点云点集;

S332,提取多个不同的点云点集中所有目标检测物的几何特征,得到所有目标检测物的点云数据;

S333,基于所有目标检测物的点云数据中点云的三维坐标数据,求取所有目标检测物点云的质心坐标;

S334,基于每个目标检测物的质心坐标,计算出每个目标检测物相对于对应的目标车辆之间的距离;

S335,预设危险距离阈值,检测位于危险距离阈值范围内的目标检测物,将该目标检测物判定为路面障碍物,对其进行规避。

本实施例预设一个危险距离,当在危险距离内检测到一定规模的目标检测物点云集,即z方向坐标异于路面坐标的点云集,且目标检测物点云集与目标车辆点云不同,当其距离不断接近目标车辆时,判定其为路面异物,并对其进行规避。

在一些实施例中,步骤S300中,云端服务器300对高速公路场景的所有点云数据进行处理还包括:

S340,云端服务器300根据所有目标车辆前方区域的点云数据,对高速公路场景中自然坠物进行检测。

具体地,云端服务器300根据所有目标车辆前方区域的点云数据,对高速公路场景中自然坠物进行检测的具体实现方式如下:

S341,对所有目标车辆前方区域的点云数据进行聚类分割,得到多个不同的点云点集;

S342,提取多个不同的点云点集中目标检测物的几何特征,得到所有目标检测物的点云数据;

S343,基于所有目标检测物的点云数据中点云的三维坐标数据,求取所有目标检测物点云的质心坐标;

S344,基于每个目标检测物的三维坐标信息,计算出每个目标检测物相对于对应的目标车辆之间的距离;

S345,检测出设定时间段内出现的距离突变的目标检测物,计算目标检测物在竖直方向上的运动轨迹;

S346,将目标检测物轨迹与激光雷达检测数据进行拟合,置信度高即可判断为落石。

在一些实施例中,步骤S300中,云端服务器300对高速公路场景的所有点云数据进行处理还包括:

S350,云端服务器300根据所有目标车辆的点云数据,计算所有目标车辆的速度。

具体地,云端服务器300根据所有目标车辆的点云数据,计算所有目标车辆的速度的具体实现方式如下:

以激光雷达所在位置为原点建立坐标系,根据目标车辆的点云数据中点云的三维坐标数据计算出目标车辆的中心点坐标,并通过计算前后两帧目标车辆中心点的位移距离,结合激光雷达帧率,计算出目标车辆在直线行进时的速度。

同时,当目标车辆运动存在转向时,可将其运动轨迹近似看作一个圆形,通过对连续三帧的目标车辆中心点坐标连线,拟合出其运动轨迹的圆心坐标,结合其平动速度计算出目标车辆在转向时的角速度。

云端服务器300对高速公路场景的所有点云数据进行处理,实现对高速公路场景中车窗抛物检测、路面障碍物检测、自然坠物检测及车辆测速。

在一些实施例中,步骤S300中,云端服务器300对高速公路场景的所有点云数据进行处理还包括:

S360,云端服务器300进一步用于根据所有目标车辆的点云数据,对高速公路场景进行能见度检测。

图5是本发明一实施例提供的能见度检测的流程图。请参阅图5,云端服务器300根据所有目标车辆的点云数据,对高速公路场景进行能见度检测的具体实现方式如下:

S361,获取预处理后的整个高速公路场景中所有目标物体的点云数据,并提取所有目标物体的点云的反射强度数据,记录不同位置处目标物体的反射强度数据;该目标物体包括目标车辆和交通信息指示牌;

S362,对每个目标物体的所有反射强度数据进行预处理;

S363,对预处理后的每个目标物体的所有反射强度数据进行角度归一化修正;

S364,构建回波强度计算公式,该回波强度计算公式如下:

I=h(p)=Aexp(-2αs)cosθ;

S365,根据修正后的每个目标物体的所有反射强度数据和回波强度计算公式,计算所有目标物体对应的大气衰减系数α;

S366,求取所有目标物体对应的大气衰减系数α的平均值,得到高速公路场景的大气衰减系数;

S367,根据高速公路场景的大气衰减系数,计算不同天气状况下高速公路场景的大气能见度信息。

同一高速公路场景下可记录多组移动的目标车辆的点云的反射强度数据,多目标车辆则可产生多组大气衰减系数α,多目标车里使得更多的点云的反射强度数据融入计算并且多组大气衰减系数α取平均可以保证得到更加精准的大气衰减系数。

本实施例中,云端服务器300根据高速公路场景的大气衰减系数,计算不同天气状况下高速公路场景的大气能见度信息的方法为:

V=3·912/α(5)

其中,α为大气衰减系数;V为大气能见度信息。

上述的高速公路场景事件监测方法能够实现对高速公路场景中目标车辆检测与跟踪、车窗抛物检测、车辆测速以及能见度检测。

综上所述,上述的高速公路场景事件监测系统及方法采用面阵式激光雷达采集高速公路场景的三维点云数据,在基础三维点云数据的基础上加入天气能见度检测以及滤波处理,能够准确地提取出目标车辆的轮廓信息,有效地防止雨雾等视觉干扰;此外利用深度学习目标检测的方法对车辆进行检测与跟踪,能够精确提取出汽车的特征信息,要比传统的目标跟踪方法精度高;同时加入了抛物检测的算法,使其在交通场景可以检测到一些危险的车辆抛物并进行规避,并可进一步预测诸如山体滑坡、落石等突发事件。

上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

相关技术
  • 一种高速公路弯道安全监测预警方法、系统及介质
  • 一种基于地基和空基协同感知的高速公路事故监测方法及系统
  • 一种高速公路异常事件场景库构建方法
  • 一种高速公路异常事件场景库构建方法
技术分类

06120115632293