一种基于车、路、无人机信息融合的超视距感知系统

技术领域

本发明涉及一种基于车、路、无人机信息融合的超视距感知系统，属于智能网联汽车感知领域。

背景技术

汽车智能化的重要发展方向是自动驾驶，近年来，自动驾驶汽车技术迅猛发展，己经有不同自动化等级的自动驾驶汽车上路。自动驾驶的运作流程可以分为感知、认知、决策、控制、执行五部分，其关键技术设计驾驶环境感知、车联网和人工智能。在自动驾驶汽车中，定位、视觉、雷达等传感器协作融合，能够将图像、激光点云等收集到的环境数据，通过算法的提取、处理和融合，形成完整的汽车周边驾驶态势图，为驾驶行为决策提供依据。每种类型的感知技术都有自己的优势和弊端，他们互相进行充分的信息融合，最终形成全面可靠的感知数据决策与控制系统使用。在智能网联汽车领域，环境感知系统是智能网联汽车的关键系统之一，环境感知的视场覆盖范围以及准确性直接关系到自动驾驶的安全性。而目前智能网联汽车主要依靠车辆装载的摄像头、激光雷达、毫米波雷达等传感器进行感知，这种仅依靠单车感知的手段无法适用于路口、障碍物遮挡等存在单车感知盲区的场景，因此极易引发交通事故，并且由于实现无人驾驶的传感器价格较高，使得无人驾驶汽车整车成本偏高，阻碍其发展。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于车、路、无人机信息融合的超视距感知系统，基于LTE-V、5G等先进车联网技术，充分利用车端传感信息、路端传感信息以及无人机视觉优势，通过目标级的感知融合技术，来提高目标的检测视场范围及检测精度，克服了仅依靠单车感知手段在路口、障碍物遮挡等存在单车感知盲区而导致感知失效的缺陷。至少解决相关技术中车辆得到的感知信息不全面以及整车成本的问题。

本发明的目的可以通过以下技术方案来实现：

一种基于车、路、无人机信息融合的超视距感知系统，主要包括：

车端感知子系统：用于获取车辆周边环境结构化特征信息并将其通过以太网传输至协同感知子系统，包括车端传感模块)和车端数据处理模块；

路端感知子系统：用于获取路端周边环境结构化特征信息并将其通过通讯子系统传输至协同感知子系统，包括路端传感模块、路端数据处理模块、无人机充电模块；

无人机感知子系统：在两个路端之间进行长时间短距离飞行，并在飞行过程中实时进行环境感知，获取道路上方信息和路段盲区的结构化特征信息并将其通过通讯子系统传输至协同感知子系统，包括无人机视觉模块、无人机数据处理模块自动充电模块；

通讯子系统：包括车端通讯模块、路端通讯模块和无人机通讯模块，所述车端通讯模块通过以太网与协同感知子系统通信连接，所述路端通讯模块通过以太网与路端感知子系统通讯连接，所述无人机通讯模块通过以太网与无人机感知子系统通讯连接；所述车端通讯模块、路端通讯模块与无人机通讯模块之间通过无线通信方式连接；

协同感知子系统：所述协同感知子系统利用深度学习和粒子滤波算法，经过坐标转换后，将车辆周边环境结构化特征信息和路端周边以及无人机视觉范围环境结构化特征信息进行融合，得到超视距融合感知。

进一步的，所述车载子系统包括包括车端传感模块和车端数据处理模块。所述车载传感模块用于对车辆行驶周围环境相关信息进行检测并将检测后结果实时传输到车载数据处理模块,所述车载数据处理模块用于对采集到的行驶环境相关信息输入到预先训练的深度学习神经网络，利用车辆周边环境图像数据和车辆周边环境点云数据，得到车辆周边环境结构化特征信息，并将处理后的数据发送到协同感知子系统。

进一步的，所述路端感知系统包括路端传感模块、路端数据处理模块、无人机充电模块。所述路端传感模块主要包括包括路端摄像头和路端激光雷达，路端传感模块的安装位置为路口红绿灯上，所述路端摄像头用于采集路端周边环境图像数据并将其传输至路端数据处理模块，所述路端激光雷达用于采集路端周边环境点云数据并将其传输至路端数据处理模块。无人机充电模块对无人机电量进行实时检测，并有自动回收装置，当电量小于预定工作电量时，对无人机感知子系统发出指令进行回收并充电。

更进一步的，所述路端数据处理模块将路端摄像头和路端激光雷达检测到的目标物位置信息和速度信息转换到同一坐标系中，并对转换后的信息进行预处理，运用深度学习和粒子滤波算法进行信息融合，对动态目标进行实时识别和跟踪并对车辆进行定位，并将处理后的数据发送到协同感知子系统。

进一步的，所述无人机感知子系统包括无人机视觉模块、无人机数据处理模块自动充电模块。无人机视觉模块包括摄像头、星光级图像传感器、红外传感器、超声波雷达、小型毫米波雷达微波雷达和UWB定位设备，所述摄像头用于采集和识别道路上目标物,对道路上的行人、车辆、障碍物、交通灯、交通标识等目标进行识别，获取目标的种类、形状、位置等信息。所述星光级图像传感器、红外传感器增强暗光下的感知能力，所述超声波雷达、小型毫米波雷达微波雷达用于采集目标物的位置与速度信息并提升雨雾雪或灰尘存在下的场景感知能力。所述UWB定位设备用于辅助定位目标物的位置,所述摄像头、星光级图像传感器、红外传感器、超声波雷达、小型毫米波雷达微波雷达和UWB定位设备采集的数据均发送至所述视觉数据处理模块。自动充电模块实现无人机与路侧装置联系，满足自动回收功能和自主回归充电功能。

更进一步的，所述无人机数据处理模块运用深度学习对接收的多源异构信息进行融合,将车辆周围环境信息与远端道路信息进行匹配，使得车辆在实现对周围环境的精细感知的同时，对视野外目标进行感知，获得当前道路交通状况，并将处理后的数据发送到协同感知子系统。

进一步的，所述通讯子系统，包括车端通讯模块、路端通讯模块和无人机通讯模块之间的无线通讯方式包括5G、LTE-V和DSRC通信。

进一步的，所述协同感知子系统将车载传感模块、路端数据处理模块以及无人机数据处理模块数据进行融合，其中目标包括行人、车牌、车辆、道路、交通标志和其他障碍物；目标的特征信息基于UTM坐标系，包括目标ID、时间戳、目标类型、X坐标、Y坐标、目标航向角、长度、宽度、高度、平面X轴速度、平面Y轴速度、平面X轴加速度、平面Y轴加速度、目标跟踪状态和目标运动状态。将坐标系进行统一标定，并使用深度学习和粒子滤波算法对接收的多源异构信息进行融合,将车辆周围环境信息与远端道路信息进行匹配，使得车辆在实现对周围环境的精细感知的同时，对视野外目标进行感知，获得前方道路交通状况，获取天气状况、前方路面状况等信息，从而智能网联汽车实现在更高视角和更广范围上超视距感知。

附图说明

图1为本发明提供的一种基于车、路、无人机信息融合的超视距感知系统的结构架构示意图；

图2为本发明实施例中车端感知子系统的结构架构示意图；

图3为本发明实施例中无人机子系统的结构架构示意图；

图4为本发明实施例中一种基于车、路、无人机信息融合的超视距感知系统的数据处理流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1：

如图1-4所示，一种基于车、路、无人机信息融合的超视距感知系统，主要包括：车端感知子系统、路端感知子系统、无人机感知子系统通讯子系统和协同感知子系统，其中：

车端感知子系统，用于获取车辆周边环境结构化特征信息并将其通过以太网传输至协同感知子系统，包括车端传感模块和车端数据处理模块；

路端感知子系统，用于获取路端周边环境结构化特征信息并将其通过通讯子系统传输至协同感知子系统，包括路端传感模块、路端数据处理模块、无人机充电模块；

无人机感知子系统，在两个路端之间进行长时间短距离飞行，并在飞行过程中实时进行环境感知，获取道路上方信息和路段盲区的结构化特征信息并将其通过通讯子系统传输至协同感知子系统，包括无人机视觉模块、无人机数据处理模块自动充电模块；

通讯子系统，包括车端通讯模块、路端通讯模块和无人机通讯模块，所述车端通讯模块通过以太网与协同感知子系统通信连接，所述路端通讯模块通过以太网与路端感知子系统通讯连接，所述无人机通讯模块通过以太网与无人机感知子系统通讯连接；所述车端通讯模块、路端通讯模块与无人机通讯模块之间通过无线通信方式连接；

协同感知子系统，所述协同感知子系统利用深度学习和粒子滤波算法，经过坐标转换后，将车辆周边环境结构化特征信息和路端周边以及无人机视觉范围环境结构化特征信息进行融合，得到超视距融合感知。

在本实施例中，所述车载子系统包括包括车端传感模块和车端数据处理模块。所述车载传感模块用于对车辆行驶周围环境相关信息进行检测并将检测后结果实时传输到车载数据处理模块,所述车载数据处理模块用于对采集到的行驶环境相关信息输入到预先训练的深度学习神经网络，利用车辆周边环境图像数据和车辆周边环境点云数据，得到车辆周边环境结构化特征信息，并将处理后的数据发送到协同感知子系统。

在本实施例中，所述路端感知系统包括路端传感模块、路端数据处理模块、无人机充电模块。所述路端传感模块主要包括包括路端摄像头和路端激光雷达，路端传感模块的安装位置为路口红绿灯上，所述路端摄像头用于采集路端周边环境图像数据并将其传输至路端数据处理模块，所述路端激光雷达用于采集路端周边环境点云数据并将其传输至路端数据处理模块。无人机充电模块对无人机电量进行实时检测，并有自动回收装置，当电量小于预定工作电量时，对无人机感知子系统发出指令进行回收并充电。

在本实施例中，所述路端数据处理模块将路端摄像头和路端激光雷达检测到的目标物位置信息和速度信息转换到同一坐标系中，并对转换后的信息进行预处理，运用深度学习和粒子滤波算法进行信息融合，对动态目标进行实时识别和跟踪并对车辆进行定位，并将处理后的数据发送到协同感知子系统。

在本实施例中，所述无人机感知子系统包括无人机视觉模块、无人机数据处理模块自动充电模块。无人机视觉模块包括摄像头、星光级图像传感器、红外传感器、超声波雷达、小型毫米波雷达微波雷达和UWB定位设备，所述摄像头用于采集和识别道路上目标物,对道路上的行人、车辆、障碍物、交通灯、交通标识等目标进行识别，获取目标的种类、形状、位置等信息。所述星光级图像传感器、红外传感器增强暗光下的感知能力，所述超声波雷达、小型毫米波雷达微波雷达用于采集目标物的位置与速度信息并提升雨雾雪或灰尘存在下的场景感知能力。所述UWB定位设备用于辅助定位目标物的位置,所述摄像头、星光级图像传感器、红外传感器、超声波雷达、小型毫米波雷达微波雷达和UWB定位设备采集的数据均发送至所述视觉数据处理模块。自动充电模块实现无人机与路侧装置联系，满足自动回收功能和自主回归充电功能。

在本实施例中，所述无人机数据处理模块运用深度学习对接收的多源异构信息进行融合,将车辆周围环境信息与远端道路信息进行匹配，使得车辆在实现对周围环境的精细感知的同时，对视野外目标进行感知，获得当前道路交通状况，并将处理后的数据发送到协同感知子系统。

在本实施例中，所述通讯子系统，包括车端通讯模块、路端通讯模块和无人机通讯模块之间的无线通讯方式包括5G、LTE-V和DSRC通信。

在本实施例中，所述协同感知子系统将车载传感模块、路端数据处理模块以及无人机数据处理模块数据进行融合，其中目标包括行人、车牌、车辆、道路、交通标志和其他障碍物；目标的特征信息基于UTM坐标系，包括目标ID、时间戳、目标类型、X坐标、Y坐标、目标航向角、长度、宽度、高度、平面X轴速度、平面Y轴速度、平面X轴加速度、平面Y轴加速度、目标跟踪状态和目标运动状态。将坐标系进行统一标定，并使用深度学习和粒子滤波算法对接收的多源异构信息进行融合,将车辆周围环境信息与远端道路信息进行匹配，使得车辆在实现对周围环境的精细感知的同时，对视野外目标进行感知，获得前方道路交通状况，获取天气状况、前方路面状况等信息，从而智能网联汽车实现在更高视角和更广范围上超视距感知。