导航：首页> 织物等的处理；洗涤；其他类不包括的柔性材料>一种基于车路协同的视野盲区行人检测算法

一种基于车路协同的视野盲区行人检测算法

文献发布时间：2024-04-18 19:52:40

技术领域

本发明涉及是车辆视野盲区的行人检测技术领域，更具体地，涉及一种基于车路协同的视野盲区行人检测算法。

背景技术

当前车辆在自动驾驶与辅助驾驶领域里存在着感知域受限、存在视野盲区和长距离物体识别受限等问题，而利用车路协同技术，将多源异构的原始传感器数据在数据层和决策层进行融合，增强车辆对盲区行人的预先感知与检测能力，可以大大提升交通的安全性。

有一种用于车辆的行人位姿解算方法，包括：多辆能够联网的车辆利用其环视相机，对视野范围内行人进行实时感知，获得单车视野的行人三维点云；根据车载系统的行驶速度回报值，过滤无效车辆，形成可共享有效数据的局域车联网；基于局域车联网，进行多车视野的行人三维点云的合成与拼接，得到全局三维点云；利用点云中各点之间的位置关系，得到全局行人三维位姿；将全局行人三维位姿共享至局域车联网内的所有车辆；基于单车安全范围，对全局行人三维位姿进行分析，获得单车安全范围内的行人预警信息。利用本发明，可以在停车场、交叉路口等场景中，扩展车辆的感知范围，同时使不具备感知能力的车辆感知到安全范围内的行人信息。

但上述方案只通过环视单目相机获取图像，再根据关键点估计得到单车视野的三维点云，该方法估计的三维点云误差难以保证，且在协同坐标系统一的，只是使用RANSAC算法求解转换矩阵并进行拼接，对算力要求高，需要的计算时间长，难以实现实时点云配准和转换。同时，上述方案协同感知仅通过车辆之间实现，没有使用路侧结点。并且协同的对象是周围的静止车辆，该方法适用场景局限，如周围无静止车辆，或者静止车辆并未启动，也就无法进行感知和通信。且对行人的检测只是基于图像，得到行人包围盒，行人检测精度低。

发明内容

本发明的目的在于克服现有技术的用于车辆的行人位姿解算方法仅通过相机获取图像，且协同感知进通过车辆之间实现，使用场景局限，同时对行人的检测仅基于图像得到行人包围盒，检测精度低的不足，提供一种基于车路协同的视野盲区行人检测算法。本发明不仅结合了激光雷达以及相机进行行人检测从而使得点云数据补充了图像数据欠缺的深度信息和盲区，而图像数据补充了点云近处的盲区和远处数据稀疏的缺陷，在感知上形成互补，而且本发明还在路侧和车侧均设置激光雷达和相机并将两侧设备得到的数据进行配准转换，从而实现车路协同的超视距感知，补充了车辆的视野盲区感知数据。

本发明的目的可采用以下技术方案来达到：

一种基于车路协同的视野盲区行人检测方法，路侧和车侧均设有相机和激光雷达，其中车侧设备包括相对固定的车载激光雷达车载相机，路侧设备包括相对固定的路侧激光雷达和路侧相机，包括坐标系统一、行人检测方法以及车路协同融合，其中，坐标系统一包括如下步骤：

S1.1：使用标定工具将位于同一侧的相机和激光雷达进行联合标定，得到相机的内部参考矩阵K和相机与激光雷达之间的外部参考矩阵

S1.2：激光雷达采集点云P，其中车载激光雷达采集的点云为P1，路侧激光雷达采集的点云为P2，分别对点云P1和P2进行预处理，预处理包括点云去噪、点云下采样、点云地面分割、感兴趣区域提取，从而得到可以用于配准的点云P1

S1.3：车辆驶入路侧设备的通信范围后，使用车辆GPS和IMU确定车辆位姿信息，通信得到路侧设备位姿信息，计算出转换矩阵的初始值T

S1.4：在首次坐标系转换矩阵T

行人检测包括如下步骤：

S2.1：车载相机和路侧相机分别采集图像，对相机获取的图像进行行人检测，得到2D平面检测框，根据内部参考矩阵K和外部参考矩阵

S2.2：对点云集合P

S2.3：对点云P进行3D行人检测，并生成行人点云包围盒序列B

S2.4：将上述两种方法形成的行人点云包围盒序列B

S2.5：分别对点云P1和P2作为输入的点云P进行步骤S2.1至S2.4的处理，分别得到车侧设备处理形成的行人包围盒序列B1

车路协同融合包括如下步骤：

S3：根据转换矩阵

本发明在路侧和车侧均设置检测设备，每一侧的检测设备均包括相机和激光雷达。

在同一侧的相机和激光雷达中，使用标定工具对在同一侧的相机采集的图像和激光雷达采集点云P进行标定，即可得出同一侧中相机和激光雷达之间的转换关系，即内部参考矩阵K和外部参考矩阵

而将路侧的行人包围盒序列B2

其中，在两侧的激光雷达采集的点云P1和P2进行配准时，激光点云配准的本质是根据重叠区域对点云进行空间变换，点云配准对于刚性变换的点云具有较好的效果，但由于路侧与车载激光雷达的激光线数、角度分布、采样分辨率不同，获取的两部分点云疏密不一致，这两部分点云具有异构性。本发明为了提高配准精度，对点云P1和P2进行预处理从而降低噪点去除不需要的区域如车辆项部以上的区域，再进行配准，并且配准的过程中经过初始配准和精确配准两次配准，大大提高了配准精度。并且，在车辆运动较快，雷达帧率较高的背景下，现有的点云配准方法需要逐帧配准，计算量大，在车路协同的场景下无法满足实时性需求，为了实现实时配准并降低计算量，估计车辆相对首次配准位置的运动

所述标定工具可以使用Autoware框架中的Calibration Tool Kit，Apollo 2.0框架中的Sensor Calibration，but_calibration_camera_velodyne等。

进一步的，所述步骤S1.1中进行联合标定时，当位于同一侧的相机与激光雷达同时观察点M时，在M点在图像坐标系中的投影坐标为U＝(u，v，1)

设激光雷达-相机的转换关系为

其中

本方案中，激光点云中的扫描点(x

进一步的，所述步骤S1.2中，对点云P进行预处理时，包括如下步骤：

S1.2.1：点云去噪：假设输入的点云为P

使用半径滤波算法进行去噪时，对于每一个点云集合P

S1.2.2：点云下采样：对于去噪后的点云集合P

用该重心p

在多源激光雷达的点云数据融合中，不同激光雷达往往因为激光光束的分布、视场角、分辨率不同，导致对同一物体的采样点不同，因此得到的点云数据特征不同，这一情况对于点云配准造成很大的挑战。考虑到以上原因，对于配准使用的两个点云集合，可以先进行同规格的体素下采样以提高配准精度。

S1.2.3：点云地面分割：对于下采样后的点云P

机械式激光雷达发射激光到地面形成的反射点云，一般都是以激光雷达为圆心的同心圆弧。当两个激光雷达的位置不同时，即使对于同一块地面而言，这些圆弧上的点特征也是完全不同的，对于点云的配准将可能起到干扰的效果，因此需要对于地面的点云进行分割。对于地面部分的点云分割，可以采用基于随机抽样一致性(Random SampleConsensus,RANSAC)的算法，得到去除地面部分的点云集合P

S1.2.4：根据路侧激光雷达的视场角、周围建筑、障碍物的距离、以及车辆行驶需要关注的区域，将点云集合P

一般而言，由于不同的激光雷达的垂直视场角不同，所处位置不同，与物体的距离也不同，获取到的点云数据在高度并不一致，很有可能出现一个点云集合中部分点云高度完全超出另一个点云集合的情况，也就是说，这部分高度过高的点云在另一点云集合中找不到对应点，对于点云配准没有帮助。若车载激光雷达的垂直视场角更大，采集到了高度更高的部分数据，例如树的顶端、更高楼层的墙面等，这部分数据在路侧激光雷达的点云中并不能找到对应点，不仅无法对点云配准起到促进作用，还可能导致配准时间增加或者配准误差增大。另一方面，车辆行驶的过程中关注的区域也有限，往往只关心地面以上一定高度范围内的场景，所以一定高度以上的点云数据也可以舍弃，减少冗余数据也有利于数据传输和处理，也减少了对感兴趣区域内有效数据的干扰。

S1.2.5：分别将点云数据P1和P2分别作为输入的点云集合P

进一步的，所述步骤S1.2.3中，采用基于随机抽样一致性算法对下采样后的点云P

进一步的，所述步骤S1.3中，在车侧中，提前标定位置相对固定的车载激光雷达坐标系、GPS和IMU的坐标系以及车辆进行标定，通过GPS和IMU给出的车辆位置和方向信息得到车载激光雷达坐标系与地心地固坐标系的转换矩阵，从而确定车载激光雷达在地心地固坐标系的位置；

在路侧，将固定在路侧的路侧激光雷达的坐标系与地心地固坐标系的预先标定，从而确定路侧激光雷达在地心地固坐标系内的坐标位置并将该坐标位置进行广播；

根据两侧的激光雷达在地心地固坐标系的位置，计算出转换矩阵的初始值T

由于车载激光雷达以及GPS和IMU是固定设置在车辆上的，因此可以提前将车辆与车载激光雷达进行标定，并将GPS和IMU的坐标系和车载雷达坐标系均转换到地心地固坐标系中，利用GPS和IMU给出的信息得到车辆的方向信息确定激光雷达坐标系与地心地固坐标系的转换矩阵。由于本发明还利用了IMU进行初始位姿估计，比起只依赖只依赖于GPS位置信息，本发明的融合的精度和稳定性更高，同时通过GPS和IMU给出的信息比仅仅通过GPS给出的信息其初始精确度更高，从而得到初始精度高的转换矩阵T

将GPS的WGS-84坐标系转换为地心地固坐标系如下：

其中alt为高程，lat为纬度，lon为经度，WGS-84坐标系基准椭球体的长半径a＝6378137.0m，基准椭球体的极偏率

进一步的，所述S1.4中，通过LeGO-LOAM算法输出的车辆获取第i帧点云时刻相对于首次配准位置的转换矩阵为

进一步的，述步骤S2.1中，根据标定的相机与激光雷达的内参K和外参

将点云P投影到图像坐标系内。

进一步的，所述步骤S2.2中，对点云P

DB-SCAN算法开始时我们任意选择一个没有类别的核心对象p

对点云P

进一步的，所述步骤S2.3中，使用Point-Pillar检测方法进行3D行人检测，首先采用Pillar编码方式编码点云P，得到伪2D图，然后使用2D卷积对编码后的伪2D图进行处理，最后使用SSD的检测头对目标进行检测，得到包围盒序列

Point Pillar检测点云首先会完成所有点云集合P

点云行人检测模型除了Point-Pillar之外，还有SECOND，VoxelNet，MVF，LaserNet，PointRCNN，PIXOR等均可。

进一步的，所述步骤S2.4中，以包围盒的中心位置为准，可以得到包围盒序列B

其中，

与现有技术相比，本发明的有益效果是：

(1)结合了激光雷达以及相机进行行人检测从而使得点云数据补充了图像数据欠缺的深度信息和盲区，而图像数据补充了点云近处的盲区和远处数据稀疏的缺陷，在感知上形成互补。

(2)在路侧和车侧均设置激光雷达和相机并将两侧设备得到的数据进行配准转换，从而实现车路协同的超视距感知，补充了车辆的视野盲区感知数据。

(3)对点云P进行预处理剔除不需要的部分使得车路两侧配准精度大大提高。

(4)在车辆动态运行的情况下，车侧和路侧数据坐标系可以进行统一。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合具体实施方式对本发明作进一步的说明。其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

实施例1

如图1所示，一种基于车路协同的视野盲区行人检测方法，路侧和车侧均设有相机和激光雷达，其中车侧设备包括相对固定的车载激光雷达车载相机，路侧设备包括相对固定的路侧激光雷达和路侧相机，包括坐标系统一、行人检测方法以及车路协同融合，其中，坐标系统一包括如下步骤：