一种车辆三维点云图像融合方法及系统

技术领域

本发明涉及图像数据处理技术领域，具体地说，涉及一种车辆三维点云图像融合方法及系统。

背景技术

目前，在三维环境感知领域，常常需要融合不同传感器采集的点云数据和图像数据来获取全面的环境信息，融合方法存在计算复杂度高、精度不够高、实时性差问题，当在对车辆行驶路线进行规划时，道路容易出现变化，例如道路出现车祸，道路出现异物阻挡，导致车辆无法及时通过当前道路，完成行驶路线规划，造成无法满足实际应用的需求，因此，提出一种车辆三维点云图像融合方法及系统。

发明内容

本发明的目的在于提供一种车辆三维点云图像融合方法及系统，以解决上述背景技术中提出的问题。

为实现上述技术问题的解决，本发明的目的之一在于，提供车辆三维点云图像融合方法，包括如下步骤：

S1、以车辆为中心，向外扩展出融合区域，采集融合区域的图像信息，并对图像信息进行检测；

S2、基于S1对图像信息检测结果，对车辆发送异常预警信息；

S3、对S1采集的图像信息进行特征提取，并根据图像提取的结果寻找范围内的其他图像信息，并对其他图像信息结合图像信息进行分析；

S4、基于S3的分析结果将融合区域内的图像信息进行融合分析；

S5、基于S4的对图像融合分析数据，对其结合汽车行驶路线进行预测，提供行驶方案。

作为本技术方案的进一步改进，所述S1对图像信息进行检测的步骤如下：

S1.1、根据周围环境对车辆正常行驶影响程度规划一片融合区域；

S1.2、实时采集以车辆为中心的融合区域的图像信息，并对采集的图像信息进行清晰度评估。

作为本技术方案的进一步改进，所述S1.2对采集的图像信息进行清晰度评估的表达式如下：

；

其中，A是基于傅里叶变换的清晰度评估方法，用于评估图像中高频信息的存在程度，计算方式为：

；

其中，I代表提取出来的像素信息，FFT(I)代表对其进行傅里叶变换后得到的频谱，Mean(FFT(I))代表频谱的平均值。

B是基于梯度信息的清晰度评估方法，用于评估图像中梯度信息的强度，计算方式为：

；

其中，Laplacian(I)代表对像素信息进行拉普拉斯算子计算后得到的梯度信息，S为清晰度得分，清晰度得分越高，图像越清晰，当S数值小于10即清晰度不达标。

作为本技术方案的进一步改进，所述S3对其他图像信息结合图像信息进行分析的步骤如下：

S3.1、对S1.2采集融合区域的图像信息进行特征提取，并根据相邻位置将图像进行匹配分类；

S3.2、将S3.1匹配分类完毕的图像进行结合评估，根据评估结果判断摄像范围覆盖该融合区域。

作为本技术方案的进一步改进，所述S4将融合区域内的图像信息进行融合分析的步骤如下：

S4.1、根据S3.2的判断结果使用点云图像融合将该融合区域内的图像数据进行融合；

S4.2、将图像数据投影进入S4.1融合内的空间中进行数据校正。

作为本技术方案的进一步改进，所述S4.1使用点云图像融合将该融合区域内的图像数据进行融合的表达式如下：

；

其中，PC代表汽车采集的点云数据，Image代表对应点云位置的图像数据，将二者进行融合得到的就是P，B代表高精度的三维环境模型，融合过程中，使用空间尺度变换来提高模型的精度和平滑度。

作为本技术方案的进一步改进，所述S4.2将图像数据投影进入S4.1融合内的空间中进行数据校正的表达式如下：

道路边缘：

；

其中，dS代表点云数据的深度，dI代表图像数据的梯度信息；

车道线：

；

其中，Cleval代表车道线坡度的评估函数，th代表车道线的阈值，将数据输入三维环境模型中替换对应图像数据，从而对三维环境模型中的道路边缘和车道线数据进行补充和校正。

作为本技术方案的进一步改进，所述S5根据预测结果对车辆行驶环境信息进行提供的步骤如下：

S5.1、采集汽车行驶路线信息；

S5.2、根据S4.2数据校正完毕的空间结合S5.1采集的汽车行驶路线信息进行结合预测，提供车辆自动驾驶决策。

本发明的目的之二在于，提供了车辆三维点云图像融合系统，包括上述中任意一项所述的车辆三维点云图像融合方法，包括图像采集单元、异常发送单元、特征提取单元、融合分析单元以及行驶预测单元；

所述图像采集单元用于采集融合区域的图像信息，并对图像信息进行检测；

所述异常发送单元用于对图像信息检测结果，对车辆发送异常预警信息；

所述特征提取单元用于对采集的图像信息进行特征提取，并根据图像提取的结果寻找范围内的其他图像信息，并对其他图像信息结合图像信息进行分析；

所述融合分析单元用于将分析结果结合融合区域内的图像信息进行融合分析；

所述行驶预测单元用于将图像融合分析数据结合汽车行驶路线进行预测，提供行驶方案。

与现有技术相比，本发明的有益效果：通过将点云数据和图像数据将两者相结合，充分利用了点云和图像的优势，提供更全面准确的环境感知信息，避免车辆周边检测出现异常，同时对于光照变化、天气变化等因素具有一定的稳定性，能够在不同条件下提供可靠的融合结果，通过精准的环境数据采集，制作对应的自动驾驶决策，提高车辆行驶的稳定性。

附图说明

图1为本发明的整体流程框图；

图2为本发明的对图像信息进行检测的流程框图；

图3为本发明的对其他图像信息结合图像信息进行分析的流程框图；

图4为本发明的将融合区域内的图像信息进行融合分析的流程框图；

图5为本发明的提供行驶方案的流程框图；

图6为本发明的图像采集单元的流程框图。

图中各个标号意义为：

10、图像采集单元；20、异常发送单元；30、特征提取单元；40、融合分析单元；50、行驶预测单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1-图6所示，本发明的目的之一在于，提供了车辆三维点云图像融合方法，包括如下步骤：

S1、以车辆为中心，向外扩展出融合区域，通常以车辆为中心，向外扩展1-2米形成融合区域，采集融合区域的图像信息，并对图像信息进行检测；

所述S1对图像信息进行检测的步骤如下：

S1.1、根据周围环境对车辆正常行驶影响程度规划一片融合区域；设定一个以车辆为圆形，半径为两米的圆形范围，并采集该圆形范围的图像信息；

S1.2、实时采集以车辆为中心的融合区域的图像信息，并对采集的图像信息进行清晰度评估；采集图像信息方位为：传感器数据采集，激光雷达和摄像头同时采集车辆周围的点云数据和图像数据；

所述S1.2对采集的图像信息进行清晰度评估的表达式如下：

；

其中，A是基于傅里叶变换的清晰度评估方法，用于评估图像中高频信息的存在程度，计算方式为：

；

其中，I代表提取出来的像素信息，FFT(I)代表对其进行傅里叶变换后得到的频谱，Mean(FFT(I))代表频谱的平均值。

B是基于梯度信息的清晰度评估方法，用于评估图像中梯度信息的强度，计算方式为：

；

其中，Laplacian(I)代表对像素信息进行拉普拉斯算子计算后得到的梯度信息，S为清晰度得分，清晰度得分越高，图像越清晰，当S数值小于10即清晰度不达标；

S2、基于S1对图像信息检测结果，对车辆发送异常预警信息；当摄像头采集的图像出现黑色区域，例如，被遮挡、摄像头损坏，向车辆管理云端发送预警信息，由用户在车辆中控区域进行查看；

S3、对S1采集的图像信息进行特征提取，并根据图像提取的结果寻找范围内的其他图像信息，并对其他图像信息结合图像信息进行分析；

所述S3对其他图像信息结合图像信息进行分析的步骤如下：

S3.1、对S1.2采集融合区域的图像信息进行特征提取，并根据相邻位置将图像进行匹配分类；特征提取：对采集的图像进行预处理，如平滑、滤波、裁剪操作。然后，使用图像处理算法对预处理后的图像提取特征，如纹理、色彩、形状等，通过将图像转换为灰度图像，可以减少图像处理所需的计算量，从而提高处理速度。灰度化的表达式如下：

；

其中，R、G、B分别表示原图像的红、绿、蓝通道值，gray表示灰度图像的像素值；

S3.2、将S3.1匹配分类完毕的图像进行结合评估，根据评估结果判断摄像范围覆盖该融合区域。步骤如下：

特征提取：

；

特征匹配：

；

死角判断：

；

其中，SIFT表示特征提取的算法，x、x1和x2分别表示三个不同的图像，match表示特征匹配的算法，existdeadzone表示死角判断的函数，threshold为匹配点数量阈值，当existdeadzone小于threshold，即没有死角区域；

S4、基于S3的分析结果将融合区域内的图像信息进行融合分析；

所述S4将融合区域内的图像信息进行融合分析的步骤如下：

S4.1、根据S3.2的判断结果使用点云图像融合将该融合区域内的图像数据进行融合；

S4.2、将图像数据投影进入S4.1融合内的空间中进行数据校正。

所述S4.1使用点云图像融合将该融合区域内的图像数据进行融合的表达式如下：

；

其中，PC代表汽车采集的点云数据，Image代表对应点云位置的图像数据，将二者进行融合得到的就是B，B代表高精度的三维环境模型，融合过程中，使用空间尺度变换来提高模型的精度和平滑度。

所述S4.2将图像数据投影进入S4.1融合内的空间中进行数据校正的表达式如下：

道路边缘：

；

其中，dS代表点云数据的深度，dI代表图像数据的梯度信息；

车道线：

；

其中，Cleval代表车道线坡度的评估函数，th代表车道线的阈值，将数据输入三维环境模型中替换对应图像数据，从而对三维环境模型中的道路边缘和车道线数据进行补充和校正。

S5、基于S4的对图像融合分析数据，对其结合汽车行驶路线进行预测，提供行驶方案。

所述S5根据预测结果对车辆行驶环境信息进行提供的步骤如下：

S5.1、采集汽车行驶路线信息；将GPS设备安装在车辆上，在车辆行驶过程中，GPS设备会定时向卫星发送位置信息，GPS接收器可以收集卫星返回的数据，从而获取车辆的定位信息；

S5.2、根据S4.2数据校正完毕的空间结合S5.1采集的汽车行驶路线信息进行结合预测，提供车辆自动驾驶决策。利用融合后的三维环境模型进行环境感知，基于融合后的三维环境模型，利用深度学习进行三维物体检测。目标是识别和定位在环境中的障碍物，包括行人、交通标志、车辆等，这可以通过基于点云的物体检测和传统目标识别技术实现。

道路分割：

根据融合后的三维环境模型，可以识别出道路区域，并移除影响车辆行驶的障碍物如行人、车辆等，可实现车辆在异构城市和乡村道路等多种不同行驶环境中更靠谱的行车状态管理。

车道线检测：

车道线识别依赖于数据的准确性和车辆本身的行驶状态，借助融合后的三维环境模型，建立车辆周围的道路数据，以提高车辆的稳态控制和转弯时的准确性例如进行障碍物检测、道路分割、车道线识别等，为自动驾驶决策和控制提供准确的环境信息；

本发明的目的之二在于，提供了车辆三维点云图像融合系统，包括上述中任意一项的车辆三维点云图像融合方法，包括图像采集单元10、异常发送单元20、特征提取单元30、融合分析单元40以及行驶预测单元50；

图像采集单元10用于采集融合区域的图像信息，并对图像信息进行检测；

异常发送单元20用于对图像信息检测结果，对车辆发送异常预警信息；

特征提取单元30用于对采集的图像信息进行特征提取，并根据图像提取的结果寻找范围内的其他图像信息，并对其他图像信息结合图像信息进行分析；

融合分析单元40用于将分析结果结合融合区域内的图像信息进行融合分析；

行驶预测单元50用于将图像融合分析数据结合汽车行驶路线进行预测，提供行驶方案。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。