点云图的生成方法及装置、存储介质、电子装置

技术领域

本发明涉及汽车自动驾驶的场景感知技术领域，具体而言，涉及一种点云图的生成方法及装置、存储介质、电子装置。

背景技术

在汽车日常行驶的场景中，可见光图像容易被较多的环境干扰影响，譬如较差的光照条件，水雾的遮挡、环境反光等；当使用受到干扰的图像进行处理分析，会产生很多意料之外的结果，导致无法生成准确的环境特征，当使用受到干扰的图像进行处理分析，会产生很多意料之外的结果，导致无法感知准确的环境信息，并向后续模块引入不确定性，影响行车安全。

相关技术方案都是基于二维视觉信息和激光雷达信号，二维视觉信息通常都是像素级融合，无法有效产生深度特征信息，不利于自动驾驶中的碰撞预警和轨迹规划，而使用的激光雷达成本较高，不利于大规模部署应用。

针对相关技术中存在的上述问题，暂未发现高效且准确的解决方案。

发明内容

本发明提供了一种点云图的生成方法及装置、存储介质、电子装置，以解决相关技术中存在的上述技术问题。

根据本发明的一个实施例，提供了一种点云图的生成方法，包括：获取车辆双目相机采集的第一图片和第二图片，以及获取所述车辆红外成像仪采集的红外图，其中，所述双目相机的成像视野大于所述红外成像仪的成像视野；将所述第一图片和所述第二图片转换为与所述红外图相同尺寸的深度投影图；将所述深度投影图和所述红外图输入预设深度神经网络，得到多张不同尺寸的优化深度图和对应的打分图，其中，所述预设深度神经网络用于对深度投影图进行优化并对优化深度图的像素质量打分；基于所述打分图将多张优化深度图融合为深度融合图；采用所述深度融合图和所述打分图生成所述红外成像仪的视野范围内的融合点云图。

可选地，将所述第一图片和所述第二图片转换为与所述红外图相同尺寸的深度投影图包括：将所述第一图片和所述第二图片转换为深度估计图；将所述深度估计图转变为初始点云；将所述初始点云从所述双目相机的坐标系转换至红外成像仪的坐标系；确定所述红外成像仪的成像平面，过滤所述初始点云在所述红外成像仪成像范围之外的空间3D点，并基于所述成像平面将所述初始点云转换为与所述成像平面相同尺寸的深度投影图。

可选地，基于所述成像平面将所述初始点云转换为与所述成像平面相同尺寸的深度投影图包括：针对所述初始点云中的每个空间3D点，计算空间3D点到所述成像平面的投影距离；基于所述投影距离计算所述空间3D点在第一坐标轴的像素值；采用所述空间3D点在第二坐标轴和第三坐标轴的坐标值、以及所述像素值生成所述空间3D点在所述成像平面对应的2D点；聚合所述初始点云所有空间3D点的2D点，得到深度投影图。

可选地，将所述第一图片和所述第二图片转换为深度估计图包括：提取所述第一图片和所述第二图片的图片特征；对所述图片特征按照多个缩放比例进行调整，得到多个特征图，其中，每个特征图对应一个缩放比例；对所述多个特征图进行清洗过滤后再上采样至与所述第一图片或所述第二图片相同尺寸，得到对应的多个目标特征图；对所述多个目标特征图进行特征融合，得到融合3D特征图；对所述融合3D特征图进行双线性插值，得到所述第一图片和所述第二图片的深度估计图。

可选地，将所述深度投影图和所述红外图输入预设深度神经网络，得到多张不同尺寸的优化深度图和对应的打分图，包括：将所述深度投影图和所述红外图进行同比例缩放，得到N组图片，其中，每组图片对应一个缩放比例，每组图片包括两张相同尺寸的深度投影图和红外图，N为大于1的整数；将N组图片分别输入至预设深度神经网络，输出N张优化深度图和N张对应的打分图。

可选地，基于所述打分图将多张优化深度图融合为深度融合图包括：针对每个像素区域，基于所述打分图在多张优化深度图的对应像素位置中查找分数最高的像素点，得到所述像素区域的匹配像素点；将所述匹配像素点采样至与所述红外图相同的像素尺寸，得到目标像素点；将所述目标像素点填充至所述像素区域，得到深度融合图。

可选地，采用所述深度融合图和所述打分图生成所述红外成像仪的视野范围内的融合点云图包括：基于所述打分图获取所述深度融合图中每个像素点的分数值；在所述深度融合图的每个固定范围内，计算所述固定范围内所有像素点的分数均值；基于所述分数均值计算所述固定范围的滤波半径，并以所述固定范围的中心为体素中心，所述滤波半径为体素半径对对应区域的像素点进行体素化，得到单位体素，其中，所述滤波半径与所述分数均值呈正相关；判断所述单位体素内每个像素点的分数值是否大于阈值；若所述分数值大于阈值，将所述分数值对应的像素点固定在所述单位体素中；若所述分数值小于等于阈值，将所述分数值对应的像素点从所述单位体素中滤除；融合所述深度融合图的所有单位体素，得到融合点云图。

根据本发明的另一个实施例，提供了一种点云图的生成装置，包括：获取模块，用于获取车辆双目相机采集的第一图片和第二图片，以及获取所述车辆红外成像仪采集的红外图，其中，所述双目相机的成像视野大于所述红外成像仪的成像视野；转换模块，用于将所述第一图片和所述第二图片转换为与所述红外图相同尺寸的深度投影图；优化模块，用于将所述深度投影图和所述红外图输入预设深度神经网络，得到多张不同尺寸的优化深度图和对应的打分图，其中，所述预设深度神经网络用于对深度投影图进行优化并对优化深度图的像素质量打分；融合模块，用于基于所述打分图将多张优化深度图融合为深度融合图；生成模块，用于采用所述深度融合图和所述打分图生成所述红外成像仪的视野范围内的融合点云图。

可选地，所述转换模块包括：第一转换单元，用于将所述第一图片和所述第二图片转换为深度估计图；转变单元，用于将所述深度估计图转变为初始点云；第二转换单元，用于将所述初始点云从所述双目相机的坐标系转换至红外成像仪的坐标系；第三转换单元，用于确定所述红外成像仪的成像平面，过滤所述初始点云在所述红外成像仪成像范围之外的空间3D点，并基于所述成像平面将所述初始点云转换为与所述成像平面相同尺寸的深度投影图。

可选地，所述第三转换单元包括：第一计算子单元，用于针对所述初始点云中的每个空间3D点，计算空间3D点到所述成像平面的投影距离；第二计算子单元，用于基于所述投影距离计算所述空间3D点在第一坐标轴的像素值；生成子单元，用于采用所述空间3D点在第二坐标轴和第三坐标轴的坐标值、以及所述像素值生成所述空间3D点在所述成像平面对应的2D点；聚合子单元，用于聚合所述初始点云所有空间3D点的2D点，得到深度投影图。

可选地，所述第一转换单元包括：提取子单元，用于提取所述第一图片和所述第二图片的图片特征；调整子单元，用于对所述图片特征按照多个缩放比例进行调整，得到多个特征图，其中，每个特征图对应一个缩放比例；采样子单元，用于对所述多个特征图进行清洗过滤后再上采样至与所述第一图片或所述第二图片相同尺寸，得到对应的多个目标特征图；融合子单元，用于对所述多个目标特征图进行特征融合，得到融合3D特征图；处理子模块，用于对所述融合3D特征图进行双线性插值，得到所述第一图片和所述第二图片的深度估计图。

可选地，所述优化模块包括：缩放单元，用于将所述深度投影图和所述红外图进行同比例缩放，得到N组图片，其中，每组图片对应一个缩放比例，每组图片包括两张相同尺寸的深度投影图和红外图，N为大于1的整数；处理单元，用于将N组图片分别输入至预设深度神经网络，输出N张优化深度图和N张对应的打分图。

可选地，所述融合模块包括：查找单元，用于针对每个像素区域，基于所述打分图在多张优化深度图的对应像素位置中查找分数最高的像素点，得到所述像素区域的匹配像素点；采样单元，用于将所述匹配像素点采样至与所述红外图相同的像素尺寸，得到目标像素点；填充单元，用于将所述目标像素点填充至所述像素区域，得到深度融合图。

可选地，所述生成模块包括：获取单元，用于基于所述打分图获取所述深度融合图中每个像素点的分数值；第一计算单元，用于在所述深度融合图的每个固定范围内，计算所述固定范围内所有像素点的分数均值；第二计算单元，用于基于所述分数均值计算所述固定范围的滤波半径，并以所述固定范围的中心为体素中心，所述滤波半径为体素半径对对应区域的像素点进行体素化，得到单位体素，其中，所述滤波半径与所述分数均值呈正相关；判断单元，用于判断所述单位体素内每个像素点的分数值是否大于阈值；固定单元，用于若所述分数值大于阈值，将所述分数值对应的像素点固定在所述单位体素中；滤除单元，用于若所述分数值小于等于阈值，将所述分数值对应的像素点从所述单位体素中滤除；融合单元，用于融合所述深度融合图的所有单位体素，得到融合点云图。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项装置实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项装置实施例中的步骤。

本发明的有益效果：

1、通过对融合点云图进行特征提取，可以得到车辆前方视野范围内的三维深度特征信息，解决了在环境干扰影响较多的情况下，车辆无法获取深度特征信息的问题。

2、提高了车辆感知前方障碍物的能力，有利于自动驾驶中的碰撞预警和轨迹规划，从而提升了车辆自动驾驶的稳定性、可靠性。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种车载计算机的硬件结构框图；

图2是根据本发明实施例的一种点云图的生成方法的流程图；

图3是根据本发明实施例的图像采集装置构造示意图；

图4是根据本发明实施例的图像采集装置视野示意图；

图5是根据本发明实施例的一种点云图的生成方法的整体流程图；

图6是根据本发明实施例的一种点云图的生成装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

本申请实施例一所提供的方法实施例可以在车载计算机、汽车或者类似的运算装置中执行。以运行在车载计算机上为例，图1是本发明实施例的一种车载计算机的硬件结构框图。如图1所示，车载计算机可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述车载计算机还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述车载计算机的结构造成限定。例如，车载计算机还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储车载计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种点云图的生成方法对应的车载计算机程序，处理器102通过运行存储在存储器104内的车载计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至车载计算机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括车载计算机的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种点云图的生成方法，图2是根据本发明实施例的点云图的生成方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取车辆双目相机采集的第一图片和第二图片，以及获取所述车辆红外成像仪采集的红外图，其中，所述双目相机的成像视野大于所述红外成像仪的成像视野；

图3是根据本发明实施例的图像采集装置构造示意图，如图3所示，按照水平排布的方式，上排为红外热成像仪，下排为双目相机。图4是根据本发明实施例的图像采集装置视野示意图，如图4所示，虚线表示双目相机的视野范围，双目相机包括两台可见光相机，可以采用鱼眼镜头，具有180度的视场角范围，左右安装的两台相机有重叠的视场；实线表示红外热成像相机的视野范围，红外热成像相机的视场角较小，只能感知较小视场的红外信息；安装在双目相机正上方的两台红外热成像相机左右排布，各自负责一半区域的感知，当融合两台红外相机的感知结果后，得到较大视场角的红外感知结果。

可选地，所述车辆红外成像仪包括两台热成像相机，两个双目相机的镜头同时收到触发信号后，同时采集图像，分别为第一图片和第二图片，并记录下拍摄的时间戳；在双目相机收到触发信号的同时，红外热成像仪收到拍摄的信号，两台热成像相机同时采集红外图像，并记录下拍摄的时间戳，同时采集图像并记录拍摄时间戳有利于后续图像的融合。

步骤S204，将所述第一图片和所述第二图片转换为与所述红外图相同尺寸的深度投影图；

可选地，将所述第一图片和所述第二图片转换为与所述红外图相同尺寸的深度投影图中，相同尺寸有利于之后将所述深度投影图和所述红外图共同输入预设深度神经网络中得到优化深度图。

步骤S206，将所述深度投影图和所述红外图输入预设深度神经网络，得到多张不同尺寸的优化深度图和对应的打分图，其中，所述预设深度神经网络用于对深度投影图进行优化并对优化深度图的像素质量打分；

可选地，所述不同尺寸对应缩放比例，缩放过程中将红外图和深度投影图按相同的比例缩放，所述多张为多次同比缩放结果。

步骤S208，基于所述打分图将多张优化深度图融合为深度融合图；

可选地，每张深度优化图对应一张打分图，多张优化深度图融合为深度融合图的同时，打分图也进行了相应的融合成为一张融合打分图，所述融合打分图与所述深度融合图对应。

步骤S210，采用所述深度融合图和所述打分图生成所述红外成像仪的视野范围内的融合点云图。

通过以上步骤，获取车辆双目相机采集的第一图片和第二图片，以及获取所述车辆红外成像仪采集的红外图；将所述第一图片和所述第二图片转换为与所述红外图相同尺寸的深度投影图；将所述深度投影图和所述红外图输入预设深度神经网络，得到多张不同尺寸的优化深度图和对应的打分图；基于所述打分图将多张优化深度图融合为深度融合图；采用所述深度融合图和所述打分图生成所述红外成像仪的视野范围内的融合点云图，通过获取双目相机和红外成像仪采集的图片，并将所述图片进行处理融合，得到了红外热成像仪的视野范围内的融合点云图，可以得到车辆前方视野范围的三维深度特征信息，提高了车辆感知复杂环境的能力，解决了相关技术车辆在环境干扰影响较多的情况下感知能力弱的技术问题，降低了环境干扰对车辆感知能力的影响。

在本实施例中，将所述第一图片和所述第二图片转换为与所述红外图相同尺寸的深度投影图包括：将所述第一图片和所述第二图片转换为深度估计图；将所述深度估计图转变为初始点云；将所述初始点云从所述双目相机的坐标系转换至红外成像仪的坐标系；确定所述红外成像仪的成像平面，过滤所述初始点云在所述红外成像仪成像范围之外的空间3D点，并基于所述成像平面将所述初始点云转换为与所述成像平面相同尺寸的深度投影图。

可选地，将深度估计图转变成初始点云，结合可将光相机的外参将所述初始点云转换到车体坐标系下。再根据两台红外相机的外参，将点云分别由车体坐标系转换到两台红外相机的坐标系下。再结合热成像仪的内参，将空间3D点转换为红外相机成像平面的2D点。在转换时，每个2D点的像素值对应于该点距离热成像仪成像平面的距离，即3D坐标的x值。最终得到两个红外相机成像平面相同尺寸的深度图像，并滤除红外相机成像范围之外的像素点。

在本实施例中，基于所述成像平面将所述初始点云转换为与所述成像平面相同尺寸的深度投影图包括：针对所述初始点云中的每个空间3D点，计算空间3D点到所述成像平面的投影距离；基于所述投影距离计算所述空间3D点在第一坐标轴的像素值；采用所述空间3D点在第二坐标轴和第三坐标轴的坐标值、以及所述像素值生成所述空间3D点在所述成像平面对应的2D点；聚合所述初始点云所有空间3D点的2D点，得到深度投影图。

可选地，像素值对应2D点的亮度值，如投影距离越大，像素值越小，所述第一坐标轴对应空间直角坐标系下的X轴，第二坐标轴对应空间直角坐标系下的Y轴，第三坐标轴对应空间直角坐标系下的Z轴。

在本实施例中，将所述第一图片和所述第二图片转换为深度估计图包括：提取所述第一图片和所述第二图片的图片特征；对所述图片特征按照多个缩放比例进行调整，得到多个特征图，其中，每个特征图对应一个缩放比例；对所述多个特征图进行清洗过滤后再上采样至与所述第一图片或所述第二图片相同尺寸，得到对应的多个目标特征图；对所述多个目标特征图进行特征融合，得到融合3D特征图；对所述融合3D特征图进行双线性插值，得到所述第一图片和所述第二图片的深度估计图。

可选地，将两幅可见光图像一同输入到用于深度估计的深度神经网络中。网络由一个特征网络对输入的左右两帧图像分别提取特征，然后将特征按不同的缩放比例进行调整，得到缩放后的特征图。然后将不同尺寸特征图输入到一个由上下文特征进行编码、解码的模块，得到不同尺寸经过清洗过滤的特征图。在每个尺寸结果均经由上采样，得到与上一尺寸一致的特征图。经过3D特征融合模块，得到融合后的3D特征。将所有尺寸结果融合后得到的特征图经过双线性插值得到最终的深度估计图。

在本实施例中，将所述深度投影图和所述红外图输入预设深度神经网络，得到多张不同尺寸的优化深度图和对应的打分图，包括：将所述深度投影图和所述红外图进行同比例缩放，得到N组图片，其中，每组图片对应一个缩放比例，每组图片包括两张相同尺寸的深度投影图和红外图，N为大于1的整数；将N组图片分别输入至预设深度神经网络，输出N张优化深度图和N张对应的打分图。

可选地，将其中一台相机的红外图和投影在其之上的深度投影图输入到一个用于深度图优化打分深度神经网络中，得到优化后的深度图和对每个像素的打分值，该打分值对应softmax函数的概率值，表示预设深度神经网络输出结果(优化深度图)的真实度。将红外图和深度投影图按相同的比例缩放后，再次输入到深度图优化打分深度神经网络中，得到相同尺寸的优化后深度图和打分图。缩放一共进行三次、相应优化过程进行四次，一共得到4张不同尺寸的优化深度图和打分图。

在本实施例中，基于所述打分图将多张优化深度图融合为深度融合图包括：针对每个像素区域，基于所述打分图在多张优化深度图的对应像素位置中查找分数最高的像素点，得到所述像素区域的匹配像素点；将所述匹配像素点采样至与所述红外图相同的像素尺寸，得到目标像素点；将所述目标像素点填充至所述像素区域，得到深度融合图。

可选地，取每个图中打分较高的像素，上采样至原图尺寸，填充到对应的像素区域中。得到一侧融合优化后的深度图。同时打分图进行相应的融合。在对另一侧的红外相机和深度图像进行相同的处理，得到另一侧的优化深度图和融合打分图。将两侧优化后深度图像由红外相机的成像坐标系转换至车体坐标系，进行点的融合，得到当前场景下的点云集合。最终的点云是经过点云进行滤除的图像，滤除期间基于像素的打分值，以固定范围内的平均得分为滤波半径进行体素化，如果其中的点得分大于阈值则固定下来，最终得到优化后的融合点云图。

在本实施例中，采用所述深度融合图和所述打分图生成所述红外成像仪的视野范围内的融合点云图包括：

S11，基于所述打分图获取所述深度融合图中每个像素点的分数值；

S12，在所述深度融合图的每个固定范围内，计算所述固定范围内所有像素点的分数均值；

可选地，固定范围内的每个像素点的分数值越高，对应该固定范围内的分数均值越高。

S13，基于所述分数均值计算所述固定范围的滤波半径，并以所述固定范围的中心为体素中心，所述滤波半径为体素半径对对应区域的像素点进行体素化，得到单位体素，其中，所述滤波半径与所述分数均值呈正相关；

可选地，所述分数均值越高，所述固定范围的滤波半径越大，得到的单位体素越多。

S15，判断所述单位体素内每个像素点的分数值是否大于阈值；若所述分数值大于阈值，将所述分数值对应的像素点固定在所述单位体素中；若所述分数值小于等于阈值，将所述分数值对应的像素点从所述单位体素中滤除；

可选地，如果像素点的分数值超过了阈值，会将这些像素点固定在所在的单位体素中，这意味着这些像素点在融合点云图中将得到保留和体素化。相反，如果像素点的分数值低于或等于阈值，会将这些像素点从所在的单位体素中滤除，意味着这些像素点在融合点云图中将不会被考虑。

S16，融合所述深度融合图的所有单位体素，得到融合点云图。

可选地，将经过上述处理的所有单位体素进行融合，生成融合点云图。这个融合点云图可以包含所有通过阈值筛选并固定在体素中的像素点，而滤除了那些未能通过阈值筛选的像素点。

图5是根据本发明实施例的点云图的生成方法的整体流程图，如图5所示，该流程包括如下步骤：

首先可见光鱼眼相机左右各一台，水平放置，组成双目模组，负责采集可见光图像。红外热成像相机左右各一台，均安装在双目相机的正上方，由于红外热成像仪的视场范围较小，采用两台热成像仪水平排布来扩大视场的范围。双目相机采用鱼眼镜头，成像视野范围较大，两台相机的存在重叠的视场区域，以便能实现3D重建所需的特征点匹配。

标定设备：红外与可见光融合相机模块采用增加了点状发热模块的水平和立式标定板进行联合外参标定，获得红外相机、双目相机与车辆之间的位姿变换关系。

采集数据：双目相机的两镜头收到触发信号后，同时采集图像，并记录下拍摄的时间戳。在双目相机收到触发信号的同时，红外热成像仪收到拍摄的信号，两台热成像相机同时采集红外图像，并记录下拍摄的时间戳。

图像深度预测：将两幅可见光图像一同输入到用于深度估计的深度神经网络中。网络由一个特征网络对输入的左右两帧图像分别提取特征，然后将特征按不同的缩放比例进行调整，得到缩放后的特征图。然后将不同尺寸特征图输入到一个由上下文特征进行编码、解码的模块，得到不同尺寸经过清洗过滤的特征图。在每个尺寸结果均经由上采样，得到与上一尺寸一致的特征图。经过3D特征融合模块，得到融合后的3D特征。将所有尺寸结果融合后得到的特征图经过双线性插值得到最终的深度估计图。

深度图与红外图像重叠：深度图转变成点云，结合可将光相机的外参转换到车体坐标系下。再根据两个台红外相机的外参，将点云分别由车体坐标系转换到两台红外相机的坐标系下。在结合热成像仪的内参，将空间3D点转换为相机成像平面的2D点。在转换时，每个2D点的像素值对应于该点距离热成像仪成像平面的距离，即3D坐标的x值。最终得到两个红外相机成像平面相同尺寸的深度图像，并滤除红外相机成像范围之外的像素。

深度图的优化：将其中一台相机的红外图和投影在其之上的深度投影图输入到一个用于深度图优化打分深度神经网络中，得到优化后的深度图和一个对每个像素打分的结果。将红外图和深度投影图按相同的比例缩放后，再次输入到深度图优化打分深度神经网络中，得到相同尺寸的优化后深度图和打分图。缩放一共进行三次、相应优化过程进行四次，一共得到4张不同尺寸的优化深度图和打分图。取每个图中打分较高的像素，上采样至原图尺寸，填充到对应的像素区域中。得到一侧融合优化后的深度图。同时打分图进行相应的融合。在对另一侧的红外相机和深度图像进行相同的处理，得到另一侧的优化深度图和融合打分图。将两侧优化后深度图像由红外相机的成像坐标系转换至车体坐标系，进行点的融合，得到当前场景下的点云集合。

最终的点云是经过点云进行滤除的图像，滤除期间基于像素的打分值，以固定范围内的平均得分为滤波半径进行体素化，如果其中的点得分大于阈值则固定下来，最终得到优化后的融合点云图。

采用本实施例的方案，获取车辆双目相机可见光图和红外成像仪采集的红外图；并通过将可见光图进行一系列特征提取和坐标转换得到转换为与所述红外图相同尺寸的深度投影图；将所述深度投影图和所述红外图输入预设深度神经网络，得到多张不同尺寸的优化深度图和对应的打分图；基于所述打分图将多张优化深度图融合为深度融合图；最后基于像素的打分值，以固定范围内的平均得分为滤波半径进行体素化，生成所述红外成像仪的视野范围内的融合点云图，通过对融合点云图进行特征提取，可以得到车辆前方视野范围较大的三维深度特征信息，解决了在环境干扰影响较多的情况下，车辆无法获取深度特征信息的问题，增大了车辆的视野范围。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种点云图的生成装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的术语“模块”可以实现预订功能的软件和硬件的组合。尽管以下实施例所描述的装置较佳地以软件实现，但是硬件，或者软件和硬件的组合的实现也是可以被构想的。

图6是本发明实施例的一种点云图的生成装置的结构框图，如图6所示，该装置包括：

获取模块60，用于获取车辆双目相机采集的第一图片和第二图片，以及获取所述车辆红外成像仪采集的红外图，其中，所述双目相机的成像视野大于所述红外成像仪的成像视野；

转换模块62，用于将所述第一图片和所述第二图片转换为与所述红外图相同尺寸的深度投影图；

优化模块64，用于将所述深度投影图和所述红外图输入预设深度神经网络，得到多张不同尺寸的优化深度图和对应的打分图，其中，所述预设深度神经网络用于对深度投影图进行优化并对优化深度图的像素质量打分；

融合模块66，用于基于所述打分图将多张优化深度图融合为深度融合图；

生成模块68，用于采用所述深度融合图和所述打分图生成所述红外成像仪的视野范围内的融合点云图。

可选地，所述转换模块包括：第一转换单元，用于将所述第一图片和所述第二图片转换为深度估计图；转变单元，用于将所述深度估计图转变为初始点云；第二转换单元，用于将所述初始点云从所述双目相机的坐标系转换至红外成像仪的坐标系；第三转换单元，用于确定所述红外成像仪的成像平面，过滤所述初始点云在所述红外成像仪成像范围之外的空间3D点，并基于所述成像平面将所述初始点云转换为与所述成像平面相同尺寸的深度投影图。

可选地，所述第三转换单元包括：第一计算子单元，用于针对所述初始点云中的每个空间3D点，计算空间3D点到所述成像平面的投影距离；第二计算子单元，用于基于所述投影距离计算所述空间3D点在第一坐标轴的像素值；生成子单元，用于采用所述空间3D点在第二坐标轴和第三坐标轴的坐标值、以及所述像素值生成所述空间3D点在所述成像平面对应的2D点；聚合子单元，用于聚合所述初始点云所有空间3D点的2D点，得到深度投影图。

可选地，所述第一转换单元包括：提取子单元，用于提取所述第一图片和所述第二图片的图片特征；调整子单元，用于对所述图片特征按照多个缩放比例进行调整，得到多个特征图，其中，每个特征图对应一个缩放比例；采样子单元，用于对所述多个特征图进行清洗过滤后再上采样至与所述第一图片或所述第二图片相同尺寸，得到对应的多个目标特征图；融合子单元，用于对所述多个目标特征图进行特征融合，得到融合3D特征图；处理子模块，用于对所述融合3D特征图进行双线性插值，得到所述第一图片和所述第二图片的深度估计图。

可选地，所述优化模块包括：缩放单元，用于将所述深度投影图和所述红外图进行同比例缩放，得到N组图片，其中，每组图片对应一个缩放比例，每组图片包括两张相同尺寸的深度投影图和红外图，N为大于1的整数；处理单元，用于将N组图片分别输入至预设深度神经网络，输出N张优化深度图和N张对应的打分图。

可选地，所述融合模块包括：查找单元，用于针对每个像素区域，基于所述打分图在多张优化深度图的对应像素位置中查找分数最高的像素点，得到所述像素区域的匹配像素点；采样单元，用于将所述匹配像素点采样至与所述红外图相同的像素尺寸，得到目标像素点；填充单元，用于将所述目标像素点填充至所述像素区域，得到深度融合图。

可选地，所述生成模块包括：获取单元，用于基于所述打分图获取所述深度融合图中每个像素点的分数值；第一计算单元，用于在所述深度融合图的每个固定范围内，计算所述固定范围内所有像素点的分数均值；第二计算单元，用于基于所述分数均值计算所述固定范围的滤波半径，并以所述固定范围的中心为体素中心，所述滤波半径为体素半径对对应区域的像素点进行体素化，得到单位体素，其中，所述滤波半径与所述分数均值呈正相关；判断单元，用于判断所述单位体素内每个像素点的分数值是否大于阈值；固定单元，用于若所述分数值大于阈值，将所述分数值对应的像素点固定在所述单位体素中；滤除单元，用于若所述分数值小于等于阈值，将所述分数值对应的像素点从所述单位体素中滤除；融合单元，用于融合所述深度融合图的所有单位体素，得到融合点云图。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行的计算机程序：

S1，获取车辆双目相机采集的第一图片和第二图片，以及获取所述车辆红外成像仪采集的红外图，其中，所述双目相机的成像视野大于所述红外成像仪的成像视野；

S2，将所述第一图片和所述第二图片转换为与所述红外图相同尺寸的深度投影图；

S3，将所述深度投影图和所述红外图输入预设深度神经网络，得到多张不同尺寸的优化深度图和对应的打分图，其中，所述预设深度神经网络用于对深度投影图进行优化并对优化深度图的像素质量打分；

S4，基于所述打分图将多张优化深度图融合为深度融合图；

S5，采用所述深度融合图和所述打分图生成所述红外成像仪的视野范围内的融合点云图。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取车辆双目相机采集的第一图片和第二图片，以及获取所述车辆红外成像仪采集的红外图，其中，所述双目相机的成像视野大于所述红外成像仪的成像视野；

S2，将所述第一图片和所述第二图片转换为与所述红外图相同尺寸的深度投影图；

S3，将所述深度投影图和所述红外图输入预设深度神经网络，得到多张不同尺寸的优化深度图和对应的打分图，其中，所述预设深度神经网络用于对深度投影图进行优化并对优化深度图的像素质量打分；

S4，基于所述打分图将多张优化深度图融合为深度融合图；

S5，采用所述深度融合图和所述打分图生成所述红外成像仪的视野范围内的融合点云图。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机课读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。