导航地图的生成方法及生成装置、电子设备

技术领域

本发明涉及信息处理技术领域，具体而言，涉及一种导航地图的生成方法及生成装置、电子设备。

背景技术

相关技术中，当前在进行车辆路径规划时，针对的多是理想环境下的路况，例如，在光照视线充足、路面平坦、无坡度的道路路况下实现路径规划，但是，实际情况下，道路很多情况下具备坡度和弯度，而且天气变化多样，当前的车辆路径规划往往无法适应复杂的道路路况；尤其是在雾霾、粉尘、烟雾以及弱光等环境下，通过视觉相机和激光成像无法实现路径规划，不能很好分辨出道路上的其他车辆和障碍物信息。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种导航地图的生成方法及生成装置、电子设备，以至少解决相关技术中车辆路径规划无法适应光照较差、视线较低的环境，导致车辆避障性能低的技术问题。

根据本发明实施例的一个方面，提供了一种导航地图的生成方法，包括：获取目标设备在行驶路径上的红外特征信息和激光扫描信息，其中，所述红外特征信息至少包括：多个红外特征点；对所述多个红外特征点进行追踪，以确定构图关键帧和地图点的深度信息，其中，所述构图关键帧为可见光图像；分析构图关键帧中各个物体的三维空间点，基于所述三维空间点和地图点的深度信息，构建初始地图；将所述激光扫描信息融合至所述初始地图，以生成目标地图。

可选地，获取目标设备在行驶路径上的红外特征信息和激光扫描信息的步骤，包括：采用红外感知设备获取所述行驶路径上的红外影像，采用激光扫描设备获取所述行驶路径上的激光影像，并采用视觉设备拍摄所述行驶路径上的可见光图像；对多张所述红外影像进行非均匀性校正处理，并提取红外影像中的多个红外特征点，得到所述红外特征信息；提取激光影像中的多个激光聚焦点，得到所述激光扫描信息。

可选地，对所述多个红外特征点进行追踪，以确定构图关键帧和地图点的深度信息的步骤，包括：基于所述红外特征点，匹配相邻两幅可见光图像之间的图像特征点；采用图像矩阵分析视觉设备在拍摄前后两帧可见光图像时的设备位移参数和旋转参数；基于所述设备位移参数和旋转参数，计算每个所述图像特征点在待构建初始图像中的地图位置；以每个所述图像特征点在待构建初始图像中的地图位置定义初始地图点，并确定初始地图点的深度信息；采用预设筛选策略，从多张所述可见光图像中筛选出能定义所述初始地图点的构图关键帧。

可选地，采用预设筛选策略，从多张所述可见光图像中筛选出能定义所述初始地图点的构图关键帧的步骤，包括：选取在计算每个所述图像特征点在待构建初始图像中的地图位置之后的第一图像，并将选取的第一图像作为所述构图关键帧；或者，选取距离上一构图关键帧超出预设数量帧的第二图像，并将选取的第二图像作为所述构图关键帧；或者，选取可见光图像中跟踪特征点数量少于预设地图云点数量的图像作为所述构图关键帧；或者，选取可见光图像中跟踪少于参考关键帧目标云点的预设比例的图像作为所述构图关键帧。

可选地，在确定构图关键帧和地图点的深度信息之后，所述生成方法还包括：将选取的初始地图点添加至待构建初始地图中；对多个所述初始地图点进行非线性优化处理；计算非线性优化处理后的多个所述初始地图点与像素位置之间的关联关系；基于所述关联关系，计算视觉设备的设备位姿；最小化视觉设备在各个时间点的设备位姿差，以降低初始地图点在地图像素坐标系下的重投影误差。

可选地，分析构图关键帧中各个物体的三维空间点，基于所述三维空间点和地图点的深度信息，构建初始地图的步骤，包括：在确定完成闭环构图操作后，获取所述构图关键帧中每个物体的三维空间点的空间坐标参数；基于所述空间坐标参数，融合出现重复的地图点；若地图点的位置与三维空间点出现偏差，对当前地图点以及相邻地图点进行校正处理；在完成校正处理后，基于所述三维空间点和地图点的深度信息，构建初始地图。

可选地，对当前地图点以及相邻地图点进行校正处理的步骤，包括：分析与所述当前地图点对应的红外特征点，利用预设光流法对指示红外角点的红外特征点进行追踪；计算追踪成功红外特征点的二进制特征标识符；基于所述二进制特征标识符，在追踪角点的阈值范围内对所述当前地图点以及相邻地图点进行校正处理。

可选地，将所述激光扫描信息融合至所述初始地图，以生成目标地图的步骤，包括：采用预设几何约束关系构建地图坐标转换系数矩阵方程；基于所述地图坐标转换系数矩阵方程，确定视觉设备与激光扫描设备之间的坐标转换关系；基于所述坐标转换关系，采用贝叶斯估计法将激光扫描信息融合至所述初始地图，以生成目标地图。

根据本发明实施例的另一方面，还提供了一种导航地图的生成装置，包括：获取单元，用于获取目标设备在行驶路径上的红外特征信息和激光扫描信息，其中，所述红外特征信息至少包括：多个红外特征点；追踪单元，用于对所述多个红外特征点进行追踪，以确定构图关键帧和地图点的深度信息，其中，所述构图关键帧为可见光图像；分析单元，用于分析构图关键帧中各个物体的三维空间点，基于所述三维空间点和地图点的深度信息，构建初始地图；生成单元，用于将所述激光扫描信息融合至所述初始地图，以生成目标地图。

可选地，所述获取单元包括：第一获取模块，用于采用红外感知设备获取所述行驶路径上的红外影像，采用激光扫描设备获取所述行驶路径上的激光影像，并采用视觉设备拍摄所述行驶路径上的可见光图像；第一校正模块，用于对多张所述红外影像进行非均匀性校正处理，并提取红外影像中的多个红外特征点，得到所述红外特征信息；第一提取模块，用于提取激光影像中的多个激光聚焦点，得到所述激光扫描信息。

可选地，所述追踪单元包括：第一匹配模块，用于基于所述红外特征点，匹配相邻两幅可见光图像之间的图像特征点；第一分析模块，用于采用图像矩阵分析视觉设备在拍摄前后两帧可见光图像时的设备位移参数和旋转参数；第一计算模块，用于基于所述设备位移参数和旋转参数，计算每个所述图像特征点在待构建初始图像中的地图位置；第一确定模块，用于以每个所述图像特征点在待构建初始图像中的地图位置定义初始地图点，并确定初始地图点的深度信息；第一筛选模块，用于采用预设筛选策略，从多张所述可见光图像中筛选出能定义所述初始地图点的构图关键帧。

可选地，所述第一筛选模块包括：第一选取子模块，用于选取在计算每个所述图像特征点在待构建初始图像中的地图位置之后的第一图像，并将选取的第一图像作为所述构图关键帧；或者，第二选取子模块，用于选取距离上一构图关键帧超出预设数量帧的第二图像，并将选取的第二图像作为所述构图关键帧；或者，第三选取子模块，用于选取可见光图像中跟踪特征点数量少于预设地图云点数量的图像作为所述构图关键帧；或者，第四选取子模块，用于选取可见光图像中跟踪少于参考关键帧目标云点的预设比例的图像作为所述构图关键帧。

可选地，所述生成装置还包括：添加单元，用于在确定构图关键帧和地图点的深度信息之后，将选取的初始地图点添加至待构建初始地图中；第一处理单元，用于对多个所述初始地图点进行非线性优化处理；第一计算单元，用于计算非线性优化处理后的多个所述初始地图点与像素位置之间的关联关系；第二计算单元，用于基于所述关联关系，计算视觉设备的设备位姿；最小化单元，用于最小化视觉设备在各个时间点的设备位姿差，以降低初始地图点在地图像素坐标系下的重投影误差。

可选地，所述分析单元包括：第二获取模块，用于在确定完成闭环构图操作后，获取所述构图关键帧中每个物体的三维空间点的空间坐标参数；融合模块，用于基于所述空间坐标参数，融合出现重复的地图点；第二校正模块，用于在地图点的位置与三维空间点出现偏差时，对当前地图点以及相邻地图点进行校正处理；第一构建模块，用于在完成校正处理后，基于所述三维空间点和地图点的深度信息，构建初始地图。

可选地，第二校正模块包括：第一分析子模块，用于分析与所述当前地图点对应的红外特征点，利用预设光流法对指示红外角点的红外特征点进行追踪；第一计算子模块，用于计算追踪成功红外特征点的二进制特征标识符；第一校正子模块，用于基于所述二进制特征标识符，在追踪角点的阈值范围内对所述当前地图点以及相邻地图点进行校正处理。

可选地，所述生成单元包括：第二构建模块，用于采用预设几何约束关系构建地图坐标转换系数矩阵方程；第二确定模块，用于基于所述地图坐标转换系数矩阵方程，确定视觉设备与激光扫描设备之间的坐标转换关系；生成模块，用于基于所述坐标转换关系，采用贝叶斯估计法将激光扫描信息融合至所述初始地图，以生成目标地图。

根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的导航地图的生成方法。

本发明实施例中，获取目标设备在行驶路径上的红外特征信息和激光扫描信息，其中，红外特征信息至少包括：多个红外特征点；对多个红外特征点进行追踪，以确定构图关键帧和地图点的深度信息，其中，构图关键帧为可见光图像；分析构图关键帧中各个物体的三维空间点，基于三维空间点和地图点的深度信息，构建初始地图；将激光扫描信息融合至初始地图，以生成目标地图。在该实施例中，利用红外摄像机的环境适应性相比于可见光更好，在夜间和恶劣条件下能工作地更出色(红外光透过雾霾、烟雾的能力比可见光强，抗干扰能力更强)，通过红外特征追踪，实现车辆周围的三维地图构建，同时使用激光扫描信息，提高地图上物体特征的扫描精确度，利用激光扫描信息和视觉信息，能够更为准确的发现障碍物，提高车辆/移动机器人的路径规划和避障性能，从而解决相关技术中车辆路径规划无法适应光照较差、视线较低的环境，导致车辆避障性能低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的导航地图的生成方法的流程图；

图2是根据本发明实施例的一种可选的导航地图的生成装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于本领域技术人员理解本发明，下面对本发明各实施例中涉及的部分术语或者名词做出解释：

SLAM，即时定位与地图构建，或者并发建图与定位。

AGV，自动导引车，Automated Guided Vehicle的简称，可装备有电磁或者光学等自动导引装置，实现车辆沿着预定轨迹路径行驶。

本发明可应用于车辆导航、机器人路径导航等地图构建或者导航应用中，应用环境不仅可包括光线较好的导航环境中，也可以应用于雾霾、粉尘、烟雾以及弱光等视线较差的环境中。

在进行地图构建时，使用了可见光图像、红外影像、激光扫描影像，将红外扫描信息融合至视觉相机拍摄的可见光图像(可以为双目摄像机成像)中，实现固体障碍物、其它车辆的准确检测，在融合红外特征信息和可见光图像信息后，实现初始建图，然后再融合了激光扫描信息后，完成三维地图的构建。利用激光雷达和视觉融合信息发现单个传感器(激光雷达)所不能发现的障碍物，提高移动机器人的路径规划和避障性能，实现在雾霾、粉尘、烟尘以及黑暗环境等特殊环境下进行工作。

本申请再构图时所使用的设备包括但不限于：双目摄像机、热红外摄像机和激光传感器。所采用的构图技术包括但不限于SLAM。下面结合各个实施例来详细说明本发明。

实施例一

根据本发明实施例，提供了一种导航地图的生成方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种可选的导航地图的生成方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取目标设备在行驶路径上的红外特征信息和激光扫描信息，其中，红外特征信息至少包括：多个红外特征点；

步骤S104，对多个红外特征点进行追踪，以确定构图关键帧和地图点的深度信息，其中，构图关键帧为可见光图像；

步骤S106，分析构图关键帧中各个物体的三维空间点，基于三维空间点和地图点的深度信息，构建初始地图；

步骤S108，将激光扫描信息融合至初始地图，以生成目标地图。

通过上述步骤，可以获取目标设备在行驶路径上的红外特征信息和激光扫描信息，其中，红外特征信息至少包括：多个红外特征点；对多个红外特征点进行追踪，以确定构图关键帧和地图点的深度信息，其中，构图关键帧为可见光图像；分析构图关键帧中各个物体的三维空间点，基于三维空间点和地图点的深度信息，构建初始地图；将激光扫描信息融合至初始地图，以生成目标地图。在该实施例中，利用红外摄像机的环境适应性相比于可见光更好，在夜间和恶劣条件下能工作地更出色(红外光透过雾霾、烟雾的能力比可见光强，抗干扰能力更强)，通过红外特征追踪，实现车辆周围的三维地图构建，同时使用激光扫描信息，提高地图上物体特征的扫描精确度，利用激光扫描信息和视觉信息，能够更为准确的发现障碍物，提高车辆/移动机器人的路径规划和避障性能，从而解决相关技术中车辆路径规划无法适应光照较差、视线较低的环境，导致车辆避障性能低的技术问题。

下面结合上述各步骤来详细说明本发明。

步骤S102，获取目标设备在行驶路径上的红外特征信息和激光扫描信息，其中，红外特征信息至少包括：多个红外特征点。

可选的，获取目标设备在行驶路径上的红外特征信息和激光扫描信息的步骤，包括：采用红外感知设备获取行驶路径上的红外影像，采用激光扫描设备获取行驶路径上的激光影像，并采用视觉设备拍摄行驶路径上的可见光图像；对多张红外影像进行非均匀性校正处理，并提取红外影像中的多个红外特征点，得到红外特征信息；提取激光影像中的多个激光聚焦点，得到激光扫描信息。

上述的红外感知设备包括但不限于：热红外成影仪、热红外摄像机。视觉设备包括但不限于：双目摄像机。

由于激光和视觉单独使用都有其局限性，本申请补充了红外感知设备，能够弥补不同传感器在某些视线较差环境下的劣势，在补入了红外感知设备后，需要热红外摄像与视觉传感器数据进行融合，增加视觉数据的鲁棒性。

红外特征点是通过红外影像提取的，红外特征点可以标示导航成像路径上的固体障碍物、其它车辆、其它机器人设备、人员等固体信息或者人体活动信息。通过提取红外特征点，便于后续视觉设备成像(可见光图像)后，对这些障碍物、人体等进行准确追踪，确定红外特征点指示的物体位置，便于后续快速建图，减少由于视线较差等环境的影像，无法准确获取到车辆周围的其它障碍物、人体等信息。

在得到热红外影像后，可以对热红外影像视觉进行追踪处理、局部建图处理和闭环检测处理。

对于追踪处理部分，对于经过非均匀性校正管理的影像序列，追踪部分首先对红外视频中的特征点进行追踪，利用多视图几何的方法初步计算出在进行视觉相机处理时的相机位姿，以及地图点的深度信息，并确定能够建图的关键帧。

步骤S104，对多个红外特征点进行追踪，以确定构图关键帧和地图点的深度信息，其中，构图关键帧为可见光图像。

可选的，对多个红外特征点进行追踪，以确定构图关键帧和地图点的深度信息的步骤，包括：基于红外特征点，匹配相邻两幅可见光图像之间的图像特征点；采用图像矩阵分析视觉设备在拍摄前后两帧可见光图像时的设备位移参数和旋转参数；基于设备位移参数和旋转参数，计算每个图像特征点在待构建初始图像中的地图位置；以每个图像特征点在待构建初始图像中的地图位置定义初始地图点，并确定初始地图点的深度信息；采用预设筛选策略，从多张可见光图像中筛选出能定义初始地图点的构图关键帧。

例如，在相邻两幅图片之间匹配好特征点后，利用多视图几何的方法，分别计算本质矩阵和单应矩阵，通过矩阵分解初始化相机的位移t和旋转R，选择其中误差较小的结果作为相机的初步的运动估计。对于初始化成功的SLAM系统，可以用PnP算法完成后续相机外参的标定，依据得到相机的运动估计，可以通过三角测量算法计算红外特征点对应的点的三维空间坐标作为地图点，最后依据预设筛选策略从序列帧中选取出一部分关键帧。

可选的，采用预设筛选策略，从多张可见光图像中筛选出能定义初始地图点的构图关键帧的步骤，包括：选取在计算每个图像特征点在待构建初始图像中的地图位置之后的第一图像，并将选取的第一图像作为构图关键帧；或者，选取距离上一构图关键帧超出预设数量帧的第二图像，并将选取的第二图像作为构图关键帧；或者，选取可见光图像中跟踪特征点数量少于预设地图云点数量的图像作为构图关键帧；或者，选取可见光图像中跟踪少于参考关键帧目标云点的预设比例的图像作为构图关键帧。

初步得到的标定结果存在着较大误差，需要对这个误差进行进一步的优化。

在局部建图部分，需要选取合适的关键帧，例如，关键帧的选取策略包括：(1)距离上一次全局重定位后需要超过20帧图像。(2)局部地图构建处于空闲状态，或距上一个关键帧插入后，已经有超过20帧图像。(3)当前帧跟踪少于50个地图云点。(4)当前帧跟踪少于参考关键帧K_ref云点的90％。

本实施例中，在确定构图关键帧和地图点的深度信息之后，生成方法还包括：将选取的初始地图点添加至待构建初始地图中；对多个初始地图点进行非线性优化处理；计算非线性优化处理后的多个初始地图点与像素位置之间的关联关系；基于关联关系，计算视觉设备的设备位姿；最小化视觉设备在各个时间点的设备位姿差，以降低初始地图点在地图像素坐标系下的重投影误差。

通过挑选关键帧中的初始地图点，将挑选出的初始地图点添加到初始地图中，然后对这些地图点进行非线性优化，最小化这些三维空间点的位姿差，以降低在像素坐标系下的重投影误差。

重投影误差的选取包括：在PnP优化位资时，误差函数是重投影误差,设空间某点P

由于相机位姿未知以及观测点的噪声，该等式存在一个误差，将误差求和，构建最小二乘问题，然后寻找做好的相机位姿，使它最小化，由高斯牛顿法求解：

。使一个时间段内的误差最小化。

通过上述部分完成局部建图处理。

而对于闭环检测部分，检测运动轨迹中的回环，对于与关键帧相似度较高的候选帧计算图像的相似度，判断相机是否处于曾经出现过的位置，再把这个约束结果传给后端进行闭环融合，最后进行全局的优化，从而消除视觉SLAM系统长时间累计的误差。

视觉回环检测通过视觉传感器采集信息，提取图像特征点、关键帧与回环帧检测等环节组成，并通过常用的视觉词袋模型计算图像相似度。闭环矫正的第一步是融合重复的点云，并且在可见性图中插入新的边以连接闭环。首先当前帧的位姿会根据相似变换而被矫正，同时所有与其相连的关键帧也会被矫正。所有的被闭环处的关键帧观察到的地图点会通过映射在一个小范围里，然后去搜索它的近邻匹配。这样就可以对所有匹配的点云进行更加有效的数据融合，并更新关键帧位姿，以及在图中的边。

步骤S106，分析构图关键帧中各个物体的三维空间点，基于三维空间点和地图点的深度信息，构建初始地图。

可选的，分析构图关键帧中各个物体的三维空间点，基于三维空间点和地图点的深度信息，构建初始地图的步骤，包括：在确定完成闭环构图操作后，获取构图关键帧中每个物体的三维空间点的空间坐标参数；基于空间坐标参数，融合出现重复的地图点；若地图点的位置与三维空间点出现偏差，对当前地图点以及相邻地图点进行校正处理；在完成校正处理后，基于三维空间点和地图点的深度信息，构建初始地图。

在完成闭环构图后，可以进行图像标定处理。在进行图像标定处理时，主要使用视觉SLAM系统的追踪部分求出红外摄像机的运动轨迹，使用局部建图对这个结果进行优化，得到精确可靠的标定结果。图像标定是指利用视觉传感器得到的视频或序列帧，反求出视觉传感器的运动轨迹和姿态。对于红外视频中的每一个序列帧，先进行非均匀性校正管理，然后从红外图像中提取足够多的特征点，并在相邻两帧之间进行特征点匹配。由于红外图像存在低纹理等缺点，从红外图像中能够提取的角点数量较少，为了能从红外图像中提取出足够数量的角点，相较于普通可见光图像需要大幅降低灵敏度阈值。

可选的，对当前地图点以及相邻地图点进行校正处理的步骤，包括：分析与当前地图点对应的红外特征点，利用预设光流法对指示红外角点的红外特征点进行追踪；计算追踪成功红外特征点的二进制特征标识符；基于二进制特征标识符，在追踪角点的阈值范围内对当前地图点以及相邻地图点进行校正处理。

在大幅降低灵敏度阈值，会导致大量的特征点出现误匹配，因此提出一种在热红外图像中大幅减少误匹配的方案，包括：

(1)降低角点检测算法的阈值，尽可能多地检测红外图像中的角点；

(2)利用L-K光流法对角点进行追踪；

(3)计算追踪成功角点的二进制特征描述符；

(4)在追踪角点的阈值范围内对当前地图点以及相邻地图点进行校正处理。

步骤S108，将激光扫描信息融合至初始地图，以生成目标地图。

可选的，将激光扫描信息融合至初始地图，以生成目标地图的步骤，包括：采用预设几何约束关系构建地图坐标转换系数矩阵方程；基于地图坐标转换系数矩阵方程，确定视觉设备与激光扫描设备之间的坐标转换关系；基于坐标转换关系，采用贝叶斯估计法将激光扫描信息融合至初始地图，以生成目标地图。

激光和视觉传感器数据融合的前提条件是不同传感器对同一目标在同一时刻的描述，通过不同传感器数据之间的约束关系来计算两个传感器之间的相对变换关系。对于激光和数据融合的外部标定方法，通过给定的标定板，利用几何约束关系构建坐标转换系数矩阵方程，从而确定相机坐标系和激光雷达坐标系之间的转换关系。

本实施例中，采用贝叶斯估计法来进行激光与视觉数据融合。贝叶斯估计法属于静态环境信息融合方法，信息描述为概率分布，适应于具有可加高斯噪声的不确定性信息处理。多贝叶斯估计把激光传感器作为贝叶斯估计，将环境中各个物体的关联概率分布结合成联合的后验概率分布函数，通过使联合分布函数的似然函数为最大，提供最终融合值，产生视觉激光融合地图，即产生目标地图。

贝叶斯估计法，包括：贝叶斯公式

在机器人状态估计中，机器人运动方程：

x

观测方程：

z

通过上面的方程，可以转换为下述公式，求在什么路标信息和姿态下，最可能产生当前时刻的观测数据：

由于此时机器人位姿路标信息未知，所以上式大小取决于似然信息p(z,u|x,y)

所以求上式最大似然估计：

最大似然估计求解法一般为最小二乘法，求解结果：

其中R

通过上述实施例，能够利用热红外摄像机特性(环境适应性相比于可见光更好，在夜间和恶劣条件下能工作地更出色，红外光透过雾霾、烟雾的能力比可见光强，抗干扰能力更强)，利用激光雷达和视觉融合信息发现单个传感器(激光雷达)所不能发现的障碍物，提高导航车辆或者移动机器人的路径规划和避障性能。

下面结合另一种可选的实施例来详细说明本发明。

实施例二

本发明实施例中涉及一种导航地图的生成装置，该生成装置包含的多个实施单元对应于上述实施例一中的各个实施步骤。

图2是根据本发明实施例的一种可选的导航地图的生成装置的示意图，如图2所示，该生成装置可以包括：获取单元21，追踪单元23，分析单元25，生成单元27，其中，

获取单元21，用于获取目标设备在行驶路径上的红外特征信息和激光扫描信息，其中，红外特征信息至少包括：多个红外特征点；

追踪单元23，用于对多个红外特征点进行追踪，以确定构图关键帧和地图点的深度信息，其中，构图关键帧为可见光图像；

分析单元25，用于分析构图关键帧中各个物体的三维空间点，基于三维空间点和地图点的深度信息，构建初始地图；

生成单元27，用于将激光扫描信息融合至初始地图，以生成目标地图。

上述导航地图的生成装置，可以通过获取单元21获取目标设备在行驶路径上的红外特征信息和激光扫描信息，其中，红外特征信息至少包括：多个红外特征点，通过追踪单元23对多个红外特征点进行追踪，以确定构图关键帧和地图点的深度信息，其中，构图关键帧为可见光图像，通过分析单元25分析构图关键帧中各个物体的三维空间点，基于三维空间点和地图点的深度信息，构建初始地图，通过生成单元27将激光扫描信息融合至初始地图，以生成目标地图。在该实施例中，利用红外摄像机的环境适应性相比于可见光更好，在夜间和恶劣条件下能工作地更出色(红外光透过雾霾、烟雾的能力比可见光强，抗干扰能力更强)，通过红外特征追踪，实现车辆周围的三维地图构建，同时使用激光扫描信息，提高地图上物体特征的扫描精确度，利用激光扫描信息和视觉信息，能够更为准确的发现障碍物，提高车辆/移动机器人的路径规划和避障性能，从而解决相关技术中车辆路径规划无法适应光照较差、视线较低的环境，导致车辆避障性能低的技术问题。

可选的，获取单元包括：第一获取模块，用于采用红外感知设备获取行驶路径上的红外影像，采用激光扫描设备获取行驶路径上的激光影像，并采用视觉设备拍摄行驶路径上的可见光图像；第一校正模块，用于对多张红外影像进行非均匀性校正处理，并提取红外影像中的多个红外特征点，得到红外特征信息；第一提取模块，用于提取激光影像中的多个激光聚焦点，得到激光扫描信息。

可选的，追踪单元包括：第一匹配模块，用于基于红外特征点，匹配相邻两幅可见光图像之间的图像特征点；第一分析模块，用于采用图像矩阵分析视觉设备在拍摄前后两帧可见光图像时的设备位移参数和旋转参数；第一计算模块，用于基于设备位移参数和旋转参数，计算每个图像特征点在待构建初始图像中的地图位置；第一确定模块，用于以每个图像特征点在待构建初始图像中的地图位置定义初始地图点，并确定初始地图点的深度信息；第一筛选模块，用于采用预设筛选策略，从多张可见光图像中筛选出能定义初始地图点的构图关键帧。

可选的，第一筛选模块包括：第一选取子模块，用于选取在计算每个图像特征点在待构建初始图像中的地图位置之后的第一图像，并将选取的第一图像作为构图关键帧；或者，第二选取子模块，用于选取距离上一构图关键帧超出预设数量帧的第二图像，并将选取的第二图像作为构图关键帧；或者，第三选取子模块，用于选取可见光图像中跟踪特征点数量少于预设地图云点数量的图像作为构图关键帧；或者，第四选取子模块，用于选取可见光图像中跟踪少于参考关键帧目标云点的预设比例的图像作为构图关键帧。

可选的，生成装置还包括：添加单元，用于在确定构图关键帧和地图点的深度信息之后，将选取的初始地图点添加至待构建初始地图中；第一处理单元，用于对多个初始地图点进行非线性优化处理；第一计算单元，用于计算非线性优化处理后的多个初始地图点与像素位置之间的关联关系；第二计算单元，用于基于关联关系，计算视觉设备的设备位姿；最小化单元，用于最小化视觉设备在各个时间点的设备位姿差，以降低初始地图点在地图像素坐标系下的重投影误差。

可选的，分析单元包括：第二获取模块，用于在确定完成闭环构图操作后，获取构图关键帧中每个物体的三维空间点的空间坐标参数；融合模块，用于基于空间坐标参数，融合出现重复的地图点；第二校正模块，用于在地图点的位置与三维空间点出现偏差时，对当前地图点以及相邻地图点进行校正处理；第一构建模块，用于在完成校正处理后，基于三维空间点和地图点的深度信息，构建初始地图。

可选的，第二校正模块包括：第一分析子模块，用于分析与当前地图点对应的红外特征点，利用预设光流法对指示红外角点的红外特征点进行追踪；第一计算子模块，用于计算追踪成功红外特征点的二进制特征标识符；第一校正子模块，用于基于二进制特征标识符，在追踪角点的阈值范围内对当前地图点以及相邻地图点进行校正处理。

可选的，生成单元包括：第二构建模块，用于采用预设几何约束关系构建地图坐标转换系数矩阵方程；第二确定模块，用于基于地图坐标转换系数矩阵方程，确定视觉设备与激光扫描设备之间的坐标转换关系；生成模块，用于基于坐标转换关系，采用贝叶斯估计法将激光扫描信息融合至初始地图，以生成目标地图。

上述的导航地图的生成装置还可以包括处理器和存储器，上述获取单元21，追踪单元23，分析单元25，生成单元27等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

上述处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来将激光扫描信息融合至初始地图，以生成目标地图。

上述存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的导航地图的生成方法。

根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的导航地图的生成方法。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取目标设备在行驶路径上的红外特征信息和激光扫描信息，其中，红外特征信息至少包括：多个红外特征点；对多个红外特征点进行追踪，以确定构图关键帧和地图点的深度信息，其中，构图关键帧为可见光图像；分析构图关键帧中各个物体的三维空间点，基于三维空间点和地图点的深度信息，构建初始地图；将激光扫描信息融合至初始地图，以生成目标地图。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。