一种多源信息融合的无人机火源定位方法及系统

技术领域

本发明涉及无人机导航定位技术领域，特别涉及一种多源信息融合的无人机火源定位方法及系统。

背景技术

森林火灾是一种突发性强、破坏性大、处置救助较为困难的自然灾害，人工灭火往往由于环境复杂，行动不便等原因，严重影响灭火效率，采用飞机挂载灭火弹对火场进行灭火更具简单快捷性，效果突出。

采用飞机挂载灭火弹进行森林灭火的关键在于找到着火点即灭火位置，由于自然环境以及火场的变化发展，火场是动态变化的，因此需要及时将火场的坐标信息传送给运载飞机以及灭火弹。目前国际上对着火点定位方法的研究取得了长足进步，产生了诸如基于GPS和微波测距的森林着火点定位方法、基于CMYK 颜色特征的火灾区域定位新方法和基于PSO-GA 算法的无人机集群森林火灾探查方法，虽然他们可以实现良好的定位效果，但是由于缺乏温度信息，难以找到着火点的准确位置，因此需要提出一种新型的方法及系统，实现无人机火源定位的功能。

发明内容

本发明提供了一种多源信息融合的无人机火源定位方法及系统，以解决目前森林火灾着火点定位不准，信息源单一的技术问题。

为解决上述技术问题，本发明提供了如下技术方案：

一方面，本发明提供了一种多源信息融合的无人机火源定位方法，该多源信息融合的无人机火源定位方法包括：

通过无人机挂载激光雷达、IMU和热成像仪进行信息采集，所述激光雷达采集环境点云数据，所述IMU采集无人机自身位姿和加速度信息，所述热成像仪采集环境温度信息生成热成像图；

对点云数据去除运动畸变，并生成点云深度图；

将点云深度图和热成像仪生成的热成像图归一化处理，将点云深度图的像素关联温度信息；

采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，IMU的角速度和加速度信息预积分生成预积分因子，使用因子图融合激光里程计因子和预积分因子，得到环境和无人机的位置；

使用滑动窗口搜索点云深度图，计算每个滑动窗口的温度平均值，并利用该平均值得到着火点位置。

进一步地，所述无人机挂载激光雷达、IMU和热成像仪的数据，包括：

所述激光雷达采集所用的是3D激光雷达，使用64束扫描线，扫描频率是10HZ，点云数据包含无人机到环境的距离信息；

所述IMU，英文名为Inertial measurement unit即惯性测量单元，它由三个单轴的加速度计和三个单轴的陀螺仪组成，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，对这些信号进行处理之后，便可解算出载体的位置和旋转信息；

所述热成像仪可以将物体发出的不可见红外能量转变为可见的热成像图。热成像图上面的不同颜色代表被测物体的不同温度，因此可以通过热成像图，得到环境的温度值。

进一步地，所述对获取的激光点云数据去除运动畸变并生成点云深度图，包括：

激光点云的畸变是由于一帧数据的采集过程中，雷达载体进行运动导致，因此需要先计算采集过程中雷达的运动，然后在每帧中根据每个点的相对时间进行补偿这个运动量，包括旋转和平移的补偿。

首先计算采集过程中一帧点云中第一个激光点和最后一个激光点的位姿信息，包含平移和旋转变化量；

然后根据每个点的相对时间进行位姿的补偿，将第一个激光点和最后一个激光点的位姿变化量平均补偿到一帧内不同时间的激光点上。

进一步地，所述对去除运动畸变的点云生成点云深度图，包括：

所述激光雷达采集64线束，每一线束采集512个激光点，因此将每个激光点进行深度投影，生成一帧二维图像即点云深度图，该图像所述点云深度图的每个像素点包含着无人机到反射点的距离信息。

进一步地，所述点云深度图和热成像图归一化处理，点云深度图的像素关联温度信息，包括：

所述点云深度图像素格式为512*64，所述热成像图的像素格式为256*192；

对点云深度图和热成像图归一化处理，生成像素格式一致的256*64的图像；

再将归一化处理后热成像图与归一化处理后点云深度图中的像素一一对应，并将热成像图中像素所包含的温度值赋予点云深度图中的像素，实现点云深度图与热成像图温度信息的关联。

进一步地，所述采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，包括：

采用帧间匹配的方法计算无人机的位置信息，帧间匹配时随机计算两帧点云对应激光点的距离信息，利用最小二乘法通过迭代使误差函数最小时，得到两帧点云位姿的变化量，由于初始位置已知，因此通过该方法不断计算得到无人机的实时位置。

进一步地，所述IMU的角速度和加速度信息预积分生成预积分因子，所述基于激光里程计因子和IMU预积分因子，使用因子图进行融合，所述方法包括：

对IMU测得的角速度和加速度信息进行预积分处理，构建预积分因子；

将所述激光里程计因子计算构建变量节点，预积分因子构成相关变量节点间的因子节点，一起加入因子图中进行联合优化，得到全局一致的位置轨迹，并经过地图的拼接后，得到全局一致性的地图。

进一步地，所述使用滑动窗口搜素深度图，计算每个滑动窗口的温度平均值，利用该温度平均值得到着火点位置，包括：

关联温度值的点云深度图像素格式为256*64，对每帧点云深度图进行拼接，得到全局一致性地图深度图；

设置滑动窗口大小为64*64，以每秒256像素点的速度沿无人机位置轨迹方向移动，计算不同时刻滑动窗口的温度平均值和位置平均值；

温度平均值最高的滑动窗口即为着火点范围位置，着火点即为滑动窗口的中心点。

另一方面，本发明还提供了一种多源信息融合的无人机火源定位系统，该多源信息融合的无人机火源定位系统包括：

传感器数据采集模块，通过无人机挂载激光雷达、IMU和热成像仪进行信息采集，所述激光雷达采集环境点云数据，所述IMU采集无人机自身位姿和加速度信息，所述热成像仪采集环境温度信息生成热成像图，对点云数据去除运动畸变，并生成点云深度图；

点云深度与温度关联模块，点云深度图和热成像图归一化处理，点云深度图的像素关联温度信息；

传感器数据融合模块，采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，IMU的角速度和加速度信息预积分生成预积分因子，使用因子图融合激光里程计因子和预积分因子，得到环境和无人机的位置；

着火点搜索模块，使用滑动窗口搜索点云深度图，计算每个滑动窗口的温度平均值，并利用该平均值得到着火点位置。

本发明提供的技术方案带来的有益效果至少包括：

本发明将热成像仪的温度信息引入无人机定位算法，增加了算法信息的丰富度，实现着火点定位的目的；多源信息融合采用分级融合的思想，激光雷达生成的点云深度图关联和热成像仪的温度信息，之后将激光雷达和IMU用因子图融合在一起进行联合优化，充分发挥每个传感器信息的作用，同时避免了信息冗余，相比于单传感器和单一信息源的系统，本发明具有更高的鲁棒性能。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种多源信息融合的无人机火源定位方法步骤实施图；

图2为本发明实施例提供的一种多源信息融合的无人机火源定位系统模块示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一

本实施例提供了一种多源信息融合的无人机火源定位方法，该方法可以由电子设备实现。具体地，本实施例的方法包括以下步骤：

S10：通过无人机挂载激光雷达、IMU和热成像仪进行信息采集，所述激光雷达采集环境点云数据，所述IMU采集无人机自身位姿和加速度信息，所述热成像仪采集环境温度信息生成热成像图；

S11：对点云数据去除运动畸变，并生成点云深度图；

S12：将点云深度图和热成像仪生成的热成像图归一化处理，将点云深度图的像素关联温度信息；

S13：采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，IMU的角速度和加速度信息预积分生成预积分因子，使用因子图融合激光里程计因子和预积分因子，得到环境和无人机的位置；

S14：使用滑动窗口搜索点云深度图，计算每个滑动窗口的温度平均值，并利用该平均值得到着火点位置。

综上，本实施例的无人机火源定位方法主要有以下特点：1、本方法利用将热成像仪的温度信息引入无人机定位方法，丰富了信息源，目的在于实现着火点定位功能，其主要特点如下：（1）归一化点云深度图和热成像图，点云深度图的像素关联温度信息；（2）本方法在进行多源信息融合时采用分级融合的思想，先对激光雷达和热成像仪的有效数据进行关联融合，之后将激光雷达和IMU信息用因子图融合在一起进行联合优化，充分发挥了每个传感器信息的作用。2、相比传统着火点定位算法，本方法使用了温度信息，更适用于着火点定位；3、本方法在进行着火点搜索时使用了滑动窗口给的方式，通过计算整个滑动窗口的温度平均值确定着火点范围，利用滑动窗口的中心位置确定着火点位置，计算简单高效。

实施例二

本实施例将结合相应的附图对本发明的一种多源信息融合的无人机火源定位方法进行更详细的描述，如图1所示，该方法主要分为五个步骤，一是通过无人机挂载激光雷达、IMU和热成像仪进行信息采集，所述激光雷达采集环境点云数据，所述IMU采集无人机自身位姿和加速度信息，所述热成像仪采集环境温度信息生成热成像图；二是对点云数据去除运动畸变，并生成点云深度图；三是将点云深度图和热成像仪生成的热成像图归一化处理，将点云深度图的像素关联温度信息；四是采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，IMU的角速度和加速度信息预积分生成预积分因子，使用因子图融合激光里程计因子和预积分因子，得到环境和无人机的位置；其中，因子图优化采用GTSAM，它是一个在机器人领域和计算机视觉领域用于平滑和建图的C++库；五是使用滑动窗口搜索点云深度图，计算每个滑动窗口的温度平均值，并利用该平均值得到着火点位置。

具体地，本实施例的方法包括以下步骤：

步骤S10：激光雷达、IMU和热成像仪，其中激光雷达获得环境点云数据，IMU获得无人机自身位姿和加速度信息，热成像仪获得环境温度信息；

激光雷达采集所用的是3D激光雷达，64线束，频率10HZ，角分辨为0.2°，每秒采集10帧点云数据，点云数据包含无人机到环境的距离信息，且排列杂乱无章；

IMU（英文：Inertial measurement unit，简称 IMU）即惯性测量单元，它由三个单轴的加速度计和三个单轴的陀螺仪组成，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，对这些信号进行处理之后，便可解算出载体的位置和旋转信息；

热成像仪可以将物体发出的不可见红外能量转变为可见的热成像图。热成像图上面的不同颜色代表被测物体的不同温度，因此可以通过热成像图，得到环境的温度值。

步骤S11：点云数据去除运动畸变，并生成点云深度图。

激光点云的畸变是由于一帧数据的采集过程中，雷达载体进行运动导致，因此需要先计算采集过程中雷达的运动，然后在每帧中根据每个点的相对时间进行补偿这个运动量，包括旋转和平移的补偿。

首先计算采集过程中一帧点云中第一个激光点和最后一个激光点的位姿信息，包含平移和旋转变化量；

然后根据每个点的相对时间进行位姿的补偿，将第一个激光点和最后一个激光点的位姿变化量平均补偿到一帧内不同时间的激光点上。

设t是当前点云中激光点的时间戳，m表示扫描线束的扫描频率数，且设置其初始值为0，激光点的位姿可由帧间匹配得到。

假定

当给定一个激光点y，

通过上述过程去除运动畸变。

激光雷达每一线束采集512个激光点，共64线束，因此将每个激光点进行深度投影，生成一帧二维图像即点云深度图，该图像的每个像素点包含着无人机到反射点的距离信息。

步骤S12：将点云深度图和热成像仪生成的热成像图归一化处理，点云深度图的像素关联温度信息。

点云深度图像素格式为512*64，热成像图的像素格式为256*192，为将每个点云深度图的像素赋予温度信息，需要将点云深度图和热成像图归一化处理，生成像素格式一致的256*64的图像，之后将热成像图的温度值与点云深度图的对应像素点相关联。

步骤S13：采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，IMU的角速度和加速度信息预积分生成预积分因子，使用因子图融合上述两种因子，得到更加准确的环境和无人机位置。

采用帧间匹配的方法计算无人的位置信息，帧间匹配时随机计算两帧点云对应激光点的距离信息，利用最小二乘法迭代使误差函数最小时，即可得到两帧点云位姿的变化量，由于初始位置已知，因此可以通过该方法不断计算得到无人机的实时位姿。ICP的误差函数公式如下所示：

其中，

在得到误差函数之后，需要对误差函数进行求解，采取的方法是LM算法进行激光里程计的运动估计，最后统一为一个非线性函数求解计算。同时将其转换为激光里程计因子进行联合优化。

IMU主要可以测量得到角速度和加速度信息。具体形式如下公式所示：

其中，

所以如果环境干扰过大，某些情况下仅以IMU的信息作为基准，误差过大，考虑IMU自身的误差干扰，为提高计算效率，对IMU信息进行预积分处理，构建预积分因子，具体公式如下所示，分别代表了无人机的速度，加速度及旋转方向的变化关系。

其中

需要说明的是，在多传感器融合的方案中，有基于滤波器法和基于图优化法，目前主流的方式是以批量处理的图优化方式，该算法不仅考虑相邻帧间的信息，而且对全局信息进行关联，可有效降低累计误差。因子图是概率图的一种，能够在最大后验概率推断问题中表示为归一化后验概率的能力，因而成为概率机器人领域理想的图模型。主要内容就是构建因子图和对信息矩阵得增量优化，在因子图构建的过程中，主要有因子节点和变量节点，在SLAM问题里，把位姿X构建为变量节点，本方法中由激光里程计因子计算得到，之后将预积分因子构成相关变量节点间的因子节点，最后通过GTSAM库进行优化，得到全局一致的位置轨迹，由于准确的位姿也会使观测信息更加精准，经过地图的拼接后，从而得到全局一致性地图。

步骤S14：使用滑动窗口搜素点云深度图，计算每个滑动窗口的温度平均值，并通过温度平均值计算着火点的位置。

关联温度值的点云深度图像素格式为256*64，对每帧点云深度图进行拼接，得到全局一致性地图深度图。设置滑动窗口大小为64*64，滑动窗口沿轨迹方向移动，且每个滑动窗口不重叠。

计算不同时刻滑动窗口的温度平均值

其中,

计算不同时刻滑动窗口的位置平均值

其中,

经过比较，温度平均值最高的滑动窗口即为着火点范围位置。

其中，

滑窗的中心点即为着火点。

其中，/>

综上，本发明将热成像仪的温度信息引入无人机定位方法及系统，丰富了系统信息源，目的在于实现着火点定位功能，提高系统整体的鲁棒性；本方法在进行多源信息融合时采用分级融合的思想，先对激光雷达和热成像仪的有效数据进行关联融合，之后将激光雷达和IMU信息用因子图的方式融合在一起进行联合优化，充分发挥了每个传感器信息的作用，更适用于着火点定位；本方法在进行着火点搜索时使用了滑动窗口给的方式，通过计算整个滑动窗口的温度平均值确定着火点范围，并通过温度平均值计算着火点的位置，计算简单高效。

实施例三

本实施例提供了一种多源信息融合的无人机火源定位系统，该多源信息融合的无人机火源定位系统的主要模块如图2所示：

传感器数据采集模块，通过无人机挂载激光雷达、IMU和热成像仪进行信息采集，所述激光雷达采集环境点云数据，所述IMU采集无人机自身位姿和加速度信息，所述热成像仪采集环境温度信息生成热成像图，对点云数据去除运动畸变，并生成点云深度图；

点云深度与温度关联模块，点云深度图和热成像图归一化处理，点云深度图的像素关联温度信息；

传感器数据融合模块，采用帧间匹配的方法计算每个激光点的位置信息，生成激光里程计因子，IMU的角速度和加速度信息预积分生成预积分因子，使用因子图融合激光里程计因子和预积分因子，得到环境和无人机的位置；

着火点搜索模块，使用滑动窗口搜索点云深度图，计算每个滑动窗口的温度平均值，并通过温度平均值计算着火点的位置。

本实施例的一种多源信息融合的无人机火源定位系统与上述实施例的无人机火源定位方法相对应；其中，本实施例的一种多源信息融合的无人机火源定位系统中的各功能模块所实现的功能与上述实施例的无人机火源定位方法中的各流程步骤一一对应；故，在此不再赘述。