一种基于低空机载多传感器融合的实时态势感知系统与方法

技术领域

本发明涉及激光雷达点云拼接和视频纹理映射技术领域，具体涉及一种基于低空机载多传感器融合的实时态势感知系统与方法。

背景技术

随着飞机技术和应用的发展，近年来逐渐用于执行安全保卫、应急救援和风险巡检任务。在突发事故和灾害场景中，需要快速部署获取现场态势信息以支撑评估决策和指挥调度，目前以搭载单一任务载荷的实时视频和快速测绘为主，因实时视频数据类型单一不能用于空间分析等深入应用，快速测绘需返航下载处理难以提供空间数据的实时应用，且受昼夜时段、地物条件和烟雾环境的影响，限制随时飞行作业。

发明内容

针对现有技术的不足，本发明提出了一种基于低空机载多传感器融合的实时态势感知系统与方法，集成固态激光雷达、可见光/红外光相机、RTK/INS单元并联合标定和时间同步，机载端快速匹配、滤波、压缩和拼接激光点云，同步进行双光视频叠加POS信息和合成视频流，实时传输新增帧点云和合成视频流至地面端，迭代生成拼接点云，并与合成视频流进行空间转换和纹理映射，迭代增生具有可见光和红外光纹理的高精度三维模型，实现低空机载多传感器融合的实时态势感知。

为实现上述目的，本发明提供如下技术方案：

一种基于低空机载多传感器融合的实时态势感知系统，包括机载采集模块、机载处理模块、空地传输模块、地面处理模块。

所述机载采集模块集成固态激光雷达、可见光/红外光相机、RTK/INS单元等，选配相同视角镜头并主光线中心轴线同向平行安装，进行联合标定和时间同步；

所述机载处理模块采用RTK/INS辅助的帧间特征点匹配算法进行激光点云匹配、滤波、压缩、拼接并输出新增帧压缩点云，同步进行双光视频叠加POS信息并输出合成视频流；

所述空地传输模块接收转发新增帧压缩点云和合成视频流；

所述地面处理模块接收新增帧压缩点云并迭代生成拼接点云，与双光视频进行空间转换和纹理映射，迭代增生具有可见光和红外光纹理的高精度三维模型。

作为本发明再进一步的优选方案，所述机载采集模块联合标定的方法为，激光雷达与相机联合标定根据张正友法求取相机的内外参，计算相机原点和激光雷达原点到标定板的法向量作限制条件，利用LM算法对标定模型进行整体优化迭代求取最优解；激光雷达与RTK/INS联合标定采用ICP算法。

作为本发明再进一步的优选方案，所述机载采集模块时间同步的方法为，以高稳石英晶振作为时钟源，结合GPS数据进行校准，RTK/INS单元、相机采用主动同步，激光雷达采用授时同步，激光雷达、相机和RTK/INS单元数据叠加同步时间标签。

作为本发明再进一步的优选方案，所述机载处理模块帧间特征点匹配的方法为，新增帧原始点云预处理剔除异常值，再提取特征点，与先前帧拼接点云进行帧间特征点匹配，获取新增帧匹配点云。

作为本发明再进一步的优选方案，所述机载处理模块特征点提取的方法为，将每帧原始点云进行扇形等分为8个扇区，分别计算排序点的曲率，每个区域选择两个角点和四个面点做为该帧的特征点。

作为本发明再进一步的优选方案，所述机载处理模块RTK/INS辅助模式的方法为，基于RTK/INS单元数据提供帧间特征点匹配激光里程计的预测值与范围值，在规划航线的每个转向航点前后急减速、旋转、急加速区间和直飞航段激光里程计姿态角与INS单元数据偏差超过设置阈值时，自动切换为RTK/INS辅助模式。

作为本发明再进一步的优选方案，所述机载处理模块点云滤波采用基于体素滤波的多场景参数自适应方法，计算新增帧匹配点云及其关联区域先前帧拼接点云中每个点的法向量，统计法向量方向复杂度，复杂度高则体素滤波参数小，保持新增帧匹配点云分辨率和数据，反之则体素滤波参数变大，降低新增帧匹配点云分辨率和数据。

作为本发明再进一步的优选方案，所述机载处理模块点云压缩的方法为，采用双缓冲八叉树结构，第一帧匹配点云执行一次完整的编码，后续只对新增帧滤波点云与先前帧拼接点云的差值进行编码。

作为本发明再进一步的优选方案，所述机载处理模块视频帧叠加POS信息的方法为，通过网口接收机载采集模块可见光和红外光视频数据并通过串口接收机载采集模块RTK/INS数据，视频数据根据时间标签叠加时间同步的POS信息。

作为本发明再进一步的优选方案，所述地面处理模块空间转换和纹理映射的方法为，拼接点云根据激光点云匹配拼接和传感器联合标定参数转换到原始点云局部坐标系和视频像平面坐标系，再定位投影到时间同步的视频帧图像平面，抽取视频图像颜色信息赋色拼接点云。

优选的，本发明还提供一种基于低空机载多传感器融合的实时态势感知方法，包括如下步骤：

(1)机载端集成固态激光雷达、可见光/红外光相机、RTK/INS单元等，选配相同视角镜头并主光线中心轴线同向平行安装，进行联合标定和时间同步；

(2)机载端采用RTK/INS辅助的帧间特征点匹配算法进行激光点云匹配、滤波、压缩、拼接并输出新增帧压缩点云，同步进行双光视频叠加POS信息并输出合成视频流；

(3)机载端无线传输新增帧压缩点云和合成视频流至地面端；

(4)地面端新增帧压缩点云迭代生成拼接点云，与双光视频进行空间转换和纹理映射，迭代增生具有可见光和红外光纹理的高精度三维模型。

与现有技术相比，本发明的有益效果是：基于多传感器的时空统一，机载端快速进行激光点云匹配滤波压缩，实时传输新增帧点云和双光合成视频流，地面端快速进行空间转换和纹理映射，实时迭代增生具有可见光和红外光纹理的高精度三维模型，从而实现基于低空机载多传感器融合的实时态势感知。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的模块架构和技术流程图；

图2是本发明的激光雷达与相机结构示意图；

图3是本发明的激光雷达与相机联合标定空间关系示意图；

图4是本发明的激光雷达与相机联合标定流程图；

图5是本发明的时间同步控制器结构框图；

图6是本发明的激光雷达视域扇形等分示意图；

图7是本发明的规划转向航段切换RTK/INS辅助模式示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明的模块架构和技术流程图，按照功能划分四个功能模块：机载采集模块、机载处理模块、空地传输模块、地面处理模块。机载采集模块集成固态激光雷达、可见光/红外光相机、RTK/INS单元等，选配相同视角镜头并主光线中心轴线同向平行安装，进行联合标定和时间同步；机载处理模块采用RTK/INS辅助的帧间特征点匹配算法进行激光点云匹配、滤波、压缩、拼接并输出新增帧压缩点云，同步进行双光视频叠加POS信息并输出合成视频流；空地传输模块接收转发新增帧压缩点云和合成视频流；地面处理模块接收新增帧压缩点云并迭代生成拼接点云，与双光视频进行空间转换和纹理映射，迭代增生具有可见光和红外光纹理的高精度三维模型。

下面对本发明的功能模块做详细的说明。

机载采集模块：

机载采集模块集成固态激光雷达、可见光相机、红外光相机、RTK/INS单元四种传感器，激光雷达提供高精度的空间点云，可见光相机提供动态影像和纹理信息，红外光相机适用夜间场景和提供温度信息，RTK/INS单元提供激光点云和相机视频帧高精度POS信息并增强激光点云匹配拼接的鲁棒性，以提高环境适应性和数据应用深度。

为保证同视域采集，激光雷达、可见光相机、红外光相机选配相同视角镜头，主光线中心轴线同向平行安装，结构如图2所示。

为支持高精度激光点云拼接和视频纹理融合，需进行多传感器联合标定和时间同步。

多传感器联合标定包括激光雷达与相机和激光雷达与RTK/INS单元的联合标定。

三维空间的激光点云坐标系与二维平面的相机视频像素坐标系之间点的几何关系如图3所示，联合标定模型参数的求解过程也就是激光雷达与相机联合标定的过程，进而将标定参数求解的问题转化为方程求解问题。激光雷达与相机联合标定的方法为，建立联合标定模型，采集激光雷达和相机的标定板数据，根据张正友法求取相机的内外参，计算相机原点和激光雷达原点到标定板的法向量，然后通过两个法向量作限制条件，利用LM算法对标定模型进行整体优化迭代求取最优解，流程如图4所示。

激光雷达与RTK/INS单元联合标定采用ICP算法。

多传感器时间同步的方法为，时间同步控制器以高稳石英晶振作为同步器的时钟源，结合GPS的PPS脉冲和NEMA数据进行校准，利用高稳石英晶体短时稳定性和PPS脉冲长期稳定性的优势，建立高精度时间基准。根据各传感器特性，RTK/INS单元、相机采用主动同步，激光雷达采用授时同步，即以纯硬件方式采集激光雷达、相机和RTK/INS单元数据并叠加同步控制器精确的时间标签作为同步对齐的标志，实现多传感器原始数据的高精度时间同步。时间同步控制器的结构框图如图5所示。

机载处理模块：

机载处理模块采集激光雷达、相机和RTK/INS单元的时间同步数据，采用RTK/INS辅助的帧间特征点匹配算法进行激光点云匹配、滤波、压缩、拼接并输出新增帧压缩点云，同步进行相机视频帧叠加POS信息、双光视频合成并输出一路合成视频流。

激光点云帧间特征点匹配，首先对新增帧原始点云进行预处理剔除异常值，再提取特征点，与先前帧拼接点云进行最近点迭代匹配，进而获取新增帧匹配点云和所有帧拼接点云。

帧间特征点匹配算法为，新增帧原始点云P＝{p

使得

式中，R∈SO(3)为旋转矩阵，t为平移向量，C＝{(i，j)}为特征点对的集合，p

固态激光雷达利用振片形成原始点云，激光射线视野为圆锥形，为使特征点分布均匀化，避免过于集中导致匹配精度下降，特征点提取的方法为，将每帧原始点云进行扇形等分为8个扇区，如图6所示，在每个扇区中分别计算排序点的曲率，曲率值越大则为角点，越小则为面点，每个区域选择两个角点和四个面点做为该帧的特征点进行匹配，依据角点到直线的距离与面点到平面的距离进行非线性迭代优化。

帧间特征点匹配算法在飞机移动速度较快或转弯角度过大时，容易发生激光里程计失准导致错误匹配，因此本发明在转向航段或匹配异常时，激光雷达点云拼接切换为RTK/INS辅助模式，基于RTK/INS单元数据向帧间特征点匹配提供激光里程计预测值与范围值，增强系统鲁棒性。

转向航段为规划航线的每个转向航点前后的急减速、旋转、急加速区间，根据航线规划数据和飞机飞行POS数据自动切换为RTK/INS辅助模式，如图7所示。

飞机在直飞航段不会出现帧间的运动突变情况，监测激光里程计和INS单元数据，当激光里程计的姿态角与INS单元数据偏差超过设置阈值时，自动切换为RTK/INS辅助模式，阈值一般设置为0.1°。

为减少点云数据量和提高无线数据传输的效率，需对新增帧匹配点云进行滤波和压缩处理。

点云滤波采用基于体素滤波的多场景参数自适应方法，计算新增帧匹配点云及其关联区域先前帧拼接点云中每个点的法向量，统计法向量方向复杂度，复杂度高则体素滤波参数小，保持新增帧匹配点云分辨率和数据，反之则体素滤波参数变大，降低新增帧匹配点云分辨率，去除激光雷达相邻帧重叠区域内的大量位置相近的点，获取新增帧滤波点云。

确定表面一点法线的问题近似于估计表面的一个相切面法线的问题，因此转换过来以后变成一个最小二乘法平面拟合估计问题，分析一个协方差矩阵的特征矢量和特征值，协方差矩阵从查询点的邻近元素中创建。具体的，对于每一个点P

式中，K是点P

点云压缩采用双缓冲八叉树结构，第一帧匹配点云执行一次完整的编码，后续只对新增帧滤波点云与先前帧拼接点云的差值进行编码，获取新增帧压缩点云。

双缓冲八叉树数据结构使用的过程是，每个分支节点都有两个缓冲区，当需要创建新的子节点时，在当前分支节点中查找前面指针缓冲区，如果找不到相关的引用指针，即在之前处理过的八叉树结构中不存在相应的体素，则创建新的子节点，且两个缓冲区都初始化为0；如果在前面的指针缓冲区中找到对应的子节点指针，则采用它的引用，并初始化所选的子指针缓冲区为0。初始化完成之后，通过对两个缓存区进行异或操作，得到并编码两个八叉树缓存区之间的差异。

视频帧叠加POS信息的方法为，通过网口接收机载采集模块可见光和红外光视频数据并通过串口接收机载采集模块的RTK/INS数据，根据同步的时间标签，视频数据叠加时间同步的POS信息。

空地传输模块：

空地传输模块具备双网口通道数据输入，可同时接收机载处理模块的激光雷达新增帧压缩点云和可见光、红外光相机合成视频流，通过数传、5G、微波等无线通信技术，传输至地面处理模块。

地面处理模块：

地面处理模块接收激光雷达新增帧压缩点云并迭代拼接生成所有帧的拼接点云，同步接收可见光、红外光相机合成视频流，分别与拼接点云进行时间同步的空间转换和纹理映射，迭代增生具有可见光和红外光纹理的高精度三维模型。

拼接点云空间转换和纹理映射的方法为，根据激光点云匹配拼接和传感器联合标定参数，转换到原始点云局部坐标系和视频像平面坐标系，再定位投影到时间同步的视频帧图像平面，抽取视频图像颜色信息赋色拼接点云。

具体的，拼接点云先转换到原始点云局部坐标系，根据原始点云的时间标签定位时间同步的纹理映射视频帧图像，公式如下：

X

式中，X

拼接点云再转换到相机像空间辅助坐标系，公式如下：

X

X

式中，X

拼接点云最后转换到视频像平面坐标系，公式如下：

式中，

综上所述，本发明综合利用多传感器联合标定与时间同步、激光点云RTK/INS辅助帧间特征点匹配与多场景参数自适应体素滤波及双缓冲八叉树结构压缩等技术，实现低空机载多传感器融合的实时态势感知。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。