基于多光谱图像重建的多光谱点云生成方法、存储介质及设备

技术领域

本发明属于多光谱图像三维重建技术领域，具体涉及一种多光谱点云生成方法、存储介质及设备。

背景技术

随着三维重建技术的不断发展，利用无人机采集RGB图像进行三维重建成为了一种获取城市、森林等三维场景信息的热点技术。多光谱传感器可以获取场景的多光谱图像，包含了观测场景更丰富的光谱信息，对农业、林业等应用具有更高的价值。现有的基于图像的三维重建方法都是为光学RGB图像所设计，没有考虑多光谱图像的特点，直接应用于多光谱图像时，具有光谱信息利用不充分、重建精度低、效率低等问题。

发明内容

本发明为了解决现有技术中光谱信息利用不充分，重建精度低，效率低的问题。

一种基于多光谱图像重建的多光谱点云生成方法，包括以下步骤：

步骤1、根据多光谱相机及多光谱图像采集参数，对多光谱图像进行辐射校正与波段对齐；对多光谱图像重叠区域进行裁切，将多个单波段图像叠加合成波段对齐的多光谱图像；

步骤2、采用图像增强与SIFT特征算子结合的方式得到逐波段特征，在所有波段特征提取完成后，采用如下方法进行多光谱特征的融合：

对于任意一张多光谱图像，遍历图像中每一个像素的位置，如果该像素位置仅存在一个多光谱特征，则保留该特征作为融合多光谱特征；如果该像素内存在多个多光谱特征，则对这些特征进行筛选，保留特征幅值最大的特征作为多光谱融合特征；

步骤3、基于步骤1得到的多光谱图像，计算多光谱图像NDVI值并生成NDVI掩膜；通过NDVI掩膜对步骤2融合的多光谱特征进行匹配与几何验证；

步骤4、根据步骤3得到的特征匹配对，建立图像集中多光谱图像的匹配关系，并使用运动结构恢复方法计算图像相对位姿信息，使用多视角几何匹配技术计算图像深度值，对多光谱值进行投影，生成多光谱点云。

进一步地，步骤1中的辐射校正的过程包括以下步骤：

根据多光谱传感器成像原理，对于瞬时采集的多光谱图像，得到辐射校正数学模型如下：

L＝g·V(x,y)·R(y)

其中，L为多光谱图像的辐射校正模型，g为传感器增益系数；V(x,y)为去除传感器透镜导致的边缘减光效应，R(y)为行梯度校正因子；

去除传感器透镜导致的边缘减光效应V(x,y)如下：

k＝1+k

其中，k为晕影校正因子，k

行梯度校正因子R(y)如下：

其中，I(x,y)为图像中像素(x,y)的原始强度值，I

进一步地，步骤1中的波段对齐的过程包括以下步骤：

S1.2.1、对逐波段图像进行几何畸变校正：

x'＝x(1+j

y'＝y(1+j

其中，(x',y')代表了校正后的像素位置，j

S1.2.2、使用传感器镜头结构参数对各波段图像进行几何配准变换：

基于镜头间位置差异及欧拉角，通过下式将欧拉角转换为旋转矩阵：

其中，

通过计算镜头间旋转矩阵，可对各波段图像进行几何变换，使得多镜头采集的各图像配准对齐。

进一步地，采用图像增强与SIFT特征算子结合的方式得到的逐波段特征如下：

其中，I

进一步地，基于步骤1得到的多光谱图像计算多光谱图像NDVI值并生成NDVI掩膜的过程包括以下步骤：

基于步骤1得到的多光谱图像，按照下式计算得到多光谱图像的NDVI值，并生成NDVI掩膜：

其中，I

进一步地，通过NDVI掩膜对步骤2融合的多光谱特征进行匹配与几何验证的过程包括以下步骤：

根据NDVI掩膜及融合多光谱特征的位置，将融合多光谱特征分为植被区域的F

进一步地，所述步骤4的具体过程包括以下步骤：

根据步骤3得到的特征匹配对，建立图像集中多光谱图像的匹配关系，根据三角测量原理得到多光谱图像间相对位姿关系，使用运动结构恢复方法对多光谱图像进行三维重建，得到重建特征点的三维关系和基于优化准则优化后的图像位姿关系；优化准则如下：

其中，M

将多光谱图像与优化后的位姿关系作为多视角立体视觉的输入，进行重建图像的深度图估计，通过图像的位姿关系与多光谱图像的深度图，得到重建点云的空间位置，通过投影将多光谱值赋给对应的空间点，最终生成多光谱点云MSPC。

进一步地，所述的多光谱点云MSPC入下：

其中，(x

一种计算机存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的一种基于多光谱图像重建的多光谱点云生成方法。

一种基于多光谱图像重建的多光谱点云生成设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的一种基于多光谱图像重建的多光谱点云生成方法。

有益效果：

本方法发明了一种基于多光谱图像三维重建的多光谱点云生成方法，能够准确的得到多光谱特征及多光谱特征间的匹配关系，从而恢复多光谱图像的三维信息，本发明充分利用了光谱信息，有效的提高了重建精度，此外本发明的方法具有良好的重建效率。为了验证本发明所提出算法的性能，针对无人机采集的多光谱图像进行了实验，实验结果验证了本发明提出的方法的有效性，精度和效率。

附图说明

图1为多光谱点云生成流程图。

图2为多光谱点云生成效果图。

具体实施方式

为此，本发明设计了一种基于多光谱图像重建的多光谱点云生成方法，针对多光谱传感器及多光谱图像特点，在多光谱图像的三维重建流程中加入了针对多光谱图像的辐射校正与波段对齐步骤。并使用融合多光谱特征提取方法，充分利用多光谱图像的光谱信息，提供更多的潜在重建特征点。为了去除更多特征点带来的误匹配问题，设计了NDVI引导的多光谱特征匹配方法，获得更准确的匹配关系，提高了多光谱三维重建的精度。

具体实施方式一：结合图1说明本实施方式，

本实施方式为一种基于多光谱图像重建的多光谱点云生成方法，对现有三维重建流程进行了改进，使其能够充分利用多光谱信息，对植被混杂区域具有鲁棒性，提高了多光谱三维重建的精度。本实施方式所述的一种基于多光谱图像重建的多光谱点云生成方法，包括以下步骤：

步骤1、根据多光谱相机及多光谱图像采集参数，对多光谱图像进行辐射校正与波段对齐，对多光谱图像重叠区域进行裁切，将多个单波段图像叠加合成波段对齐的多光谱图像；具体包括以下步骤：

(一)行辐射校正：

根据多光谱传感器成像原理，对于瞬时采集的多光谱图像，得到辐射校正数学模型如下：

L＝g·V(x,y)·R(y)

其中，L为多光谱图像的辐射校正模型，g为传感器增益系数；V(x,y)为去除传感器透镜导致的边缘减光效应，R(y)为行梯度校正因子；

去除传感器透镜导致的边缘减光效应V(x,y)即传感器边缘比透视中心偏暗的现象，具体可以描述为下式：

k＝1+k

其中，k为晕影校正因子，k

行梯度校正因子R(y)为校正传感器的读出噪声，由于传感器是按行读出的，所以传感器读取值随着行数y增大而逐渐减少，校正模型如下：

其中，I(x,y)为图像中像素(x,y)的原始强度值，I

(二)波段对齐：的目的是将多光谱传感器采集的多光谱图像的不同波段间进行空间配准，主要包含以下步骤：

S1.2.1、对逐波段图像进行几何畸变校正：

x'＝x(1+j

y'＝y(1+j

其中，(x',y')代表了校正后的像素位置，j

S1.2.2、使用传感器镜头结构参数对各波段图像进行几何配准变换：

由于多光谱相机采用的是分立式多镜头进行各波段图像的采集，各镜头的中心位置及成像角度之间有一定的差别，通过传感器出厂参数，可以获取镜头间位置差异及欧拉角，通过下式可以将欧拉角转换为旋转矩阵：

其中，

通过计算镜头间旋转矩阵，可对各波段图像进行几何变换，使得多镜头采集的各图像配准对齐。

(三)对多光谱图像重叠区域进行裁切，将多个单波段图像叠加合成波段对齐的多光谱图像。

步骤2、通过多光谱融合特征提取算法，对多光谱图像进行特征提取：

由于多光谱图像含有多个波段的光谱信息，仅使用一种强度值进行特征提取难以充分利用多光谱信息，在此步骤采用图像增强与SIFT特征算子结合的方式，其中图像增强采用对比度限制的自适应直方图均衡化CLAHE算法，得到逐波段特征如下：

其中，I

在所有波段特征提取完成后，采用如下方法进行多光谱特征的融合：

对于任意一张多光谱图像，遍历图像中每一个像素的位置，如果该像素位置仅存在一个多光谱特征，则保留该特征作为融合多光谱特征；如果该像素内存在多个多光谱特征，则对这些特征进行筛选，保留特征幅值最大的特征作为多光谱融合特征；

特征筛选的准则是按照特征幅值的大小进行判断的，SIFT算子在计算过程中，会保留特征点主方向最大的梯度值作为该特征点的幅值，即SIFT的特征幅值，如果一个像素内存在多个多光谱SIFT特征，则保留具有最大的特征幅值的SIFT特征作为该店的多光谱融合特征。

步骤3、计算多光谱图像NDVI值并生成NDVI掩膜，通过NDVI掩膜对多光谱特征进行匹配与几何验证：

使用步骤1得到的多光谱图像，按照下式计算得到多光谱图像的NDVI值，并生成NDVI掩膜；

其中，I

根据NDVI掩膜及融合多光谱特征的位置，将融合多光谱特征分为植被区域的F

步骤4、根据得到的图像特征匹配关系，使用运动结构恢复方法计算图像相对位姿信息，使用多视角几何匹配技术计算图像深度值，对多光谱值进行投影，生成多光谱点云；

根据步骤3得到的特征匹配对，建立图像集中多光谱图像的匹配关系，根据三角测量原理得到多光谱图像间相对位姿关系，使用运动结构恢复方法对多光谱图像进行三维重建，得到重建特征点的三维关系和基于优化准则优化后的图像位姿关系。优化准则如下：

其中，M

将多光谱图像与优化后的位姿关系作为多视角立体视觉的输入，进行重建图像的深度图估计，通过图像的位姿关系与多光谱图像的深度图，得到重建点云的空间位置，通过投影将多光谱值赋给对应的空间点，最终生成多光谱点云MSPC。

其中，(x

通过本发明设计的多光谱点云生成方法，对无人机采集的多光谱图像数据集进行了三维重建，重建结果如图2所示。所使用无人机为DJI M300，多光谱相机为micasenseRededge-MX，采集地点位于哈工大科学园区，图像总数为1200张多光谱图像，参与重建率为100％，平均特征提取数位24674，重建特征点数位160280，重投影误差为0.36像素，重建误差为0.37m，重建精度高于现有方法水平。

具体实施方式二：

本实施方式为一种计算机存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的一种基于多光谱图像重建的多光谱点云生成方法。

应当理解，指令包括本发明描述的任何方法对应的计算机程序产品、软件或计算机化方法；所述指令可以用于编程计算机系统，或其他电子装置。计算机存储介质可以包括其上存储有指令的可读介质，可以包括但不限于磁存储介质，光存储介质；磁光存储介质包括只读存储器ROM、随机存取存储器RAM、可擦除可编程存储器(例如，EPROM和EEPROM)以及闪存层，或者适合于存储电子指令的其他类型的介质。

具体实施方式三：

本实施方式为一种基于多光谱图像重建的多光谱点云生成方法设备，所述设备包括处理器和存储器，应当理解，包括本发明描述的任何包括处理器和存储器的设备，设备还可以包括其他通过信号或指令进行显示、交互、处理、控制等以及其他功能的单元、模块；

所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的一种基于多光谱图像重建的多光谱点云生成方法。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。