一种基于多光谱非配准图像的融合方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于多光谱图像非配准融合方法。

背景技术

基于多光谱的图像融合技术在视觉领域起着重要的作用。可见光传感器描述图像纹理丰富，但易受环境影响；红外传感器可以在黑暗、有雾等环境下捕捉到显著目标的特征信息，因而可见光图像和红外图像的融合技术可以弥补单一传感器的缺陷，但由于二者传感器使用时位置不同、拍摄角度不同，因此拍摄出的成对图像存在非配准现象，这种非配准现象通常在融合图像中表现为重影、光晕等伪影，严重的破坏了融合图像质量。尽管该问题可以通过配准方法进行抑制，但较为精细的配准需要花费大量的计算时间和计算资源，同时配准后仍然不可避免的存在像素偏差。因此本发明希望能够在初步配准的基础上，采用一定的融合方法，兼顾融合图像视觉观感和信息丰富程度的同时对一定程度内的像素偏移具有容忍度，最大程度减少融合过程中的非配准现象带来的伪影，使得生成的融合图像能够突出红外图像中的显著目标，并生成自然观感的无伪影图像。

发明专利CN108765358A公开了一种可见光和红外光的双光融合方法以及插件式热像仪系统，所述系统采用拉普拉斯金字塔进行逐层融合，将红外图像分解得到的拉普拉斯金字塔替换为具备可见光细节的融合金字塔，并对融合金字塔重构得到融合图像。该系统生成的融合图像计算量大，无法突出红外图像中的显著目标，同时在融合过程中没有考虑非配准现象在融合图像中产生的伪影问题。

发明专利CN111539902A公开了一种图像处理方法、系统、设备及计算机可读存储介质。所述方法首先对可见光图像进行低通滤波获得细节信息，进一步滤波获得细节强度，利用对细节强度取倒数得到细节增益把可见光细节强度加权融合到对应的红外图像上。该方法成生成的融合图像视觉观感较差，同时在融合过程中也回避了非配准问题在融合图像中带来的伪影。

发明内容

本发明的目的在于针对现有技术中存在的问题，设计了一种基于多光谱图像非配准融合方法。

一种基于多光谱非配准图像的融合方法包含三个部分，在图像预处理后，使用亮度分布加权形成初步的融合图像，提取红外图像中显著目标掩膜后采用膨胀融合消除非配准伪影，最后采用局部亮度调整获得自然的融合结果。

其方法具体实施步骤如下：

步骤1：图像预处理，利用棋盘格标定法获得的透射变换矩阵对获得的红外图像进行透射变换，使红外图像与可见光图像初步配准；

步骤2：将预处理后的红外图像和可见光图像进行如下处理：

2.1使用大核均值滤波器对可见光图像进行均值滤波，得到滤波后的可见光图像亮度分布权重图；

2.2采用参数设置合适的非线性函数对亮度分布权重图进行处理得到修正后的亮度分布权重图；

2.3利用步骤2.2得到的修正后的亮度分布权重图，对预处理后的红外图像和可见光图像进行加权融合得到初步融合图像；

步骤3：按照如下步骤提取红外图像的显著目标掩膜图：

3.1基于红外图像亮度提取亮度目标权重图；

3.2基于红外图像对比度提取对比度目标权重图；

3.3对亮度目标权重图和对比度目标权重图融合生成目标权重图；

3.4通过去除噪声、不连续短线段等小的连通区域获得显著目标掩膜图；

步骤4：根据下述步骤进行非配准显著目标融合：

4.1获取显著目标掩膜图中各连通域，根据设定的像素偏差因子对各连通域最外侧像素点进行第一次权重相同的膨胀操作，具体为：首先根据场景视差大小确定像素偏差因子m，场景视差越大则像素偏差因子m越大(可根据需要选择m的取值)。使用滤波核对连通域沿最外侧像素点进行m次权重为1的第一次膨胀；像素偏差因子m可以确保非配准带来的像素偏差在此容忍范围内将不会出现伪影；

4.2获得步骤4.1的膨胀结果，根据设定的过渡因子对各连通域最外侧边缘像素进行权重逐渐递减的第二次膨胀操作，获得非配准显著目标权重图；

4.3基于非配准显著目标权重图对步骤2获得的初步融合图像和预处理后的红外图像进行加权融合生成融合图像；

步骤5：使用局部亮度调整对融合图像进行区域亮度和对比度的补偿，获得最终自然的融合图像。

本发明在步骤2使用非线性函数修正亮度分布权重图，动态调整红外图像不同亮度区域加入可见光图像信息量的大小，并通过亮度分布加权的方法生成突出红外图像显著目标并保留可见光图像纹理细节的初步融合图像，相比现有的图像金字塔、小波变换等融合技术简洁迅速。现有的非配准技术往往采用深度学习的方法设计迭代模块进行配准，因而迭代过程需要耗费大量的计算时间和计算资源。本发明步骤4使用两次权重不同的膨胀操作消除显著目标融合时可能产生的伪影，计算过程简单且能最大程度容忍一定范围内的像素偏移，抑制融合时产生的非配准伪影。本发明步骤5将划分显著目标掩膜连通域，通过非配准容忍区的均值和方差传递对融合图像局部亮度和对比度进行补偿，最终生成观感自然、清晰的无伪影融合图像。本发明方法有利于降低计算和硬件成本，推动多光谱图像非配准融合的发展。

附图说明

图1为本发明实施的一种基于多光谱图像非配准融合方法流程图。

图2为本发明实施例的可见光图像与红外图像融合过程图。

图3为本发明实施例的显著目标连通域划分图。

具体实施方式

以下结合具体实施例和附图进一步说明。

步骤1：如流程图1所示，由于双目相机位置不同、视角不同，使用棋盘格标定法预先对红外相机和可见光相机进行标定获得透射变换矩阵，对获取的红外图像进行透射变化完成预处理。

步骤2：如图2中(a)、(b)所示，将透射变换后的红外图像和相机采集场景里同一帧的可见光图像进行基于亮度分布的加权融合。

由于可见光图像模态更适合视觉感知并含有丰富的纹理细节，因此本发明在融合过程中对于可见光图像亮度充足的像素区域赋予较大权重，对于剩余较暗的几乎没有纹理细节的像素区域，以较大的红外图像权重进行补充。

2.1生成可见光图像的亮度分布权重图。

本发明首先对可见光图像I

其中k是大小至少为120×120的均值滤波器，filte2D代表二维滤波操作。然后对

上式中max、min分别为取最大值与最小值的操作。

2.2采用非线性函数对归一化的亮度分布权重图进行修正。

为了避免

上式中参数F

2.3利用生成的

红外图像对应的亮度分布权重图为

上式中F

步骤3：提取红外图像的显著目标掩膜图。

3.1通过下式提取红外图像的亮度目标权重图W

W

其中，T

3.2按照下述公式提取红外图像的对比度目标权重图W

W

其中k

3.3红外图像亮度权重图W

W

其中最小值和最大值的操作是为了保证像素范围在[0,1]内，W

3.4对W

本发明采用分割阈值T

步骤4：根据下述方法进行非配准显著目标融合：

41对B

q

上式中p

42然后按照场景类型确定场景过渡因子n，依次对连通域q

s

上式中q

非配准显著目标权重图S为连通域s

实际场景下连通域s

43基于非配准显著目标权重图S加权生成融合图像：

F

其中δ为显著目标增益因子，用以突出显著目标。1-S为初步融合图像F

步骤5：使用基于区域亮度和对比度的局部模态补偿方法对融合图像F

虽然非配准容忍区φ

上式中，

本发明步骤5能够将F