基于最小二乘拟合的热红外图像与可见光图像融合方法

技术领域

本发明涉及图像融合技术领域，具体涉及基于最小二乘拟合的热红外图像与可见光图像融合方法。

背景技术

热红外成像是一项获取地物的辐射特性和温度特性的高新技术。

具备可见光观测无法实现的全天时、全天候的工作能力，热红外具有很强的穿透力，它不仅不受雨、雾、云等天气的影响，可利用红外成像对黑暗中、高空中和水下的隐蔽目标进行探测，并具备识别目标伪装的能力。尽管热红外成像技术具有诸多优点，但是热红外图像往往具有空间分辨率低、视场范围小等缺点，对于需要宽视场、高分辨率图像的应用场景，很难满足实际需求。

为此，我们提出一种最小二乘拟合的热红外图像与可见光图像融合方法解决上述问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，发明了一种基于最小二乘拟合的热红外图像与可见光图像融合方法，该方法模拟了热红外波段和可见光波段图像的观测过程，利用先验知识估计高分辨率、热红外图像的期望值，同时能够尽量减少融合结果产生的颜色偏差。该方法生成的图像能够很好结合红外图像中的热辐射信息和可见图像中的详细纹理信息的优点。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：基于最小二乘拟合的热红外图像与可见光图像融合方法，包括以下具体步骤：

S1：图像重采样；

S2：对S1重采样的图像统计值计算；

S3：像素点观测值选择；

S4：构建图像融合方程，解算图像融合系数；

S5：创建融合图像；

S6：融合图像计算。

优选的，所述S1具体为对热红外图像进行重采样，使得与可见光多波段图像空间分辨率完全一致。

优选的，所述S2具体为对热红外图像和可见光多波段图像进行统计计算，得到热红外图像和可见光多波段图像的各个波段的像素值的均方差。

优选的，所述S3像素点观测值选择，具体为保证融合效果，在选取热红外图像和可见光多波段图像的像素值作为观测值时，像素点的选取特别关键，直接影像融合效果，一是保证点要分布均匀，二是这些点选择在灰度变化平缓的像素位置，具体过程如下：

(1)根据热红外图像和可见光图像的范围，算出相交区域，即融合的重叠区域，根据相交范围，对热红外图像进行逻辑分块，把图像均匀分成9个像素×9个像素的格网块；

(2)在热红外影像分成的格网块中，以9个像素×9个像素格网块中心点的像素值作为假定观测值，计算该格网块内所有像素值与中心点的像素值差值的最大值Pmax，当Pmax＜＝Pan

(3)对热红外所有格网块进行(2)计算，得到热红外图像与可见光多波段图像融合的观测值点集合M。

优选的，所述S4具体为构建图像融合方程，解算图像融合系数，S3在热红外图像和可见光多波段图像上均匀的选取同位置点的像素值作为观测值，对观测值点集合M带入公式①，解算高斯误差方程，解算出图像融合方程的系数K

detVal＝∑K

其中Mul[i](x，y)为可见光多波段图像的i波段在像素行列x，y位置的像素值，Pan(x，y)为热红外图像在像素行列x，y位置的像素值，K

优选的，所述S5创建融合图像，具体为在计算得到融合系数后，根据热红外图像和可见光图像的相交范围和重叠区域，创建重叠区域的融合图像；

优选的，所述S6具体为根据S4和S5，利用图像融合系数和公式②，计算最终融合图像每个像素的像素值，最终融合图像的像素值的计算公式如公式②所示：

其中Result

附图说明：

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本发明提出的一种基于最小二乘拟合的热红外图像与可见光图像融合方法的流程框图；

图2为采用最小二乘法融合图片的效果展示图，

图3为采用PanSharping融合方法融合图片的效果展示图，

图4为采用最小二乘法融合图片的效果展示图，

图5为采用PanSharping融合方法融合图片的效果展示图

(三)有益效果

与现有技术相比，

能够最大限度的减小热红外图像与可见光图像的配准精度不高导致的图像融合产生重影、色彩拉花等问题，且能够最大程度上保留热红外图像的热辐射信息，同时保留了可见光图像的详细纹理信息，增加了空间分辨率，弥补热红外图像对比度低,背景模糊的缺陷，使融合后的图像目标显著、背景清晰、视觉效果好。

具体实施方式

下面将结合本发明实施例中，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于最小二乘拟合的热红外图像与可见光图像融合方法，其特征在于，包括以下具体步骤：

S1：图像重采样；

S2：对S1重采样的图像统计值计算；

S3：像素点观测值选择；

S4：构建图像融合方程，解算图像融合系数；

S5：创建融合图像；

S6：融合图像计算。

S1具体为对热红外图像进行重采样，使得与可见光多波段图像空间分辨率完全一致。

S2具体为对热红外图像和可见光多波段图像进行统计计算，得到热红外图像和可见光多波段图像的各个波段的像素值的均方差。

S3像素点观测值选择，具体为保证融合效果，在选取热红外图像和可见光多波段图像的像素值作为观测值时，像素点的选取特别关键，直接影像融合效果，一是保证点要分布均匀，二是这些点选择在灰度变化平缓的像素位置，具体过程如下：

(1)根据热红外图像和可见光图像的范围，算出相交区域，即融合的重叠区域，根据相交范围，对热红外图像进行逻辑分块，把图像均匀分成9个像素×9个像素的格网块；

(2)在热红外影像分成的格网块中，以9个像素×9个像素格网块中心点的像素值作为假定观测值，计算该格网块内所有像素值与中心点的像素值差值的最大值Pmax，当Pmax＜＝Pan

(3)对热红外所有格网块进行(2)计算，得到热红外图像与可见光多波段图像融合的观测值点集合M。

S4具体为构建图像融合方程，解算图像融合系数，S3在热红外图像和可见光多波段图像上均匀的选取同位置点的像素值作为观测值，对观测值点集合M带入公式①，解算高斯误差方程，解算出图像融合方程的系数K

detVal＝∑K

其中Mul[i](x，y)为可见光多波段图像的i波段在像素行列x，y位置的像素值，Pan(x，y)为热红外图像在像素行列x，y位置的像素值，K

S5创建融合图像，具体为在计算得到融合系数后，根据热红外图像和可见光图像的相交范围和重叠区域，创建重叠区域的融合图像；

S6具体为根据S4和S5，利用图像融合系数和公式②，计算最终融合图像每个像素的像素值，最终融合图像的像素值的计算公式如公式②所示：

其中Result

案例1及案例2，利用15厘米热红外影像和5厘米可见光影像进行最小二乘法融合及PanSharping融合。融合结果进行对比，如图2为采用最小二乘法融合图片的效果展示图，图3为采用PanSharping融合方法融合图片的效果展示图，图4为采用最小二乘法融合图片的效果展示图，图5为采用PanSharping融合方法融合图片的效果展示图所示。可见最小二乘融合方式和PanSharping融合方式，都能够保留可见光影像的纹理信息，使影像纹理更清晰；但是在热红外信息的保持度上，最小二乘融合结果色调和热红外影像更接近，能够更好地保持热红外影像的温度信息。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。