一种可见光到红外图像转换方法

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种可见光到红外图像转换方法。

背景技术

随着计算机视觉技术的发展，基于红外图像的目标检测技术在军用和民用领域的应用越来越广泛。在军事领域，红外图像制导系统能够大大提升制导的精准性和稳定性，同时基于红外图像的检测识别也是进行战场感知和重要军事设施勘探的重要手段之一；在民用领域，红外遥感、无人机导航、无人驾驶和红外安防等均将红外图像作为重要的信息源之一，基于红外图像的检测识别技术能够大幅度提升这些系统的稳定性和适用性。因此，发展红外图像的检测识别技术具有重要的研究意义，其中基于深度学习的目标检测方法是目前的主要研究方向。但是，基于深度学习的目标检测方法需要大量的训练数据，过少的数据将会影响网络的泛化性能，因此利用深度学习技术生成红外图像具有较大的研究价值。

得益于GAN的发展，关于图像到图像转换的研究也取得了长足的进步。图像到图像转换类似于条件生成，给定一张源域图像，将其风格转换到目标域，同时保持图像的内容不变，例如selfie2anime、horse2zebraz等方法。pix2pix最先被提出来解决图像到图像转换的问题，该类方法的限制是需要像素级配对的数据集，然而获得配对的数据集需要大量的精力，同时一些配对的数据集是无法获取的，比如医学影像。为了解决这一问题，基于循环一致性和内容相似性约束的方法被提了出来，其中最具代表性的方法是cycleGAN。此外还有一些用于多模态生成的方法，该方法将源域图像转换到多个目标域，例如starGAN。尽管无监督的图像到图像转换方法应用更为广泛，但是大量的研究表明，有监督方法能够学到更为准确的映射在源域和目标域之间，无监督方法在训练过程中可能存在扰动，导致其学到不准确的映射，因此有监督的图像到图像转换方法仍然具有良好的应用价值，因为它可以直接计算像素级别的差异。然而，对于有监督方法而言，利用配对数据集训练的网络对于陌生场景的泛化性能较弱。

综上所述，现有的无监督图像转换方法难以实现源域到目标域的准确映射，有监督方法对于陌生场景的泛化性能较弱，同时部分转换方法是对整幅图像进行特征提取到图像生成，没有进一步显式地区分目标个体，造成目标间特征耦合，生成效果不佳，显式区分目标个体的方法将整个过程分为多个阶段且中间过程有人参与，处理过程繁琐。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种可见光到红外图像转换方法，其目的在于解决现有技术中难以平衡源域到目标域的准确映射和陌生场景的泛化性能的技术问题。

为实现上述目的，本发明提供了一种可见光到红外图像转换方法，包括：

S1.获取配对的可见光红外图像，作为训练集；

S2.构建红外图像转换网络；所述红外图像转换网络包括：多个自下而上层级连接的特征提取模块、与特征提取模块层级对应的多个并列的材质特征分离模块、与特征提取模块层级对应的多个自上而下层级连接的特征耦合模块，以及热数据特征分离模块和热物理模拟模块；

其中，层级连接的特征提取模块，用于对可见光图像进行不同尺度的特征提取；并列的材质特征分离模块，用于分别对不同尺度的特征图进行材质类别划分，得到不同尺度特征图对应的材质特征；热数据特征分离模块，用于从最大尺度的特征图中获取全局热数据特征；级联的特征耦合模块，用于从不同尺度的特征图中选择表达最为充分的材质特征，将所选材质特征与对应的热数据特征进行融合，并与上一层级的特征进行叠加，渐进式地生成热量图；热物理模拟模块，用于将热量图转换为红外图像；

S3.采用训练集对红外图像转换网络进行有监督的迭代训练，得到训练好的红外转换模型；

S4.将待转换的可见光图像输入训练好的红外转换模型，得到对应的红外图像。

进一步地，红外图像转换网络训练过程中，采用如下旋转一致性损失对特征分离模块和热数据特征分离模块进行约束：

进一步地，材质特征分离模块包括依次连接的卷积层、池化层和像素级分类器。

进一步地，热数据特征分离模块包括依次连接的卷积层、全局平均池化层和特征映射层。

进一步地，特征耦合模块包括材质选择单元、特征映射单元、自适应实例归一化单元、卷积层和上采样层；

其中，材质选择单元，通过以下运算选择特定通道的特征；

其中

特征映射单元，对输入的全局材质热数据特征进行进一步地特征映射得到所选材质特征对应的热数据特征；

自适应实例归一化单元，先对当前层级材质选择单元的输出和当前层级特征映射单元的输出进行自适应特征融合；再将融合后的特征图与上一层级特征图进行叠加并做实例归一化处理。

进一步地，特征映射层和特征映射单元采用EqualizedLinear全连接层实现。

进一步地，热物理模拟模块由三个残差块串联而成。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。

(1)本发明在通过配对数据集进行有监督训练基础上，提取图像中的材质特征和热数据特征，并将提取到的材质特征和热数据特征逐步嵌入到热量图中，渐进式地生成热量图，整个过程均是面向图像中的目标个体进行特征层面的操作，相较于传统的整张图像的生成方法，能够降低目标特征间的耦合关系，达到更好的生成效果，保证了陌生场景的同类型目标发现能力，达到了平衡源域到目标域的映射准确性和陌生场景的泛化能力的目的。

(2)本发明采用无监督方法对材质特征分离模块和热数据特征分离模块进行一定程度的约束，降低了人工标注的成本，同时一定程度上缓解了热数据无法直接获得的问题，达到了平衡显式区分目标个体和图像处理复杂度的目的，更贴合实际的应用场景，实用价值较高。

附图说明

图1为本发明实例提供的一种可见光到红外图像转换方法示意图；

图2为本发明实例提供的一种可见光到红外图像转换方法中各个模块的详细结构图；

图3为本发明实例提供的材质特征分离模块对输入红外图像在不同特征层的材质特征分离结果图；

图4为本发明实例提供的可见光到红外图像转换算法与其他经典算法的转换结果对比图；其中(a)为在KAIST数据集上的结果图，(b)为在M3FD数据集上的结果图；

图5为本发明实例对陌生场景下的可见光图像转换的实验结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

针对现有的无监督图像转换方法难以实现源域到目标域的准确映射，有监督方法对于陌生场景的泛化性能较弱，同时部分转换方法是对整幅图像进行特征提取到图像生成，没有进一步显式地区分目标个体，造成目标间特征耦合，生成效果不佳，显式区分目标个体的方法将整个过程分为多个阶段且中间过程有人参与，处理过程繁琐，本发明提供了一种基于特征分离-耦合的可见光到红外图像转换方法，其整体思路在于：通过特征提取模块提取输入可见光图像的多尺度特征

相较于一般的方法，该方法更加关注对象整体，在特征提取阶段对材质特征和热数据特征进行解耦并嵌入到潜在空间，在解码阶段通过渐进生成的方式耦合材质和热数据得到热量图，最终经过热物理模拟过程得到红外图像，通过该方式能够提高生成图像中对象的完整性，同时提高对场景变化的泛化性能。

本发明提供的一种基于特征分离-耦合的可见光到红外图像转换方法可以适用于可见光图像到红外图像的转换，也可以适用于灰度图像到红外图像的转换，在本发明实施例中，以可见光图像到红外图像的转换为例，详述如下：

为实现上述目的，本发明提供了一种可见光到红外图像转换方法，包括：

S1.获取配对的可见光红外图像，作为训练集；

S2.基于深度神经网络搭建图像转换网络结构；图像转换网络结构如图1所示，包括：

材质特征分离模块，用于从不同尺度的特征图

热数据特征分离模块，用于建模输入可见光图像像素值与全局材质热数据特征间的关系，该模块进一步挖掘输入特征图

特征耦合模块，通过级联的方式自上而下地渐进式生成热量图，在不同层级中融合不同尺度的材质特征

热物理模拟模块用于拟合热力图到红外图像的转换过程，由多个残差块叠加而成，最终生成对应的红外图像。

参考图2，本实施例中，材质特征分离模块由一层卷积层、一层池化层和一个像素级分类器组成。其中，卷积层通过一个大小为3×3的卷积核进行步长为1的卷积操作实现，卷积层前后保持输入输出特征图的大小不变，输出通道数为预设材质的类别数；池化层采用核大小为2×2的最大池化对输入特征图进行2倍的下采样操作；像素级分类器旨在于从多尺度特征图中分离出不同的材质，具体地，对于输入的不同尺度特征图

则材质特征分离模块的计算过程可以表述为：

式中

为了进一步展示材质特征分离模块的效果，对基于材质特征分离模块提取到的可见光图像的特征进行了可视化如图3所示。在图3中，第一列表示输入的原始可见光图像，第二列表示第i个材质特征分离模块提取到的特征

本实施例中，热数据特征分离模块由一层卷积层、一层全局平均池化层和一层特征映射层组成。其中，卷积层，对输入的特征图

热数据特征分离模块的计算过程为：

其中，式中kernel

本实施例中，特征耦合模块由材质选择单元、特征映射单元、自适应实例归一化单元、一层卷积层和上采样层组成。

其中，材质选择单元是为了对输入的特征

不同于常规的卷积操作，材质选择单元本质上是选择特定通道的特征进行表达，本实施例中采取的方式是在不同的特征耦合模块都学习一个可学习的参数

其中

特征映射单元，对输入的全局材质热数据特征

自适应实例归一化模块对于输入的上一层级特征图

首先，对

其中μ(·)表示逐样本、逐通道地求取特征的均值，σ(·)表示逐样本、逐通道地求取特征的方差。

随后，将融合后的特征图与上一层级特征图

卷积层通过一个大小为3×3的卷积核进行步长为1的卷积操作实现，卷积层前后保持输入输出特征图的大小和通道数不变；上采样层通过双线性插值法实现，对输入图像进行2倍的上采样，逐步提高特征图的尺寸直至输入图像大小。

特征耦合模块的计算过程为：

其中，Upsample表示上采样，InstanceNorm表示实例归一化操作，

本实施例中，热物理模拟模块由三个残差块串联而成，用于拟合热力图到红外图像的转换过程。残差网络通过跳层连接的方式有效避免了网络退化问题，通过多个残差块串联可以对热物理过程进行拟合，单个残差块的计算公式为：

x

其中，x

其中，

S3.采用训练集对红外图像转换网络进行有监督的迭代训练，得到训练好的红外转换模型；

本实施例中，采用无监督方法对材质特征分离模块和热数据特征分离模块进行一定程度的约束，具体而言是将单个训练过程拆分为两个阶段。第一个阶段，对于输入的一批可见光数据，执行一次特征提取到红外图像转换的完整过程，同时记录相应的热数据特征

本实施例中，利用配对的可见光-红外数据集对整个图像转换模型进行训练，整个训练过程的损失函数为：

L

L

L

其中，L

可选地，本实施例中，训练轮次为200个epoch，学习率初始化为0.0001，选择自适应学习率方法Adam优化器，使用常规的数据增强方式对输入图像进行处理，包括随机裁剪、翻转、缩放、归一化等操作，最终得到统一的输入尺寸为(256,256)。

S4.将待转换的可见光图像输入训练好的红外转换模型，得到对应的红外图像，端到端地实现可见光图像到红外图像的转换。

为了对本发明的效果进行验证，在两个公开数据集上开展了与其他经典算法的对比试验，两个数据集主要是街景数据，包含斑马线、行人、车辆、路灯、房屋、树木等物体。第一个数据集来源于KAIST数据集，该数据集包含51种不同的场景共计2800对配对的可见光-红外图像，其中41种场景共计2686对图像作为训练样本，10种场景共计114对图像作为测试样本；第二个数据集来源于M3FD数据集，该数据集包含149种不同的场景共计4200对配对的可见光-红外图像，其中126种场景共计3860对图像作为训练样本，23种场景共计340对图像作为测试样本。本文使用结构相似性SSIM和峰值信噪比PSNR作为衡量性能的标准，其中SSIM的计算方式为：

其中，x和y分别表示真实的红外图像和对应的生成的红外图像，μ

PSNR的计算方式为：

其中，x和y分别表示真实的红外图像和对应的生成的红外图像，m和n表示图像的宽和高，x(i,j)和y(i,j)分别表示对应图像在(i,j)位置处的像素值。表1展示了本发明与其他经典方法的对比结果，表1

从表1可以看出，本发明提出的方法在两个数据集上的生成图像与对应真实红外图像的SSIM指标均要优于其他经典方法，同时在M3FD数据集上有较大的提升；对于PSNR指标，通过观察可以发现，生成图像的SSIM指标越高，相应的PSNR指标也会有略微的提高，但本发明提出的方法能够在大幅提升SSIM指标的基础上减少PSNR指标的增加，也即提高了生成图像的质量。

进一步地，为了直观的展示生成效果，随机选取不同方法对多张同一可见光图像进行转换，对比结果如图4中(a)-(b)所示。从实验结果中可以看出，本发明生成的红外图像在目标完整性和整体色调上与真实红外图像最为接近，意味着本发明提出的算法有更好的生成效果。同时，本发明也进一步展示了方法在未知场景可见光图像中的生成效果，如图5所示，进一步验证了本发明对于不同场景下红外图像的生成能力。在图5中可见光数据来源于互联网中随机下载的场景图，通过实验结果可以直观地看出本发明提出的方法能够较好地生成相应的红外图像，验证了本发明方法的优越性。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。