一种基于频谱交互的低光照图像增强方法

技术领域

本发明属于低光照图像增强领域，具体涉及一种基于频谱交互的低光照图像增强方法。

背景技术

在现实的生活中，由于环境问题或技术限制，如物体遮挡、拍摄条件受限等，低光照图像比比皆是。低光照图像通常质量较差，导致可视化效果差，并影响后续的下游任务，如语义分割、人脸检测和自动驾驶。因此，低光照图像增强被提出来，目的是在抑制噪声干扰的同时恢复图像中光照退化或丢失的区域，从而显著提高图像的质量和可见度。

近年来，已经提出了许多方法来解决低光照图像增强这些方法可以分为两大类：传统方法(如直方图均衡化、伽马校正和基于Retinex的方法)和基于深度学习的算法。前者计算复杂度相对较低，因此处理速度较快，但增强效果有限，对于某些极端低光照条件下的图像无法达到预期效果，并且可能会放大图像中的噪声，导致增强图像质量下降。后者可以通过训练大量数据模型来针对特定场景或应用进行优化，从而获得更好的增强效果。然而，这需要大量的计算资源和时间来训练模型，并且泛化能力有限。

频域方法是图像处理中的一个重要组成部分，它提取图像的频域特征，并用于计算视觉中的图像分类、目标检测和面部超分辨率等任务，所有这些都已被证明是有效的方法。最近，Yin等人以离散余弦变换为驱动，分割图像的频域特征，恢复图像细节，但是离散余弦变换变换需要较多的计算资源和时间，尤其在处理大规模数据时，其计算复杂度可能会成为瓶颈。Li等人探索了快速傅立叶变换在低光照图像增强中的可行性，但只观察到在频域中，亮度信息包含在幅度分量中，噪声包含在相位分量中，没有考虑到不同亮度图像的振幅分量与真实的图像之间的差异是明显的，并且相位分量也包含了图像的重要信息。

综上所述，现有技术在将低光照图像由空域变换到频域处理时，往往通过网络结构的堆叠并且只考虑振幅分量的作用，而忽略相位分量在图像恢复中的重要性。

发明内容

为解决上述技术问题，本发明提出一种基于频谱交互的低光照图像增强方法，包括构建低光照图像增强模型，该模型包括空域特征提取模块、频谱实部交互模块和亮度感知融合模块，对该模型进行训练，并利用完成训练的低光照图像增强模型对低照度图像进行增强，对低光照图像增强模型的训练过程包括：

构建训练数据集，训练数据集中的训练数据由样本对构成，每个样本对包括同一场景下的低照度图像和正常光照图像；

将样本对中的低照度图像进行取反操作获得其过曝光图像，利用空域特征提取模块分别提取低照度图像和其过曝光图像的空域特征图；

频谱实部交互模块基于快速傅里叶变换将从空域变换到频域，从而获得低照度图像和其过曝光图像的频域特征图；

将低照度图像和其过曝光图像的频域特征图送入亮度感知融合模块进行融合，重建得到增强后的图像；

根据增强后的图像与正常光照图像的重建损失、频域损失以及感知损失构建低光照图像增强模型的损失函数，根据损失函数对低光照图像增强模型进行优化。

进一步的，对低照度图像进行取反操作获得其过曝光图像的过程包括：

其中，I

进一步的，空域特征提取模块包括1×3卷积单元、3×3卷积单元、3×1卷积单元、通道拼接单元以及曲线调整单元，将图像分别通过1×3卷积单元、3×3卷积单元、3×1卷积单元得到三种不同尺寸的特征图，将三种尺寸的特征图通过通道拼接在一起，曲线调整单元对拼接后的图像进行曲线调整，调整过程包括：

其中，

进一步的，频谱实部交互模块获得低照度图像和其过曝光图像的频域特征图的过程包括：

分别对低照度图像和其过曝光图像的空域特征图进行快速傅里叶变换，并根据变换结果获得图像的振幅和相位表示；

利用欧拉公式对振幅和相位进行组合，得到图像的实部和虚部；

令低照度图像和其过曝光图像的实部交换，根据交换后的图像进行逆快速傅里叶变换，得到低照度图像和其过曝光图像的频域特征图。

进一步的，将低照度图像和其过曝光图像的频域特征图送入亮度感知融合模块进行融合的过程包括：

将低照度图像的频域特征图分别进行全局最大池化和全局平均池化，调整池化后图像的形状，使得池化后图像的维度为[B,N,H×W]，将调整后的两张图像进行像素级相乘，得到低照度图像的亮度信息；

将过曝光图像的频域特征图进行全局最大池化，调整池化后图像的形状，使得池化后图像的维度为[B,N,H×W]，进行调整形状后得到过曝光图像的亮度信息；

对低照度图像和曝光图像的亮度信息进行像素级相乘后通过一个3×3卷积处理后，得到增强后的图像；

其中，B为一次输入低光照图像增强模型的图像数量；N为图像的通道数；H为图像的高；W为图像的宽。

进一步的，低光照图像增强模型的损失函数表示为：

L

其中，L

进一步的，低光照图像增强模型的重建损失L

L

其中，SSIM(I

进一步的，低光照图像增强模型的频域损失L

其中，||·||

进一步的，对图像进行快速傅里叶变换的过程包括：

其中，x(h,w)表示图像x在空间中高为h、宽为w处的坐标的值，H为图像的高度，W为图像的宽度；X(u,v)表示图像x在傅立叶空间中坐标为(u,v)处的值；

其中，Re(·)表示取

低光照图像增强模型的感知损失L

L

其中，||·||

本发明基于快速傅里叶变换来设计低光照图像增强模型，在该模型中通过图像取反机制得到过曝光图像，构造出一个双分支的结构，解决训练数据少的问题，这一步骤可以有效利用过曝光图像与原始低光照图像之间的互补性，扩大训练数据集，提高模型的泛化能力；接下来，使用多尺寸卷积核的策略提取图像的特征，能够有效地增强图像的局部信息、增加网络的非线性、减少参数和计算量，这种策略可以更好地捕捉到图像在不同空间尺度上的特征，提高模型对图像细节的感知和理解能力；然后，将图像由空域变换到频域处理，分别处理振幅分量和相位分量，经过欧拉公式得到实部和虚部，这样通过将图像从空域转换到频域，可以更好地分析和利用图像的频率信息，进一步增强图像的质量和清晰度；接着，将两个分支的实部进行交互，可以充分利用互补信息恢复图像，这一步骤通过将不同分支的实部进行融合，可以更好地利用模型的不同分支之间的互补性，提高模型的恢复效果；最后，通过亮度感知策略将两个分支的图像进行有机融合，这一步骤通过亮度感知策略将两个分支的图像进行有机融合，可以更全面、准确地恢复和增强图像的信息；综上所述，本发明采用两个分支进行融合的策略可以有效地利用两个分支的优势，避免各自的不足，进一步提高图像的质量和清晰度。

附图说明

图1为本发明的一种基于频谱交互的低光照图像增强方法的流程图；

图2为本发明的空域特征提取模块的流程图；

图3为本发明的频谱实部交互模块的流程图；

图4为本发明的亮度感知融合模块的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种基于频谱交互的低光照图像增强方法，包括构建低光照图像增强模型，该模型包括空域特征提取模块、频谱实部交互模块和亮度感知融合模块，对该模型进行训练，并利用完成训练的低光照图像增强模型对低照度图像进行增强，对低光照图像增强模型的训练过程包括：

构建训练数据集，训练数据集中的训练数据由样本对构成，每个样本对包括同一场景下的低照度图像和正常光照图像；

将样本对中的低照度图像进行取反操作获得其过曝光图像，利用空域特征提取模块分别提取低照度图像和其过曝光图像的空域特征图；

频谱实部交互模块基于快速傅里叶变换将从空域变换到频域，从而获得低照度图像和其过曝光图像的频域特征图；

将低照度图像和其过曝光图像的频域特征图送入亮度感知融合模块进行融合，重建得到增强后的图像；

根据增强后的图像与正常光照图像的重建损失、频域损失以及感知损失构建低光照图像增强模型的损失函数，根据损失函数对低光照图像增强模型进行优化。

在本实施例实施一种基于频谱交互的低光照图像增强方法时，如图1所示，包括以下步骤：

S1：构建配对的数据集，所述数据集包括低光照图像和正常光照图像，其中每张低光照图像都与同一场景的正常光照图像相对应，用于低光照图像增强模型的训练；

S2：构建低光照图像增强模型；所述模型包括空域特征提取模块、频谱实部交互模块和亮度感知融合模块；

S3：将训练数据集中的低光照图像输入低光照图像增强模型，进行模型训练，具体包括以下步骤：

S31：输入低光照图像I

S32：将得到的两张图像，分别输入空域特征提取模块中，以提取图像的局部信息，空域特征提取模块由多尺寸卷积核组成，其中包括1×3卷积单元、3×3卷积单元、3×1卷积单元、通道拼接单元以及调整曲线单元，将空域特征提取模块输出的两张图像记为

S33：将经过特征提取的图像输入频谱实部交互模块中，以提取图像的频率特性，其中，图像由空域变换到频域使用快速傅里叶变换实现，频谱实部交互模块输出的两张图像记为

S34：将经过频域处理后的图像送入亮度感知融合模块中，以获取左右分支的互补信息；

S35：将重建损失、频域损失以及感知损失作为低光照图像增强模型最终的损失函数，在模型训练过程中，通过最小化损失函数来完成模型的训练；

S4：将待检测的低光照图像输入已经训练好的模型，可以得到增强的结果。

在本实施例中，通过取反机制来解决训练数据少的问题，对于取反机制，其可以表示为：

其中，I

在本实施例中，采用多尺寸卷积的策略利用相邻图像块之间的依赖关系，并通过调整曲线增强通道之间的关联，包括：

在空域特征提取模块中，输入经过取反机制得到的两张图像，并使用1×3卷积、3×3卷积和3×1卷积提取不同感受野的特征，这样可以在不同程度上增强图像的局部信息、增加网络的非线性、减少参数和计算量；随后，使用调整曲线，这样可以更好地保留图像固有颜色，降低过饱和的风险，其可以表示为：

其中，

通过将图像由空域变换到频域处理以获取图像的频率特性，包括：

对于傅里叶变换，给定一个输入图像x，其大小为H×W，傅里叶变换表示为：

其中，

X(u,v)＝Re(X(u,v))+jIm(X(u,v))

其中，Re(·)表示取

经过以上快速傅里叶变换后，可以将低照度图像和其过曝光图像的实部进行交换，令低照度图像和其过曝光图像的信息进行交互，然后直接进行快速傅里叶逆变换，低照度图像和其过曝光图像的频域特征图。

在本实施例中，还提供一种获取图像实部和虚部的方式，经过快速傅里叶变换后，可以计算得到图像的振幅分量和相位分量，其中振幅分量包含大量的亮度信息，相位分量有噪声等其他信息。在频域中，图像x的两个有效分量，即振幅分量和相位分量可以通过下式获得：

其中，Re

将经过空域特征提取模块的图像由空域变换到频域，可以得到左右分支的振幅分量和相位分量；随后，利用欧拉公式将振幅和相位组合，得到对应的实部和虚部，将左右分支的实部进行交互，这样不仅利用振幅分量中的信息，而且也考虑到了相位分量的影响，从而能够更全面地分析图像的特征，这样的处理也可以避免丢失细节，使得模型可以更好地理解和处理图像。欧拉公式的操作可以写为：

其中，

其中，

在本实施例中，考虑左右分支相关性不足，利用亮度感知融合模块可以有效地增强左右分支之间的相关性，提高模型的性能，采用亮度感知策略以捕获左右分支的互补信息具体包括以下步骤：

对于左分支来说，右分支是过曝光图像的处理过程，自然具有大量的亮度信息，可以协助左分支更好地恢复图像的亮度，即低光照图像更容易捕捉到细节和颜色信息，因此合理的融合可以获得对比度更清晰，包含丰富细节信息，没有过度曝光的增强结果，因此对低照度图像的频域特征图分别进行全局最大池化和全局平均池化，对池化后的图像进行调整形状后对两个种池化后的特征图进行像素级相乘，得到低照度图像的亮度信息；本实施例中低照度图像的维度为[B,N,H,W]，本发明池化不对图像进行压缩，池化后的维度为[B,N,H,W]，对池化图像进行形状调整，将池化后图像的维度[B,N,H,W]调整为[B,N,H×W]，其中B为一次输入低光照图像增强模型的图像数量；N为图像的通道数；H为图像的高；W为图像的宽；

将过曝光图像的频域特征图进行全局最大池化，对池化后的图像进行调整形状后得到过曝光图像的亮度信息，此处对图像的形状调整与低照度图像相同，即将池化后图像的维度[B,N,H,W]调整为[B,N,H×W]；

对低照度图像和曝光图像的亮度信息进行像素级相乘后通过一个3×3卷积处理后，得到增强后的图像。

在本实施例中，根据增强后的图像与正常光照图像的重建损失、频域损失以及感知损失构建低光照图像增强模型的损失函数，根据损失函数对低光照图像增强模型进行优化，低光照图像增强模型的损失函数表示为：

L

其中，L

本实施例中，低光照图像增强模型的重建损失L

L

其中，SSIM(I

本实施例中，低光照图像增强模型的频域损失L

其中，

本实施例中，低光照图像增强模型的感知损失L

L

其中，||·||

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。