一种利用频域特性的自适应低照度图像增强方法

技术领域

本发明属于计算机视觉图像处理技术领域，具体涉及一种利用频域特性的自适应低照度图像增强方法。

背景技术

低照度条件下的图像获取是很常见的，这导致了图像亮度低、对比度差和颜色失真，从而阻碍了计算机视觉任务，例如物体检测和图像分割。为了解决这些问题，低光照图像增强已经成为计算机视觉的一个重要研究课题，特别是为了提高低照度条件下图像的视觉保真度。

然而，低照明条件需要一个全面的图像增强方法，而不是简单地放大亮度以提高对比度，因为这可能会反过来影响图像的整体质量。因此，解决低照度成像的根本原因对于产生高质量的图像以满足计算机视觉和图像分析中各种任务的需要至关重要。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种利用频域特性的自适应低照度图像增强方法。本发明要解决的技术问题通过以下技术方案实现：

一种利用频域特性的自适应低照度图像增强方法，所述图像增强方法包括：

将低照度图像分解为照度图和反射图；

基于频域特性的自适应照度调整方法对所述照度图进行自适应的照度调整，得到调整后的照度图；

基于噪声在图像上分布的独立性，对所述调整后的照度图进行噪声抑制，得到噪声抑制后的照度图；

基于噪声在图像上分布的独立性，对所述反射图进行噪声抑制，得到噪声抑制后的反射图；

对所述噪声抑制后的照度图和所述噪声抑制后的照度图进行融合，得到增强后的低照度图像。

在本发明的一个实施例中，将低照度图像分解为照度图和反射图，包括：

基于视网膜理论对所述低照度图像进行分解，得到所述照度图和所述反射图。

在本发明的一个实施例中，基于频域特性的自适应照度调整方法对所述照度图进行自适应的照度调整，得到调整后的照度图，包括：

对所述照度图进行像素化，得到第一像素化照度图；

基于第一调整参数，对所述第一像素化照度图进行正则化，得到第二像素化照度图，其中，所述第二像素化照度图表示为：

E[n,m；I]→E

其中，E[n,m；I]为第二像素化照度图，E

基于所述第二像素化照度图和第二调整参数得到相位信息，所述相位信息表示为：

其中，φ[k

基于所述相位信息得到增益结果，所述增益结果表示为：

其中，H[k

基于谱相位和傅里叶逆变换原理，根据所述增益结果和所述第二像素化照度图得到初步调整的照度图，所述初步调整的照度图表示为：

其中，V

基于所述初步调整的照度图和第三调整参数得到所述调整后的照度图，所述调整后的照度图表示为：

其中，V[n,m；I]为调整后的照度图,G为第三调整参数，Im{E

在本发明的一个实施例中，所述第一调整参数、所述第二调整参数和所述第三调整参数的获取方法包括：

将所述第一像素化照度图输入至轻量化的参数估计网络中，并通过第一损失函数优化所述轻量化的参数估计网络的参数，直至所述第一损失函数达到最小，此时得到所述轻量化的参数估计网络输出的所述第一调整参数、所述第二调整参数和所述第三调整参数，其中，所述轻量化的参数估计网络包括若干依次连接的卷积层，所述第一损失函数包括图像色彩直方图先验信息对应的损失函数和照度平滑损失函数。

在本发明的一个实施例中，所述第一损失函数表示为：

L

其中，L

所述图像色彩直方图先验信息对应的损失函数表示为：

所述照度平滑损失函数表示为：

L

L

其中，N为输入图像的数量，Hist(·)为图像色彩直方图先验信息，E[n,m；I]为第二像素化照度图，V[n,m；I]为调整后的照度图，||·||

在本发明的一个实施例中，基于噪声在图像上分布的独立性，对所述调整后的照度图进行噪声抑制，得到噪声抑制后的照度图，包括：

将所述调整后的照度图划分为大小相同且不重叠的若干图像块，得到划分后的照度图；

对所述划分后的照度图进行下采样处理，得到第一下采样照度图和第二下采样照度图，其中，所述第一下采样照度图和所述第二下采样照度图中每个图像块中的每个像素点的像素值设置为所述划分后的照度图中对应图像块中处于对角线上的像素点的像素平均值；

基于所述第一下采样照度图和所述第二下采样照度图得到第一训练好的映射神经网络；

将所述调整后的照度图输入至所述第一训练好的映射神经网络，得到噪声抑制后的照度图。

在本发明的一个实施例中，基于所述第一下采样照度图和所述第二下采样照度图得到训练好的第一映射神经网络，包括：

将所述第一下采样照度图作为映射神经网络的输入，将所述第二下采样照度图作为映射目标，利用第二损失函数优化所述映射神经网络的参数，直至所述第二损失函数达到最小，说明此时所述映射神经网络的输出与所述第二下采样照度图最相似，由此得到第一初步训练好的映射神经网络；

将所述第二下采样照度图作为映射神经网络的输入，将所述第一下采样照度图作为映射目标，利用第二损失函数优化所述第一初步训练好的映射神经网络的参数，直至所述第二损失函数达到最小，说明此时所述第一初步训练好的映射神经网络的输出与所述第一下采样照度图最相似，由此得到第一训练好的映射神经网络。

在本发明的一个实施例中，基于噪声在图像上分布的独立性，对所述反射图进行噪声抑制，得到噪声抑制后的反射图，包括：

将所述反射图划分为大小相同且不重叠的若干图像块，得到划分后的反射图；

对所述划分后的反射图进行下采样处理，得到第一下采样反射图和第二下采样反射图，其中，所述第一下采样反射图和所述第二下采样反射图中每个图像块中的每个像素点的像素值设置为所述划分后的反射图中对应图像块中处于对角线上的像素点的像素平均值；

基于所述第一下采样反射图和所述第二下采样反射图得到第二训练好的映射神经网络；

将所述反射图输入至所述第二训练好的映射神经网络，得到噪声抑制后的照度图。

在本发明的一个实施例中，基于所述第一下采样反射图和所述第二下采样反射图得到第二训练好的映射神经网络，包括：

将所述第一下采样反射图作为映射神经网络的输入，将所述第二下反射照度图作为映射目标，利用第二损失函数优化所述映射神经网络的参数，直至所述第二损失函数达到最小，说明此时所述映射神经网络的输出与所述第二下采样反射图最相似，由此得到第二初步训练好的映射神经网络；

将所述第二下采样反射图作为映射神经网络的输入，将所述第一下采样反射图作为映射目标，利用第二损失函数优化所述第二初步训练好的映射神经网络的参数，直至所述第二损失函数达到最小，说明此时所述第二初步训练好的映射神经网络的输出与所述第一下采样反射图最相似，由此得到第二训练好的映射神经网络。

在本发明的一个实施例中，所述第二损失函数表示为：

L(θ)＝L

其中，L(θ)为第二损失函数，D

本发明的有益效果：

本发明提出一种利用频域特性的自适应低照度增强方法，该方法首先将低照度图像分解为照度图和反射图，对于照度图，基于频域特性的自适应照度调整方法对照度图进行自适应的照度调整，以完成照度图的图像照度调整，并基于噪声在图像上分布的独立性，分别对调整后的照度图和反射图进行了噪声抑制，最终将噪声抑制后的照度图和噪声抑制后的照度图融合成最终的增强图像。由此，本发明的方法实现图像照度的自适应调整，同时对图像细节进行全局增强，从而提高增强后图像的整体质量，实现高效的图像增强效果，本发明的方法在提升图像照度增强效果的同时，能够有效降低图像噪声。

附图说明

图1是本发明实施例提供的一种利用频域特性的自适应低照度图像增强方法的流程示意图；

图2是本发明模块基于颜色空间分解理论提供的另一种利用频域特性的自适应低照度图像增强方法的流程示意图；

图3是本发明实施例提供的基于视网膜理论图像分解结果利用频域特性的自适应低照度图像增强方法的流程示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1是本发明实施例提供的一种利用频域特性的自适应低照度图像增强方法的流程示意图，本发明提供一种利用频域特性的自适应低照度图像增强方法，该图像增强方法包括：

步骤1、将低照度图像分解为照度图和反射图。

具体的，如图2所示，基于视网膜理论对低照度图像进行分解，得到照度图(也即照度通道信息，通道数＝1)和反射图(也即反射通道信息)。

也就是说，本实施例基于视网膜理论的图像分解方法将输入的低照度图像分解为照度图(通道数＝1)和反射图(通道数＝3)，其中照度图包含了成像过程中的各物体的光照信息，反射图则包含环境中各物体的纹理信息。

另外，基于不同的图像颜色空间理论，能够将照度调整限定在图像中某一通道，即可采用本实施例的方法。具体而言，以HSV颜色空间为例，V通道只包含图像的亮度信息。因此将V通道信息进行提取，并输入至基于频率特性的自适应照度调整模块进行照度信息增强，并结合约束优化进行图像的色彩饱和度调整，然后将增强后的V通道信息与HS通道重新融合后，输入至图像全局信息增强模块进行图像噪声抑制，也能够实现对低照度图像的增强效果。而这里的颜色空间还可以是HSL、Ycbcr空间等。

步骤2、基于频域特性的自适应照度调整方法对照度图进行自适应的照度调整，得到调整后的照度图。

具体而言，将照度图输入至基于频域特性的自适应照度调整模块，利用频域空间中的虚拟衍射理论对照度图进行自适应的照度调整，得到调整后的照度图。

为了更好的说明本实施例中基于频域特性的自适应照度调整模块的设计原理，下面将其物理建模的过程进行介绍。具体而言，基于频域特性的自适应照度调整主要是基于光场衍射相干原理，其主要目的是通过将图像重新构想为空间上变化的隐式光场，然后将其置于类似于衍射和相干检测的物理过程中。利用衍射和相干检测所获取的频域上的增益信息，实现对图像的照度增强。而基于步骤1获取的照度图则包含了成像过程中的环境光照信息。因此本实施例中的自适应照度调整模块的输入为步骤1中得到的照度图。

在一个可选实施例中，步骤2具体可以包括：

步骤2.1、对照度图进行像素化，得到第一像素化照度图。

具体的，本实施例处理的为二维数字图像，因此从时空域中的连续图像(即照度图)进行离散化，也即转为二维的像素化的图像(即第一像素化照度图)。

步骤2.2、基于第一调整参数，对第一像素化照度图进行正则化，得到第二像素化照度图。

具体的，衍射引起的频谱相位的主要效应是产生虚部。输出的实部是具有较大初始值的明场图像，而虚部是在衍射之前为零的暗场图像。任何数值噪声都会对虚部产生比实部更大的影响。为避免这种影响，本实施例利用第一调整参数对虚部正则化，因此，第二像素化照度图表示为：

E[n,m；I]→E

其中，E[n,m；I]为第二像素化照度图，E

步骤2.3、基于第二像素化照度图和第二调整参数得到相位信息。

具体的，基于光谱相位滤波器的结果具有低通特性，可以使用各种低通光谱相位函数。尽管它可能不是最优的函数表达，但是为了计算简便，本发明考虑使用具有零均值和方差T的频率依赖相位的高斯函数，相位信息表示为：

其中，φ[k

在相位信息的表达式中，第二调整参数S是映射成传播损耗(或增益)的模型参数。在物理波传播中，衍射引起的光谱相位取决于传播长度。在本实施例中，传播距离体现在第二调整参数S中，而传播长度受到传播引起的相位必须很小的要求所限制。

步骤2.4、基于相位信息得到增益结果，增益结果表示为：

其中，H[k

步骤2.5、基于谱相位和傅里叶逆变换原理，根据增益结果和第二像素化照度图得到初步调整的照度图。

具体的，利用谱相位和傅里叶逆变换原理，相干检测产生了场的实部和虚部，从中获得了相位信息。联合低通谱相位的衍射与相干检测的综合处理产生了初步调整的照度图，初步调整的照度图表示为：

其中，V

步骤2.6、基于初步调整的照度图和第三调整参数得到调整后的照度图。

具体而言，将信号要乘以一个称为相位激活增益的参数(即第三调整参数)，然后将输出相位规范化以匹配图像格式约定的[0,255]范围。然后将此输出作为调整后的照度图，调整后的照度图表示为：

其中，V[n,m；I]为调整后的照度图,G为第三调整参数，Im{E

在一个具体实施例中，本实施例还提供一种第一调整参数、第二调整参数和第三调整参数的获取方法，该获取方法包括：

将第一像素化照度图输入至轻量化的参数估计网络中，并通过第一损失函数优化轻量化的参数估计网络的参数，直至第一损失函数达到最小，此时得到轻量化的参数估计网络输出的第一调整参数、第二调整参数和第三调整参数，其中，轻量化的参数估计网络包括若干依次连接的卷积层，例如，通过5层卷积层实现逐点卷积而构成的轻量化的参数估计网络，第一损失函数包括图像色彩直方图先验信息对应的损失函数和照度平滑损失函数。

具体的，基于频域特性的自适应照度调整模块中的三个主要调整参数为第一调整参数b、第二调整参数S和第三调整参数G，然而，目前对于不同的场景需要手工设置这三个参数完成对低照度图像的增强，并且参数的设置无法基于图像中不同位置、材质物体的实际光照或反射情况进行动态的调整。因此，本实施例设计了一个由逐点卷积构成的轻量化的参数估计网络，为了实现网络训练，设计针对该参数估计网络设计了两种损失函数。

首先采用了图像色彩直方图先验信息来约束网络的动态调整效果，使得网络在照度调整的同时尽可能保留图像真实的色彩分布、结构以及语义信息，本实施例将图像色彩直方图先验信息对应的损失函数表示为：

其中，L

本实施例为了在进行照度信息调整的同时尽可能保留图像细节的真实感，本发明还设计了一个照度平滑损失函数，该损失函数的主要思想是通过图像本身梯度信息的提取让网络模型聚焦于图像的纹理、边缘等特征信息。因此该损失函数包含两个不同的部分，一部分是对图像在x方向和y方向的梯度损失函数的计算，即：

其中，H、W为图像的高度和宽度，ReLU为激活函数，G(E[n,m；I])为第二像素化照度图的梯度归一化，G(V[n,m；I])为调整后的照度图的梯度归一化。

照度平滑损失函数的另一部分则表示为：

L

其中，||G(E[n,m；I])-G(V[n,m；I])||

因此，照度平滑损失函数L

L

综上，本实施例的第一损失函数L

L

结合上述所设计的第一损失函数，本实施例中设计的基于频率特性的照度调整模块在经过数据训练后具备自适应调整上述第一调整参数b、第二调整参数S和第三调整参数G的能力，同时具备图像颜色饱和度调整的能力，并且能够结合神经网络获取的语义信息，对图像中不同位置、材质的物体也实现动态的照度调整。

步骤3、基于噪声在图像上分布的独立性，对调整后的照度图进行噪声抑制，得到噪声抑制后的照度图。

具体的，大多数基于图像分解的低照度增强方法在进行低照度图像增强时并不考虑图像噪声抑制，这将导致最终增强结果存在增强图像的噪声过大的问题。因此本实施例设计了一个如图2所示的高效的图像全局信息恢复模块，现有的自监督图像全局信息增强方法通常采用网络结构复杂，参数量大的U-Net网络，对图像进行全局的信息恢复。虽然能够降低对成对数据的依赖，但这类方法的推理效率较低。

本实施例首先将带有噪声的自适应调整后的照度图分解成一对下采样的图像，为了避免对单张图像过拟合，本实施例基于对图像噪声分布基理的分析，训练了一个带有正则化的轻量级网络，将一个下采样的噪声图像映射到另一个，将训练好的网络应用于噪声图像，就能起到去噪的效果。

在一个可选实施例中，步骤3具体可以包括：

步骤3.1、将调整后的照度图划分为大小相同且不重叠的若干图像块，得到划分后的照度图。

步骤3.2、对划分后的照度图进行下采样处理，得到第一下采样照度图和第二下采样照度图，其中，第一下采样照度图和第二下采样照度图中每个图像块中的每个像素点的像素值设置为划分后的照度图中对应图像块中处于对角线上的像素点的像素平均值。

具体的，首先选定一固定大小的卷积核k

这里，首先计算划分后的照度图中每个图像块中处于对角线上的像素点的像素值的均值，之后将图像块对应的均值赋给第一下采样照度图和第二下采样照度图中各个图像块中的各个像素点均赋值为对应的划分后的照度图的图像块所计算的均值，从而得到第一下采样照度图和第二下采样照度图中各个像素点的像素值。

步骤3.3、基于第一下采样照度图和第二下采样照度图得到第一训练好的映射神经网络，该网络由串联的3*3卷积+激活函数LeakyRelu和1*1卷积+激活函数LeakyRelu构成。

在本实施例中，步骤3.3具体可以包括：

步骤3.31、将第一下采样照度图作为映射神经网络的输入，将第二下采样照度图作为映射目标，利用第二损失函数优化映射神经网络的参数，直至第二损失函数达到最小，说明此时映射神经网络的输出与第二下采样照度图最相似，由此得到第一初步训练好的映射神经网络。

步骤3.32、将第二下采样照度图作为映射神经网络的输入，将第一下采样照度图作为映射目标，利用第二损失函数优化第一初步训练好的映射神经网络的参数，直至第二损失函数达到最小，说明此时第一初步训练好的映射神经网络的输出与第一下采样照度图最相似，由此得到第一训练好的映射神经网络。

具体的，本实施例将第一下采样照度图个映射，以映射到与第二下采样照度图最为相似的图像，基于这一对下采样噪声图像具有着相似的像素信息以及独立的噪声，因次可通过最小化以下损失函数来实现：

其中，D

网络确定后，就可以将其应用于原始的噪声观测，以估计去噪的图像，即

基于此，将上述损失函数进行对称损失设计，可得到第一残差损失：

其中，f

通过确保先对调整后的照度图y进行去噪，然后对其进行降采样，来强调一致性，这与先对调整后的照度图y进行降采样，然后对其进行去噪时得到的结果类似，也就是说，能够构建一种一致性损失函数：

其中，D(y)为利用下采样核获得的下采样结果，f

同样对上述函数进行对称化设计，可得到：

其中，D

需要注意的是，对于残差损失而言，网络只接受下采样后的图像作为输入，只有在一致性损失中，网络才能看到完整的空间分辨率图像，包括一致性损失可以提高降噪性能，并有助于避免过拟合。因此，可以将其视为一种正则化项。

总之，使用梯度下降最小化损失L(θ)＝L

步骤3.4、将调整后的照度图输入至第一训练好的映射神经网络，得到噪声抑制后的照度图。

步骤4、基于噪声在图像上分布的独立性，对反射图进行噪声抑制，得到噪声抑制后的反射图。

具体的，本实施例基于视网膜理论将输入的低照度图像分解为照度图和反射图，而这一过程由于采用数据驱动的模型拟合，即带有图像本身纹理特征信息的反射图也存在噪声问题，为了保留图像本身纹理特征信息，需要将分解得到的反射图同样输入至图像全局信息恢复模块，以抑制图像分解过程所产生的噪声，提升低照度图像增强结果。

在一个可选实施例中，步骤4具体可以包括：

步骤4.1、将反射图划分为大小相同且不重叠的若干图像块，得到划分后的反射图。

步骤4.2、对划分后的反射图进行下采样处理，得到第一下采样反射图和第二下采样反射图，其中，第一下采样反射图和第二下采样反射图中每个图像块中的每个像素点的像素值设置为划分后的反射图中对应图像块中处于对角线上的像素点的像素平均值。

步骤4.3、基于第一下采样反射图和第二下采样反射图得到第二训练好的映射神经网络。

在本实施例中，步骤4.3具体可以包括：

步骤4.31、将第一下采样反射图作为映射神经网络的输入，将第二下反射照度图作为映射目标，利用第二损失函数优化映射神经网络的参数，直至第二损失函数达到最小，说明此时映射神经网络的输出与第二下采样反射图最相似，由此得到第二初步训练好的映射神经网络。

步骤4.32、将第二下采样反射图作为映射神经网络的输入，将第一下采样反射图作为映射目标，利用第二损失函数优化第二初步训练好的映射神经网络的参数，直至第二损失函数达到最小，说明此时第二初步训练好的映射神经网络的输出与第一下采样反射图最相似，由此得到第二训练好的映射神经网络。

需要说明的，对于反射图的噪声抑制的具体处理方法与步骤3中调整后的照度图的噪声抑制的具体处理方法相似，在使用第二损失函数时，对应的将D

步骤4.4、将反射图输入至第二训练好的映射神经网络，得到噪声抑制后的照度图。

步骤5、对噪声抑制后的照度图和噪声抑制后的照度图进行融合，得到增强后的低照度图像。

本实施例对噪声抑制后的照度图和噪声抑制后的照度图的具体方法不作具体限定，本领域技术人员可以根据实际需求选择合适的融合方法，例如可以基于视网膜理论进行通道融合，获取最终的低照度图像增强结果。

本发明的方法中的基于频域特性的自适应照度调整模块以及基于噪声分布理论的图像全局信息恢复模块均为采用数据驱动的深度学习方法。在公开实施前，分别对上述模块进行训练，以获取最优效果模型，实现各模块功能。基于频域特性的自适应照度调整模块则采用非监督学习的方式，以分解模块输出的照度图作为训练数据，基于本发明采用的图像色彩直方图先验信息以及照度信息调整平滑约束来引导本发明设计的多层逐点卷积构成的轻量化参数估计网络，实现对照度图的自适应调整。最后基于噪声分布理论的图像全局信息恢复模块也采用非监督学习的方式，以分解网络输出的带有噪声信息的反射图为训练数据，基于本公开所采用的对称式的残差损失和一致性约束实现对降噪网络进行引导学习，实现对噪声的抑制。在本发明中，当基于颜色空间对图像进行分解时，不需要训练专门的图像分解网络。如图3所示，可直接将自适应照度调整模块同基于噪声分布理论的图像全局信息恢复模块融合设计成一个端到端的网络模型。直接利用基于颜色空间理论获得的照度通道信息对基于频域特性的自适应照度调整模块进行训练。将训练结果替换相应通道后，直接对降噪模块进行训练，以达到对低照度图像的增强与噪声抑制。

本发明提出一种利用频域特性的自适应低照度增强方法，其包括：利用视网膜理论将图像分解为照度图和反射图，对于照度图，利用光场概念中的虚拟衍射理论，结合轻量化设计的参数估计网络，实现对模型参数的自适应调整，完成照度图的图像照度调整，同时依靠设计的损失函数对图像色彩饱和度，语义信息等进行有效保留。利用基于噪声分布理论设计的轻量化网络对图像分解及图像增强过程造成的图像噪声进行高效抑制，最终基于视网膜理论将照度通道和反射通道融合成最终的增强图像。由此，本发明的方法实现图像照度的自适应调整，同时对图像细节进行全局增强，从而提高增强后图像的整体质量。实现高效的图像增强效果，为下游计算机视觉任务的开展提供支撑。另外，在提升图像照度增强效果的同时，能够有效降低图像噪声，并且本发明所设计的网络模型的参数量及计算复杂度较低，在计算资源受限的硬件上也具有良好的实时性应用潜力。相对于已有的低照度图像增强算法，本发明的方法所得到的增强后的图像在关键指标：信号噪声比(PSNR)以及图像结构相似性(SSIM)上分别有2.6％和1.2％的提升，并且模型参数量仅为50K。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。