一种暗光图像恢复方法、系统、设备及存储介质

技术领域

本申请实施例涉及计算机视觉技术领域，特别涉及一种暗光图像恢复方法、系统、设备及存储介质。

背景技术

低光图像恢复有利于许多下游任务，例如物体检测、跟踪和人脸识别。然而，这项任务非常具有挑战性，因低光图像的可见度很差，曝光不足的区域被噪声严重破坏。特别是在校正亮度时，噪声可能会被放大，从而导致结果出现颜色失真。因此，为了提高在低光环境下拍摄的图像的视觉质量，必须在校正照明的同时抑制噪声并最大限度地减少图像中的颜色失真。

现有的弱光图像恢复方法可以分为两类，第一类采用曝光校正来增强低光图像。虽然亮度校正有助于增强低光图像，但噪声也会随之放大。第二类旨在恢复噪声较大的图像。基于深度学习，提出一系列神经网络模型,通过在各种数据集上训练深度模型对图像特征进行编码、抑制噪声和校正曝光。然而，严重的噪声和低可见度极易强烈阻碍模型提取颜色特征，导致颜色失真。另外，现有的弱光图像恢复方法也存在很难在颜色恢复和细节恢复之间进行稳健的权衡的问题。

发明内容

本申请实施例提供一种暗光图像恢复方法、系统、设备及存储介质，以恢复图像的精细细节的同时减轻颜色失真。

为解决上述技术问题，第一方面，本申请实施例提供一种暗光图像恢复方法，包括以下步骤：首先，基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；基于颜色的低秩张量，对颜色字典进行优化；基于优化后的颜色字典，生成图像恢复字典；将图像恢复字典和表示系数进行卷积，获得最终图像。

在一些示例性实施例中，基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量，包括：将输入图像从标准颜色空间转换为色彩空间；通过学习颜色字典，对颜色信息进行编码，作为颜色先验；对颜色信息进行低秩编码，将颜色信息表示为低秩张量，得到颜色的低秩张量。

在一些示例性实施例中，颜色的低秩张量如下所示：

其中，

在一些示例性实施例中，颜色的低秩张量包括编码器和解码器中的特征；权重是将编码器和解码器生成的特征相结合，并使用平均池化操作和一个全连接操作获取。

在一些示例性实施例中，基于所述颜色的低秩张量，对颜色字典进行优化，包括：基于颜色的低秩张量，设定目标函数；基于目标函数，求解保真项和正则项；基于保真项和正则项，得到目标函数的解；基于目标函数的解，对颜色字典进行优化。

在一些示例性实施例中，目标函数如下式所示：

针对保真项，闭式解如下式所示：

针对正则项，使用卷积网络获取最终解，如下式所示：

其中，

在一些示例性实施例中，基于优化后的颜色字典，生成图像恢复字典，包括：对查询字典进行初始化处理；采用卷积提取原始图像的结构和亮度特征；将原始图像的结构和亮度特征与优化后的颜色字典相融合，生成图像恢复字典。

第二方面，本申请实施例还提供了一种暗光图像恢复系统，包括：依次连接的深度低阶张量表示模块、颜色字典优化模块、图像恢复字典生成模块以及卷积模块；深度低阶张量表示模块用于根据卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；颜色字典优化模块用于根据所述颜色的低秩张量，对颜色字典进行优化；图像恢复字典生成模块用于根据优化后的颜色字典，生成图像恢复字典；卷积模块用于将所述图像恢复字典和表示系数进行卷积，获得最终图像。

另外，本申请还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述暗光图像恢复方法。

另外，本申请还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述暗光图像恢复方法。

本申请实施例提供的技术方案至少具有以下优点：

本申请实施例提供一种暗光图像恢复方法、系统、设备及存储介质，该方法包括以下步骤：首先，基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；基于颜色的低秩张量，对颜色字典进行优化；基于优化后的颜色字典，生成图像恢复字典；将图像恢复字典和表示系数进行卷积，获得最终图像。

本申请提供的暗光图像恢复方法，是将颜色信息使用卷积字典进行低秩编码的方法，该方法将色调和饱和度特征作为颜色先验，通过颜色卷积字典和相应的参数在HSV空间中进行颜色编码。本申请通过深度低秩张量表示模块以集成低秩张量先验和深度先验，然后优化颜色字典；通过将颜色信息表示为低秩张量，有助于从噪声中恢复原始图像的颜色信息。另外，该方法无需设计特殊的颜色损失，即可减轻颜色失真。与此同时，本申请提出的方法使用更少的参数，在定量和视觉上实现了优于最先进方法的最佳性能。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，除非有特别申明，附图中的图不构成比例限制。

图1为本申请一实施例提供的一种暗光图像恢复方法的流程示意图；

图2为本申请一实施例提供的使用卷积字典对颜色信息进行低秩编码的系统框架示意图；

图3为本申请一实施例提供的将颜色信息表示为低秩张量的形式流程图；

图4为本申请一实施例提供的一种暗光图像恢复系统的示意图；

图5为本申请一实施例提供的视觉评价的对照图；

图6为本申请一实施例提供的一种电子设备的结构示意图。

具体实施方式

由背景技术可知，目前现有的图像恢复方法存在着在严重的噪声和低可见度下阻碍模型提取颜色特征，导致颜色失真的技术问题。

现有的弱光图像恢复方法可以分为采用曝光校正来增强低光图像和恢复噪声较大的图像两大类。在早期阶段，曝光校正被广泛用于恢复曝光不足的低光图像，这类图像大多由于相机操作不准确或相机传感器动态范围有限而导致的。虽然亮度校正有助于增强低光图像，但噪声也会随之放大。对于旨在恢复噪声较大的图像，基于深度学习，一系列神经网络模型被提出来，通过在各种数据集上训练深度模型对图像特征进行编码、抑制噪声和校正曝光。

有一相关技术采用总变差最小化来近似噪声水平以恢复图像细节。然而，严重的噪声和低可见度可能强烈阻碍模型提取颜色特征，导致颜色失真。相关技术通过将彩色图像解耦为灰度图像，颜色直方图以增强颜色一致性。通用的图像恢复模型通过使用大量的参数来获得更多的特征以帮助编码。信噪比-变换网络(SNR-Transformer)将信噪比作为先验知识对变换网络(transformer)进行改进，以运用于带噪声的暗光图像增强。

现有的方法存在以下缺陷，首先，现有方法通常直接在sRGB颜色空间中提取特征，往往导致颜色失真。这是因为颜色特征难以从噪声中分离出来，同时，受到低能见度的影响，颜色特征难以进行准确的提取。其次，基于深度学习的方法虽能减少颜色失真，但仍然很难平衡细节恢复和色彩校正的损失。

为解决上述技术问题，本申请实施例提供一种暗光图像恢复方法，包括以下步骤：首先，基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；基于颜色的低秩张量，对颜色字典进行优化；基于优化后的颜色字典，生成图像恢复字典；将图像恢复字典和表示系数进行卷积，获得最终图像。本申请实施例提供一种暗光图像恢复方法、系统、设备及存储介质，本申请提出将颜色信息使用卷积字典进行低秩编码的方法，该方法将色调和饱和度特征作为颜色先验将颜色信息与曝光信息分隔开，通过深度低秩张量表示模块来协助恢复噪声中的颜色信息，以恢复图像的精细细节的同时减轻颜色失真。

下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。

参看图1，本申请实施例提供了一种暗光图像恢复方法，包括以下步骤：

步骤S1、基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量。

步骤S2、基于颜色的低秩张量，对颜色字典进行优化。

步骤S3、基于优化后的颜色字典，生成图像恢复字典。

步骤S4、将图像恢复字典和表示系数进行卷积，获得最终图像。

本申请针对在低光图像中直接编码颜色特征很容易导致颜色失真以及很难在颜色恢复和细节恢复之间进行稳健的权衡的问题，提出一种将颜色信息使用卷积字典进行低秩编码的方法，该方法通过颜色字典对色调和饱和度特征在HSV颜色空间(也称HSV色彩空间)中进行编码，作为颜色先验。首先，本申请设计了深度低秩张量表示模块以集成低秩张量先验和深度先验，然后优化颜色字典，并且联合图像亮度和结构特征以学习一组新的图像恢复字典和表示系数。最后，对图像恢复字典和表示系数进行卷积以产生最终结果。相比于现有的方案,本申请提出的方法使用了更少的参数，在定量和视觉上实现了优于最先进方法的最佳性能。

需要说明的是，标准颜色(standard Red Green Blue，sRGB)空间是基于三基色而言，即红色、绿色、蓝色；而HSV(Hue,Saturation,Value)空间为色调(H)、饱和度(S)和明度(V)空间，即HSV色彩空间则是基于色调、饱和度和亮度而言的。本申请通过颜色卷积字典和表示系数(相应的参数)在HSV空间中的进行颜色编码。在HSV色彩空间中，颜色(色调和饱和度)和亮度是被分成独立的通道，因此有利于编码颜色特征和减少亮度带来的不良影响。本申请设计了深度低阶张量表示模块。该模块集成低秩张量先验和深度先验来对颜色信息进行表示。通过这种新方式，本申请生成色调和饱和度的低秩张量，以促进恢复噪声中的颜色信息。然后采用这些表示颜色的低秩张量进一步优化颜色字典。接下来，本申请在HSV色彩空间中学习原始图像的亮度和结构特征，然后再生成另一组字典和相应的系数，将其与学习的颜色信息融合，用于恢复最终的图像。

图2示出了使用卷积字典对颜色信息进行低秩编码的系统框架示意图。使用卷积字典对颜色信息进行低秩编码的系统框架如图2所示，它包含两个主要部分：(1)在HSV颜色空间中使用颜色卷积进行低秩编码来构建颜色先验。(2)在sRGB空间中的提取亮度和结构特征。具体来说，在第一部分中，本申请将输入图像从sRGB空间转换为HSV色彩空间。通过学习颜色字典来编码颜色先验。同时，本申请设计了深度低秩张量表示模块，将颜色信息表示为低秩张量的形式如图3所示。使用这些低秩表示的颜色特征表示，本申请可以优化颜色字典以恢复输入图像的色调和饱和度。在第二部分，本申请初始化一个查询字典，使用卷积来提取原始图像的结构和亮度特征。同时将其与颜色字典相融合，以生成图像恢复字典。最后，将颜色字典与相应的表示系数进行卷积操作，来获取最终的图像。

在一些实施例中，步骤S1中基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量，包括：将输入图像从标准颜色空间转换为色彩空间；通过学习颜色字典，对颜色信息进行编码，作为颜色先验；对颜色信息进行低秩编码，将颜色信息表示为低秩张量，得到颜色的低秩张量。

在一些实施例中，颜色的低秩张量如下所示：

其中，

步骤S1主要是使用卷积字典对颜色信息进行低秩编码。

要优化颜色字典，本申请首先将颜色信息表示为低秩张量的形式

在因子矩阵生成模块中，以编码器为例，给定一个特征F和预定义的秩R，本申请使用R组3×3的卷积和重塑操作，生成R*2个与F具有相同形状的特征图。然后，在每个维度上应用平均池化操作生成因子矩阵。最后，使用1×1卷积层来处理这些矩阵。在解码器中，因子矩阵的生成方法与编码器相类似。因此，针对编码器和解码器，本申请分别生成两组低秩张量，其中每组低秩张量的秩为R/2，随后，将解码器和编码器中的因子矩阵相结合，生成最终的低秩张量，该低秩张量的秩为R如图3(c)所示。

在一些实施例中，颜色的低秩张量包括编码器和解码器中的特征；权重是将编码器和解码器生成的特征相结合，并使用平均池化操作和一个全连接操作获取。由于最终的低秩张量是由编码器和解码器中的特征所组成的，因此，在权重生成模块中，本申请将编码器和解码器生成的特征相结合，使用平均池化操作和一个全连接操作生成权重

在一些实施例中，步骤S2中基于所述颜色的低秩张量，对颜色字典进行优化，包括：基于颜色的低秩张量，设定目标函数；基于目标函数，求解保真项和正则项；基于保真项和正则项，得到目标函数的解；基于目标函数的解，对颜色字典进行优化。

基于颜色的低秩张量表示，本申请可以优化颜色字典。基于颜色的低秩张量，设定目标函数。在一些实施例中，目标函数如下式所示：

本申请可以分别求解保真项和正则项，针对保真项，闭式解如下式所示：

该闭式解为使用卷积字典进行低秩编码提供了推理依据。首先，对于深度低秩张量表示模块来说，该闭式解为模型提供推理一句来近似颜色特征的低秩表示。其次，对于颜色字典而言，该推理依据有利生成字典，都不同的低秩张量进行组合，来恢复原始颜色信息。

针对正则项，使用卷积网络获取最终解，如下式所示：

其中，

本申请使用LeakyReLU作为激活函数。通过循环的使用保真项的闭式解和求解正则项的网络，本申请可以得到目标函数的解，以此来优化颜色字典

在一些实施例中，步骤S3中基于优化后的颜色字典，生成图像恢复字典，包括：对查询字典进行初始化处理；采用卷积提取原始图像的结构和亮度特征；将原始图像的结构和亮度特征与优化后的颜色字典相融合，生成图像恢复字典。

步骤S3主要是生成图像恢复字典的过程。颜色信息表示为低秩张量的形式

如图2所示，首先，本申请初始化查询字典

其中G

需要说明的是，本申请的目标函数使用L1和感知损失来进行端到端的网络训练。同时本申请设置L1和感知损失的平衡参数为0.12。

本申请提供的暗光图像恢复方法，实施细节如下所示：

本申请以端到端的方式进行训练。在里面优化颜色字典时，本申请设置参数

基于此，本申请提出了一种将颜色信息使用卷积字典进行低秩编码的方法，该方法通过将色调和饱和度特征作为颜色先验，通过颜色卷积字典和相应的参数在HSV空间中的进行颜色编码。此外，本申请设计了深度低秩张量表示模块以集成低秩张量先验和深度先验，然后优化颜色字典。

与现有技术相比，本申请提供的暗光图像恢复方法的优势在于：一方面，本申请将颜色信息表示为低秩张量，有助于从噪声中恢复原始图像的颜色信息。另一方面，本申请的方法无需设计特殊的颜色损失，即可减轻颜色失真。与此同时，本申请提出的方法使用更少的参数，在定量和视觉上实现了优于最先进方法的最佳性能。

本申请提供的暗光图像恢复方法，在sRGNSID数据集以及SDSD数据集中获得了优于最先进方法的最佳表现。下面分别从衡量指标、定量评价、视觉评价三方面进行详细说明。

衡量指标：在上述两个数据集上本申请采用了四种定量评估指标(PSNR，SSIM，L2Lab误差和LPIPS)来评估模型的性能表现。其中PNSR和SSIM属于像素级相似性度量指标，其数据越大表示复原效果越好；LPIPS是图像及感知度量指标，LPIPS更符合人眼评估结果，其数值越小表示效果越好。L2 Lab误差越小，表示颜色和亮度信息恢复的越好。

定量评价：本申请的方法与现有技术相比，本申请提出的方法取得了最好的复原效果，对比数据如下所示：

本申请：PSNR:23.136，SSIM:0.7358，L2 Lab误差:10.320，LPIPS:0.3130。

现有技术：PSNR:22.691，SSIM:0.7179，L2 Lab误差:10.581，LPIPS:0.3417。

视觉评价：本申请与现有技术的视觉对比如图4所示，本申请的方法展现出了优越的性能。图4从左到右分别为输入图像、SNR、UTVNet、Uformer、DCCNet、本申请的结果、对照图的结果。由此可见，本申请提供的暗光图像恢复的方法在减少颜色失真和细节的恢复上取得了卓越的性能。

参看图5，本申请实施例还提供了一种暗光图像恢复系统，包括：依次连接的深度低阶张量表示模块101、颜色字典优化模块102、图像恢复字典生成模块103以及卷积模块104；深度低阶张量表示模块101用于根据卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；颜色字典优化模块102用于根据所述颜色的低秩张量，对颜色字典进行优化；图像恢复字典生成模块103用于根据优化后的颜色字典，生成图像恢复字典；卷积模块104用于将所述图像恢复字典和表示系数进行卷积，获得最终图像。

参考图6，本申请另一实施例提供了一种电子设备，包括：至少一个处理器110；以及，与至少一个处理器通信连接的存储器111；其中，存储器111存储有可被至少一个处理器110执行的指令，指令被至少一个处理器110执行，以使至少一个处理器110能够执行上述任一方法实施例。

其中，存储器111和处理器110采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器110和存储器111的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器110处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器110。

处理器110负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器111可以被用于存储处理器110在执行操作时所使用的数据。

本申请另一实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

由以上技术方案，本申请实施例提供一种暗光图像恢复方法、系统、设备及存储介质，该方法包括以下步骤：首先，基于卷积字典，对颜色信息进行低秩编码，得到颜色的低秩张量；基于颜色的低秩张量，对颜色字典进行优化；基于优化后的颜色字典，生成图像恢复字典；将图像恢复字典和表示系数进行卷积，获得最终图像。

本申请提供的暗光图像恢复方法，通过将颜色信息使用卷积字典进行低秩编码，该方法通过将色调和饱和度特征作为颜色先验，通过颜色卷积字典和相应的参数在HSV空间中进行颜色编码。本申请通过深度低秩张量表示模块以集成低秩张量先验和深度先验，然后优化颜色字典。通过将颜色信息表示为低秩张量，有助于从噪声中恢复原始图像的颜色信息。另外，该方法无需设计特殊的颜色损失，即可减轻颜色失真。与此同时，本申请提出的方法使用更少的参数，在定量和视觉上实现了优于最先进方法的最佳性能。

本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各自更动与修改，因此本申请的保护范围应当以权利要求限定的范围为准。