一种基于零次学习的低照度图像增强方法

技术领域

本发明属于数字图像处理技术领域，具体涉及一种基于零次学习的低照度图像增强方法。

背景技术

人类获取信息最为重要的一种方式便是视觉，其次为听觉。在人类世界的信息交流中，图像一直占有重要的地位。现实生活中，人类借助自然光感知世界，在光照不足的情况下，人类通常采用人造光源等辅助手段实现视觉感知。借助于多样化的视觉感知方式，人类的生产生活有条不紊的进行。然而，在缺乏辅助方法的低照度条件下，人类感知世界的能力和基于光学的成像设备的成像质量均表现出不同程度的下降，这也是低照度环境下的犯罪打击、矿井监控、区域安防等诸多领域面临的普遍难题。为此，图像增强技术引起了工业界和学术界的广泛关注和重视，图像增强不仅满足了人们对视觉体验的需求，而且提高了户外视觉系统的可靠性和鲁棒性，使图像处理系统更容易对图像进行分析和处理。

图像增强算法发展至今有很多种，例如基于数学函数图像增强方法、基于直方图均衡化图像增强方法、基于图像融合方法和基于Retinex理论方法。但上述方法均存在些许不足。例如，基于数学函数图像增强方法虽然简单方便，但是依赖于人工设计的数学函数，而且多是全局操作，容易造成过度曝光或者曝光不足的现象。基于直方图均衡化图像增强的方法，容易造成灰度级合并，细节丢失的现象。基于图像融合的方法，要求拍摄同一场景下的多幅图像，拍摄难度较大，而且图像融合之后很容易出现伪影现象。基于Retinex理论的方法，增强结果很大程度上依赖于精心设计的函数，因此也很容易造成过度曝光或者增强不足现象，而且泛化能力较差。

基于深度学习的低照度图像增强解决方案数量逐年增长。这些解决方案中使用的学习策略包括监督学习、强化学习、无监督学习、零次学习和半监督学习。在众多学习方式中，零次学习的表现尤为亮眼。零次学习通过一组精心设计的无参考损失函数进行图像增强，且在训练期间不需要任何成对或不成对的数据。零次学习具有训练难度低，数据获取容易，泛化能力强等优点。不幸的是，低照度图像的产生往往伴随着噪声。许多模型都采用降噪与增强分离，引入其他降噪方式，减少增强工作量。但引入其他降噪方式，不可避免的会导致原始信息的丢失，且增强方法对降噪结果不可控。同时真实有噪声低照度图像，无噪声正常光照图像对，数据少，难以采集。通过调整得到的数据集图像，难以适应真实环境。

发明内容

为解决以上现有技术存在的问题，本发明提出了一种基于零次学习的低照度图像增强方法，该方法包括：获取真实低照度数据集，采用的kmeans聚类方法对真实低照度数据集进行聚类，得到三分类聚类模型；获取待增强的低照度图像，采用三分类聚类模型对待增强的低照度图像进行处理，得到低照度图像类别；将低照度图像输入到增强曲线网络中，得到3张3通道的增强曲线参数图；根据低照度图像类别，选择一张3通道的增强曲线参数图；根据增强曲线参数图采用光照增强曲线公式对低照度图像进行增强，得到初始增强图；采用空间一致性损失约束、色彩恒常性损失约束、曝光控制损失约束、光照平滑度损失约束以及高斯降噪损失约束对初始增强图进行约束；采用光照增强曲线公式对初始增强图像增强8次，得到最终增强后的图像。

优选的，增强曲线网络包括像素块分割层、线性嵌入层、第一Swin TransformerBlock块、第一像素块下采样层、第二Swin Transformer Block块、第二像素块下采样层、第三Swin Transformer Block块、第一像素块上采样层、第三Swin Transformer Block块、第二像素块上采样层、第四Swin Transformer Block块、第三像素块上采样层以及线性投影层；其中每个层依次连接，且第一Swin Transformer Block块跳跃连接第四SwinTransformer Block块，第二Swin Transformer Block块跳跃连接第三Swin TransformerBlock块，构成增强曲线网络。

优选的，采用的kmeans聚类方法对真实低照度数据集进行聚类的过程包括：将原始图像转为灰度图，对灰度图进行进行随机调整大小裁剪，得到大小为512*512的图像；计算裁剪图像的灰度直方图，并将灰度直方图展开并归一化，得到256维图像特征；采用GPU加速的Kmeans聚类方法对256维图像特征进行聚类，得到三分类聚类模型。

优选的，采用增强曲线网络对低照度图像进行处理包括：将低照度图像输入到像素块分割层进行裁剪，得到大小为window_size*window_size的相互不重叠的图像块；将图像块输入到线性嵌入层，得到固定大小的张量；将张量输入到第一Swin TransformerBlock模块和第一像素块下采样层进行变换，生成分层特征表示；将分层特征分别输入到第二Swin Transformer block层和第四Swin Transformer block模块中，并分别经过多个像素块下采样层和多个像素块上采样层第二像素块下采样层进行上下文特征提取，并将上下文特征通过跳过连接与编码器生成多尺度融合特征。

优选的，光照增强曲线公式为：

LE

其中，LE

优选的，空间一致性损失约束的表达式为：

其中，K为局部区域数量，Ω(i)为i的邻域，Y为增强后图像局部区域平均强度值，I为增强前图像局部区域平均强度值。

优选的，色彩恒常性损失约束的表达式为：

其中，J表示通道的平均强度，ε表示彩色RGB图像任意两通道结合所组成的集合，p与q皆表示彩色RGB图像的任一通道。

优选的，曝光控制损失约束表达式为：

其中，M表示大小为16×16的非重叠局部区域的数目，Y是增强图像中局部区域的平均强度值，E为良好曝光水平。

优选的，光照平滑度损失约束表达式为：

其中，N为参与运算像素总数，

优选的，高斯降噪损失约束表达式为：

其中，N为单通道像素总数，

本发明的有益效果：

本发明在光照增强曲线网络中加入了Transforemr进行特征提取，其次通过类U-Net的下采样、上采样、跳跃连接结构，从而融合浅层次和深层次特征，获得更丰富的特征，从而更好地获取图像特征。本发明在低照度图像增强过程中，在2000张真实低照度图像数据集上训练三分类聚类模型，根据低照度图像类别选用不同的增强曲线参数图，达到分类增强效果。本发明在损失函数设计中，选用多个非参考损失函数，很好的避免了成对正常照度、低照度图像难以采集的问题。本发明在损失函数中引入高斯滤波，设计高斯降噪损失函数，使模型拥有处理含噪图像的能力。

附图说明

图1为本发明中基于零次学习的低照度图像增强方法的流程图；

图2为本发明中设计的光照增强曲线网络结构示意图；

图3为本发明与对比方法在低照度LOL数据集图片上增强效果对比图；

图4为本发明与对比方法在低照度DICM数据集图片上增强效果对比图；

图5为本发明与对比方法在真实环境拍摄图片上增强效果对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于零次学习的低照度图像增强方法，如图1所示，该方法包括：在2000张真实低照度数据集上使用kmeans聚类方法，获得一个三分类聚类模型；获取待增强的低照度图像，使用聚类模型得到低照度图像类别；将低照度图像输入到增强曲线网络中，得到3张3通道的增强曲线参数图；根据低照度图像类别，选择一张3通道的增强曲线参数图；根据增强曲线参数图采用光照增强曲线公式对低照度图像进行增强，得到初始增强图；采用空间一致性损失约束、色彩恒常性损失约束、曝光控制损失约束、光照平滑度损失约束以及高斯降噪损失约束对初始增强图进行约束；采用光照增强曲线公式对初始增强图像增强8次，得到最终增强后的图像。

本发明采用低照度图像数据集对光照增强曲线网络进行训练；低照度图像数据集选用LOL数据集低照度部分数据(500张低照度图像)以及Zero-DCE数据集(2002张低照度图像)，训练集、验证集、测试集按照6:2:2的比例划分。

在本实施例中，如图2所示，增强曲线网络包括像素块分割层、线性嵌入层、第一Swin Transformer Block块、第一像素块下采样层、第二Swin Transformer Block块、第二像素块下采样层、第三Swin Transformer Block块、第一像素块上采样层、第三SwinTransformer Block块、第二像素块上采样层、第四Swin Transformer Block块、第三像素块上采样层以及线性投影层；其中每个层依次连接，且第一Swin Transformer Block块跳跃连接第四Swin Transformer Block块，第二Swin Transformer Block块跳跃连接第三Swin Transformer Block块，构成增强曲线网络。

本发明中一种优选实施例的光照增强曲线网络各层具体参数如表1所示。

表1光照增强曲线网络各层具体参数

采用增强曲线网络对低照度图像进行处理包括：获取低照度图像(X)，将X裁成大小为window_size*window_size的相互不重叠的patch，通过这种划分方法，每个patch的特征维度变为4×4×3＝48。将patch进行Linear embeding，具体做法为通过二维卷积层，将stride，kernel_size设置为window_size大小。设定输出通道来确定嵌入向量的大小。最后将H,W维度展开，并移动到第一维度得到patch tokens，每个patch token的特征维度变为96。将patch tokens输入到Swin Transformer Block进行自注意力计算，变换后的patchtokens通过两个Swin Transformer block和patch merging层来生成分层特征表示。其中，patch merging层负责下采样和增维，Swin Transformer块负责特征表示学习。其中SwinTransformer Block具体结构主要是LayerNorm，MLP，Window Attention和Shifted WindowAttention组成。其中的Window Attention是将注意力的计算限制在每个窗口内，进而减少了计算量。注意力计算公式为

其中B为相对位置编码。其中Shifted Window Attention通过对特征图移位，并给Attention设置mask来间接实现的。能在保持原有的window个数下，最后的计算结果等价。

提取的上下文特征通过跳过连接与编码器的多尺度特征融合，以弥补下采样造成的空间信息损失，将相邻维度的feature maps重塑为分辨率为2倍上采样的大型featuremaps，利用两个patch expanding层进行4倍上采样，最终得到8张有序得3通道增强曲线参数图。

采用的kmeans聚类方法对真实低照度数据集进行聚类的过程包括：将原始图像转为灰度图，对灰度图进行进行随机调整大小裁剪，得到大小为512*512的图像；计算裁剪图像的灰度直方图，并将灰度直方图展开并归一化，得到256维图像特征；采用GPU加速的Kmeans聚类方法对256维图像特征进行聚类，得到三分类聚类模型。

光照增强曲线公式为：

LE

其中LE

光照增强曲线网络的总损失函数为：

Loss＝ω

/>

其中，Loss为光照增强曲线网络总损失，包括光照平滑度损失，空间一致性损失，色彩恒常性损失，曝光控制损失和高斯降噪损失；ω

对本发明进行评价，将本发明与Zero-DCE方法进行对比，采用评价指标有峰值信噪比(PSNR)、图像感知质量指标(PI)和图像自然评价指标(NIQE)；Zero-DCE方法与本发明在低照度图像数据集上客观指标对比结果如表2所示。

表2Zero-DCE方法与本发明在低照度图像数据集上客观指标对比结果

从表2可以看出，本发明拥有更高的峰值信噪比，说明本发明确实可以减少增强图像中的噪声。另外，本发明也有更低的PI和NIQE值，说明本发明得到的增强图像，也更符合人类的视觉效果。

本发明与Zero-DCE方法在低照度LOL数据集图片上的增强效果对比如图3所示，其中，(a)为原始图像，(b)为Zero-DCE方法增强后得到的图像，(c)为本发明得到的增强图像；本发明与Zero-DCE方法在低照度DICM数据集图片上的增强效果对比如图4所示，其中(a)为原始图像，(b)为Zero-DCE方法增强后得到的图像，(c)为本发明得到的增强图像；本发明与Zero-DCE方法在人工拍摄的低照度图片上增强效果对比如图5所示，其中(a)为原始图像，(b)为Zero-DCE方法增强后得到的图像，(c)为本发明得到的增强图像；通过对比，可以明显看出，相比Zero-DCE方法，本发明得到的增强图像更清晰、有更少的噪点、更少的失真现象，而且在对比度、亮度、细节等方面有明显的改善，更加符合人类的主观视觉效果。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。