基于嵌入麦克劳林与卷积的低曝光图像增强方法及系统

技术领域

本公开涉及图像处理技术领域，具体涉及基于嵌入麦克劳林与卷积的低曝光图像增强方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

目前，多数低曝光图像增强的卷积神经网络的核心思想都是从低曝光图像中学习出图像的亮度分量，并从低曝光图像中去除亮度分量，以实现低曝光图像增强。但是这种增强模式存在两方面问题：

(1)低曝光图像与相应的亮度分量之间的数学关系极为复杂，需要较深的网络方能拟合低曝光图像与亮度分量之间的数学关系，导致前向推导速度较慢。

(2)网络训练完成后，网络的权重为静态值，导致输出图像的亮度水平为固定值，无法满足智能手机、数码相机等消费电子对亮度水平动态可调的需求。

发明内容

本公开为了解决上述问题，提出了一种基于嵌入麦克劳林展开公式与卷积权重校准的低曝光图像增强方法及系统，通过嵌入麦克劳林展开公式加强网络的拟合性能，实现网络轻量化，并设计权重校准方式实现输出图像的亮度水平动态可调。

根据一些实施例，本公开采用如下技术方案：

基于嵌入麦克劳林与卷积的低曝光图像增强方法，包括：

获取待增强的低曝光图像，对所述低曝光图像进行处理分解；

将所述低曝光图像输入至主干网络中提取多尺度特征，在主干网络中引入动态调节因子，利用所述动态调节因为学习卷积权重校准图，并将学习到的权重校准图对主干网络的卷积权重进行校准，利用校准后的卷积核对特征执行卷积运算，获得低曝光图像的亮度分量，利用亮度分量输出可随动态调节因子变化的长曝光增强图像。

根据一些实施例，本公开采用如下技术方案：

基于嵌入麦克劳林与卷积的低曝光图像增强系统，包括：

预处理模块，用于获取待增强的低曝光图像，对所述低曝光图像进行处理分解；

图像增强模块，用于将所述低曝光图像输入至主干网络中提取多尺度特征，在主干网络中引入动态调节因子，利用所述动态调节因为学习卷积权重校准图，并将学习到的权重校准图对主干网络的卷积权重进行校准，利用校准后的卷积核对特征执行卷积运算，获得低曝光图像的亮度分量，利用亮度分量输出可随动态调节因子变化的长曝光增强图像。

根据一些实施例，本公开采用如下技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于嵌入麦克劳林与卷积的低曝光图像增强方法。

根据一些实施例，本公开采用如下技术方案：

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于嵌入麦克劳林与卷积的低曝光图像增强方法。

与现有技术相比，本公开的有益效果为：

本公开提出一种嵌入麦克劳林展开公式与卷积权重校准的低曝光图像增强网络，通过嵌入麦克劳林展开公式加强网络的拟合性能，实现网络轻量化，并设计权重校准方式实现输出图像的亮度水平动态可调。

本公开的网络可以有效提高低曝光图像的视觉质量。当输入不同的动态调节因子时，可以改变输出图像的亮度水平，表明动态校准方式的有效性。由于网络中嵌入了麦克劳林展开公式，可以用较少的网络层数拟合复杂的非线性变换函数。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例的方法流程示意图；

图2为本公开实施例的主干网络结构示意图；

图3为本公开实施例的卷积权重校准网络结构示意图；

图4为本公开实施例的低曝光图像增强实验效果示意图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例1

本公开的一种实施例中提供了一种基于嵌入麦克劳林与卷积的低曝光图像增强方法，包括：

获取待增强的低曝光图像，对所述低曝光图像进行处理分解；

将所述低曝光图像输入至主干网络中提取多尺度特征，在主干网络中引入动态调节因子，利用所述动态调节因为学习卷积权重校准图，并将学习到的权重校准图对主干网络的卷积权重进行校准，利用校准后的卷积核对特征执行卷积运算，获得低曝光图像的亮度分量，利用亮度分量输出可随动态调节因子变化的长曝光增强图像。

作为一种实施例，获取待增强的低曝光图像，对所述低曝光图像进行处理分解的方式包括：

将低曝光图像分解为亮度分量与长曝光图像的乘积，在分解过程中增加残差项获取亮度分量。

具体的，将低曝光图像分解为亮度分量与长曝光图像的乘积，如公式(1)所示：

D

其中，x表示像素坐标，c表示图像的红、绿、蓝三通道，H

增强的长曝光图像表示为：

为了加速网络收敛，在公式(2)中添加残差项，可得：

式中Er

根据多尺度Retinex理论，Er

Er

式中，T[.]为多尺度特征提取模块，g{.}表示非线性函数。

由于g{.}较为复杂，若直接从低曝光图像中学习该函数，则需要数百层卷积层才能准确拟合Er

令g(0)＝a

式中a

H

/>

为了进一步降低模型的复杂度，本专利中n取5，并省略特征值趋近于零的展开余项R

进一步的，根据公式(9)，构建主干网络对低曝光图像进行增强。主干网络的结构如图2所示。主干网络由11个卷积层构成。前7个卷积层、2个下采样层、2个上采样层构成多尺度卷积模块，用于生成多尺度特征。

为了将多尺度特征压缩至3个通道，在多尺度卷积模块后设置2个卷积层将多尺度特征逐渐压缩到3个通道。为了加速模型收敛，采用跳跃连接对特征进行加权校准。上述9个卷积层构成了公式(5)中的多尺度特征生成模块T[.]。为了获取麦克劳林展开公式的系数{a

主干网络的功能是学习低曝光图像D

当主干网络训练完成后，所有权重都为固定值，导致输出的长曝光图像H

卷积权重校准网络由11个一维卷积层构成(一维卷积层的个数与主干网络的卷积层数一致)，卷积权重校准网络的输入为动态调节因子φ。11个一维卷积层从动态调节因子φ中学习出11组权重校准图，权重校准图的尺寸与主干网络的卷积核尺寸相同。将学习到的11组权重校准图对主干网络的卷积核进行校准，即可获得校准后的卷积核，再将校准后的卷积核对特征执行卷积运算，即可获得亮度分量。由于动态调节因子φ是可调参数，故权重校准图会随之不断变化，主干网络的卷积核也随之动态变化，因而可实现亮度分量动态可调。网络的前向推导过程如公式(10)至公式(14)所示。

式中，Net

Φ＝{Q

式中，Φ表示主干网络中11个卷积层的权重组成的集合。将卷积权重校准网络输出的权重校准图{B

Φ

式中，Φ

Er

式中，Net

将公式(13)代入公式(3)即可获得增强的长曝光图像H

分析网络的前向推导过程可知，公式(10)中动态调节因子φ动态可变，则权重校准图{B

网络的损失函数如公式(15)所示，包括两项：数据保持项和特征相似性项。数据保持项用于最小化输出图像与参考图像各个像素间的差异。特征相似性项用于最小化输出图像与参考图像在色彩、亮度、饱和度方面的差异。

式中，

式中σ

作为一种实施例，在网络训练中，本公开采用相机拍摄的长曝光图像作为输出结果的参考图像，相同场景下拍摄的短曝光图像为主干网络的输入。长曝光图像与短曝光图像的曝光时间差值作为卷积权重校准网络的输入。主干网络与卷积权重校准网络同步进行训练。训练过程中采用Adam优化器优化网络权重，权重衰减率为0.0002，初始化学习率为0.0001，学习率每20个周期衰减10倍。训练批次和训练周期分别设置为2和50。主干网络的权重采用高斯分布进行初始化。

低曝光图像增强结果如图4所示，原图像曝光时间短，亮度极低。经该专利提出的网络增强后，图像亮度和对比度大幅提升，细节清晰，实验结果表明该网络可以有效提高低曝光图像的视觉质量。当输入不同的动态调节因子时，可以改变输出图像的亮度水平，表明本专利动态校准方式的有效性。由于网络中嵌入了麦克劳林展开公式，可以用较少的网络层数拟合复杂的非线性变换函数，因此在Intel-i5 CPU，NVIDIA GTX 2080Ti GPU的计算机上增强一张600*600的图像仅需0.017秒。

实施例2

本公开的一种实施例中提供了一种基于嵌入麦克劳林与卷积的低曝光图像增强系统，包括：

预处理模块，用于获取待增强的低曝光图像，对所述低曝光图像进行处理分解；

图像增强模块，用于将所述低曝光图像输入至主干网络中提取多尺度特征，在主干网络中引入动态调节因子，利用所述动态调节因为学习卷积权重校准图，并将学习到的权重校准图对主干网络的卷积权重进行校准，利用校准后的卷积核对特征执行卷积运算，获得低曝光图像的亮度分量，利用亮度分量输出可随动态调节因子变化的长曝光图像。

实施例3

本公开的一种实施例中提供了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于嵌入麦克劳林与卷积的低曝光图像增强方法。

实施例4

本公开的一种实施例中提供了一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于嵌入麦克劳林与卷积的低曝光图像增强方法。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。