低光图像增强模型的训练方法和低光图像增强方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种低光图像增强模型的训练方法和低光图像增强方法。

背景技术

低光图像是指在光线较暗或者夜晚时拍摄时获取到图像，低光图像在现有技术中是极为常见的一种现象。低光图像增强是针对图像亮度低、噪声大、图像细节可视性差等特点进行增强，使得部分隐含在较暗区域的图像细节能够较清晰地呈现出来，并且降低噪声的影响。

现有技术中，对低光图像进行图像增强时，主要通过去噪处理消除噪声的影响，但是无法对图像的细节特征进行增强，因此，采用现有技术中的图像增强方法得到的低光图像的增强图像，细节可视性较差。因此，如何获取到低光图像对应的高清晰的增强图像，是本领域技术人员亟待解决的问题。

发明内容

本发明提供一种低光图像增强模型的训练方法和低光图像增强方法，用以解决现有技术中的增强方法得到的增强图像细节可视性较差的技术问题。

一方面，本发明提供一种低光图像增强模型的训练方法，包括：

获取多个低光图像样本，以及各个低光图像样本对应的正常光图像；

将所述多个低光图像样本输入到初始低光图像增强模型中，得到所述各个低光图像样本对应的预测增强图像；

根据所述各个低光图像样本对应的所述正常光图像和所述预测增强图像，对所述初始低光图像增强模型的模型参数进行更新，以得到训练后的低光图像增强模型。

根据本发明提供的一种低光图像增强模型的训练方法，所述初始低光图像增强模型包括图像生成网络，所述图像生成网络包括输入网络、残差网络、空间注意力机制网络、上采样网络和特征融合网络；

所述将所述多个低光图像样本输入到初始低光图像增强模型中，得到所述各个低光图像样本对应的预测增强图像，包括：

针对每个所述低光图像样本执行以下处理：

将所述低光图像样本输入到所述输入网络中，并通过所述输入网络将所述低光图像样本输入到所述残差网络中，得到多个不同尺度的第一特征图；

将所述多个不同尺度的第一特征图输入到所述空间注意力机制网络中，得到多个具有语义信息的第二特征图；

将尺度最小的第一特征图输入到所述上采样网络中，得到多个不同尺寸的第三特征图；

将所述多个具有语义信息的第二特征图和多个不同尺寸的第三特征图输入到所述特征融合网络中，得到所述预测增强图像。

根据本发明提供的一种低光图像增强模型的训练方法，还包括；

所述根据所述各个低光图像样本对应的所述预测增强图像，对所述初始低光图像增强模型的模型参数进行更新，以得到训练后的低光图像增强模型，包括：

将所述低光图像样本对应的正常光图像以及预测增强图像输入到图像判别网络中，得到预设的图像损失函数的损失值；

根据所述图像损失函数的损失值，采用损失梯度反向传播算法迭代调整所述图像生成网络和图像判别网络的权重，直到所述初始低光图像增强模型收敛，将收敛的模型作为训练后的低光图像增强模型。

根据本发明提供的一种低光图像增强模型的训练方法，所述预设的图像损失函数包括：全局对抗损失函数、部对抗损失函数、全局自特征保留损失函数和局部自特征保留损失函数。

根据本发明提供的一种低光图像增强模型的训练方法，所述特征融合网络包括池化层和卷积层；将所述多个具有语义信息的第二特征图和多个不同尺寸的第三特征图输入到所述特征融合网络中，得到所述预测增强图像，包括：

将所述多个具有语义信息的第二特征图和多个不同尺寸的第三特征图输入到所述池化层中，得到多个与原所述低光图像样本大小相同的第四特征图；

将所述多个与原所述低光图像样本大小相同的第四特征图输入到所述卷积层中，得到所述预测增强图像。

另一方面，本发明还提供一种低光图像增强方法，包括：

获取待增强的低光图像；

将所述待增强的低光图像输入到低光图像增强模型中，得到所述待增强的低光图像对应的增强图像；所述增强图像为上述任一项所述的增强图像模型。

另一方面，本发明还提供一种低光图像增强模型的训练装置，包括：

第一获取单元，用于获取多个低光图像样本，以及各个低光图像样本对应的正常光图像；

第一处理单元，用于将所述多个低光图像样本输入到初始低光图像增强模型中，得到所述各个低光图像样本对应的预测增强图像；

更新单元，用于根据所述各个低光图像样本对应的所述正常光图像和所述预测增强图像，对所述初始低光图像增强模型的模型参数进行更新，以得到训练后的低光图像增强模型。

另一方面，本发明还提供一种低光图像增强装置，包括：

第二获取模块，用于获取待增强的低光图像；

第二处理单元，用于将所述待增强的低光图像输入到低光图像增强模型中，得到所述待增强的低光图像对应的增强图像；所述增强图像为上述任一项所述的增强图像模型。

另一方面，本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述低光图像增强模型的训练方法；或者实现如上所述的低光图像增强方法。

另一方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述低光图像增强模型的训练方法；或者实现如上所述的低光图像增强方法。

本发明提供的低光图像增强模型的训练方法，在训练低光图像增强模型，可以先获取多个低光图像样本，以及各个低光图像样本对应的正常光图像；将多个低光图像样本输入到初始低光图像增强模型中，得到各个低光图像样本对应的预测增强图像；根据各个低光图像样本对应的正常光图像和所述预测增强图像，对初始低光图像增强模型的模型参数进行更新，以得到训练后的低光图像增强模型。这样通过深度学习使得训练得到的低光图像增强模型，可以获取到效果较好的增强图像，使得得到的增强图像细节可视性较高。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的低光图像增强模型的训练方法流程示意图；

图2为本发明实施例的图像生成网络的结构示意图；

图3为本发明实施例的预测增强图像获取方法流程示意图；

图4为本发明实施例的残差网络的结构示意图；

图5为本发明实施例的空间注意力机制网络的数据处理流程示意图；

图6为本发明实施例的图像判别网络数据处理流程示意图；

图7为本发明实施例的多尺度特征的特征融合方法流程示意图；

图8为本发明实施例的特征融合网络的结构示意图；

图9为本发明实施例的低光图像增强模型的训练装置结构示意图；

图10为本发明实施例提供的低光图像增强装置结构示意图；

图11为本发明实施例提供的一种电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A，B可以是单数或者复数。在本发明的文字描述中，字符“/”一般表示前后关联对象是一种“或”的关系。

为了获取质量较高的增强图像，使得图像噪声小且图像细节可视性较高，本发明基于深度学习的方法，首先获取多个低光图像样本，以及各个低光图像样本对应的正常光图像；将多个低光图像样本输入到初始低光图像增强模型中，得到各个低光图像样本对应的预测增强图像；根据各个低光图像样本对应的正常光图像和所述预测增强图像，对初始低光图像增强模型的模型参数进行更新，以得到训练后的低光图像增强模型。这样通过深度学习使得训练得到的低光图像增强模型，可以获取到效果较好的增强图像，使得得到的增强图像细节可视性较高。

本发明实施例中的低光图像是和正常光图像相比较的描述，一般的，在光线较暗、拍摄设备像素差或者夜晚拍摄的图像均可以统称为低光图像。

下面，将通过下述几个具体的实施例对本发明提供的低光图像增强模型的训练方法进行详细地说明。可以理解的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明实施例提供的低光图像增强模型的训练方法流程示意图，如图1所示，该低光图像增强模型的训练方法包括：

S101、获取多个低光图像样本，以及各个低光图像样本对应的正常光图像。

示例的，在一种低光环境下(例如夜晚)拍摄一个低光图像样本，然后在光线正常情况下拍摄该低光图像样本对应的正常光图像，以得到多组低光图像样本和对应的正常光图像。

S102、将多个低光图像样本输入到初始低光图像增强模型中，得到各个低光图像样本对应的预测增强图像。

示例的，初始低光图像增强模型包括图像生成网络，图像生成网络用于对输入的低光图像样本进行增强处理，得到对应的预测增强图像。本实施例的图像生成网络的基本结构为ResUnet，并在跳连接中加入空间注意力网络。例如，图2为本发明实施例的图像生成网络20的结构示意图，如图2，该图像生成网络包括输入网络201、残差网络202、空间注意力机制网络203、上采样网络204和特征融合网络205。

图3为本发明实施例的预测增强图像获取方法流程示意图，请参考图3，将多个低光图像样本输入到初始低光图像增强模型中，得到各个低光图像样本对应的预测增强图像，具体包括：

针对每个低光图像样本执行以下处理：

将低光图像样本输入到输入网络201中，并通过输入网络201将低光图像样本输入到残差网络202中，得到多个不同尺度的第一特征图；将多个不同尺度的第一特征图输入到空间注意力机制网络203中，得到多个具有语义信息的第二特征图；将多个不同尺度的第一特征图中尺度最小的一个输入到上采样网络204中，得到多个不同尺寸的第三特征图；将多个具有语义信息的第二特征图和多个不同尺寸的第三特征图输入到特征融合网络205中，得到预测增强图像。

图4为本发明实施例的残差网络202的结构示意图，其中，每个残差网络202的结构为BN(批量归一化层)+ReLU(激活函数层)+Conv(卷积层)+BN(批量归一化层)+ReLU(激活函数层)+Conv(卷积层)。对于输入的低光图像样本，残差网络202生成四个不同尺度的第一特征图。

图5为本发明实施例的空间注意力机制网络203的数据处理流程示意图，第一特征图输入到空间注意力机制网络203，经过最大池化和平均池化处理后输入到一个卷积层中，得到第一特征图对应的一个子特征图，再将得到的子特征图和输入的第一特征图拼接，得到具有语义信息的第二特征图。这样，对图像进行特征提取时加入了空间注意力机制网络提高了提取的特征图的质量。

具体的，请参考图3，多个具有语义信息的第二特征图和多个第三特征图的尺度大小一一对应，即一个尺度的第二特征图，同时也具有一个该尺度的第三特征图，将这两个尺度相同的第二特征图和第三特征图拼接，然后输入到特征融合网络205中，例如，将四个尺度相同的第二特征图和第三特征图拼接后，分别得到四个拼接后的特征图，分别为f

图7为本发明实施例的多尺度特征的特征融合方法流程示意图，如图7，对拼接后不同尺度的特征图(f

本实施例的基于通道注意力的多尺度特征融合网络基本结构为SE-block+Conv，具体的融合流程为：首先，以最大尺度的特征图为基准，将不同尺度的特征放大到同一大小，并连接在一起；然后输入SE-block+Conv模块，得到融合后的增强图像。

图8为本发明实施例的特征融合网络的结构示意图，如图8，特征融合网络80包括池化层801和卷积层802。其中，将多个具有语义信息的第二特征图和多个不同尺寸的第三特征图输入到特征融合网络中，得到预测增强图像，具体包括：将多个具有语义信息的第二特征图和多个不同尺寸的第三特征图输入到池化层中，得到多个与原低光图像样本大小相同的第四特征图；将多个与原低光图像样本大小相同的第四特征图输入到卷积层中，得到预测增强图像。这样，采用多个不同尺度的特征进行信息融合，可使生成的预测增强图像更加逼真，细节信息更丰富。

S103、根据各个低光图像样本对应的正常光图像和预测增强图像，对初始低光图像增强模型的模型参数进行更新，以得到训练后的低光图像增强模型。

示例的，初始低光图像增强模型还包括图像判别网络，图像判别网络用于根据得到的预测增强图像以及正常光图像，进行损失函数的计算，以更新初始低光图像增强模型。

示例的，根据各个低光图像样本对应的预测增强图像，对初始低光图像增强模型的模型参数进行更新，以得到训练后的低光图像增强模型，包括：将低光图像样本对应的正常光图像以及预测增强图像输入到图像判别网络中，得到预设的图像损失函数的损失值；根据图像损失函数的损失值，采用损失梯度反向传播算法迭代调整图像生成网络和图像判别网络的权重，直到初始低光图像增强模型收敛，将收敛的模型作为训练后的低光图像增强模型。

示例的，本实施例的图像判别网络是多尺度的，即分别针对不同尺度的特征图也可以进行特征比对，得到损失函数值。即可以理解为图像判别网络包括多个不同尺度的图像判别器，不同尺度的图像判别器的网络深度不同，结构是类似的。图6为本发明实施例的图像判别网络数据处理流程示意图，请参考图6，将尺度相同的第二特征图和第三特征图拼接后的特征图输入到图像判别网络，例如将f

示例的，本实施例的预设的图像损失函数包括：全局对抗损失函数、部对抗损失函数、全局自特征保留损失函数和局部自特征保留损失函数。

具体的，本实施例根据以下公式计算图像损失函数的损失值：

图像判别网络的全局对抗损失值

图像判别网络的全局对抗损失值

图像判别网络的局部对抗损失值

图像判别网络的局部对抗损失值

全局自特征保留损失值：

局部自特征保留损失值：

其中，I

根据损失值，利用损失梯度反向传播算法迭代调整图像生成网络及图像判别网络的权值直到收敛，具体包括：

根据以下公式，计算总损失值L：

本实施例以总损失值L为目标函数，根据

本实施例在对低光图像增强模型进行训练过程中，对图像进行特征提取时加入了空间注意力机制网络提高了提取的特征图的质量；另外，在对特征图个特征融合时，采用多个不同尺度的特征进行信息融合，可使生成的预测增强图像更加逼真，细节信息更丰富。

图9为本发明实施例的低光图像增强模型的训练装置结构示意图，如图9所示，该低光图像增强模型的训练装置90可以包括：

第一获取单元901，用于获取多个低光图像样本，以及各个低光图像样本对应的正常光图像。

第一处理单元902，用于将多个低光图像样本输入到初始低光图像增强模型中，得到各个低光图像样本对应的预测增强图像。

更新单元903，用于根据各个低光图像样本对应的正常光图像和预测增强图像，对初始低光图像增强模型的模型参数进行更新，以得到训练后的低光图像增强模型。

可选的，初始低光图像增强模型包括图像生成网络，图像生成网络的基本结构为ResUnet，并在跳连接中加入空间注意力网络，该图像生成网络包括输入网络、残差网络、空间注意力机制网络、上采样网络和特征融合网络。

第一处理单元902，具体用于针对每个低光图像样本执行以下处理：

将低光图像样本输入到输入网络中，并通过输入网络将低光图像样本输入到残差网络中，得到多个不同尺度的第一特征图；将多个不同尺度的第一特征图输入到空间注意力机制网络中，得到多个具有语义信息的第二特征图；将多个不同尺度的第一特征图中尺度最小的一个输入到上采样网络中，得到多个不同尺寸的第三特征图；将多个具有语义信息的第二特征图和多个不同尺寸的第三特征图输入到特征融合网络中，得到预测增强图像。

可选的，特征融合网络包括池化层和卷积层。第一处理单元902，具体用于将多个具有语义信息的第二特征图和多个不同尺寸的第三特征图输入到池化层中，得到多个与原低光图像样本大小相同的第四特征图；将多个与原低光图像样本大小相同的第四特征图输入到卷积层中，得到预测增强图像。这样，采用多个不同尺度的特征进行信息融合，可使生成的预测增强图像更加逼真，细节信息更丰富。

可选的，初始低光图像增强模型还包括图像判别网络。

其中，更新单元903，具体用于将低光图像样本对应的正常光图像以及预测增强图像输入到图像判别网络中，得到预设的图像损失函数的损失值；根据图像损失函数的损失值，采用损失梯度反向传播算法迭代调整图像生成网络和图像判别网络的权重，直到初始低光图像增强模型收敛，将收敛的模型作为训练后的低光图像增强模型。

本发明实施例提供的低光图像增强模型的训练装置，可以执行上述任一实施例中低光图像增强模型的训练方法的技术方案，其实现原理以及有益效果与低光图像增强模型的训练方法的实现原理及有益效果类似，可参见低光图像增强模型的训练方法的实现原理及有益效果，此处不再进行赘述。

图10为本发明实施例提供的低光图像增强装置结构示意图，该低光图像增强装置100包括：第二获取模块1001和第二处理单元1002。

其中，第二获取模块1001，用于获取待增强的低光图像；第二处理单元1002，用于将待增强的低光图像输入到低光图像增强模型中，得到待增强的低光图像对应的增强图像；增强图像为上述实施例所示的增强图像模型。

可选的，初始低光图像增强模型包括图像生成网络，该图像生成网络包括输入网络、残差网络、空间注意力机制网络、上采样网络和特征融合网络。

第二处理单元1002，具体用于将待增强的低光图像输入到输入网络中，并通过输入网络将待增强的低光图像输入到残差网络中，得到多个不同尺度的第一特征图；将多个不同尺度的第一特征图输入到空间注意力机制网络中，得到多个具有语义信息的第二特征图；将多个不同尺度的第一特征图中尺度最小的一个输入到上采样网络中，得到多个不同尺寸的第三特征图；将多个具有语义信息的第二特征图和多个不同尺寸的第三特征图输入到特征融合网络中，得到待增强的低光图像对应的增强图像。

可选的，特征融合网络包括池化层和卷积层。第二处理单元1002，具体用于将待增强的低光图像对应的多个具有语义信息的第二特征图，以及多个不同尺寸的第三特征图输入到池化层中，得到多个与待增强的低光图像大小相同的第四特征图；将多个与待增强的低光图像大小相同的第四特征图输入到卷积层中，得到增强图像。这样，采用多个不同尺度的特征进行信息融合，可使生成的增强图像更加逼真，细节信息更丰富。

本发明实施例提供的低光图像增强装置100，可以执行上述任一实施例中低光图像增强方法的技术方案，其实现原理以及有益效果与低光图像增强方法的实现原理及有益效果类似，可参见低光图像增强方法的实现原理及有益效果，此处不再进行赘述。

图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行低光图像增强模型的训练方法，或者执行低光图像增强方法。

其中，低光图像增强模型的训练方法包括：获取多个低光图像样本，以及各个低光图像样本对应的正常光图像；将多个低光图像样本输入到初始低光图像增强模型中，得到各个低光图像样本对应的预测增强图像；根据各个低光图像样本对应的正常光图像和预测增强图像，对初始低光图像增强模型的模型参数进行更新，以得到训练后的低光图像增强模型。

其中，低光图像增强方法包括：获取待增强的低光图像；将待增强的低光图像输入到低光图像增强模型中，得到待增强的低光图像对应的增强图像；其中，增强图像为上述实施例所述的增强图像模型。

此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的低光图像增强模型的训练方法，或者低光图像增强方法。

其中，低光图像增强模型的训练方法包括：获取多个低光图像样本，以及各个低光图像样本对应的正常光图像；将多个低光图像样本输入到初始低光图像增强模型中，得到各个低光图像样本对应的预测增强图像；根据各个低光图像样本对应的正常光图像和预测增强图像，对初始低光图像增强模型的模型参数进行更新，以得到训练后的低光图像增强模型。

其中，低光图像增强方法包括：获取待增强的低光图像；将待增强的低光图像输入到低光图像增强模型中，得到待增强的低光图像对应的增强图像；其中，增强图像为上述实施例所述的增强图像模型。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的低光图像增强模型的训练方法，或者低光图像增强方法。

其中，低光图像增强模型的训练方法包括：获取多个低光图像样本，以及各个低光图像样本对应的正常光图像；将多个低光图像样本输入到初始低光图像增强模型中，得到各个低光图像样本对应的预测增强图像；根据各个低光图像样本对应的正常光图像和预测增强图像，对初始低光图像增强模型的模型参数进行更新，以得到训练后的低光图像增强模型。

其中，低光图像增强方法包括：获取待增强的低光图像；将待增强的低光图像输入到低光图像增强模型中，得到待增强的低光图像对应的增强图像；其中，增强图像为上述实施例所述的增强图像模型。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。