图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

在暗光条件下拍摄的图像通常表现出诸如低对比度、窄灰度、色彩失真以及强噪声等特征，严重影响人眼的主观视觉效果，并极大地限制了各种计算机视觉算法性能。因而暗光图像增强是计算机视觉以及图像处理领域重要的基础性问题，其最主要的作用是提高图片亮度，改善人眼主观视觉效果，找到暗区所隐藏的信息，使得各种计算机模型或算法可以在黑夜、强逆光甚至地下空间等暗光环境下发挥正常性能。

发明内容

本公开提供一种图像处理方法、装置、电子设备及存储介质，可以有效提升图像增强效果，避免图像失真，提升图像质量。本公开的技术方案如下：

根据本公开实施例提供一种图像处理方法，包括：

获取待处理暗光图像；

基于图像增强网络对所述待处理暗光图像进行图像增强处理，得到所述待处理暗光图像对应的增强信息；

基于所述增强信息对所述待处理暗光图像进行图像校正，得到增强后的目标图像。

上述技术方案在通过图像增强网络对图像增强处理过程中，先生成图像的增强信息，然后结合增强信息对图像进行校正，可以有效提升图像增强效果，避免图像失真，提升图像质量，使其更符合人眼视觉直观感受。

在一个可选的实施例中，所述待处理暗光图像对应的增强信息包括：所述待处理暗光图像中每一像素点对应的伽马值；

所述基于所述增强信息对所述待处理暗光图像进行图像校正，得到增强后的目标图像包括：

基于所述待处理暗光图像中每一像素点对应的伽马值对所述待处理暗光图像进行伽马校正，得到所述增强后的目标图像。

上述技术方案在图像校正过程中，通过对图像进行伽马校正，可以在对图像进行有效的增强处理，改善图像失真。

在一个可选的实施例中，所述基于所述待处理暗光图像中每一像素点对应的伽马值对所述待处理暗光图像进行伽马校正，得到所述增强后的目标图像包括：

对所述待处理暗光图像中每一像素点的像素值进行归一化处理，得到所述待处理暗光图像中每一像素点的归一化像素值；

基于所述待处理暗光图像中每一像素点对应的伽马值对所述待处理暗光图像中每一像素点的归一化像素值进行伽马校正，得到所述待处理暗光图像中每一像素点的校正像素值；

对所述待处理暗光图像中每一像素点的校正像素值进行反归一化变换，得到所述目标图像。

上述技术方案在图像校正过程中，通过先对图像进行归一化后再进行伽马校正，可以在对图像进行有效的增强处理，改善图像失真的同时，大大降低数据处理量，进而提升图像校正的效率。

在一个可选的实施例中，所述基于图像增强网络对所述待处理暗光图像进行图像增强处理，得到所述待处理暗光图像对应的增强信息，包括：

对所述待处理暗光图像进行卷积和激活处理，得到所述待处理暗光图像对应的增强信息。

上述技术方案，通过轻量级的神经网络(卷积层和激活层)对待处理暗光图像进行图像增强处理，可以提升图像增强处理的速度，降低实际应用中对设备算力的要求。

在一个可选的实施例中，所述方法还包括：训练所述图像增强网络；

所述训练所述图像增强网络的步骤包括：

基于待训练图像增强网络对样本暗光图像进行图像增强处理，得到所述样本暗光图像对应的样本增强信息；

基于所述样本增强信息对所述样本暗光图像进行图像校正，得到所述样本暗光图像的校正图像；

获取所述样本暗光图像的长曝光配对图像，并基于所述校正图像和所述长曝光配对图像对所述待训练图像增强网络进行反向传播，得到所述图像增强网络。

上述技术方案中，通过获取成对的样本暗光图像和长曝光配对图像为训练数据，进行图像增强网络训练，可以保证训练出的图像增强网络在后续的图像增强处理过程中，可以有效融合图像的真实性，提升图像质量，使其更符合人眼视觉直观感受。

在一个可选的实施例中，所述基于所述校正图像和所述长曝光配对图像对所述待训练图像增强网络进行反向传播，包括：

根据所述校正图像和所述长曝光配对图像，确定增强损失；

基于所述增强损失对所述待训练图像增强网络进行反向传播，得到所述图像增强网络。

在一个可选的实施例中，所述训练所述图像增强网络的步骤还包括：

获取所述样本暗光图像的正常光非配对图像，并基于所述校正图像和所述正常光非配对图像对所述待训练图像增强网络进行对抗训练，得到所述图像增强网络。

在一个可选的实施例中，所述基于所述校正图像和所述正常光非配对图像对所述待训练图像增强网络进行对抗训练，得到所述图像增强网络，包括：

将所述校正图像和所述正常光非配对图像输入待训练判别网络进行图像真实性判别，得到所述校正图像的第一预测判别结果和所述正常光非配对图像的第二预测判别结果；

根据所述第一预测判别结果和所述第二预测判别结果，确定判别损失；

根据所述增强损失和所述判别损失，确定目标损失；

基于所述目标损失对所述待训练图像增强网络进行对抗训练，得到所述图像增强网络。

上述实施例中，通过获取成对的样本暗光图像和对应的长曝光配对图像，以及不成对的样本暗光图像和与其在不同场景下采集的正常光非配对图像，为训练数据，可以充分考虑现实场景中各种图像的情况，丰富了训练数据，进而可以有效改善训练出的图像增强网络的图像增强效果和场景泛化能力，弥补成对图像数据量稀少、长曝光真值图像模糊等问题，且在图像增强网络训练过程中，结合了对判别网络的训练，可以保证训练出的图像增强网络在后续的图像增强处理过程中，可以有效融合图像的真实性，提升图像质量，使其更符合人眼视觉直观感受。

另一方面，根据本公开实施例还提供一种图像处理装置，包括：

待处理暗光图像获取模块，用于获取待处理暗光图像；

图像增强处理模块，用于基于图像增强网络对所述待处理暗光图像进行图像增强处理，得到所述待处理暗光图像对应的增强信息；

图像校正模块，用于基于所述增强信息对所述待处理暗光图像进行图像校正，得到增强后的目标图像。

在一个可选的实施例中，所述待处理暗光图像对应的增强信息包括：所述待处理暗光图像中每一像素点对应的伽马值；

所述图像校正模块包括：

伽马校正单元，用于基于所述待处理暗光图像中每一像素点对应的伽马值对所述待处理暗光图像进行伽马校正，得到所述增强后的目标图像。

在一个可选的实施例中，所述伽马校正单元包括：

归一化处理单元，用于对所述待处理暗光图像中每一像素点的像素值进行归一化处理，得到所述待处理暗光图像中每一像素点的归一化像素值；

伽马校正子单元，用于基于所述待处理暗光图像中每一像素点对应的伽马值对所述待处理暗光图像中每一像素点的归一化像素值进行伽马校正，得到所述待处理暗光图像中每一像素点的校正像素值；

反归一化变换单元，用于对所述待处理暗光图像中每一像素点的校正像素值进行反归一化变换，得到所述目标图像。

在一个可选的实施例中，所述图像增强处理模块包括：

卷积激活处理单元，用于对所述待处理暗光图像进行卷积和激活处理，得到所述待处理暗光图像对应的增强信息。

在一个可选的实施例中，所述装置还包括：图像增强网络训练模块，用于训练所述图像增强网络；

所述图像增强网络训练模块包括：

图像增强处理单元，用于基于待训练图像增强网络对样本暗光图像进行图像增强处理，得到所述样本暗光图像对应的样本增强信息；

图像校正单元，用于基于所述样本增强信息对所述样本暗光图像进行图像校正，得到所述样本暗光图像的校正图像；

长曝光配对图像获取单元，用于获取所述样本暗光图像的长曝光配对图像；

反向传播单元，用于基于所述校正图像和所述长曝光配对图像对所述待训练图像增强网络进行反向传播，得到所述图像增强网络。

在一个可选的实施例中，所述反向传播单元包括：

增强损失确定单元，用于根据所述校正图像和所述长曝光配对图像，确定增强损失；

反向传播子单元，用于基于所述增强损失对所述待训练图像增强网络进行反向传播，得到所述图像增强网络。

在一个可选的实施例中，所述图像增强网络训练模块还包括：

正常光非配对图像获取单元，用于获取所述样本暗光图像的正常光非配对图像；

对抗训练单元，用于基于所述校正图像和所述正常光非配对图像对所述待训练图像增强网络进行对抗训练，得到所述图像增强网络。

在一个可选的实施例中，所述对抗训练单元包括：

图像真实性判别单元，用于将所述校正图像和所述正常光非配对图像输入待训练判别网络进行图像真实性判别，得到所述校正图像的第一预测判别结果和所述正常光非配对图像的第二预测判别结果；

判别损失确定单元，用于根据所述第一预测判别结果和所述第二预测判别结果，确定判别损失；

目标损失确定单元，用于根据所述增强损失和所述判别损失，确定目标损失；

对抗训练子单元，用于基于所述目标损失对所述待训练图像增强网络进行对抗训练，得到所述图像增强网络。

另一方面，根据本公开实施例还提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述任一项所述的方法。

另一方面，根据本公开实施例还提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例上述任一所述方法。

另一方面，根据本公开实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例的上述任一所述方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种应用环境的示意图；

图2是根据一示例性实施例示出的一种图像处理方法的流程图；

图3是根据一示例性实施例示出的一种训练图像增强网络的流程示意图；

图4是根据一示例性实施例示出的一种待训练图像增强网络/图像增强网络的结构示意图；

图5是根据一示例性实施例示出的一种基于待处理暗光图像中每一像素点对应的伽马值对待处理暗光图像进行伽马校正，得到样本暗光图像的校正图像的流程图；

图6是根据一示例性实施例示出的另一种训练图像增强网络的流程图；

图7是根据一示例性实施例示出的一种基于校正图像和正常光非配对图像对待训练图像增强网络进行对抗训练，得到图像增强网络的流程图；

图8是根据一示例性实施例示出的一种基于待处理暗光图像中每一像素点对应的伽马值对待处理暗光图像进行伽马校正，得到增强后的目标图像的流程图；

图9是根据一示例性实施例示出的一种图像处理装置框图；

图10是根据一示例性实施例示出的一种用于图像处理的电子设备的框图；

图11是根据一示例性实施例示出的一种用于图像处理的电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

请参阅图1，图1是根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括服务器100和终端200。

在一个可选的实施例中，服务器100可以用于训练可以进行图像增强处理的图像增强网络。具体的，服务器100可以是独立服务器，也可以是多个服务器构成的服务器集群或者分布式系统。

在一个可选的实施例中，终端200可以结合服务器100训练出的图像增强网络对待处理暗光图像进行增强处理。具体的，终端200可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能可穿戴设备等类型的电子设备。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。

此外，需要说明的是，图1所示的仅仅是本公开提供的一种应用环境，在实际应用中，还可以包括其他应用环境，例如图像增强网络也可以在终端200实现等。

本说明书实施例中，上述服务器100以及终端200可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。

图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，该图像处理方法用于终端、服务器、边缘计算节点等电子设备中，可以包括：

S201：获取待处理暗光图像。

在一个具体的实施例中，待处理暗光图像可以为在暗光条件下采集的暗光图像。在一个具体的实施例中，暗光条件可以为采集图像时所处环境的光亮度小于等于预设阈值，该预设阈值可以为预先设置的暗光条件对应的光亮度的下限阈值。

S203：基于图像增强网络对待处理暗光图像进行图像增强处理，得到待处理暗光图像对应的增强信息。

在一个可选的实施例中，图像增强网络可以为基于样本暗光图像和该样本暗光图像的长曝光配对图像对待训练图像增强网络进行训练得到的。在一个具体的实施例中，如图3所示，训练图像增强网络的步骤可以包括：

S301：基于待训练图像增强网络对样本暗光图像进行图像增强处理，得到样本暗光图像对应的样本增强信息。

在一些实施例中，样本暗光图像可以包括多个用于训练待训练图像网络的暗光图像。相应的，多个暗光图像可以为在暗光条件下，采集的多个第一场景的图像。具体的，多个第一场景可以为结合实际应用需求，预先确定的任意多个不同的场景。

在一个可选的实施例中，为了提升图像增强处理的速度，降低实际应用中对设备算力的要求，待训练图像增强网络可以为轻量级的神经网络。在一个具体的实施例中，如图4所示，待训练图像增强网络可以包括6个卷积层，每个卷积层之后连接一个激活层，其中，每个卷积层包括32个3乘3的卷积核，除最后一个卷积层后连接的激活层为Sigmod激活函数，其余卷积层后连接的激活层均为ReLU激活函数(rectified linear unit，校正线性单元)，且卷积层之间进行对称的跳跃连接，比如第1层卷积层与第6层相连接、第2层卷积层与第5层相连接，第3层卷积层与第4层相连接。

具体的，卷积层可以用于提取输入的图像的特征信息。激活层可以用于加入非线性因素，将特征映射到高维的非线性区间进行解释，在实际应用中数据往往不是线性可分的，通过增加激活层的方式引入非线性因数。其中Relu激活函数是对上一层数据结果进行修正的层，可以将上一层小于0的输入全部变成0后输出，大于0的输出不变。Sigmod激活函数可以将一个实数映射到(0，1)的区间。

上述技术方案，通过仅有六层卷积层的轻量级的神经网络，对待处理暗光图像进行图像增强处理，可以提升设备运算效率，进而提升图像增强处理的速度，且降低实际应用中对设备算力的要求。

在一个具体的实施例中，基于待训练图像增强网络对样本暗光图像进行图像增强处理，得到样本暗光图像对应的增强信息可以包括对样本暗光图像进行卷积和激活处理，得到该样本暗光图像对应的增强信息。

S303：基于样本增强信息对样本暗光图像进行图像校正，得到样本暗光图像的校正图像。

在一个具体的实施例中，样本暗光图像对应的样本增强信息可以包括样本暗光图像中每一像素点对应的伽马值。相应的，上述基于样本增强信息对样本暗光图像进行图像校正，得到样本暗光图像的校正图像可以包括基于样本暗光图像中每一像素点对应的伽马值对样本暗光图像进行伽马校正，得到样本暗光图像的校正图像。

在一个具体的实施例中，如图5所示，上述基于待处理暗光图像中每一像素点对应的伽马值对待处理暗光图像进行伽马校正，得到样本暗光图像的校正图像可以包括：

S501：对样本暗光图像中每一像素点的像素值进行归一化处理，得到样本暗光图像中每一像素点的归一化像素值；

S503：基于样本暗光图像中每一像素点对应的伽马值对样本暗光图像中每一像素点的归一化像素值进行伽马校正，得到样本暗光图像中每一像素点的校正像素值；

S505：对样本暗光图像中每一像素点的校正像素值进行反归一化变换，得到样本暗光图像的校正图像。

在一个具体的实施例中，对像素点的像素值进行归一化处理，可以采用下述公式：V

其中，i为某一像素点的像素值，V

在一个具体的实施例中，对像素点的归一化像素值进行伽马校正可以结合下述公式：

其中，A为常量，可以预先设置；V

在一个具体的实施例中，对像素点的校正像素值进行反归一化变换可以采用下述公式：y＝f×256-0.5

其中，y表示某一像素点的校正像素值进行反归一化变换后的像素值；f表示该像素点的校正像素值。相应的，结合样本暗光图像中像素点的校正像素值进行反归一化变换后的像素值，可以生成该样本暗光图像的校正图像。

S305：获取样本暗光图像的长曝光配对图像；

在一个具体的实施例中，长曝光配对图像可以为通过长曝光方式，采集的多个第一场景的图像。在一个具体的实施例中，样本暗光图像中每一暗光图像对应一个长曝光配对图像。

在一个具体的实施例中，通过长曝光方式采集的图像可以为通过增加曝光时长的方式拍摄的图像。

S307：基于校正图像和长曝光配对图像对待训练图像增强网络进行反向传播，得到图像增强网络。

在一个具体的实施例中，上述基于校正图像和长曝光配对图像对待训练图像增强网络进行反向传播可以包括：根据校正图像和长曝光配对图像，确定增强损失；基于增强损失对待训练图像增强网络进行反向传播，得到图像增强网络。

在一个可选的实施例中，根据校正图像和长曝光配对图像，确定增强损失可以包括基于第一预设损失函数计算校正图像和长曝光配对图像间的第一损失；将第一损失作为上述增强损失。具体的，第一损失可以表征第一校正图像与长曝光配对图像间的差异。

本说明书实施例中，第一预设损失函数可以包括但不限于均方差损失函数、交叉熵损失函数、逻辑损失函数、Hinge(铰链)损失函数、指数损失函数等，本说明书实施例并不以上述为限。

在一个可选的实施例中，该增强损失还可以包括：第一平滑参数和/或第一单调性参数；

第一平滑参数包括采用下述方式获取：

对校正图像进行平滑分析，得到第一平滑参数；

第一单调性参数包括采用下述方式获取：

对校正图像进行单调性分析，得到第一单调性参数。

在一个具体的实施例中，第一平滑参数表征校正图像中像素点间的平滑程度。第一单调性参数可以表征校正图像中像素点间的相对亮度和饱和度的差异程度。

在一个具体的实施例中，对多校正图像进行平滑分析，得到第一平滑参数可以包括计算校正图像中每个像素点的像素值与周围(例如预设半径范围内的像素点)像素点的像素值间的差，基于每个像素点的像素值与周围像素点的像素值间的差，确定校正图像的第一平滑参数。

在一个具体的实施例中，对校正图像进行单调性分析，得到校正图像的第一单调性参数可以包括计算每个校正图像中每个像素点与周围像素点(例如预设半径范围内的像素点)间的相对亮度以及饱和度差，基于每个像素点与周围像素点间的相对亮度以及饱和度差来确定校正图像的第一单调性参数。

在一个具体的实施例中，在增强损失包括第一损失、第一平滑参数和第一单调性参数的情况下，可以对第一损失、第一平滑参数和第一单调性参数加权相加后作为增强损失，可选的，可以结合下述公式得到增强损失：

L

其中，L

上述实施例中，在网络训练过程中，引入了表征校正图像中像素点间的平滑程度的第一平滑参数和表征校正图像中像素点间的相对亮度和饱和度的差异程度的第一单调性参数，可以保证训练出的图像增强网络在进行图像增强处理过程中，可以有效针对图像的平滑性能、相对亮度和饱和度进行处理，避免图像失真。

在一个具体的实施例中，基于增强损失对待训练图像增强网络进行反向传播，得到图像增强网络可以包括：在增强损失不满足第一预设条件的情况下，更新待训练图像增强网络中的网络参数；基于更新后待训练图像增强网络重复上述确定目标损失的步骤，至增强损失满足第一预设条件，将增强损失满足第一预设条件情况下的待训练图像增强网络作为图像增强网络。

在一个具体的实施例中，增强损失满足第一预设条件可以为增强损失小于等于指定阈值，或前后两次训练过程中对应的目标损失与上一次训练后对应的目标损失间的差值小于一定阈值。本说明书实施例中，指定阈值和一定阈值可以为结合实际训练需求进行设置。

上述实施例中，通过获取成对的样本暗光图像和长曝光配对图像为训练数据，进行图像增强网络训练，可以保证训练出的图像增强网络在后续的图像增强处理过程中，可以有效融合图像的真实性，提升图像质量，使其更符合人眼视觉直观感受。

在一个可选的实施例中，图像增强网络可以为预先基于样本暗光图像、样本暗光图像的长曝光配对图像和样本暗光图像的正常光非配对图像对包括待训练图像增强网络和待训练判别网络的GAN(Generative Adversarial Networks，生成式对抗网络)进行训练后得到的GAN中的图像增强网络。相应的，待训练图像增强网络可以为GAN中生成器，待训练判别网络可以为GAN中判别器。

在一个具体的实施例中，如图6所示，上述训练图像增强网络的步骤还可以包括：

S309：获取样本暗光图像的正常光非配对图像。

在一个可选的实施例中，样本暗光图像的正常光非配对图像可以为在正常光条件下，采集的多个第二场景的图像。具体的，多个第二场景可以为结合实际应用需求，预先确定的多个不同的场景，且多个第二场景与上述多个第一场景为不同的场景。具体的，正常光条件可以为拍摄图像时所处环境的光亮度在预设光亮度范围内，该预设光亮度范围可以为预先设置。在一个具体的实施例中，样本暗光图像中每一暗光图像对应一个正常光非配对图像。

在一个可选的实施例中，正常光非配对图像对应暗光图像，与长曝光配对图像对应的暗光图像可以不同，相应的，可以将上述样本暗光图像中的多个暗光图像划分成两部分，相应的，一部分与上述长曝光配对图像形成配对的训练数据对，另一部分与正常光非配对图像形成非配对的训练数据对。

S311：基于校正图像和正常光非配对图像对待训练图像增强网络进行对抗训练，得到图像增强网络。

在一个具体的实施例中，如图7所示，基于校正图像和正常光非配对图像对待训练图像增强网络进行对抗训练，得到图像增强网络，可以包括：

S3111：将校正图像和正常光非配对图像输入待训练判别网络进行图像真实性判别，得到校正图像的第一预测判别结果和正常光非配对图像的第二预测判别结果。

在一个具体的实施例中，第一预测判别结果可以为0或1；可选的，在第一预测判别结果为1的情况下，可以表征待训练判别网络判别出校正图像为真实图像；反之，在第一预测判别结果为0的情况下，可以表征待训练判别网络判别出校正图像为非真实图像。

在一个具体的实施例中，第二预测判别结果可以为0或1；可选的，在第二预测判别结果为1的情况下，可以表征待训练判别网络判别出正常光非配对图像为真实图像；反之，在第二预测判别结果为0的情况下，可以表征待训练判别网络判别出正常光非配对图像为非真实图像。

S3113：根据第一预测判别结果和第二预测判别结果，确定判别损失。

在一个可选的实施例中，根据第一预测判别结果和第二预测判别结果，确定判别损失可以包括：基于第二预设损失函数，计算第一预测判别结果和校正图像的真实性标签间的第二损失；基于第二预设损失函数，计算第二预测判别结果和正常光非配对图像的真实性标签间的第三损失，根据第二损失和第三损失确定全局判别损失，将全局判别损失作为上述判别损失。

在一个可选的实施例中，由于正常光非配对图像是真实图像(真实场景下拍摄的图像)，相应的，正常光非配对图像对应的真实性标签可以为1(1表征真实图像)；由于校正图像不是真实图像；相应的，校正图像对应的真实性标签可以为0(0表征非真实图像)。

具体的，第二损失可以表征第一预测判别结果与校正图像对应的真实性标签间的差异；第三损失可以表征第二预测判别结果与正常光非配对图像的真实性标签间的差异。

在一个可选的实施例中，可以对第二损失和第三损失进行加权处理，得到判别损失。具体的，第二损失和第三损失的权重可以结合实际应用进行预先设置。

在一个可选的实施例中，上述目标判别损失还可以包括：局部判别损失；具体的，局部判别损失可以包括采用下述方式获取：对校正图像和正常光非配对图像分别进行局部特征提取，得到校正图像对应的第一局部图像和正常光非配对图像第二局部图像；将第一局部图像和第二局部图像输入待训练判别网络进行图像真实性判别，得到第一局部图像的第三预测判别结果和第二局部图像的第四预测判别结果；根据第三预测判别结果和第四预测判别结果，确定局部判别损失。

在一个具体的实施例中，根据第三预测判别结果和第四预测判别结果，确定局部判别损失可以包括：基于第二预设损失函数，计算第三预测判别结果和第一局部图像的真实性标签间的第四损失；基于第二预设损失函数，计算第四预测判别结果和第二局部图像的真实性标签间的第五损失；根据第四损失和第五损失确定局部判别损失；

在一个可选的实施例中，由于正常光非配对图像是真实图像(真实场景下拍摄的图像)，相应的，从正常光非配对图像中提取的第二局部图像对应的真实性标签可以为1(1表征真实图像)；由于校正图像不是真实图像，相应的，从校正图像中提取的第一局部图像对应的真实性标签可以为0(0表征非真实图像)。可选的，可以对第四损失和第五损失进行加权处理，得到局部判别损失。

上述技术方案在网络训练过程中，结合了全局判别损失和局部判别损失，可以提升图像增强网络对图像整体亮度的表征能力，又可以提升图像增强网络对图像局部细节亮度的表征能力，进而保证基于训练好的图像增强网络学习到的增强信息进行校正后的图像更符合人眼直观感受。

在一个可选的实施例中，上述判别损失还可以包括：第二平滑参数、第二单调性参数、第三平滑参数和第三单调性参数中的至少一种；

在一个具体的实施例中，第二平滑参数包括采用下述方式获取：对校正图像进行平滑分析，得到第二平滑参数。

具体的，上述第二平滑参数可以表征校正图像中像素点间的平滑程度；

在一个具体的实施例中，第二单调性参数包括采用下述方式获取：对校正图像进行单调性分析，得到第二单调性参数。

具体的，第二单调性参数可以表征校正图像中像素点间的相对亮度和饱和度的差异程度。

在一个具体的实施例中，第三平滑参数包括采用下述方式获取：对第一局部图像进行平滑分析，得到第三平滑参数。

具体的，第三平滑参数可以表征第一局部图像中像素点间的平滑程度。

在一个具体的实施例中，第三单调性参数包括采用下述方式获取：对第一局部图像进行单调性分析，得到第三单调性参数。

具体的，第三单调性参数可以表征第一局部图像中像素点间的相对亮度和饱和度的差异程度。

在一个具体的实施例中，在判别损失包括全局判别损失、局部判别损失、第二平滑参数、第二单调性参数、第三平滑参数和第三单调性参数的情况下，可以对全局判别损失、局部判别损失、第二平滑参数、第二单调性参数、第三平滑参数和第三单调性参数进行加权处理后得到判别损失，具体的，可以结合下述公式确定目标判别损失：

L

其中，L

上述实施例中，在网络训练过程中，引入了表征图像中像素点间的平滑程度的平滑参数和表征图像中像素点间的相对亮度和饱和度的差异程度的单调性参数，可以更好的保证训练出的图像增强网络在进行图像增强处理过程中，可以有效针对图像的平滑性能、相对亮度和饱和度进行处理，避免图像失真。

S3115：根据增强损失和判别损失，确定目标损失。

在一个可选的实施例中，可以对增强损失和判别损失进行加权处理，得到目标损失。具体的，增强损失和判别损失的权重可以结合实际应用预先设置。可选的，也可以将增强损失和判别损失相加作为目标损失。

S3117：基于目标损失对待训练图像增强网络进行对抗训练，得到图像增强网络。

在一个具体的实施例中，基于目标损失对待训练图像增强网络进行对抗训练，得到图像增强网络可以包括：在目标损失不满足第一预设条件的情况下，更新待训练图像增强网络和待训练判别网络中的网络参数；基于更新后待训练图像增强网络和更新后的待训练判别网络重复上述确定目标损失的步骤，至目标损失满足第二预设条件，将目标损失满足第二预设条件情况下的待训练图像增强网络作为图像增强网络。

在一个具体的实施例中，目标损失满足第二预设条件可以为目标损失小于等于指定阈值，或前后两次训练过程中对应的目标损失与上一次训练后对应的目标损失间的差值小于一定阈值。本说明书实施例中，指定阈值和一定阈值可以为结合实际训练需求进行设置。

上述实施例中，通过获取成对的样本暗光图像和对应的长曝光配对图像，以及不成对的样本暗光图像和与其在不同场景下采集的正常光非配对图像，为训练数据，可以充分考虑现实场景中各种图像的情况，丰富了训练数据，进而可以有效改善训练出的图像增强网络的图像增强效果和场景泛化能力，弥补成对图像数据量稀少、长曝光真值图像模糊等问题，且在图像增强网络训练过程中，结合了对判别网络的训练，可以保证训练出的图像增强网络在后续的图像增强处理过程中，可以有效融合图像的真实性，提升图像质量，使其更符合人眼视觉直观感受。

此外，需要说明的是，训练好的图像增强网络的网络结构与待训练图像增强网络的网络结构一致。

在一个具体的实施例中，上述基于图像增强网络对待处理暗光图像进行图像增强处理，得到待处理暗光图像对应的增强信息可以包括：对待处理暗光图像进行卷积和激活处理，得到待处理暗光图像对应的增强信息。

S205：基于增强信息对待处理暗光图像进行图像校正，得到增强后的目标图像。

本说明书实施例中，待处理暗光图像对应的增强信息可以表征人眼对待处理暗光图像的显示效果的感知与和对应的图像显示设备的物理功率间的映射关系；可选的，人眼对待处理暗光图像的显示效果的感知可以包括但不限于人眼对图像亮度的感知；

在一个具体的实施例中，待处理暗光图像对应的增强信息包括：待处理暗光图像中每一像素点对应的伽马值；相应的，基于增强信息对待处理暗光图像进行图像校正，得到增强后的目标图像可以包括：基于待处理暗光图像中每一像素点对应的伽马值对待处理暗光图像进行伽马校正，得到增强后的目标图像。

上述实施例中，在图像校正过程中，通过对图像进行伽马校正，可以在对图像进行有效的增强处理，改善图像失真。

在一个具体的实施例中，如图8所示，基于待处理暗光图像中每一像素点对应的伽马值对待处理暗光图像进行伽马校正，得到增强后的目标图像可以包括：

S2051：对待处理暗光图像中每一像素点的像素值进行归一化处理，得到待处理暗光图像中每一像素点的归一化像素值；

S2053：基于待处理暗光图像中每一像素点对应的伽马值对待处理暗光图像中每一像素点的归一化像素值进行伽马校正，得到待处理暗光图像中每一像素点的校正像素值；

S2055：对待处理暗光图像中每一像素点的校正像素值进行反归一化变换，得到目标图像。

本说明书实施例中，基于待处理暗光图像中每一像素点对应的伽马值对待处理暗光图像进行伽马校正，得到增强后的目标图像的具体细化可以参见上述基于待处理暗光图像中每一像素点对应的伽马值对待处理暗光图像进行伽马校正，得到样本暗光图像的校正图像的相关步骤，在此不再赘述。

此外，上述实施例中在图像校正过程中，通过先对图像进行归一化后再进行伽马校正，可以在对图像进行有效的增强处理，改善图像失真的同时，大大降低数据处理量，进而提升图像校正的效率。

由以上述本说明书实施例提供的技术方案可见，本说明书实施例中，在通过图像增强网络对图像增强处理过程中，先生成图像的增强信息，然后结合增强信息对图像进行校正，不仅可以减少图像增强网络的参数量，提升处理速度，还可以有效提升图像增强效果，避免图像失真，提升图像质量，使其更符合人眼视觉直观感受。

图9是根据一示例性实施例示出的一种图像处理装置框图。参照图9，该装置包括：

待处理暗光图像获取模块910，可以用于获取待处理暗光图像；

图像增强处理模块920，可以用于基于图像增强网络对待处理暗光图像进行图像增强处理，得到待处理暗光图像对应的增强信息；

图像校正模块930，可以用于基于增强信息对待处理暗光图像进行图像校正，得到增强后的目标图像。

在一个可选的实施例中，在一个可选的实施例中，待处理暗光图像对应的增强信息包括：待处理暗光图像中每一像素点对应的伽马值；

图像校正模块930包括：

伽马校正单元，用于基于待处理暗光图像中每一像素点对应的伽马值对待处理暗光图像进行伽马校正，得到增强后的目标图像。

在一个可选的实施例中，伽马校正单元包括：

归一化处理单元，用于对待处理暗光图像中每一像素点的像素值进行归一化处理，得到待处理暗光图像中每一像素点的归一化像素值；

伽马校正子单元，用于基于待处理暗光图像中每一像素点对应的伽马值对待处理暗光图像中每一像素点的归一化像素值进行伽马校正，得到待处理暗光图像中每一像素点的校正像素值；

反归一化变换单元，用于对待处理暗光图像中每一像素点的校正像素值进行反归一化变换，得到目标图像。

在一个可选的实施例中，图像增强处理模块920包括：

卷积激活处理单元，用于对待处理暗光图像进行卷积和激活处理，得到待处理暗光图像对应的增强信息。

在一个可选的实施例中，上述装置还包括：图像增强网络训练模块，用于训练图像增强网络；

上述图像增强网络训练模块包括：

图像增强处理单元，用于基于待训练图像增强网络对样本暗光图像进行图像增强处理，得到样本暗光图像对应的样本增强信息；

图像校正单元，用于基于样本增强信息对样本暗光图像进行图像校正，得到样本暗光图像的校正图像；

长曝光配对图像获取单元，用于获取样本暗光图像的长曝光配对图像；

反向传播单元，用于基于校正图像和长曝光配对图像对待训练图像增强网络进行反向传播，得到图像增强网络。

在一个可选的实施例中，反向传播单元包括：

增强损失确定单元，用于根据校正图像和长曝光配对图像，确定增强损失；

反向传播子单元，用于基于增强损失对待训练图像增强网络进行反向传播，得到图像增强网络。

在一个可选的实施例中，图像增强网络训练模块还包括：

正常光非配对图像获取单元，用于获取样本暗光图像的正常光非配对图像；

对抗训练单元，用于基于校正图像和正常光非配对图像对待训练图像增强网络进行对抗训练，得到图像增强网络。

在一个可选的实施例中，对抗训练单元包括：

图像真实性判别单元，用于将校正图像和正常光非配对图像输入待训练判别网络进行图像真实性判别，得到校正图像的第一预测判别结果和正常光非配对图像的第二预测判别结果；

判别损失确定单元，用于根据第一预测判别结果和第二预测判别结果，确定判别损失；

目标损失确定单元，用于根据增强损失和判别损失，确定目标损失；

对抗训练子单元，用于基于目标损失对待训练图像增强网络进行对抗训练，得到图像增强网络。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图10是根据一示例性实施例示出的一种用于图像处理的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图10所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

图11是根据一示例性实施例示出的一种用于图像处理的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图11所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。

本领域技术人员可以理解，图10和图11中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的图像处理方法。

在示例性实施例中，还提供了一种存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的图像处理方法。

在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的图像处理方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。