一种多尺度损失函数用于低照度图像的对比度提升方法

技术领域

本发明属于低照度图像增强技术领域，特别涉及一种多尺度损失函数用于低照度图像的对比度提升方法。

背景技术

由于大量摄像设备在光照不足或遮挡等条件下，抓拍到的图像往往是比较暗的，尤其在晚上拍摄到的图像，基本上，看不见目标物体，这种图像不利于人脸识别或检测等任务。目前低照度增强方法主要基于多尺度融合的深度学习方法，即通过多层卷积和下采样、上采样操作进行提取不同尺度的特征图进行相加或级联，最后网络输出与真实标签计算损失用于迭代更新网络。

在目前的使用深度学习方法处理低照度增强问题中，大部分深度学习算法单独的使用s结构相似性(SSIM)、感知损失(Perceptual Losses)、多尺度结构相似性(MS-SSIM)等损失函数，极少数会将这些损失函数结合起来进行改造用于新的任务，大部分算法均将结构相似性损失直接应用在三通道图像，而没有将结构性损失分别应用于三个通道上，这样会导致某个通道上的灰度图对比度等影响整个图像对比度、亮度等问题。

此外，现有技术中的常用术语如下：

SSIM：英文全称为Structural Similarity，中文为结构相似性，表示衡量两图像相似度的指标，用以计算对比度、亮度和结构相似性。

MS-SSIM：是一种多尺度的结构相似性，用于度量两张图像的相似性。这个指标表示基于多尺度的SSIM，使用低通滤波器进行下采样，然后再进行计算对比度、亮度和结构相似性。

感知损失：英文名为Perceptual Losses，用于计算网络生成图像与目标图像在语义上相似性。

绝对值损失：表示两张图像中的像素值逐一相减，然后取绝对值。

发明内容

为了解决上述问题，本申请的目的在于：单独将SSIM或MS-SSIM应用在三通道图像上计算损失会导致整体图像对比度偏低等问题。

具体地，本发明提供一种多尺度损失函数用于低照度图像的对比度提升方法，所述方法将结构损失SSIM函数和多尺度结构损失MS-SSIM函数分别应用在RGB三个单独的通道上指导网络迭代，从而提高亮度或对比度；并对目标图像和网路输出图像做绝对值损失，通过像素差异性指导网络避免学习离群点或异常点；通过与其他损失结合提升图像的亮度和对比度，所述其他损失指的是绝对值损失、感知损失和多尺度结构损失，这些损失通过一定比例进行结合。

所述方法进一步包括以下步骤：

S1，输入真实标签图像、网络输出图像；

S2，拆分真实图像通道；

S3，分别计算SSIM

S4，根据步骤S3的结果，计算总损失。

所述步骤S2进一步包括：

S2.1，通过将RGB彩色图像src按通道进行拆分，如式(1)，该RGB图像是输入的低照度图像和真实的图像标签：

R，G，B＝split(src) (1)。S2.2，将结构相似性SSIM分别应用在三个拆分后的R、G、B通道上，假设神经网络输出结果为out，三个通道分别为R’、G’、B’。

所述步骤S3进一步包括：

根据S2的结果，分别进行计算损失：

S3.A，所述三个通道的结构损失为式(2)所示：

SSIM

其中，μ

S3.B,计算多尺度结构相似性MS-SSIM在三个通道上的结构损失，如式(4)、(5)所示：

MSSSIM

其中l

S3.C：计算两图像的绝对值损失L

L

输入数据src和输出数据out的数据范围为[0，1]；

S3.D：计算两图像的感知损失，(7)所示：

P

其中，vgg为在imagenet数据集上预训练的vgg16网络，该损失能够减少细节损失；vgg()函数输出的数值范围为[0,1]；

所述步骤S4进一步包括：

总的计算损失如式(8)，如式(8)：

LOSS＝α*p

其中α表示权重系数。

所述S3.A中，μ

所述S4中，权重系数α为1/3。

由此，本申请的优势在于：

(1)在低照度图像增强过程中，由于一些摄像机采集的图像对比度、饱和度等受到硬件或环境的影响偏低。使用逐通道计算结构损失方法可以提高网络训练的鲁棒性，可以提高测试图像的对比度。

(2)多尺度结构损失、单尺度结构损失以及其他损失函数结合可以有效地提高暗图像亮度和对比度，减少图像的细节损失。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。

图1是本发明方法的流程示意图。

图2是本发明方法具体实施方式的框图示意图。

具体实施方式

为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。

如图1所示，本发明提出了一种多尺度损失函数用于低照度图像的对比度提升方法，所述方法进一步包括以下步骤：

S1，输入真实标签图像、网络输出图像；

S2，拆分真实图像通道；

S3，分别计算SSIM

S4，根据S3的结果，计算总损失。

具体地，本申请提出了一种多尺度混合的损失函数用于低照度图像的对比度提升方法，如图2所示，

步骤S1：输入真实标签图像、网络输出图像；

步骤S2进一步包括：

S2.1，通过将RGB彩色图像src按通道进行拆分,该RGB图像是输入的低照度图像和真实的图像标签，如式(1)。

R，G，B＝split(src) (1)

S2.2，将SSIM分别应用在三个拆分后的R，G，B通道上，假设神经网络输出结果为out，三个通道分别为R’,G’,B’。

步骤S3：计算三通道的结构损失为式(2)所示。

SSIM

其中，μ

步骤S3：计算MS-SSIM在三个通道上的结构损失，如式(4)、(5)所示。

MSSSIM

其中l

步骤S3：计算两图像的绝对值损失和感知损失，如式(6)、(7)所示

L

其中，输入数据src和输出数据out的数据范围为[0，1]；

P

其中，vgg为在imagenet数据集上预训练的vgg16网络，该损失可以减少细节损失，vgg()函数输出的数值范围为[0,1]。

步骤S4：总的计算损失如式(8)，计算流程如图1。

LOSS＝α*p

其中α表示权重系数，一般设为1/3。

本申请用vgg网络在数据集imagenet上训练得到的模型去衡量两张图像是否相似。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。