一种基于扩散模型和物理模型的低光照图像增强方法

技术领域

本发明属于图像处理技术领域，更为具体地讲，涉及一种基于扩散模型和物理模型的低光照图像增强方法。

背景技术

低光照图像增强是指将在弱照明或不均匀照明条件下获取的图像增强为在正常光照条件下获取的图像的一种技术。低光照图像增强技术作为图像处理领域的一种关键技术，被广泛地应用于手机摄影和视频监控等领域，提高拍摄图像的视觉效果。并且也可以用于提高后续的感知任务的性能，图像被增强后其中的物体和场景更加明显，有利于目标检测和语义分割等下游任务。

低光照图像增强技术发展到今天已经产生了许多不同的技术。常见的低光照图像增强技术主要有：单尺度/多尺度Retinex方法、直方图均衡化方法、基于Retinex模型的深度学习方法、基于端到端网络的深度学习方法、基于扩散模型的深度学习方法。

单尺度/多尺度Retinex方法假设物体的颜色是由物体对RGB光线的反射能力来决定的，而不是由反射光强度的绝对值来决定的，物体的色彩不受光照非均匀性的影响，具有一致性，因此图像是由照度图像和反射图像组成的。单尺度Retinex方法将原始RGB图像作为输入，首先通过高斯滤波得到照度图，再在原图中减去照度图，就得到反射图，即理想状态下不受光照影响的图像。但是理想模型存在偏差，并且需要设置合适的高斯滤波半径，增强结果不够理想。

直方图均衡化方法利用图像的整体直方图特征，在统计图像的直方图之后，将不平衡的灰度分布向平衡的分布变换，即将低灰度值的像素统一向高灰度值调整，从而得到更加均衡的直方图，原始图像的对比度也因此增强。但是直方图均衡化的变换的固定的，并且不能灵活地分区域调整亮度，增强效果有限。

基于Retinex模型的深度学习方法引入Retinex模型的可解释性，在理想模型的基础上进行改进，不仅利用反射图像，也利用照度图像，大大提高了Retinex模型的实用性和有效性。大部分方法将输入图像分解为照度图像和反射图像，再利用神经网络对这两个部分分别进行处理之后，获得增强后的照度图像和反射图像，再将这两个部分进行融合获得最终的增强图像。然而，这类方法基本都受制于Retinex模型本身的分解-增强-合成三阶段流程，使得神经网络需要分阶段训练，训练设置复杂，整体网络的性能也会被某一阶段的训练效果影响。

基于端到端网络的深度学习方法通过设计不同的端到端主干网络，直接在低光照图像增强数据集上进行训练来实现图像增强的能力。在这类方法中，监督学习、无监督学习、半监督学习、零次学习策略都被用来提高网络对于图像增强映射关系的理解能力。但是在低光照情况下，很多图像的细节不够清晰，特征提取程度不足，网络学习能力有限。

基于扩散模型的深度学习方法利用能力强大的生成扩散模型，通过端到端训练得到细节色彩都更加生动真实的增强图像。条件扩散模型将低光照图像作为条件输入，通过扩散迭代过程，将随机噪声逐步恢复为和物理基先验信息对应的正常光照图像。目前大多方法采用的方式为直接将扩散模型应用过来，没有考虑低光照增强任务本身的特性以及对应于任务特性的其他物理基先验信息，虽然有方法结合了Retinex模型进行网络设计，但是多阶段网络带来的训练复杂度和模型复杂度都限制了模型的实用性和推理速度，因此这类方法的性能尽管很强，但是还有提升的空间。

从以上分析可以看出，现有的低光照图像增强技术在增强效果和处理速度上仍不够理想，不能兼顾，影响了实际应用。因此，对低光照图像增强技术进行深入研究是很有必要的。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于扩散模型和物理模型的低光照图像增强方法，使城域网与接入网得到有效融合，同时具有可扩展、高灵活以及低成本的性能。

为实现上述发明目的，本发明一种基于扩散模型和物理模型的低光照图像增强方法，其特征在于，包括以下步骤：

(1)、图像采集；

下载N组训练图像，每组训练图像包含一张低光照情况下拍摄的图像I

(2)、搭建基于扩散模型和物理模型的图像增强网络；

基于扩散模型和物理模型的图像增强网络包括分解网络F

所述分解网络F

所述调整网络F

所述去噪U-Net网络ε

所述后处理优化网络F

基于Retinex条件的优化模块中，将L'、R'和I

将初始光照图像I

(3)、训练基于扩散模型和物理模型的图像增强网络；

(3.1)、随机选取一组训练图像I

(3.2)、在分解网络中，分解网络将低光照图像I

计算反射图像的一致性损失：

Loss

其中，||·||

计算照度图像的平滑损失：

其中，

计算图像互重建损失：

计算分解网络的总损失：

(3.3)、在调整网络中，利用调整网络对照度图像L

其中，λ

(3.4)、在去噪U-Net网络中，将低光照图像I

计算去噪U-Net网络的损失函数值：

其中，||·||

(3.5)、在后处理优化网络中对初始光照图像I

计算后处理优化网络的损失函数值：

(3.6)、计算基于扩散模型和物理模型的图像增强网络的总损失；

(3.7)、将预测的光照图像I

(4)、低光照图像的实时增强处理；

将低光照图像输入至训练完成后的基于扩散模型和物理模型的图像增强网络，从而输出对应增强处理后的光照图像。

本发明的发明目的是这样实现的：

本发明基于扩散模型和物理模型的低光照图像增强方法，将低光照图像分解得到照度图像和反射图像后，作为物理基先验信息输入到扩散模型中，并且在扩散过程后通过优化网络对照度图像、反射图像和输入图像同时处理，得到最终的增强结果；具体的讲，先将低光照图像输入到预训练好的基于Retinex模型的图像分解网络中，得到对应的照度图像和反射图像，然后在调整网络中减少这两部分的误差，并作为物理基先验信息和低光照图像一起输入到去噪网络中，进行逐步去噪，从随机噪声中重建出的低光照图像对应的正常光照图像。最终在扩散过程的最后一步，将照度图像和反射图像根据Retinex模型的理论推导，在优化网络中与输出的重建图像相融合，改善色彩和细节，得到最终的增强结果。

同时，本发明基于扩散模型和物理模型的低光照图像增强方法还具有以下

有益效果：

(1)、本发明将物理模型Retinex与生成扩散模型相结合，不仅具有物理模型的可解释性，也可以约束生成扩散模型的自由生成能力，减少虚假细节，使扩散过程得到更加真实的增强图像。

(2)、本发明中采用的预训练Retinex图像分解网络和调整网络在提供高质量照度图像和反射图像的同时，也减少了训练端到端扩散模型的时间成本，并且由于本网络为轻量级网络，在测试阶段也不会引入显著的时间消耗。

(3)、本发明在后处理优化网络中改进了原本的理想Retinex模型，将高斯滤波、对数变换等操作优化为特征变换算子，并且引入残差连接的思想，提高基于Retinex模型的复原网络的稳定性和有效性。

(4)、本发明提出了一种基于低光照图像增强任务特性的条件策略，用于引导生成扩散模型的生成能力，这种思路也可以用于其他的图像处理任务，启发其他基于扩散模型的工作考虑任务特性结合物理模型，从而提高模型性能。

附图说明

图1是本发明基于扩散模型和物理模型的低光照图像增强方法流程图；

图2是基于扩散模型和物理模型的图像增强网络结构图；

图3是后处理优化网络结构图；

图4是低光照图像重建后的效果图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明基于扩散模型和物理模型的低光照图像增强方法流程图。

在本实施例中，如图1所示，本发明一种基于扩散模型和物理模型的低光照图像增强方法，包括以下步骤：

S1、图像采集；

下载500组训练图像，每组训练图像包含一张低光照情况下拍摄的图像I

S2、搭建基于扩散模型和物理模型的图像增强网络；

如图2所示，基于扩散模型和物理模型的图像增强网络包括分解网络F

下面我们对模型结构进行展开说明：

分解网络F

调整网络F

去噪U-Net网络ε

后处理优化网络F

如图3所示，基于Retinex条件的优化模块中，将L'、R'和I

将初始光照图像I

S3、训练基于扩散模型和物理模型的图像增强网络；

S3.1、随机选取一组训练图像I

S3.2、在分解网络中，分解网络将低光照图像I

计算反射图像的一致性损失：

Loss

其中，||·||

计算照度图像的平滑损失：

其中，

计算图像互重建损失：

计算分解网络的总损失：

因此在迭代初期，图像中的噪声还很多，从而得到质量较差的反射图像和照度图像，因此需要引入调整网络。

S3.3、在调整网络中，利用调整网络对照度图像L

其中，λ

SSIM的计算公式如下：

其中，μ

Hist计算过程为，首先计算灰度直方图，统计图像中每个灰度值的像素的个数，并最终得到长度为256的一个一维向量即为该图像的灰度直方图，最后计算两幅图像的灰度直方图之间的平均绝对误差。

S3.4、在去噪U-Net网络中，将低光照图像I

计算去噪U-Net网络的损失函数值：

其中，||·||

S3.5、在后处理优化网络中对初始光照图像I

计算后处理优化网络的损失函数值：

S3.6、计算基于扩散模型和物理模型的图像增强网络的总损失；

S3.7、将预测的光照图像I

S4、低光照图像的实时增强处理；

将低光照图像输入至训练完成后的基于扩散模型和物理模型的图像增强网络，从而输出对应增强处理后的光照图像。

在本实施例中，将低光照图像输入至基于扩散模型和物理模型的图像增强网络，通过8步迭代计算，最终得到增强处理后的光照图像，在每一步迭代后的结果如图4所示，从每一步可以看出，我们最终从随机噪声中重建出更好的正常光照图像。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。