多尺度注意力机制神经网络进行单一图像去雾的方法

技术领域

本发明涉及图像采集技术领域，特别涉及一种多尺度注意力机制神经网络进行单一图像去雾的方法。

背景技术

图像去雾问题是经典的图像处理问题之一，它旨在从给定的模糊输入中恢复清晰的图像。近几十年来，由于许多高级视觉任务的需要，它在图像处理和计算机视觉领域引起了广泛的关注，是一项极具意义的工作。大多数成功的方法都依赖于大气散射模型，该模型解释了有雾图像的形成机理，根据此模型进行图像去雾，需要准确的估计出大气层系数与透射率，而这两个系数由于多种因素导致难以精确估计。

近年来，单幅图像去雾技术取得了重大进展。在现有的文献中已经提出了许多经典的方法来解决这个众所周知的问题，如暗通道先验、对比度先验和模糊度先验。其中何凯明博士的暗通道理论得到了最为广泛的运用，他通过有雾图像的暗通道图估计出大气层系数与透射率从而实现图像去雾。但这些基于先验的方法性能是有限的，因为并不是所有的真实场景的图像都与预定义的先验兼容。

近年来，深度学习在各种计算机视觉任务中都表现出了有效性。各种基于卷积神经网络(CNN)的方法已经被提出来估计透射图和大气光。一旦估计了透射图和大气光，就能通过大气散射模型恢复清晰图像。较为典型的方法有DehazeNet，他采用的是端到端的训练模型，利用神经网络对大气退化模型中透射率进行估计，模型输入有雾图像，输出透射率的估计，然后恢复图像，这个网络提出一种新的非线性激活函数，用来提升无雾图像质量；FFA-NET(Feature Fusion Attention Network for Single Image Dehazing)，提出了一种端到端的特征融合注意网络(FFA-Net)，用于直接恢复无雾图像。FFA网络体系结构由三个关键组成部分组成：1)考虑到不同的信道特征包含完全不同的加权信息，不同的图像像素上的雾度分布不均匀，提出了一种新的特征注意(FA)模块，将信道注意与像素注意机制相结合。FA不平等地处理不同的特征和像素，这为处理不同类型的信息提供了额外的灵活性，扩展了CNNs的表示能力，值得参考。MSCNN是将输入的有雾图像通过训练先生成一个粗略的传输矩阵，然后再对其进行细化，其中难免会产生误差；Gated Context AggregationNetwork for Image Dehazing and Deraining 2019 WACV，利用GAN网络，实现可端到端的图像去雾，本发明的重点在于解决了网格伪影(grid artifacts)的问题；GridDehazeNet：Attention-Based Multi-Scale Network for Image Dehazing，文章提出了一种端到端可训练的CNN，即GridDehazeNet。GridDehazeNet包含三个模块：预处理模块，主干模块和后处理模块。可训练的预处理模块相比手工选择的预处理方法，可以产生具有更好的多样性和更有针对性的输入。主干模块在实现了一种新的基于注意力的多尺度估计，有效缓解了传统多尺度方法中经常遇到的瓶颈问题。后处理模块有助于减少最终输出中的瑕疵；AOD Net并没有单独估计传输矩阵和大气光系数，而是通过公式转换将两个参数统一成一个参数，最后通过轻量级CNN直接生成清晰图像，由于其网络结构较为简单，不能更好地估计统一参数，去雾效果没有达到更好。

发明内容

本发明要解决现有技术中的技术问题，提供一种多尺度注意力机制神经网络进行单一图像去雾的方法。

为了解决上述技术问题，本发明的技术方案具体如下：

一种多尺度注意力机制神经网络进行单一图像去雾的方法，该方法适用的系统包括：多尺度特征提取模块，特征注意模块和图像重建模块；

所述多尺度特征提取模块用来提取不同尺度的特征；

所述特征注意模块用来通过像素注意力机制提取更为重要的像素特征，通过通道注意力机制提取更为重要的通道特征，以及将所述像素特征和所述通道特征融合；

所述图像重建模块用来恢复清晰的图像；

该方法包括以下步骤：

步骤i：多尺度特征提取模块提取不同尺度的特征；

步骤ii：不同尺度的特征输入特征注意模块；

步骤iii：在特征注意模块中，不同尺度的特征通过像素注意力机制提取更为重要的像素特征，通过通道注意力机制提取更为重要的通道特征，最后将所述像素特征和所述通道特征融合；

步骤iv：基于特征注意模块的输出，采用图像重建模块来恢复清晰的图像。

在上述技术方案中，步骤iii中，通过像素注意力机制提取更为重要的像素特征具体为：

像素注意力模块主要由一个3*3和一个1*1的卷积层组成，采用ReLu和sigmoid两种激活函数，将特征图直接输入两个卷积层和ReLu和sigmoid激活函数，将特征图形状由C×H×W变为1×H×W并得到不同像素的不同权值；最后，将输入p与权值PA进行对应元素相乘；

PA＝σ(Conv(δ(Conv(p))))

式中，σ为sigmoid激活函数，δ为ReLu激活函数，p为像素注意力模块的输入，PA为权值输出，

在上述技术方案中，步骤iii中，通过通道注意力机制提取更为重要的通道特征具体为：

通道注意力模块结构：

其中，X

CA＝σ(Conv(δ(Conv(g

式中，σ为sigmoid激活函数，δ为ReLu激活函数，CA为通道权值；

最后，将输入F

在上述技术方案中，步骤iv具体为：将得到的K(x)参数模型，带入到公式：

J(x)＝K(x)

式中，J(x)为去雾后图像，K(x)为网络计算得到的参数，I(x)为有雾图像，b为一常数，在这里设置为1；

通过计算得到各个位置的像素值，最后输出去雾之后的图片。

在上述技术方案中，K(x)的公式为：

式中，t(x)为大气透射率，I(x)为有雾图像，A为大气层系数，b为一常数，在这里设置为1。

本发明具有以下有益效果：

本发明的多尺度注意力机制神经网络进行单一图像去雾的方法，实验结果表明，在PSNR、SSIM以及主观视觉方面不光比AOD网络要好，还要优于主流的深度学习和传统方法的图像去雾效果，去雾完成后的图像在细节，色彩，亮度等方面都有所优化。

本发明的多尺度注意力机制神经网络进行单一图像去雾的方法，实现了用轻量级的网络估计统一参数，可以得到比较优秀且泛用的去雾效果，最后得到的去雾图能够保存更多的细节，有效的避免常见去雾算法的细节丢失与色彩失真问题。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细说明。

图1为大气成像过程示意图。

图2为整个网络结构示意图。

图3为像素注意力模块示意图。

图4为通道注意力模块示意图。

图5为残差卷积块示意图。

具体实施方式

本发明的发明思想为：

本发明的多尺度注意力机制神经网络进行单一图像去雾的方法，针对有雾或霾的场景中，图像采集系统采集到的图像会出现细节缺失、色彩暗淡、亮度降低的问题，在AOD理论的基础上，提出一种基于U-NET网络结构的图像去雾模型。

本发明借鉴了AOD网络的思想，并不单独估计透射率和大气层系数这两个重要参数，这样继承了AOD网络的优点，能够防止进行多步计算而产生误差累加，从而保证了图像去雾的质量。另外，在网络设计上受到了FFA-Net的启发，引入了特征注意力机制，在多尺度特征提取模块的共同作用下，能够更好地提取图像特征，与FFA-Net不同的是，本发明调整了像素注意力模块与通道注意力模块的位置，使其更具针对性的发挥作用，并采用了不同大小的卷积核，从而获得不同感受野的特征图，能够保证边缘特征以及微小特征不被忽略。

本发明的多尺度注意力机制神经网络进行单一图像去雾的方法适用的系统包括：多尺度特征提取模块，特征注意模块和图像重建模块；其中，多尺度特征提取模块用来提取不同尺度的特征；特征注意模块用来通过像素注意力机制提取更为重要的像素特征，通过通道注意力机制提取更为重要的通道特征，以及将像素特征和通道特征融合；图像重建模块用来恢复清晰的图像。

本发明的多尺度注意力机制神经网络进行单一图像去雾的方法包括以下步骤：

步骤i：多尺度特征提取模块提取不同尺度的特征；

步骤ii：不同尺度的特征输入特征注意模块；

步骤iii：在特征注意模块中不同尺度的特征通过像素注意力机制提取更为重要的像素特征，通过通道注意力机制提取更为重要的通道特征，最后将像素特征和通道特征融合；

步骤iv：基于特征注意模块的输出，采用图像重建模块来恢复清晰的图像。

下面结合附图对本发明做以详细说明。

大气散射模型Mie等人运用入射光衰减模型和大气成像模型建立大气散射理论，Narasimhan等在大气散射理论基础上建立了雾天大气退化模型，图像成像过程见图1。

图1中雾天环境下空气中的灰尘和小水滴，会对图像采集产生两方面的影响：一是光线在传播过程通过雾和小水滴由于散射会产生能量损耗，其损耗程度与物体和人眼之间的距离成正比；二是大气光进入采集设备，部分大气光经过散射会进入到图像采集设备，对图像生成产生影响，其影响与距离有关。

大气散射模型是对于有雾图像的生成过程的详细描述所形成的物理模型，它把图像生成过程分成大气光和物体本身进入到人眼两部分。

I(x)＝J(x)

公式(1)中I(x)为有雾图像，J(x)为去雾后图像，t(x)为透射率，A为大气层系数。在实际应用中，I(x)是已知条件，而透射率以及大气层系数则需要通过I(x)进行估算。其中透射率被定义为：

t(x)＝e

公式(2)中β表示大气层散射系数，d(x)表示物体与成像设备之间的距离。

由大气散射模型公式(1)可得，去雾图像的生成公式：

其中t

经典AOD理论

深度学习方法大都是估计出透射率然后计算出大气层系数，代入公式求得去雾后图像，这样就需要估计出两个参数，误差会出现累加，为避免这种情况的发生，AOD网络把两个参数转换成一个参数来减少误差，转换公式为：

J(x)＝K(x)

式中，J(x)为去雾后图像，K(x)为网络计算得到的参数，I(x)为有雾图像，b为一常数，在这里设置为1；

其中，K(x)的公式：

式中，t(x)为大气透射率，I(x)为有雾图像，A为大气层系数，b为一常数，在这里设置为1。

通过公式(4)和(5)把t(x)和A两个参数形成一个参数K(x)，只需要建立一个K(x)估计模块，通过深度学习找到合适的K(x)参数模型，通过公式(4)即可输出去雾后图像。

本发明的模型估计网络由多尺度特征提取模块和图像重建模块组成，整个网络结构图如图2所示。

特征注意机制

大多数数字图像处理任务中，卷积神经网络平等的提取通道级和像素级特征，这样可能会导致一些不重要的特征被保留下来，而需要着重处理的特征细节被丢失，而引入注意力机制可以使神经网络去着重处理需要重点关注的目标区域，以获取更多所需关注目标的细节信息，而抑制其他无用信息。本发明中采用了像素注意力机制与通道注意力机制，以此来提升网络性能。

像素注意力机制(PA)

考虑到雾在不同图像像素上的分布是不均匀的，引入了像素注意力模块，这使网络能更多地关注雾霾较重的像素和高频图像区域的特征。

像素注意力模块结构如图3所示。

整个模块主要由一个3*3和一个1*1的卷积层组成，采用ReLu和sigmoid两种激活函数，将特征图直接输入两个卷积层和ReLu和sigmoid激活函数，将特征图形状由C×H×W变为1×H×W并得到不同像素的不同权值。最后，将输入p与权值PA进行对应元素相乘。

PA＝σ(Conv(δ(Conv(p))))(6)

式中，σ为sigmoid激活函数，δ为ReLu激活函数，p为像素注意力模块的输入，PA为权值输出，

通道注意力模块(CA)

通道注意力能实现让网络从不同通道上得到更值得关注的重要特征，通过卷积处理对不同通道的特征按照重要程度给予不同的权值。整个模块与像素注意力相似，也采用ReLu和sigmoid两种激活函数，但是完全采用1×1的卷积层，并且引入了全局池化函数层将通道全局空间信息转化为通道描述符。

通道注意力模块结构，如图4所示：

其中，X

CA＝σ(Conv(δ(Conv(g

式中，σ为sigmoid激活函数，δ为ReLu激活函数，CA为通道权值。

最后，将输入Fc与通道权值按CA照元素相乘，得到通道注意力模块的特征输出

主干网络

主干模块是一种多尺度U-net网络，这部分采用多种尺度卷积核进行特征提取，本发明采用3×3，5×5，7×7，9×9多种尺度的卷积层，形成多尺度特征提取模块进行特征提取，并在每个特征提取模块后连接像素注意力机制与通道注意力机制，得到不同尺度下的像素特征与通道特征。

如图5所示，每个多尺度特征提取模块由三个卷积层采取残差结构连接而成，在这一阶段通过改变卷积层的卷积核大小，来得到不同尺度的特征，同时特征图通道数依次增加到16，32，64，128。

下面对本发明的多尺度注意力机制神经网络进行单一图像去雾的方法做进一步的详细说明。

如图2所示，整个网络可以理解为由一个自下而上的编码部分和一个自上而下的解码部分组成，输入图像先经由一个3×3的卷积层卷积处理后，不同尺度的特征图被输入到对应的像素与通道注意模块中，每个注意力模块对相应的特征图进行处理，选择性的捕捉重要特征。在自上而下的解码部分，再将之前捕捉的不同尺度特征进行特征整合，进一步进行特征提取处理，同时逐步将通道数降低。整个过程可以进一步丰富特征细节，最后经过一个3×3的卷积层，并将得到的特征图由整个网络通过多尺度与特征注意机制，可以保留底层的信息并将其保留传递到深层，其中注意力机制使得网络可以更加关注厚雾区，高频纹理和色彩保真度等有效信息。

将通过网络计算得到的K(x)参数模型，带入到公式(4)中，通过计算得到各个位置的像素值，最后输出去雾之后的图片，即干净图片。

损失函数

为了提升网络的性能，在损失函数上，本发明采取均方误差(MSE)损失函数与边缘损失函数相结合的混合损失函数。

均方误差损失函数

均方误差表示处理后图像与参考图像之间的像素级差异，公式定义为：

其中，C，W和H代表图像的通道数，宽度与高度，

边缘损失函数

为了得到边缘效果更清晰的无雾图像，本发明引入了边缘损失函数，边缘损失函数利用了拉普拉斯运算符与卷积运算，通过拉普拉斯运算与卷积操作得到更多的边缘细节，获得清晰的边缘图像，接着采用Tanh激活函数进行映射，最后计算边缘图像与真实清晰图的像素级差异，公式定义为：

其中，

总损失函数

最后，将两种损失函数相结合

l＝l

其中，α为一个超参数，用来给予边缘损失函数适当的权值，在本发明中我们通过经验将其设置为0.01。

本发明的多尺度注意力机制神经网络进行单一图像去雾的方法，实验结果表明，在PSNR、SSIM以及主观视觉方面不光比AOD网络要好，还要优于主流的深度学习和传统方法的图像去雾效果，去雾完成后的图像在细节，色彩，亮度等方面都有所优化。

本发明的多尺度注意力机制神经网络进行单一图像去雾的方法，实现了用轻量级的网络估计统一参数，可以得到比较优秀且泛用的去雾效果，最后得到的去雾图能够保存更多的细节，有效的避免常见去雾算法的细节丢失与色彩失真问题。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。