一种基于注意模块的Bayer图像恢复方法

技术领域

本发明属于图像处理与深度学习技术领域，涉及一种基于注意模块的Bayer图像恢复方法。

背景技术

彩色图像一般是由红(R)绿(G)蓝(B)三种颜色成分表示出来的，每种颜色成分称为一个颜色通道。现如今RGB数码相机记录彩色图像最普遍，而大部分的数码相机采用单个传感器的成像结构。单传感器彩色数码相机中的图像传感器通常是感光耦合元件或互补金属氧化物半导体芯片，它们只能感受光的强度而非色彩，因此需要在传感器前面放置滤光片，只允许某个波长的光通过，曝光成像时，传感器的每个像素位置只采集一种颜色，这种直接采样获取的图像称为Bayer图像，而重建出每个像素位置上没有直接采样到的其他两种颜色成分信息的过程被称为图像去马赛克。

当前RGB数码相机中，最常见的彩色滤光片阵列是Bayer滤光片阵列，其成像区域是由2×2的重复阵列组成，每组2×2阵列包含2个绿(G)、1个红(R)、1个蓝(B)像素。这样就会造成2/3的颜色信息丢失，而采样到的1/3的颜色信息大部分被噪声所污染，从而影响重建图像的质量。图像去马赛克处于图像处理流程中的第一步，应为后续一系列的图像处理任务打好基础，因此通过重建得到高质量的图像具有重要意义。

当前图像去马赛克的方法可大致分为三类：基于插值的方法、基于稀疏表示的方法和基于深度学习的方法。基于插值的方法中，有的算法忽略了通道间的相关性，而有的算法即使考虑到通道间的相关性，其在边缘、纹理等区域的重建效果也不令人满意。基于稀疏表示的方法，虽然精度高，但是也具有较高的复杂度，在实际应用中有所限制。基于深度学习的方法，通过设计神经网络，学习raw图中的特征以及各通道各相邻像素之间的相关性，进行重建图像，取得了一定的进步；但有的网络会先将raw图下采样到半尺寸的四通道图，使得分辨率降低，图像细节丢失，RGB之间的相对位置信息丢失，使重建图像不准确；而且有的网络模型存在复杂且训练困难的问题。

发明内容

本发明的目的是提供一种基于注意模块的Bayer图像恢复方法，解决了现有技术基于深度学习去马赛克时，网络模型训练困难和重建精度低的问题。

本发明的技术方案是，一种基于注意模块的Bayer图像恢复方法，按照以下步骤实施：

步骤1，构建绿通道恢复网络，该绿通道恢复网络的输入为Bayer图像通道分离出来的绿采样图，输出为重建的绿通道图；

步骤2，构建特征引导模块，该特征引导模块的输入为重建的绿通道图和编码-解码器的输出，输出为引导图；

步骤3，构建红通道恢复网络，该红通道恢复网络的输入为红采样图和引导图，输出为重建的红通道图；

步骤4，构建蓝通道恢复网络，蓝通道恢复网络与红通道恢复网络的结构流程相似，区别是，输入为蓝采样图和引导图，输出为重建的蓝通道图；

步骤5，将重建得到的红通道图、绿通道图和蓝通道图融合，得到重建的RGB图；

步骤6，根据上述搭建的基于注意模块的网络模型，计算重建的RGB图与图像对中真实图像之间的平均绝对误差，以最小化L1损失函数为目标，优化该网络模型。

本发明的有益效果是，包括以下几个方面：

1)现有大部分方法将Bayer图像下采样成半尺寸的四个通道RGGB的图像，使分辨率降低，图像细节丢失，且RGB的相对位置信息丢失。本发明提出将Bayer图像进行通道分离的预处理，保留了图像分辨率和细节以及RGB的相对位置。

2)本发明提出将Bayer三个通道的图像进行分别重建处理，与大部分对所有位置所有通道应用相同网络结构的方法不同，考虑到了Bayer点阵结构特点，使RGB运用了不同的网络。

3)本发明利用注意模块原理，使特征图的每个通道学到不同种类的特征，让网络自主选择关注学习有用的特征，抑制无用特征。

4)现有技术中，将重建得到的绿通道图用作引导图像或作为先验信息来重建红通道和蓝通道的图像时，大多采用简单的操作，如拼接、加法和元素乘法等操作，但不能有效地挖掘先验信息的特征。本发明提出特征引导模块，在特征域里运用非齐次线性映射模型来有效地融合绿通道图的先验信息，从而能够获得高质量的重建图像。

附图说明

图1是本发明方法的总体流程框图；

图2是本发明方法构建的绿通道恢复网络的流程框图；

图3是本发明方法构建的注意模块的流程框图；

图4是本发明方法构建的特征引导模块的流程框图；

图5是本发明构建的红/蓝通道恢复网络的流程框图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明主要是一种基于注意模块的Bayer图像恢复方法，整体思路为：首先，将数据集中的真实图片进行预处理操作，运用Bayer滤光片阵列将真实图片进行采样操作，得到Bayer图像，从而与真实图像构成图像对，便于优化网络，再将得到的Bayer图像进行通道拆分得到红采样图、绿采样图和蓝采样图；然后，进行绿通道的恢复，绿采样图通过注意模块、编码-解码器提取学习特征，重建绿通道图；其次，将重建得到的绿通道图作为先验信息，用于指导红通道和蓝通道的特征学习，分别重建红通道图和蓝通道图；最后，将得到的三种通道图进行合并，得到最终重建的RGB图。

如图1所示，本发明方法的过程包括四部分，分别为绿通道恢复、红通道恢复、蓝通道恢复、合并成重建的RGB图。绿通道恢复主要是通过注意模块学习不同通道的特征，通过编码-解码器有效利用多尺度的特征，得到重建的绿通道图。红通道恢复充分利用重建的绿通道图的先验信息，重建红通道图。蓝通道恢复的过程与红通道恢复的过程相同。最后将重建的红通道图、绿通道图和蓝通道图一起融合成RGB三通道图，最终得到重建的RGB图。

本发明的方法，利用上述原理及网络框架，按照以下步骤实施：

步骤1，构建绿通道恢复网络，绿通道恢复网络的主要作用是重建绿通道图。

该绿通道恢复网络的输入为Bayer图像通道分离出来的绿采样图，大小为H×W×3，其中H和W分别表示输入图像的高度和宽度；输出为重建的绿通道图，大小为H×W×1；

如图2所示，绿通道恢复网络包括卷积操作、注意模块和编码-解码器，图2中的

本实施例中，第一个卷积层Conv1卷积核大小为3×3，步长为3，特征映射总数为64个；第二个卷积层Conv2-第七个卷积层Conv7组成编码-解码器，卷积核大小均为3×3，步长均为3，特征映射总数均为64个，并且均通过ReLU激活；第二个卷积层Conv2、第三个卷积层Conv3、第四个卷积层Conv4的输出尺寸分别为H×W、1/2(H×W)、1/4(H×W)；第五个卷积层Conv5、第六个卷积层Conv6、第七个卷积层Conv7的输出尺寸分别为1/4(H×W)、1/2(H×W)、H×W；第八个卷积层Conv8卷积核大小为1×1，步长为1，特征映射总数为1个。

注意模块的作用是使特征图的每个通道学到不同种类的特征，让网络自主选择关注有用的特征，抑制无用特征。

如图3所示，图中的

步骤2，构建特征引导模块，该特征引导模块的输入为重建的绿通道图(大小为H×W×1)和编码-解码器的输出(大小为H×W×64)；输出为引导图，大小为H×W×64。由于大部分去马赛克方法通常使用简单的操作，如拼接、加法和元素乘法等操作来融合绿通道图的先验信息来重建红通道和蓝通道图，不能有效的挖掘先验信息来获得高质量图像。因此，本步骤的特征引导模块主要是在特征域里运用非齐次线性映射模型来有效地融合绿通道图的先验信息。

如图4所示，特征引导模块的流程结构依次为：编码-解码器的输出→第1卷积层Conv1→第1卷积层Conv1的输出与绿通道图经过第2卷积层Conv2的输出按元素进行乘法操作→编码-解码器的输出与乘法操作的输出按元素进行加法操作→生成引导图。本实施例中，第1卷积层Conv1的卷积核大小为1×1，步长为1，特征映射总数为64个；第2卷积层Conv2的卷积核大小为1×1，步长为1，特征映射总数为64个，并通过Sigmoid函数激活。

步骤3，构建红通道恢复网络，该红通道恢复网络的输入为红采样图(大小为H×W×1)和引导图(大小为H×W×64)；输出为重建的红通道图，大小为H×W×1。红通道恢复网络的作用是将引导图作为先验信息，来指导红通道图的重建。

如图5所示，红通道恢复网络的流程结构依次为：红采样图→第I卷积层Conv1→注意模块→注意模块的输出与引导图在维度为1上进行拼接操作→编码-解码器→第II卷积层Conv2→重建的红通道图。本实施例中，第I卷积层Conv1的卷积核大小为3×3，步长为3，特征映射总数为64个；第II卷积层Conv2的卷积核大小为1×1，步长为1，特征映射总数为1个。

步骤4，构建蓝通道恢复网络，如图5所示，蓝通道恢复网络与红通道恢复网络的结构流程相似，区别是，输入为蓝采样图(大小为H×W×1)和引导图(大小为H×W×64)；输出为重建的蓝通道图，大小为H×W×1。

步骤5，将重建得到的红通道图(大小为H×W×1)、绿通道图(大小为H×W×1)和蓝通道图(大小为H×W×1)融合，得到重建的RGB图(大小为H×W×3)。

步骤6，根据上述搭建的基于注意模块的网络模型，计算重建后的RGB图(大小为H×W×3)与图像对中真实图像(Ground Truth)之间的平均绝对误差，以最小化L1损失函数为目标，优化该网络模型。

L1损失函数主要是衡量重建后的RGB图像与对应的真实图像(Ground Truth)之间的差异性，主要是保护图像的颜色和结构信息。

L1损失函数的表达式为：

其中，N为每一批次图像的数量，X

由于L1损失函数属于像素级的损失函数，像素损失实际上并没有考虑到图像质量(如感知质量，纹理)，经常缺乏高频细节，并且产生的纹理过于平滑，难以令人满意，因此，本步骤再引入感知损失函数，以使生成的特征与真实图像(即Ground Truth)相对应的特征足够相似，从而提高最终的重建的RGB图像的感知质量，感知损失函数的表达式为：

其中，C

综合上述两种损失函数，整个Bayer图像恢复模型的损失函数表达式为：

L＝λ

其中，λ