基于深度坐标注意力网络模型的图像超分辨率重建方法

技术领域

本发明属于图像处理的技术领域，具体涉及一种基于深度坐标注意力网络模型的单幅图像超分辨率重建方法。

背景技术

图像超分辨率，是将低分辨率图像通过计算机算法，转换成为高分辨率图像的技术。随着数字成像技术在卫星遥感、公共安全等领域的运用越来越广泛，人们越来越需要获得高质量的图像。然而，在实际情况下，由于成像系统的物理分辨率低、拍摄环境对成像具有干扰等原因，人们往往得到画面模糊、分辨率低的低质量的图像，给后续的图像处理、分析造成一些困难。图像超分辨率重建技术能够在不更换更好的成像设备的前提下，仅使用数字信号处理方法即可提升图像的分辨率，在成本和易用性上具有很大的优势。

图像超分辨率重建技术由Harris在上世纪60年代首次提出，传统超分辨率方法多为基于插值的方法、基于重建的方法和基于学习的方法等。其中，基于插值的方法具有最少的计算复杂度，被广泛运用于对图像质量要求较低的场合；基于重建的方法通常由建模部分和重建部分组成，其中迭代反投影法、最大后验概率估计法等方法较为著名。Dong于2014年最早提出基于深度学习的超分辨率重建方法，此方法相较于之前基于其他技术的方法，具有较大的提升，之后不断有学者对其进行改进优化。

然而，现有的图像超分辨率方法并没有对其中的特征图信息进行充分的挖掘利用，一定程度上降低了学习的效率，影响了重建的效果。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于深度坐标注意力网络模型的图像超分辨率重建方法，本基于深度坐标注意力网络模型的图像超分辨率重建方法充分利用低分辨率图像与特征图像所包含的信息，对低分辨率图像进行超分辨率重建，提升了图像的分辨率，进而增强图像的显示效果。

为实现上述技术目的，本发明采取的技术方案为：

一种基于深度坐标注意力网络模型的图像超分辨率重建方法，包括以下步骤：

(1)、构建训练集：

对训练样本图像集中已有的样本图像进行变换操作进而增加训练样本的容量与多样性，并对这些样本图像进行降采样从而缩小图像尺寸，得到高分辨率图像X

(2)、初始化基于深度坐标注意力机制的卷积神经网络，具体包括：

(2.1)、采用浅层特征提取模块对网络输入的原始低分辨率图像Y进行浅层特征提取，假设所述浅层特征提取模块表示为H

F

所述浅层特征提取模块用于对输入的低分辨率图像Y进行卷积运算，产生新的初始特征图像F

(2.2)、采用残差深层特征提取模块对浅层特征提取模块输出的初始特征图像F

F

所述残差深层特征提取模块包括多个大型残差块和卷积层，每个大型残差块均包括多个小型残差块和卷积层，每个小型残差块依次包括卷积层、ReLU激活函数层、卷积层和坐标注意力机制模块；

(2.3)、采用上采样重建模块对残差深层特征提取模块输出的深层特征图像F

X

(3)、训练基于深度坐标注意力机制的卷积神经网络：

利用步骤(1)中的训练集

其中X

随后，利用梯度下降法与误差的反向传播来优化调整权重，最终，得到训练优化后的卷积神经网络；

(4)、利用训练好的卷积神经网络重建低分辨率图像：

首先，读入一副低分辨率图像，将该低分辨率图像输入步骤(3)训练好的卷积神经网络中，预测输出高分辨率图像。

作为本发明进一步改进的技术方案，假设所述的坐标注意力机制模块的输入为特征图像F

(a)、将F

(b)、将F

(c)、将步骤(b)的结果依次进行批规范化和非线性激活运算，再进行分离，得到F

(d)、将F

(e)、将F

作为本发明进一步改进的技术方案，所述残差深层特征提取模块包括10个大型残差块和1个卷积层，每个大型残差块均包括20个小型残差块和1个卷积层。

作为本发明进一步改进的技术方案，在所述步骤(3)中，梯度下降法的优化器采用Adam；与反向传播有关的参数赋值如下：批处理的大小设为16，一阶矩估计的指数衰减率β

本发明的有益效果为：

(1)本发明采用基于深度坐标注意力网络模型的单幅图像超分辨率重建方法，对低分辨率图像进行超分辨率重建，可以在大幅提升分辨率的同时，保障图像的清晰程度，增加图像的纹理与细节；

(2)本发明采用基于深度坐标注意力网络模型的单幅图像超分辨率重建方法，可以充分利用特征图在X、Y方向上的位置信息，对特征图各个通道进行加权，增加训练的有效性，使从输入的低分辨率图像生成的图像更加接近高分辨率的原始图像；

(3)本发明采用大规模的残差连接，降低训练的难度，使其更有利于神经网络的收敛，充分利用低分辨率图像与低分辨率特征图像所包含的信息。

附图说明

图1为基于深度坐标注意力网络模型的单幅图像超分辨率重建方法整体设计流程图。

图2是大型残差块结构图。

图3为小型残差块结构图。

图4为坐标注意力机制模块结构图。

具体实施方式

下面结合说明书附图和实施例，清楚、完整地描述本发明方法的详细过程。

一种基于深度坐标注意力网络模型的图像超分辨率重建方法，包括以下步骤：

步骤(1)、构建训练集：

首先对训练图像集中已有的样本图像进行旋转、翻转等变换操作，来增加训练样本的容量与多样性。再对这些样本图像进行双三次降采样缩小图像尺寸，得到高分辨率图像X

步骤(2)、初始化基于深度坐标注意力机制的卷积神经网络，如图1所示，本实施例设计的深度坐标注意力网络模型包括以下三个主要的模块：(1)浅层特征提取模块；(2)基于坐标注意力的残差深层特征提取模块；(3)上采样重建模块。下面分别对以上模块进行详细说明。

步骤(2.1)、浅层特征提取模块：该模块主要用于对网络输入的原始低分辨率图像Y进行浅层特征提取，假设所述浅层特征提取模块表示为H

F

所述浅层特征提取模块用于对输入的低分辨率图像Y进行卷积运算，产生新的初始特征图像F

步骤(2.2)、基于坐标注意力的残差深层特征提取模块：该模块的任务是将对浅层特征提取模块输出的初始特征图像F

F

如图1所示，所述残差深层特征提取模块(可简称深层特征提取模块)包含10个大型残差块(即图1中的大型残差块1至大型残差块10)和1个卷积层，如图2所示，每个大型残差块均包括20个小型残差块(即图2中的小型残差块1至小型残差块20)和1个卷积层，如图3所示，每个小型残差块依次包括1个卷积层、1个ReLU激活函数层、1个卷积层和坐标注意力机制模块。

假设大型残差块表示为S

假设所述的坐标注意力机制模块的输入为特征图像F

步骤(2.2.1)、将F

步骤(2.2.2)、将F

步骤(2.2.3)、将步骤(2.2.2)的结果依次进行批规范化和非线性激活运算，再进行分离(分离为步骤(2.2.2)中连接的反向操作，按照之前连接前的F

步骤(2.2.4)、将F

步骤(2.2.5)、将F

步骤(2.3)、上采样重建模块：该模块的任务是对残差深层特征提取模块输出的深层特征图像F

X

上采样重建模块包括Pixel-Shuffle层和卷积层。

步骤(3)、训练基于深度坐标注意力机制的卷积神经网络：

利用步骤(1)中的训练集

其中X

随后，利用梯度下降法与误差的反向传播来优化调整权重，达到最小化损失函数的目的。最终，得到训练优化后的卷积神经网络，即为深度坐标注意力网络模型。

步骤(4)、利用训练好的卷积神经网络重建低分辨率图像：

首先，读入一副低分辨率图像，将该低分辨率图像输入步骤(3)训练好的卷积神经网络中，预测输出高分辨率图像。

在所述步骤(3)中，梯度下降法的优化器采用Adam；与反向传播有关的参数赋值如下：批处理的大小设为16，一阶矩估计的指数衰减率β

本实施例中的神经网络、深度学习、梯度下降法、Adam优化器均为本领域的专用术语，为现有技术且不是本发明的主要改进点，故不再赘述。

本实施例通过搭建基于深度坐标注意力网络模型的单幅图像超分辨率重建神经网络，实现了图像超分辨，使得生成的图像在分辨率、尺寸增加的同时，保持了基本的纹理、形状等细节要素。本实施例采用基于深度坐标注意力网络模型的图像超分辨重建方法，可以充分利用特征图在X、Y方向上的位置信息，对特征图各个通道进行加权，增加训练的有效性，使从输入的低分辨率图像生成的图像更加接近高分辨率的原始图像。本实施例采用大规模的残差连接，降低训练的难度，使其更有利于神经网络的收敛，充分利用低分辨率图像与低分辨率特征图所包含的信息。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。