一种基于分层特征融合网络的航拍图像超分辨率重建方法

技术领域

本发明涉及低级计算机视觉技术领域，更具体地，涉及一种基于分层特征融合网络的航拍图像超分辨率重建方法。

背景技术

图像在成像的过程中，往往会受到各种环境因素的影响从而降低图像本身的质量。如雨雾天气、水下作业、高速物体拍摄、高空远距离航拍等极端恶劣环境下，受限于拍摄的成本和拍摄设备物理性能的限制，成像质量往往面临着图像曝光不足/过曝、运动伪像、噪声干扰等问题。一般来说，对拍摄设备进行升级和调试是改善成像问题最简单直接的方式：提高传感器制造工艺，减少单位面积内像素的尺寸，使其在同样大小的CMOS下能装下更多的像素数量，通过提高单张图像的像素点数量达到改善图片质量的目的。但即使抛开成本，单纯的增加硬件设备的性能同样也无法完全阻止图像的退化。如何以一种更低成本、适应性更广的方式实现高质量图像生成，研究人员试图通过图像处理技术增加图像的分辨率，图像的分辨率越高，蕴含的纹理细节也更丰富，图像就会越清晰。图像超分辨率重建技术作为一种不需要增加硬件成本的技术手段，通过软件重构了图像的细节，在医学图像重建、监控人脸/车牌重建识别、卫星遥感图像重建、视频流超分辨率等方面都有广泛的应用场景。

公开日为2020年08月25日，公开号为CN111583115A的中国专利公开了一种基于深度注意力网络的单幅图像超分辨率重建方法及系统，包括：步骤1：对开源图像训练数据集DIV2K进行预处理，获得训练集；步骤2：建立能够对图像进行超分辨率重建的卷积神经网络；步骤3：将步骤1获得的训练训练集输入步骤2建立的卷积神经网络进行训练，得到超分辨率重建模型；步骤4：将待处理的低分辨率单幅图像输入步骤3获得的超分辨率重建模型，输出单幅图像超分辨率重建图像。该专利的基于深度学习的图像超分辨率网络模型复杂度高，特征利用率较低。尤其是在高空拍摄作业等复杂环境中，由于拍摄图像特征损失严重，加之环境噪声的干扰，重建的效果往往较差。同时，为了得到更好的性能，网络的性能也是关键之一，但是一味的通过堆叠网络的深度来增加网络的性能会徒增最终模型的大小。

发明内容

本发明提供一种基于分层特征融合网络的航拍图像超分辨率重建方法，实现轻量级的更好的重建复杂的航拍图像，能够充分提取图像特征的新方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于分层特征融合网络的航拍图像超分辨率重建方法，包括以下步骤：

S1：获取高分辨率的航拍图像，所述航拍图像为不同场景的航拍图像，将所述航拍图像分为训练数据和验证数据；

S2：对所述航拍图像进行预处理；

S3：构建网络模型，所述网络模型采用分层的U型结构，对称的特征图会在U型结构中进行融合，输入的特征图通道数会在U型结构的底层增至最大，利用步骤S1所述训练数据对所述网络模型进行训练，利用步骤S1所述验证数据对所述网络模型进行验证；

S4：利用训练好的网络模型对新的航拍图像进行重建，获得高分辨率的图像。

优选地，步骤S1中从公开的航拍数据机中选择高分辨率高质量的航拍图像 114张，其中100张为训练数据，14张为验证数据。

优选地，步骤S1中所述航拍图像的场景包括汽车停车场、飞机场、居民区、运动场、港口、高架桥、农田和高速跑道。

优选地，步骤S2中所述预处理，具体为：

将100张作为训练数据的航拍图像切割成分辨率为480×480的小图片，共计8234张，同时在输入网络模型前，将小图片再进行切割成96×96，分批次输入网络模型中进行训练。

优选地，所述U型结构具体为：

图像经初始卷积转化为粗特征图F

优选地，所述网络模型的数学表示如下：

F

F

F′

F′

F

式中，f

优选地，所述卷积模块包括两个3×3的卷积核和一个LeakyReLU激活函数，特征图首先经过第一个3×3的卷积核后通道数量加倍，再经LeakyReLU激活函数后通过第二个3×3的卷积核。

优选地，所述密集残差块包括四个基础残差模块，其中，前三个基础残差模块的特征信息会直接输入到密集残差块的尾部，且与最后一个残差块的输出拼接，最后通过卷积融合这些特征。

优选地，所述基础残差模块包括两个3×3的卷积核、一个LeakyReLU激活函数和一个轻量级注意力模块，其中，所述特征图先经过第一个3×3的卷积核，再经LeakyReLU激活函数后通过第二个3×3的卷积核，最后通过轻量级注意力模块得到的特征信息与特征图相加输出。

优选地，所述所述轻量级注意力模块使用ECA模型注意力模块，参数矩阵为：

式中，w表示每个通道的权重参数，参数量为k×C，是可学习的一维卷积的卷积核大小，表示只考虑相邻k个通道之间的跨通道注意力，k由输入特征图的信道数自适应学习得到：

式中，|t|

同时为了进一步达到轻量级的目的，ECA模块将所有通道共享学习到的权重，最终的参数总量仅k。

与现有技术相比，本发明技术方案的有益效果是：

本发明基于U型网络的分层结构，提高不同尺度的特征进行融合，减少了图像特征信息在卷积的过程中的损失，提高了模型在重建较复杂的航拍环境中的效果。尤其是对于放大因子较大的任务，图像重建效果更为明显。使用更为密集连接的残差块进行模型训练，即使网络的深度不是特别深，依然能够得到较不错的航拍图像重建效果，减轻了整体模型的复杂度。对于各种噪声复杂的环境，如水底图像、雨雾天气图像的重建都有不错的效果，一定程度上说了模型的普适性。

附图说明

图1为本发明的方法流程图。

图2为实施例中U型结构的网络模型结构示意图。

图3为实施例中亚像素卷积方法示意图。

图4为实施例中密度残差块结构示意图。

图5为实施例中基础残差模块结构示意图。

图6为实施例中轻量级注意力模块结构示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

本实施例提供一种基于分层特征融合网络的航拍图像超分辨率重建方法，如图1所示，包括以下步骤：

S1：获取高分辨率的航拍图像，所述航拍图像为不同场景的航拍图像，将所述航拍图像分为训练数据和验证数据；

S2：对所述航拍图像进行预处理；

S3：构建网络模型，所述网络模型采用分层的U型结构，对称的特征图会在U型结构中进行融合，输入的特征图通道数会在U型结构的底层增至最大，利用步骤S1所述训练数据对所述网络模型进行训练，利用步骤S1所述验证数据对所述网络模型进行验证；

S4：利用训练好的网络模型对新的航拍图像进行重建，获得高分辨率的图像。

步骤S1中从公开的航拍数据机中选择高分辨率高质量的航拍图像114张，其中100张为训练数据，14张为验证数据。

步骤S1中所述航拍图像的场景包括汽车停车场、飞机场、居民区、运动场、港口、高架桥、农田和高速跑道。

步骤S2中所述预处理，具体为：

将100张作为训练数据的航拍图像切割成分辨率为480×480的小图片，共计8234张，同时在输入网络模型前，将小图片再进行切割成96×96，分批次输入网络模型中进行训练。

本实施例中，使用自选的高质量高分辨率航拍图像114张，并且对其中100 张航拍图像切割成480×480像素的子图像，共计8234张；并使用MATLAB对所有图像进行双三次方降采样生成对应的低分辨率图像，与高分辨率图像组成配对，构成网络训练所需要的成对航拍数据集。

如图2所示，所述U型结构具体为：

图像经初始卷积转化为特征通道数为64的粗特征图F

所述网络模型的数学表示如下：

F

F

F′

F′

式中，f

所述卷积模块包括两个3×3的卷积核和一个LeakyReLU激活函数，特征图首先经过第一个3×3的卷积核后通道数量加倍，再经LeakyReLU激活函数后通过第二个3×3的卷积核。

如图4所示，所述密集残差块包括四个基础残差模块，其中，前三个基础残差模块的特征信息会直接输入到密集残差块的尾部，且与最后一个残差块的输出拼接，最后通过卷积融合这些特征。密集残差块用以提高局部残差信息的利用率，相比于简单堆叠的残差结构，特征信息在每一个密集残差块当中是直接相连的，残差在密集残差块中几乎是无损失的进行传递，从而能够最大限度的保留对图像重建有利的更具辨别性的高频特征。

如图5所示，所述基础残差模块包括两个3×3的卷积核、一个LeakyReLU 激活函数和一个轻量级注意力模块，其中，所述特征图先经过第一个3×3的卷积核，再经LeakyReLU激活函数后通过第二个3×3的卷积核，最后通过轻量级注意力模块得到的特征信息与特征图相加输出。

如图6所示，所述轻量级注意力模块使用ECA模型注意力模块，参数矩阵为：

式中，w表示每个通道的权重参数，参数量为k×C，是可学习的一维卷积的卷积核大小，表示只考虑相邻k个通道之间的跨通道注意力，k由输入特征图的信道数自适应学习得到：

式中，|t|

传统的残差结构会等效的看待每一条路径的残差信息，而人类视觉往往对图像的边缘、亮度等信息更为敏感，为了能有效的重建这些信息，为每一个残差块添加注意力机制。注意力模块需要尽可能轻量化，以便可以插入到每一个残差模块中，此外，为了保证重建效果，注意力模块需要有较大的感受野。为了达到这两个目的，引用ECA通道注意力模块提取残差结构的注意力信息，并插入到每一块残差模块中。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。