基于双通道特征迁移网络的单帧图像超分辨率重建方法

技术领域

本发明属于单帧图像超分辨率重建领域，具体涉及一种基于双通道特征迁移网络的单帧图像超分辨率重建方法。

背景技术

单帧图像超分辨率重建(SISR)的目的是从低分辨率图像输入得到高分辨率图像重建输出，并在增加其空间分辨率的情况下最大程度地恢复图像的细节以及纹理信息。从信号熵的角度来看，这是一个熵增大的过程，在无参考、无先验知识的情况下，这是一个从有损退化信号重建出原始真实信号的病态问题，从早期基于插值的方法到目前基于学习的方法，由于人眼对于高频细节不敏感，这些算法仅仅从视觉特征的角度对图像进行优化重建，而忽略了真实图像中丰富的纹理与高频细节的表达，同时未考虑到空间纹理的非局部相似性，因此对于SISR任务往往存在重建精度低、数据特征利用不充分、以及纹理细节丢失的问题。高精度的单帧图像超分辨率重建方法，将在生物医学、安防监控、图像处理、模式识别、计算机视觉等领域产生巨大的应用价值。

针对以上重构算法重构精度低、特征信息利用不充分、纹理细节丢失等问题，随着近几年深度学习的不断发展，为了对SISR问题进行高质量优化，并降低重建的计算复杂度，提升算法的场景适应性能，基于深度神经网络的方法也被引入到SISR问题中，但简单的神经网络需要在极大的网络深度下才能获取较好的重建性能，并且基于卷积的方法仅仅对于图像的局部感受野有效，因此通过加深网络提高性能的方法，仅能够重建出符合人眼视觉观感的优化结果，对于一些高级模式识别任务，其性能往往较差。因此减小网络深度，同时充分利用低分辨率图像中的特征信息，并基于合理的图像全局自相关假设，将对SISR问题带来极大的突破，推进其在技术生产生活发展中的落地进程。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于双通道特征迁移网络的单帧图像超分辨率重建方法。

为达到上述目的，本发明的技术方案是这样实现的：

本发明公开了一种基于双通道特征迁移网络的单帧图像超分辨率重建方法，该方法为：

通过对输入的原始低分辨率图像x进行卷积操作sf(·)，获取图像的浅层特征F

通过非局部相关校正模块h(·)对所述浅层特征F

所述校正特征F

所述中间特征F

所述融合特征F

所述浅层特征F

所述待重建特征图F

上述方案中，所述通过对输入的原始低分辨率图像x进行卷积操作sf(·)，获取图像的浅层特征F

F

上述方案中，所述通过非局部相关校正模块h(·)对所述浅层特征F

上述方案中，所述通过非局部相关校正模块h(·)对所述浅层特征F

对M

对M

使用形状为[C/2,C,1,1]的卷积核空间注意力校正矩阵进行升维，并将升维后的矩阵与原始输入特征图进行对应空间位置的点乘运算得到校正后的特征图：

F

上述方案中，所述校正特征F

对S

使用全局平均池化方法对C

对于S′

F

上述方案中，所述中间特征F

对于S

对于C

V′

以V′

对于S′

F

上述方案中，所述融合特征F

F

上述方案中，所述所述浅层特征F

F

上述方案中，所述待重建特征图F

y＝Conv

该模型使用损失函数如公式(12)所示，其中y为真实训练数据集中的图像数据，α、δ为根据训练收敛状态自适应调整参数，该过程由端到端的方式进行网络参数优化：

与现有技术相比，本发明重点针对深度超分辨率图像重建网络网络深度增加带来的细节信息丢失、局部感受野对于全局-局部纹理相似性利用不充分的问题进行网络模型设计，整体网络基于残差机制，使用后置上采样模块对图像进行空间尺度的上采样；在网络前端与后端嵌入非局部相关校正模块，显著减少浅层特征提取与高级特征融合过程中的卷积层数量，并对空间非局部相关特征进行显著性校正。中间高频特征重建部分基于空间、通道双注意力模块，针对中间特征层的三维空间特征，设计可学习性结构针对性地对通道特征按照重要新进行重新加权分布，并对空间维度的相似纹理特征计算非局部相似性，保持空间重复纹理特征的有效分布，并对出事特征使用残差结构进行复用，提高网络的上下文一致水平，有效防止了细节特征在网络前向传递的过程中的消失现象，可显著提升单帧图像超分辨率重建质量。

附图说明

图1为本发明基于双通道特征迁移网络的单帧图像超分辨率重建网络模型图；

图2为本发明非局部相关校正模块单元网络模型图；

图3为本发明非局部相关校正模块中空间相似特征检测模块(N-L模块)单元网络模型图；

图4为本发明RSCAB模块单元网络模型图；

图5为对于降采样率为0.0625(1/42)情况下的图像超分辨率重建结果。

图6为场景一红外原图和采用本发明处理后的红外超分辨率重建图像；

图7为场景二红外原图和采用本发明处理后的红外超分辨率重建图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种基于双通道特征迁移网络的单帧图像超分辨率重建方法，该方法通过以下步骤实现：

步骤1：通过对输入的原始低分辨率图像x进行卷积操作sf(·)，获取图像的浅层特征F

具体地，通过对输入的原始低分辨率图像x进行卷积操作sf(·)获取图像的浅层特征F

F

步骤2：通过非局部相关校正模块h(·)对所述浅层特征F

具体地，提取到的浅层特征F

对于原始未经校正的特征图F

将重组的4个形状为[C,H/2,W/2]的特征子图分别输入N-L模块，得到4个输出的子图，并将4个子图按照子图划分前的排布重新在空间维度进行重组，并与原始特征图F

所述N-L模块可对其特征子图进行空间相似特征检测，并对相似特征按照优化目标进行校正，具体为：

对于输入的形状为[C,H,W]的特征图x

对M

对M

使用形状为[C/2,C,1,1]的卷积核空间注意力校正矩阵进行升维，并将升维后的矩阵与原始输入特征图进行对应空间位置的点乘运算得到校正后的特征图x′

对于输入的形状为[C,H,W]的特征图F

对M

对M

使用形状为[C/2,C,1,1]的卷积核空间注意力校正矩阵进行升维，并将升维后的矩阵与原始输入特征图进行对应空间位置的点乘运算得到校正后的特征图：

F

步骤3：所述校正特征F

具体地，使用一层卷积，其形状为[C,C,3,3]，对经过非局部相关压缩模块校正后的校正特征F

使用RSCAB模块对校正特征F

对于输入的校正特征F

对S

使用全局平均池化方法对C

对于S′

F

步骤4：所述中间特征F

具体地，使用空间-通道双注意力模块对中间特征F

对于输入的特征F

对S

对于C

V′

以V′

对于S′

F

步骤5：所述融合特征F

具体地，对于校正后的融合特征F

F

步骤6：所述浅层特征F

具体地，对于融合特征F

F

步骤8：所述待重建特征图F

具体地，对于待重建特征图F

y＝Conv

该模型使用损失函数如公式(12)所示，其中y为真实训练数据集中的图像数据，α、δ为根据训练收敛状态自适应调整参数，该过程由端到端的方式进行网络参数优化。

为证明本发明方法的有效性，分别在可见光、红外、太赫兹图像上进行了超分辨率重建实验，图5，图6和图7分别表示降采样率为4×4时本发明方法的超分辨率重建结果。

图5为本发明方法对太赫兹图像的超分辨率重建结果，可以看出，超分辨率结果图像较原始降采样图像整体质量得到提升，树叶的叶脉轮廓更加清晰，表皮局部纹理细节更加明显。

图6为本发明方法对红外图像的超分辨率重建结果，可以看出，超分辨率结果图像较原始降采样图像整体质量得到提升，轮廓及细节特征得到有效增强。

图7为本发明方法对可见光图像的超分辨率重建结果，可以看出，超分辨率结果图像较原始降采样图像整体观感及质量得到明显提升，图中的建筑物、车辆、地面设施等的轮廓及存在的细节信息得到恢复，文字更加清晰可辨。

本实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、物品或者装置中还存在另外的相同要素。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。