一种融合边缘信息的红外图像超分辨率重建系统及方法

技术领域

本发明属于图像处理技术领域，具体涉及一种融合边缘信息的红外图像超分 辨率重建系统及方法。

背景技术

红外成像系统无需借助辅助光源来完成拍摄，即使在微弱的光源换进下或者 黑夜也能够正常工作。此外，可见光的波长大约在380nm至760nm之间，红外线 的波长大约在760nm至1000nm之间，波长越长，衍射能力就越强，因此与可见 光相比，红外线具有更强的抗干扰能力，在例如雨雪、雾霾等恶劣的天气环境下， 对比可见光拍摄，红外成像系统依然能够有效实现目标物体的探测。基于红外成 像的各种优势，红外成像技术在众多领域都受到了广泛的应用，例如在军事领域 中可实现复杂场景下对打击目标的精确定位、在电力领域可用于线路故障点检测、 在安防监控领域可为重点部门的安全保障发挥重要作用等。但是红外成像设备拍 摄得到的图像普遍分辨率都较低，非常不利于其后续的应用于发展。

当前，图像超分辨率重建的问题已经得到广泛的关注，其中基于深度学习的 图像超分辨率重建算法由于其强大的表达能力，在近年来得到广泛的研究，并且 取得了不错的效果。卷积神经网络由于具有保留空间局部信息以及强大的特征提 取能力等优势，因此被广泛地研究并应用于图像超分辨率重建问题中。卷积神经 网络通常通过堆叠多个卷积层，增加网络模型的深度，用来提取出图像中更深层 次的特征信息，以此增加模型的表达能力。虽然基于卷积神经网络的图像超分辨 率重建算法在客观评价指标上拥有不错的结果，但是重建出的高分辨率图像存在 视觉效果差、图像过于平滑以及边缘不够清晰等问题。

在一幅图像中，若相邻点之间的像素值的梯度差距较大，意味着在该部分的 灰度值变化较为剧烈，则将该区域认为是图像的边缘部分；图像边缘表示的是图 中各部分变化非常明显的分界点，其中包含了大量的结构信息，对人眼的视觉感 受具有非常大的影响。因此，在图像超分辨率重建中常进行边缘修复，例如， CN112288632A一种基于精简ESRGAN的单图像超分辨率方法，包括以下步骤：步 骤S1:获取待处理低分辨图像，并预处理；步骤S2:根据预处理后的图像，通过 改进型单图像超分辨率生成对抗网络中的生成器模块，生成超分辨率图像，若模 型处于训练阶段，则进行步骤S3，否则进行步骤S4；步骤S3:构建判别器，并 将判别器用于判断超分辨率图像是否为真实的高分辨率图像，根据判别器得到的结果进行反向传播，优化生成器，重新进行步骤S2；步骤S4:对得到的超分辨率 图像进行边缘修复处理，得到最终的超分辨率图像。CN111062872A公开了一种 基于边缘检测的图像超分辨率重建方法及系统，边缘提取采用转换图像到YCbCr 颜色空间的方法提取Y分量上的图像，保留了图像纹理信息的同时也减少了图像 的大小，减少了计算量，并且采用Sobel算子对Y分量上的图像进行边缘提取， 使超分辨率重建网络能够有效学习到边缘细节信息。

发明内容

为了使重建图像具有更丰富的边缘细节信息，拥有更好的视觉效果，本发明 提供了一种融合边缘信息的红外图像超分辨率重建系统及方法，利用边缘信息辅 助图像的超分辨率重建，使得重建的图像具有更好的视觉效果。

一种融合边缘信息的红外图像超分辨率重建系统，包括生成对抗网络模型， 生成对抗网络模型由边缘检测网络，若干边缘特征处理模块和图像超分辨率重建 网络构成，边缘检测网络包括若干个卷积阶段；图像超分辨率重建网络包括若干 层级深度特征提取模块；边缘检测网络的各卷积阶段输出的图像边缘特征图分别 由边缘特征处理模块处理后，与对应层级的深度特征提取模块提取的特征图融合 得到融合特征图，边缘检测网络的所有卷积阶段的图像边缘特征图串联在一起， 经卷积处理后得到图像边缘检测结果，图像边缘检测结果经边缘特征处理模块处 理后与最后一个层级的深度特征提取模块提取的特征图相叠加得到最后一幅融 合特征图，各融合特征图逆序依次卷积整合之后，再经亚像素卷积层、卷积层处 理后输出。

所述边缘检测网络包括第一卷积阶段、第二卷积阶段、第三卷积阶段、第四 卷积阶段、第五卷积阶段共五个卷积阶段。

所述图像超分辨率重建网络由依次设置的输入端的卷积层、第一深度特征提 取模块、第二深度特征提取模块、第三深度特征提取模块、第四深度特征提取模 块、第五深度特征提取模块、第六深度特征提取模块、用于依次实现特征信息整 合的多个卷积层、亚像素卷积层、输出端的卷积层构成。

所述边缘特征处理模块是由多个卷积-激活模块构成，其中激活函数均采用ReLU。

所述深度特征提取模块包含了若干密集残差模块。

所述密集残差模块中堆叠了若干密集模块，在每个密集模块前后通过残差连 接融合输入与输出的特征信息，并且最后还添加了一条融合密集模块的初始输入 与最后输出的残差连接。

每个密集模块包括多个卷积层，除最后一个卷积层外，每个卷积层后都紧跟 随着一个激活层，其中激活函数均采用Leaky ReLU，然后采用密集网络的思想， 通过密集连接将每一个层的输出作为后面所有层额外的输入，从而提高了每个一 卷积层输出特征的利用率。

第一卷积阶段输出的图像边缘特征图经边缘特征处理模块处理后与第一深 度特征提取模块提取的特征图相叠加得到融合特征图X1，第二卷积阶段输出的 图像边缘特征图经边缘特征处理模块处理后与第二深度特征提取模块提取的特 征图相叠加得到融合特征图X2，第三卷积阶段输出的图像边缘特征图经边缘特 征处理模块处理后与第三深度特征提取模块提取的特征图相叠加得到融合特征 图X3，第四卷积阶段输出的图像边缘特征图经边缘特征处理模块处理后与第四 深度特征提取模块提取的特征图相叠加得到融合特征图X4，第五卷积阶段输出 的图像边缘特征图经边缘特征处理模块处理后与第五深度特征提取模块提取的 特征图相叠加得到融合特征图X5；将五个卷积阶段输出的图像边缘特征图串联 在一起，最后经过一个1×1的卷积处理后得到图像边缘检测结果，图像边缘检测结果经边缘特征处理模块处理后与第六深度特征提取模块提取的特征图相叠 加得到融合特征图X6，通过用于依次实现特征信息整合的6个卷积层将融合特 征图X6、融合特征图X5、融合特征图X4、融合特征图X4、融合特征图X3、融 合特征图X2融合特征图X1依次卷积整合。

一种融合边缘信息的红外图像超分辨率重建方法，步骤如下：

步骤一、红外图像需进行预处理，构建红外图像训练数据集；

步骤二、为了将图像边缘信息融入超分辨率重建过程中，首先需要单独训练 得到边缘检测网络，混合边缘检测网络与图像超分辨率重建网络，然后组成生成 对抗网络模型，从而实现边缘信息辅助图像的超分辨率重建；

步骤三，将生成对抗网络模型输出的高分辨率红外图像输入至判别器中，判 别器通过一系列特征提取的操作，然后根据学习到的图像特征最后输出一个概率 来描述输入图像的真伪；

步骤四，生成对抗网络模型参数更新；整个生成对抗网络模型参数更新是交 替进行的，首先固定生成对抗网络模型网络参数，只更新判别器网络参数，然后 再固定判别器网络参数更新生成对抗网络模型，两者依次交替进行训练；

步骤五，输入低分辨率的图像至训练好的生成对抗网络模型中，然后输出重 建的高分辨率红外图像。

本发明基于生成对抗网络模型，利用图像边缘信息辅助红外图像的超分辨率 重建。为了获得清晰的图像边缘信息，本发明利用一种边缘检测网络来提取图像 的边缘特征，将训练完成的边缘检测网络融合进超分辨率重建网络中，共同构成 该生成对抗网络模型。在生成对抗网络模型中，截取边缘检测网络中的五个卷积 阶段输出的图像边缘特征以及最后输出的图像边缘检测结果，经过边缘特征处理 模块后，依次将其与超分辨率重建网络中得到的特征图相叠加，再嵌入到超分辨 率重建网络后续部分进行处理。此外，为了能够更加有效充分地利用丰富的边缘 信息，在融合了边缘信息的特征图后面添加了深度残差连接，结合从较粗到精细 的边缘信息，依次输入到超分辨率重建网络后端的卷积层进行信息整合，从而使 重建的高分辨率红外图像具有更加锐利的边缘细节信息，拥有更好的视觉效果。

附图说明

图1是本发明提出的生成对抗网络模型结构图。

图2是本发明中边缘检测网络的结构图。

图3是本发明中超分辨重建网络模型中的密集残差模块单元结构图。

图4是本发明中判别器网络的结构图。

图5是本发明超分辨率2倍得到的图像效果图。

图6是本发明超分辨率4倍得到的图像效果图。

具体实施方式

为了更加清楚地了解本发明，接下来结合附图以及具体实施例作进一步详细 的说明。

参照图1，一种融合边缘信息的红外图像超分辨率重建系统，包括生成对抗 网络模型，生成对抗网络模型由边缘检测网络，6个边缘特征处理模块和图像超 分辨率重建网络构成，边缘检测网络包括第一卷积阶段、第二卷积阶段、第三卷 积阶段、第四卷积阶段、第五卷积阶段共五个卷积阶段。图像超分辨率重建网络 由依次设置的一个输入端的卷积层、六个深度特征提取模块(深度特征提取模块 1、深度特征提取模块2、深度特征提取模块3、深度特征提取模块4、深度特征 提取模块5、深度特征提取模块6)、用于依次实现特征信息整合的6个卷积层、 亚像素卷积层、两个输出端的卷积层构成。第一卷积阶段输出的图像边缘特征图 经边缘特征处理模块1处理后与深度特征提取模块1提取的特征图相叠加得到融 合特征图X1，第二卷积阶段输出的图像边缘特征图经边缘特征处理模块2处理 后与深度特征提取模块2提取的特征图相叠加得到融合特征图X2，第三卷积阶 段输出的图像边缘特征图经边缘特征处理模块3处理后与深度特征提取模块3 提取的特征图相叠加得到融合特征图X3，第四卷积阶段输出的图像边缘特征图 经边缘特征处理模块4处理后与深度特征提取模块4提取的特征图相叠加得到融 合特征图X4，第五卷积阶段输出的图像边缘特征图经边缘特征处理模块5处理 后与深度特征提取模块5提取的特征图相叠加得到融合特征图X5；将五个卷积 阶段输出的图像边缘特征图串联在一起，最后经过一个1×1的卷积处理后得到 图像边缘检测结果，图像边缘检测结果经边缘特征处理模块6处理后与深度特征 提取模块6提取的特征图相叠加得到融合特征图X6，通过用于依次实现特征信 息整合的6个卷积层将融合特征图X6、融合特征图X5、融合特征图X4、融合特 征图X4、融合特征图X3、融合特征图X2融合特征图X1依次卷积整合之后，再 经亚像素卷积层、两个输出端的卷积层处理后输出。

本发明的一个较佳实施例，所述边缘检测网络如图2所示，包括五个卷积阶 段。第一卷积阶段由两个3×3-64卷积层、两个1×1-21卷积层、一个1×1卷 积层构成，3×3-64卷积层是包含了64个卷积核、大小为3×3的卷积层，1× 1-21卷积层是包含了21个卷积核、大小为1×1的卷积层，两个3×3-64卷积 层的输出分别进入两个1×1-21卷积层进行升维操作，两个1×1-21卷积层的输 出的特征叠加后进入1×1卷积层行降维处理，以此得到第一卷积阶段输出的图 像边缘特征图；两个3×3-64卷积层卷积的特征图输入至第二卷积阶段。

第二卷积阶段由两个3×3-128卷积层、两个1×1-21卷积层、一个1×1 卷积层和一个反卷积层构成，3×3-128卷积层是包含了128个卷积核、大小为3 ×3的卷积层。两个3×3-128卷积层的输出分别进入两个1×1-21卷积层进行 升维操作，两个1×1-21卷积层的输出的特征叠加后进入1×1卷积层行降维处 理，然后进入反卷积层，反卷积层将图像大小映射回原来的尺寸，最后输出得到 第二卷积阶段的图像边缘特征图。

第三卷积阶段由三个3×3-256卷积层、三个1×1-21卷积层、一个1×1 卷积层和一个反卷积层构成，3×3-256卷积层是包含了256个卷积核、大小为3 ×3的卷积层。三个3×3-256卷积层的输出分别进入三个1×1-21卷积层进行 升维操作，三个1×1-21卷积层的输出的特征叠加后进入1×1卷积层行降维处 理，然后进入反卷积层，反卷积层将图像大小映射回原来的尺寸，最后输出得到 第三卷积阶段的图像边缘特征图。

第四卷积阶段由三个3×3-512卷积层、三个1×1-21卷积层、一个1×1 卷积层和一个反卷积层构成，3×3-512卷积层是包含了512个卷积核、大小为3 ×3的卷积层。三个3×3-512卷积层的输出分别进入三个1×1-21卷积层进行 升维操作，三个1×1-21卷积层的输出的特征叠加后进入1×1卷积层行降维处 理，然后进入反卷积层，反卷积层将图像大小映射回原来的尺寸，最后输出得到 第四卷积阶段的图像边缘特征图。

第五卷积阶段由第一组三个3×3-512卷积层、第二组三个3×3-512卷积层、 一个1×1卷积层和一个反卷积层构成，第一组三个3×3-512卷积层的输出分别 进入第二组三个3×3-512卷积层进行升维操作，第二组三个3×3-512卷积层的 输出的特征叠加后进入1×1卷积层行降维处理，然后进入反卷积层，反卷积层 将图像大小映射回原来的尺寸，最后输出得到第五卷积阶段的图像边缘特征图。

将五个卷积阶段输出的图像边缘特征图串联在一起，最后经过一个1×1的 卷积处理后得到图像边缘检测结果。

本发明的一个较佳实施例，边缘特征处理模块是由4个卷积-激活模块所构 成，其中激活函数均采用ReLU，主要是用来调整图像边缘特征的通道数，以便 将边缘信息融合进入超分辨率重建的过程中。

本发明的一个较佳实施例，深度特征提取模块包含了4个密集残差模块。密 集残差模块结构如图3所示，在密集残差模块中堆叠了3个密集模块，在每个密 集模块前后通过残差连接融合输入与输出的特征信息，并且最后还添加了一条融 合密集模块的初始输入与最后输出的残差连接。每个密集模块都主要由5个卷积 层构成，除最后一个卷积层外，每个卷积层后都紧跟随着一个激活层，其中激活 函数均采用Leaky ReLU，然后采用密集网络的思想，通过密集连接将每一个层 的输出作为后面所有层额外的输入，从而提高了每个一卷积层输出特征的利用率。

本发明的生成对抗网络模型，输入的图像分别经过图像超分辨率重建网络和 边缘检测网络，输入的图像在图像超分辨率重建网络中首先经过一个卷积层和一 个深度特征提取模块1后，截取输入图像在边缘检测网络第一阶段的输出特征， 经过一个边缘特征处理模块1，将边缘特征处理模块1提取出的边缘特征信息与 图像超分辨率重建网络部分中深度特征提取模块1输出的特征图相融合，并且在 融合的特征图后添加残差连接，将其输入到网络后端的卷积层部分进行信息整合。 后续依次将边缘特征处理模块2至6输出的边缘特征信息，添加到深度特征提取 模块2至6输出的特征图中，并且将融合得到特征图通过残差连接输入至网络后 端的卷积层部分进行信息整合，通过这种混合网络模型的方式将丰富的图像边缘 信息引入到图像超分辨率重建过程中。

本发明的生成对抗网络模型，因为在超分辨率重建过程中引入了丰富的边缘 信息，也在一定程度上增加了模型训练的难度，所以为了保证模型训练的稳定性， 在超分辨率重建网络的中间再加入了深度残差连接，将融入了边缘信息，并经过 边缘特征处理模块的特征补充到网络的后半部分，然后通过6个卷积层来依次实 现特征信息的整合。在超分辨率重建网络的末端，本发明采用亚像素卷积来实现 图像分辨率的增加。将通过卷积整合后的特征图，再经过卷积层来增加特征图的 数量，接着输入至亚像素卷积层中，通过通道混洗的方式，将所有特征图上的像 素重新排列，从而增加图像的分辨率，最后再经过两个卷积层来控制输出图像的 通道数，保证输入图像与输出图像通道数的一致。

进一步优选，本发明的融合边缘信息的红外图像超分辨率重建系统，还包括 判别器，判别器主要就是用来辨别输入的图像是来自真实数据还是由生成对抗网 络模型输出的模拟数据，所述的判别器网络结构如图4所示，判别器网络输入的 是一幅图像，通过一系列特征提取的操作，然后根据学习到的图像特征最后输出 一个概率来描述输入图像的真伪。

本实施例提供一种融合边缘信息的红外图像超分辨率重建方法，步骤如下：

步骤一，红外图像需进行预处理，构建红外图像训练数据集。

本实施例采用两个红外图像数据集，其分辨率大小分别为640×512和 640×480，然后通过混合两个红外图像数据集，重新划分训练集、验证集和测试 集。然后将高分辨率红外图像通过双三次下采样得到对应的低分辨率红外图像， 接着再通过水平翻转、垂直翻转和旋转的方法扩充训练数据，并且将红外图像裁 剪至k×k尺寸的子图像以便输入到本发明方法中进行训练，建议k采用192。

步骤二、为了将图像边缘信息融入超分辨率重建过程中，首先需要单独训练 得到边缘检测网络，混合边缘检测网络与图像超分辨率重建网络，然后组成生成 对抗网络模型，从而实现边缘信息辅助图像的超分辨率重建。

对于输入的低分辨率红外图像l，一方面在经过图像超分辨率重建网络的一 个卷积层和第一个深度特征提取模块后得到特征图b

b

r

X

其中T

Y

上述公式表示将特征图X

Y

其中i的取值范围为2至6，因为图像超分辨率重建网络包含了6个深度特 征提取模块，所以在深度特征提取模块后半部分也通过6个卷积层来实现信息整 合。最后经过模型重建部分得到高分辨率红外图像h：

h＝f(f(UP(Y

其中Y

步骤三，将生成对抗网络模型输出的高分辨率红外图像输入至判别器中，判 别器通过一系列特征提取的操作，然后根据学习到的图像特征最后输出一个概率 来描述输入图像的真伪，主要过程如下：

输入的图像x首先经过两个堆叠的卷积层-激活层处理后得到特征图d：

d＝F(F(x)) (7)

其中F表示卷积和激活操作的集合，激活层均采用Leaky ReLU激活函数。 判别器网络中间部分由8个卷积模块所组成，每个卷积模块的机构均为卷积层 -BN层-激活层，该激活层也均采用Leaky ReLU激活函数，然后将得到的特征图 展开至一维空间上输入到全连接层，再经过一个激活层和一个全连接层输出概率 值：

g＝H

p＝C(σ(C(flatten(g)))) (9)

其中flatten表示拉平特征图的操作，g表示经过一系列卷积模块提取出来的 特征图，p表示判别器最后输出的概率,H表示卷积模块的处理过程,H的下标为 卷积模块的编号，C表示全连接层，σ代表激活函数，该激活函数采用Leaky ReLU。

步骤四，生成对抗网络模型参数更新。

整个生成对抗网络模型参数更新是交替进行的，首先固定生成对抗网络模型 网络参数，只更新判别器网络参数，然后再固定判别器网络参数更新生成对抗网 络模型，两者依次交替进行训练。本发明在训练时采用的损失函数如下：

L＝L

L

其中L为生成对抗网络模型的损失函数，该损失包含了三个部分，分别为感 知损失L

步骤五，输入低分辨率的图像至训练好的生成对抗网络模型中，然后输出重 建的高分辨率红外图像。

为了证明本发明的有效性，选取了多种超分辨率重建方法进行对比，为了保 证对比实验结果的公平性，所有方法均在相同的环境下进行训练及测试。本发明 结合评价指标和重建效果图来综合说明本发明方法的优越性，其中选取了更加符 合主观视觉效果的评价指标NIQE和LPIPS。

NIQE是一种无参考图像质量评价指标，它是利用一组质量感知特征，计算 输入图像与原始图库上提取出的特征之间的距离，从而来判断图像质量的高低， NIQE的值越小表示图像质量越好。

LPIPS是通过一个训练好的模型来计算真实图像和生成图像的感知距离：

其中φ(·)

各方法超分辨率2倍的NIQE和LPIPS评价指标结果对比：

从上表各方法的实验结果可以看出，在各对照方法中，本发明在NIQE和 LPIPS数值上均为最低，意味着本发明重建的图像质量最好。为了能直观地说明 本发明重建的图像拥有更好的视觉效果，于是从实验结果中选取了重建效果图来 直接进行视觉效果上的对比。图5和图6为展示的各方法重建效果图，从图5 中可以看出，只有本发明方法重建的图像能够较为准确地还原出图像中叶子部分 的纹理信息，其余对比方法容易出现叶子与叶子之间交错在一起的情况。在图6 中，可以看出本发明方法重建的图像能够有效复原小树的躯干部分。