基于层次特征融合的矿井图像超分辨率重建方法及系统

技术领域

本发明涉及图像重建技术领域，具体涉及基于层次特征融合的矿井图像超分辨率重建方法及系统。

背景技术

矿井图像主要是指利用矿井环境下的摄像机或者传感器采集得到的数字图像资源，常被广泛用于煤矿的生产管理、行为识别、安全检测等各个方面，其反映的信息对煤矿的生产作业和人员管理都起到至关重要的作用，由于矿井环境多为无光或微弱光线条件，且拍摄设备硬件条件不统一，因此对矿井图像的亮度、对比度和分辨率等方面需要进行重建等特殊处理。

矿井图像超分辨率重建技术是指利用深度学习相关算法，从低分辨率的矿井图像中重建出高分辨率的矿井图像的技术，通过重建高分辨率矿井图像，可以提高图像的质量，使得图像细节和纹理信息更加清晰，对安全监测和和矿山勘探等工作非常有帮助，当前，矿井图像超分辨率重建技术的相关方法通常由以下四个步骤组成：第一，图像预处理：对低分辨率图像进行预处理操作，包括图像增强等；第二，模型搭建：搭建网络模型，主要包括浅层特征提取模块、深层特征提取模块和特征重建模块三个部分；第三，模型训练和优化：基于预处理后的数据集，对已搭建的模型进行训练和优化；第四，超分辨率重建：基于训练得到的最优模型，将低分辨率矿井图像映射为高分辨率矿井图像，得到最终结果。

专利公开号为：CN115239564B的专利文件公开了一种结合语义信息的矿井图像超分辨率重建方法，其主要目的是通过语义分割网络所产生的概率图对超分辨率网络的深层特征提取前的输入进行调整，以此达到提高图像重建质量的结果。

当前多数方案中图像超分辨率重建模型多为简单堆叠大量基本模块，不仅忽视高低频信息关系，且结构复杂、参数量巨大，难以应用于矿井生产作业中，现存的问题具体来说主要为以下两点：

第一，现有的超分辨率网络多是通过大量重复增加网络基本模块来加深网络的层数和提取图像的深层特征，这会导致会模型的参数量和复杂度大幅增加，进而模型的训练和推理时间也显著增加，从而不仅会使网络模型的参数量增大和运行速度降低，更使得其难以在生产生活中得到广泛应用，难以广泛应用于复杂矿井环境下的移动端或边缘设备；

第二，特征融合过程中多为简单平等地对不同层次的图像特征进行拼接或者像素相加，忽视了不同层次图像特征的作用和相互之间的关系，使得在图像重建的最后阶段仅有少量高频信息对重建起作用，而多量重复性和冗余性的低频信息被反复处理，扰动图像重建，模型难以关注和重点学习对重建效果贡献较高的高频信息，使得矿井图像重建质量下降，这一问题在图像边缘和纹理等细节部分会显得尤其明显。

发明内容

为了克服上述的技术问题，本发明的目的在于提供基于层次特征融合的矿井图像超分辨率重建方法及系统，该系统可重点关注高低频信息之间的关系，实现层次特征融合，且高频细节信息指导低频信息的利用，同时保持模型的轻量化，使得模型能够在矿井等复杂环境下仍具有较高的应用价值。

本发明的目的可以通过以下技术方案实现：

基于层次特征融合的矿井图像超分辨率重建方法，该重建方法通过将低分辨率图像I

重建方法包括以下步骤：

步骤一、浅层特征提取模块对输入重建网络模型的低分辨率图像I

步骤二、由深层特征提取模块进一步提取图像的深层特征，深层特征提取模块由一个多分支的层次特征融合残差块HFFRB和三个基本的自适应残差块ARB构成，其中，层次特征融合残差块HFFRB中包含三个无注意力模块ESA的自适应残差块ARB；

步骤三，根据得到的深层特征进行层次特征融合，并基于层次特征融合利用图像高频信息指导低频信息进行学习和特征融合，提升重建网络模型的学习效率；

步骤四，通过特征重建模块实现高分辨率矿井图像的重建，特征重建模块，由一层3×3卷积层和主要由pixelshuffle函数组成的上采样模块构成，用于将得到的浅层和深层特征进行融合，生成并输出高分辨率矿井图像的重建结果。

进一步在于，浅层特征提取模块由一层3×3卷积层构成，步骤一中，当低分辨率图像I

式中，F

进一步在于，步骤二中，在深层特征提取模块中，层次特征融合残差块HFFRB和自适应残差块ARB按照次序排列后依次序对经过浅层特征提取模块处理的图像特征进行深度特征提取，得到深度特征信息，层次特征融合残差块HFFRB排列在第一个自适应残差块ARB后，第二个和第三个自适应残差块ARB排列在层次特征融合残差块HFFRB后，深度特征提取过程如下：

式中，F

进一步在于，步骤三中，对得到的深度特征信息进行层次特征融合，指定第一个自适应残差块ARB基本模块的输出和层次特征融合残差块HFFRB基本模块的输出进行融合，得到第一阶段的深度特征，指定第二个和第三个自适应残差块ARB基本模块的输出进行融合，得到第二阶段的深度特征，层次特征融合过程如下：

式中，F

进一步在于，利用得到的高频特征F

F

式中，F

进一步在于，自适应残差块ARB由残差结构和注意力模块ESA构成，输出的图像特征数据通过注意力模块ESA得到最终输出：

残差结构包括两层3×3卷积层、两层1×1卷积层和GELU激活函数；

其中，第一层3×3卷积层用于统一数据维度，将模块的输入数据的通道数整合为所设计的通道数，第二层3×3卷积层为分组卷积，用于进一步提取图像深层特征，保证模型的参数量较低；

第一层1×1卷积层的功能为升维，将数据的通道数拓展为原来的4倍，第二层1×1卷积层的功能为降维，将数据的通道数再缩减为原来的数量；

GELU激活函数设计在两层1×1卷积层的中间，用于提高高维数据的计算效率并加快网络模型的收敛速度；

图像特征数据输入注意力模块ESA后，先通过第一个1×1卷积层，减少输入数据的通道数维度，随后注意力模块ESA使用跳步卷积和最大池化层来减小特征图的大小，并通过一个包含三层3×3卷积层的卷积群来进一步提取图像的深度特征，接着基于插值的上采样以恢复原始特征图的大小，再同第一个卷积层的输出构成残差结构，然后利用最后一层1×1卷积层实现数据通道数的复原，再通过Sigmoid函数生成最终的注意力掩码，该掩码与注意力模块ESA的输入进行逐像素相乘以得到该模块的最终输出。

进一步在于，层次特征融合残差块HFFRB由特征融合结构和残差结构构成，层次特征融合残差块HFFRB先通过一个3×3卷积层来实现对输入数据通道数统一化的处理，接着数据进入四个分支结构进行进一步的处理，其最终输出由四个不同分支逐像素相加而成：

主分支结构，主要由3个去除注意力模块ESA的自适应残差块ARB串联构成，过程如下：

式中，

分支一结构，通过主分支结构得到的最终输出F

F″

分支二结构，为第一层3×3卷积层通过跳跃直连得到，与F′

分支三结构，为具有HFF层次特征融合结构的分支，过程如下：

式中，

特征融合结构的分支首先对主分支上的特征图F′

式中，H

Overscaling模块的基本框架为残差结构，其主分支由2层3×3卷积层、上采样模块、下采样操作和Sigmoid函数串联构成，过程如下：

式中，pixelsh uffle(·)函数主要为上采样模块所包含的亚像素卷积操作，bicubic

最终通过逐像素相加操作得到HFFRB模块的最终输出，过程如下：

式中，λ

进一步在于，步骤四中，上采样模块先利用3×3卷积层将特征图的通道数拓展为原先的r

式中，pixelsh uffle(·)表示上采样模块所学习到的映射函数。

进一步在于，通过对已搭建的重建网络模型进行训练优化以实现最终的图像重建工作，待处理的低分辨率图像I

式中，H

基于层次特征融合的矿井图像超分辨率重建系统，该重建系统通过将低分辨率图像I

本发明的有益效果：

1、相较于传统方法，本技术方案摒弃常用的重复堆叠基本模块以搭建网络框架的方式，减少如注意力模块ESA这类基本模块的使用数量并引用多层次特征融合模块，可以在保持网络轻量化特点的同时更好地利用层次特征，充分学习图像的特征信息，此外，模型的参数量大幅减少，推理速度得到提升，更好地应用于矿井生产作业；

2、本方案通过引入和改进多层次特征融合模块使得重建网络模型获得更丰富的特征信息，充分挖掘不同层次的特征信息和语义信息，从而进一步提高模型的表达能力，有效提高图像的重建质量；

3、本方案所提出的方法及系统重新整合各模块所学习的特征信息，用网络学习到的图像高频信息指导低频信息的学习，使得网络可以更好地探索高低频信息之间地关系，并更专注于蕴含边缘、纹理等丰富细节的高频信息，使得图像重建效果得到进一步的提升，模型的重建性能也进一步增强。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明中矿井图像超分辨率重建方法的整体框架图；

图2是本发明中矿井图像超分辨率重建方法的整体流程图；

图3是本发明中自适应残差块ARB的模块结构图；

图4是本发明中注意力模块ESA的模块结构图；

图5是本发明中层次特征融合残差块HFFRB的模块结构图；

图6是本发明中Overscaling的模块结构图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1、图2、图3、图4、图5、图6所示，基于层次特征融合的矿井图像超分辨率重建方法，该重建方法通过将低分辨率图像I

其中，浅层特征提取模块由一层3×3卷积层构成；

深层特征提取模块由一个多分支的层次特征融合残差块HFFRB和三个基本的自适应残差块ARB构成，其中，层次特征融合残差块HFFRB中包含三个无注意力模块ESA的自适应残差块ARB；

特征重建模块由一层3×3卷积层和主要由pixelshuffle函数组成的上采样模块构成。

重建方法包括以下步骤：

步骤一、浅层特征提取模块对输入重建网络模型的低分辨率图像I

式中，F

步骤二、由深层特征提取模块进一步提取图像的深层特征，在深层特征提取模块中，层次特征融合残差块HFFRB和自适应残差块ARB按照次序排列后依次序对经过浅层特征提取模块处理的图像特征进行深度特征提取，得到深度特征信息；

上述次序排列为，层次特征融合残差块HFFRB排列在第一个自适应残差块ARB后，第二个和第三个自适应残差块ARB排列在层次特征融合残差块HFFRB后，浅层特征输入深层特征提取模块后，依上述次序对其进行进一步的深度特征提取，最终得到深度特征信息，深度特征提取过程如下：

式中，F

步骤三，根据得到的深层特征进行层次特征融合，指定第一个自适应残差块ARB基本模块的输出和层次特征融合残差块HFFRB基本模块的输出进行融合，得到第一阶段的深度特征，指定第二个和第三个自适应残差块ARB基本模块的输出进行融合，得到第二阶段的深度特征，其中，第二阶段深度特征为高频特征F

式中，F

相较于第一阶段的深度特征，第二阶段的深度特征具有更多的纹理、细节等高频信息，由于第一阶段的深度特征介于浅层特征和深层特征之间，因此会重复包含两者的部分信息，进而将得到的第二阶段深度特征用于指导其学习和融合以大幅提高该重建网络模型的学习效率，使得该模型可以高效整合高低频信息，并更专注于蕴含纹理等丰富细节的高频信息，使得图像重建效果得到增强，模型推理速度也得到提高；

利用得到的高频特征F

F

式中，F

步骤四，通过特征重建模块实现高分辨率矿井图像的重建，特征重建模块用于将得到的浅层和深层特征进行融合，生成并输出高分辨率矿井图像的重建结果；

上采样模块是实现图像超分辨率重建的最关键一步，其核心是实现将H×W×C大小的特征图的长、宽扩大r倍，变为rH×rW×C大小，其实现方法为：上采样模块先利用3×3卷积层将特征图的通道数拓展为原先的r

式中，pixelshuffle(·)表示上采样模块所学习到的映射函数。

上采样模块前的3×3卷积层可以进一步降噪和平滑输入特征图从而提高超分辨率算法的表现，以及帮助随后的上采样模块生成更好的高分辨率图像。

基于上述对重建网络模型组成部分的具体说明，可实现本发明所提出的矿井图像超分辨率重建模型的搭建，随后可通过对已搭建的重建网络模型进行训练优化以实现最终的图像重建工作，步骤如下：将待处理的低分辨率图像I

式中，H

由于L1损失函数对误差值的绝对值较为敏感，能够更好地惩罚像素级别的错误，这样在图像重建过程中可以让模型保留更多的高频细节，同时它不易受异常值的影响，能够有效增强模型的鲁棒性。

本方法通过多层次特征融合模块的引入和改进，可以充分学习所提取的特征信息，有效减少模块数量和参数量，保证图像重建质量的同时大幅提升模型训练和推理的速度，使得其可以更好地应用于矿井环境中，不仅如此，本方法还能充分利用重建网络模型所学习到的图像高频信息，并用其指导低频信息的学习，使得模型可以高效整合高低频信息，并更专注于蕴含纹理等丰富细节的高频信息，使得图像重建效果得到进一步的增强，提升模型的重建性能，更好地应用于矿井生产作业。

本方案中，自适应残差块ARB由残差结构和注意力模块ESA构成，输出的图像特征数据通过注意力模块ESA得到最终输出：

如图3所示，残差结构包括两层3×3卷积层、两层1×1卷积层和GELU激活函数，图中的λ

其中，第一层3×3卷积层用于统一数据维度，将模块的输入数据的通道数整合为所设计的通道数，第二层3×3卷积层为分组卷积，用于进一步提取图像深层特征，保证模型的参数量较低；

第一层1×1卷积层的功能为升维，将数据的通道数拓展为原来的4倍，第二层1×1卷积层的功能为降维，将数据的通道数再缩减为原来的数量；

GELU激活函数设计在两层1×1卷积层的中间，用于提高高维数据的计算效率并加快网络模型的收敛速度；

从第二层1×1卷积层得到的输出将和第一层3×3卷积层的输出在自适应参数的调节下，进行逐像素相加操作以构成残差结构，其中自适应参数λ

随后，图像特征数据输入注意力模块ESA，如图4所示，由于网络中大量使用注意力模块ESA，因此本方案设计时的一个主要目标就是减少模型参数量，这里先通过第一个1×1卷积层，减少输入数据的通道数维度，随后注意力模块ESA使用跳步卷积和最大池化层来减小特征图的大小，并通过一个包含三层3×3卷积层的卷积群来进一步提取图像的深度特征，接着基于插值的上采样以恢复原始特征图的大小，再同第一个卷积层的输出构成残差结构，然后利用最后一层1×1卷积层实现数据通道数的复原，再通过Sigmoid函数生成最终的注意力掩码，该掩码与注意力模块ESA的输入进行逐像素相乘以得到该模块的最终输出。

如图5所示，本方案中，层次特征融合残差块HFFRB由特征融合结构和残差结构构成，层次特征融合残差块HFFRB先通过一个3×3卷积层来实现对输入数据通道数统一化的处理，接着数据进入四个分支结构进行进一步的处理，其最终输出由四个不同分支逐像素相加而成，图中的λ

主分支结构，主要由3个去除注意力模块ESA的自适应残差块ARB串联构成，过程如下：

式中，

分支一结构，通过主分支结构得到的最终输出F

F″

分支二结构，为第一层3×3卷积层通过跳跃直连得到，与F′

分支三结构，为具有HFF层次特征融合结构的分支，过程如下：

式中，

特征融合结构的分支首先对主分支上的特征图F′

式中，H

如图6所示，Overscaling模块的基本框架为残差结构，其主分支由2层3×3卷积层、上采样模块、下采样操作和Sigmoid函数串联构成，过程如下：

式中，pixelsh uffle(·)函数主要为上采样模块所包含的亚像素卷积操作，bicubic

基于上述说明和分析，引入自适应参数，最终通过逐像素相加操作得到层次特征融合残差块HFFRB的最终输出，过程如下：

式中，λ

基于层次特征融合的矿井图像超分辨率重建系统，该重建系统通过将低分辨率图像I

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上内容仅仅是对本发明所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。