一种基于小目标分布的实例级图像超分辨率方法及装置

技术领域

本发明涉及计算机视觉图像超分辨率技术领域，尤其涉及一种基于小目标分布的实例级图像超分辨率方法及装置。

背景技术

图像超分辨率技术是指从低分辨率(Low Resolution，LR)图像中重建高分辨率(High Resolution，HR)的图像，属于计算机视觉领域的底层任务。常被应用在高质量视频重建、医疗成像等专业领域。随着深度学习的快速发展，卷积神经网络(ConvolutionalNeural Network，CNN)广泛地被应用于超分辨率领域，相比于传统的超分辨率方法，基于卷积神经网络的超分辨率方法在性能上远远领先。然而，目前的基于卷积神经网络的超分辨率方法更偏向于去设计复杂精巧的网络结构来提升重建效果，导致最后的方法参数量大、推理时间长，因此难以应用于实际场景。同时，由于大量的计算量被用在对图像最终质量影响较小的区域，导致了计算资源的大量浪费，又因为超分辨率作为计算机视觉领域的底层任务，常常用于对输入图像进行信息增强，因而，针对性且差异化地增强后续任务感兴趣的区域也成为目前超分辨率领域的热点话题。

综上，亟需一种基于小目标分布的实例级图像超分辨率方法。

发明内容

本发明通过提供一种基于小目标分布的实例级图像超分辨率方法，解决了现有技术中超分辨率方法参数量大、推理时间长、计算资源利用率低、以及没能给后续高层视觉任务如目标检测、分割等任务带来有效增益的问题，实现了针对不同尺度、不同类别的小目标的精准定位，大大减少了无用的计算量，提高了计算资源的利用率。

第一方面，本发明提供了一种基于小目标分布的实例级图像超分辨率方法，该方法包括：

获取待检测特征图像，并对所述待检测特征图像进行下采样，得到下采样特征图像；

将所述采样特征图像输入至训练好的小目标实例级超分辨率模型中，对不同区域进行差异化重建，得到实例级超分辨特征图像；其中，所述小目标实例级超分辨率模型包括：编码器和解码器；所述编码器将所述下采样图像进行编码，得到标记区域单元位置信息特征图像；所述解码器根据所述标记区域单元位置信息特征图像中标注的复原难度，得到实例级超分辨特征图像。

结合第一方面，在一种可能的实现方式中，所述编码器将所述下采样图像进行编码，得到标记区域单元位置信息特征图像，具体包括；

所述编码器中基于特征金字塔的残差网络用于将所述下采样特征图像进行多层卷积操作，得到所述小目标分布特征图像；

所述编码器中下采样网络用于对所述小目标分布特征图像进行下采样，得到所述目标分布特征图像；

所述编码器中基于深度神经网络的分类头网络将所述目标分布特征图像划分为多个区域单元，并对每个区域单元的复原难度进行赋值，得到所述标记区域难度的特征图像；

所述编码器中基于深度神经网络的回归头网络用于结合所述目标分布特征图像与所述标记区域难度的特征图像，调整区域单元的位置，并将对应的位置信息添加至调整后的所述标记区域难度的特征图像上，得到标记区域单元位置信息特征图像。

结合第一方面，在一种可能的实现方式中，所述编码器的损失函数包括：编码损失函数以及定位损失函数；

所述编码损失函数具体表示为：

L

所述定位损失函数具体表示为：

其中，L

结合第一方面，在一种可能的实现方式中，所述解码器根据所述标记区域单元位置信息特征图像中标注的复原难度，对所述下采样图像的不同区域进行差异化重建，得到实例级超分辨特征图像，具体包括：

所述解码器中多个残差网络根据所述复原难度对所述标记区域单元位置信息特征图像进行解码，并对所述标记区域单元位置信息特征图像进行目标特征提取，得到目标特征图像；

所述解码器中多个上采样网络对所述目标特征图像进行多次上采样，得到解码超分辨率图像，所述解码超分辨率图像与所述待检测特征图像分辨率相同。

结合第一方面，在一种可能的实现方式中，所述解码器中的像素级重建损失函数，具体表示为：

其中，I

结合第一方面，在一种可能的实现方式中，对所述小目标实例级超分辨率模型进行训练，具体包括；

确定所述小目标实例级超分辨率模型中关于所述编码器和所述解码器的联合损失函数；

固定所述解码器的网络参数，利用样本集对所述小目标实例级超分辨率模型进行训练，得到最优编码器；

固定所述编码器的网络参数，利用样本集对所述小目标实例级超分辨率模型进行训练，得到最优解码器；

利用所述样本集对所述最优编码器与所述最优编码器联合训练，调整所述最优编码器与所述最优解码器的参数，确定训练好的所述小目标实例级超分辨率模型。

结合第一方面，在一种可能的实现方式中，所述联合损失函数，具体表示为：

L＝λ

其中，L

第二方面，本发明提供了一种基于小目标分布的实例级图像超分辨率装置，该装置包括：

下采样模块，用于获取待检测特征图像，并对所述待检测特征图像进行下采样，得到下采样特征图像；

超分辨处理模块，用于将所述采样特征图像输入至训练好的小目标实例级超分辨率模型中，对不同区域进行差异化重建，得到实例级超分辨特征图像；其中，所述小目标实例级超分辨率模型包括：编码器和解码器；所述编码器将所述下采样图像进行编码，得到标记区域单元位置信息特征图像；所述解码器根据所述标记区域单元位置信息特征图像中标注的复原难度，对所述下采样图像的不同区域进行差异化重建，得到实例级超分辨特征图像。

第三方面，本发明提供了一种基于小目标分布的实例级图像超分辨率服务器，该服务器包括存储器和处理器；

所述存储器用于储存计算机可执行指令；

所述处理器用于执行所述计算机可执行指令，以实现一种基于小目标分布的实例级图像超分辨率方法。

第四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质有可执行指令，计算机执行所述可执行指令时能够实现一种基于小目标分布的实例级图像超分辨率方法。

本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：

本发明通过采用了一种基于小目标分布的实例级图像超分辨率方法及装置，该方法包括：获取待检测特征图像，并对待检测特征图像进行下采样，得到下采样特征图像，下采样后能够减少计算量；将采样特征图像输入至训练好的小目标实例级超分辨率模型中，对不同区域进行差异化重建，得到实例级超分辨特征图像；其中，小目标实例级超分辨率模型包括：编码器和解码器；编码器将下采样图像进行编码，得到标记区域单元位置信息特征图像；通过深度神经网络学习样本集，通过不断减少真实属性与预测属性之间的误差使得网络的预测结果与真实结果相近；解码器根据标记区域单元位置信息特征图像中标注的复原难度，对下采样图像的不同区域进行差异化重建，得到实例级超分辨特征图像，解码器的设计中，考虑到大量计算资源被应用在后续目标识别、检测、以及分割等任务不关心的区域，采用多出口的网络结构结合参数复用的思想，对原始图像中不同重要性的区域进行差异化的超分辨率重建，从而大大减少了无用的计算量，提高了计算资源的利用率，有效解决了超分辨率方法参数量大、推理时间长、计算资源利用率低、以及没能给后续高层视觉任务如目标检测、分割等任务带来有效增益的问题，实现了针对不同尺度、不同类别的小目标的精准定位，大大减少了无用的计算量，提高了计算资源的利用率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于小目标分布的实例级图像超分辨率方法流程图；

图2为本发明实施例提供的传统的超分辨率方法和本发明提供的实例级超分辨率方法的对比图；

图3为本发明实施例提供的小目标分布的实例级图像超分辨率方法的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于小目标分布的实例级图像超分辨率方法，如图1所示该方法包括以下步骤S101至S102。

S101，获取待检测特征图像I

在本发明提供的一个具体的实施例中，通过现有公开的小目标检测数据集，具体基于现有研究的公开数据集VisDrone2019、DOTA、以及UAVDT。上述数据集大多来自无人机视角，其图像中目标小而密集，在目标检测领域一向是棘手的问题，很多现有目标检测方法通过多尺度训练或是超分辨率后进行检测的思路，在一定程度上取得了一些改进效果，然而，现有方法并没有深入且针对性地将超分辨率方法移植到目标检测、分割等领域，导致无法取得进一步的成效。针对上述数据集，使用Matlab的Bicubic下采样方法将原始高分辨率图像下采样为四分之一分辨率的低分辨率图像。具体的过程表示为：

I

其中，I

S102，将采样特征图像输入至训练好的小目标实例级超分辨率模型中，得到实例级超分辨特征图像；其中，小目标实例级超分辨率模型包括：编码器和解码器；编码器将下采样图像进行编码，得到标记区域单元位置信息特征图像；解码器根据标记区域单元位置信息特征图像中标注的复原难度，对下采样图像的不同区域进行差异化重建，得到实例级超分辨特征图像。

在步骤S102中，编码器将下采样图像进行编码，得到标记区域单元位置信息特征图像，编码器是基于深度神经网络的编码器，具体包括以下步骤。

(1)编码器中基于特征金字塔的残差网络用于将下采样特征图像进行多层卷积操作，得到小目标分布特征图像。在此步骤中，将S101中得到的下采样特征图像I

F＝FPN(I

其中，FPN(·)表示基于特征金字塔的残差网络；F表示小目标分布特征图像。

在此步骤中，特征金字塔是一种具有多尺度信息的由多个卷积层组成的深度神经网络特征提取器，多用于目标检测、分割等领域。基于特征金字塔的残差网路利用更少的计算量，为深度神经网络特征提取引入了多尺度特征，从而优化了网络在不同尺度分布的目标上的检测识别。

(2)编码器中下采样网络用于对小目标分布特征图像进行下采样，得到目标分布特征图像。在此步骤中，将得到的小目标分布特征图经过一个下采样网络，下采样网络由三层下采样卷积块组成，每个下采样卷积块分别包含一个卷积核大小为1×1，步长为2的卷积层和通道数为64的批归一化层，输出一个尺寸为

F′＝DownSampling(F)

其中，DownSampling(·)表示下采样网络；F′表示目标分布特征图像。

(3)编码器中基于深度神经网络的分类头网络将目标分布特征图像划分为多个区域单元，并对每个区域单元的复原难度进行赋值，得到标记区域难度的特征图像。在此步骤中，将目标分布特征图像F′输入至基于深度神经网络的分类头网络中，基于深度神经网络的分类头网络由三个残差卷积块以及一层卷积核大小为3×3的卷积层组成，每个残差卷积块包含1个卷积核大小为3×3的卷积层以及一个ReLU激活函数，输出一个尺寸为

Cls

其中，ClsHead(·)表示基于深度神经网络的分类头；Cls

(4)编码器中基于深度神经网络的回归头网络用于结合目标分布特征图像与标记区域难度的特征图像，调整区域单元的位置，并将对应的位置信息添加至调整后的标记区域难度的特征图像上，得到标记区域单元位置信息特征图像。在此步骤中，具体包括，基于深度神经网络的回归头网络是由三个残差卷积块以及一层卷积核大小为3×3的卷积层组成，每个残差卷积块包含1个卷积核大小为3×3的卷积层以及一个ReLU激活函数，输出一个尺寸为

Reg

式中，RegHead(·)表示基于深度神经网络的回归头，Reg

在本发明提供的一个具体的实施例中，帮助编码器来建模小目标分布的损失函数，是考虑到仅仅通过简单的目标检测领域常用损失函数去约束训练目标，在小目标的尺度上无法达到最优。替换为编码损失与定位损失函数不仅能在网络训练时帮助收敛，同时也能更精准地分类并定位小目标的具体信息，有助于后续差异化的超分辨率重建过程。

编码损失函数具体表示为：

L

定位损失函数具体表示为：

其中，L

在编码损失函数中，p

其中，y表示表示原始低分辨率图像中真实目标的标签；p表示原始低分辨率图像中真实目标的标签对应的概率值。

在定位损失函数中，权衡参数α具体表示为：

长宽比一致性参数V具体表示为：

其中：w

损失函数是针对目标检测网络训练过程中正负样本不均衡的问题进行了优化，通过人为定义损失函数去平衡分类问题中不同类别的样本数量差异在目标检测领域取得了有效的成果。

在步骤S102中，解码器将标记区域单元位置信息特征图像中标注的复原难度进行差异化重建，得到实例级超分辨特征图像，具体包括：

(1)解码器中多个残差网络根据复原难度对标记区域单元位置信息特征图像进行解码，并对标记区域单元位置信息特征图像进行目标特征提取，得到目标特征图像。在此步骤中，具体包括根据标记区域单元位置信息特征图像Reg

(2)解码器中多个上采样网络对目标特征图像进行多次上采样，得到解码超分辨率图像，解码超分辨率图像与待检测特征图像分辨率相同。在此步骤中，具体包括，将经过残差网络的图像继续进行经过两个上采样卷积块，每个上采样卷积块包含一个卷积核大小为3×3的卷积层以及一个PixelShuffle层用于空间分辨率的扩大。

具体使用公式表示为：

其中，MultiExit(·)表示多出口网络解码器，包括多个残差网络和多个上采样网络；Reg

如图2所示为传统的超分辨率方法和本发明提供的实例级超分辨率方法的对比图。

多出口网络结构可用于深度神经网络的特征提取与输出，对于容易分类的图像只经过浅层的神经网络，而难以分类的图像则经过更深的神经网络，从而针对不同分类难度进行了差异化的特征提取与重建。

解码器中的像素级重建损失函数，具体表示为：

其中，I

像素级重构损失多用于超分辨率领域，通过像素级重建损失函数拉近原始高分辨率图像与重建后的超分辨率图像之间的像素级差值，实现了约束网络学习到样本集中的像素分布特征。针对过去的损失函数难以收敛的问题，添加了一个调和因子∈，用来避免损失为0的情况出现，从而避免了模型训练陷入停滞。

对小目标实例级超分辨率模型进行训练，具体包括以下步骤S201至S204。

S201，确定小目标实例级超分辨率模型中关于编码器和解码器的联合损失函数。在步骤S201中，联合损失函数，具体表示为：

L＝λ

其中，L

S202，固定解码器的网络参数，利用样本集对小目标实例级超分辨率模型进行训练，得到最优编码器。该阶段只对编码器进行训练，采用样本集以及编码损失函数L

样本集为根据步骤S102处理的现有数据样本。

S203，固定编码器的网络参数，利用样本集对小目标实例级超分辨率模型进行训练，得到最优解码器。该阶段只对解码器进行训练，只对基于参数复用的多出口网络结构的解码器的网络参数进行更新。该阶段只是用像素级重建损失函数对模型进行训练，其参数λ

S204，利用样本集对最优编码器与最优编码器联合训练，调整最优编码器与最优解码器的参数，确定训练好的小目标实例级超分辨率模型。在步骤S204中，同时训练编码器以及解码器。训练策略与S202和S203相同。

如图3所示，为本发明提供的一个具体使用的流程示意图。

本发明还提供了评价指标。主要集中于在实际目标存在的区域内计算常用的图像质量指标PSNR与SSIM，使得这些指标更能体现本发明提出的基于小目标分布的实例级图像超分辨率方法在后续高层视觉任务中带来的显著提升，相比传统图像质量衡量指标，更能反映方法的有效性，具体做法如下：

(1)提出目标框内峰值信噪比指标，具体计算公式如下：

其中，MSE表示重建后的超分辨率图像和原始高分辨率图像在目标框内的均方误差值；其计算公式如下：

其中，H

(2)提出目标框内结构一致性指标，具体计算公式如下：

其中，μ

(3)提出相对信息增益指标，具体计算公式如下：

其中，PSNR

综上所述，针对现有的超分辨率方法参数量大、推理时间长、计算资源利用率低、以及没能给后续高层视觉任务如目标检测、分割等任务带来有效增益的问题，本发明提出的方法中，基于深度神经网络的编码器结合用于建模小目标分布的损失函数，在有限的参数量下实现了针对不同尺度、不同类别的小目标的精准定位。在自定义的解码器的设计中，考虑到大量计算资源被应用在后续目标识别、检测、以及分割等任务不关心的区域，采用多出口的网络结构结合参数复用的思想，对原始图像中不同重要性的区域进行差异化的超分辨率重建，从而大大减少了无用的计算量，提高了计算资源的利用率。本发明拓展了现有超分辨率方法在后续高层视觉任务的深度应用，为实现更精准的对不同区域的差异化重建提供了更好的思路与方法。

下面给出实验结果分析：实验结果分析分别采用针对图像质量评估的PSNR、SSIM；针对小目标信息增强的图像质量评估指标PSNR

表1三种基准小目标检测数据集上的超分辨率客观对比结果

表2部分方法的计算复杂度客观对比结果

实验结果表明，在上述小目标检测领域的大量基准数据集上，本方法在小目标信息增强的能力上都远超现存方法，同时保持了更少的参数量与计算复杂度。其原因在于，本方法利用自定义轻量的基于深度神经网络的编码器结合用于建模小目标分布的损失函数，在有限的参数量下实现了针对不同尺度、不同类别的小目标的精准定位。在自定义的解码器的设计中，考虑到大量计算资源被应用在后续目标识别、检测、以及分割等任务不关心的区域，采用多出口的网络结构结合参数复用的思想，对原始图像中不同重要性的区域进行差异化的超分辨率重建，从而大大减少了无用的计算量，提高了计算资源的利用率。

本发明提供了一种基于小目标分布的实例级图像超分辨率装置，该装置包括：下采样模块和超分辨处理模块。

下采样模块，用于获取待检测特征图像，并对待检测特征图像进行下采样，得到下采样特征图像。

超分辨处理模块，用于将采样特征图像输入至训练好的小目标实例级超分辨率模型中，得到实例级超分辨特征图像；其中，小目标实例级超分辨率模型包括：编码器和解码器；编码器将下采样图像进行编码，得到标记区域单元位置信息特征图像；解码器根据标记区域单元位置信息特征图像中标注的复原难度，对下采样图像的不同区域进行差异化重建，得到实例级超分辨特征图像。

上述实施例阐明的装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。当然，也可以将实现某功能的模块由多个子模块或子单元组合实现。

本发明中所述的方法、装置或模块可以以计算机可读程序代码方式实现控制器按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(英文：Application Specific Integrated Circuit；简称：ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本发明所述装置中的部分模块可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本发明提供了一种基于小目标分布的实例级图像超分辨率服务器，该服务器包括存储器和处理器；存储器用于储存计算机可执行指令；处理器用于执行计算机可执行指令，以实现一种基于小目标分布的实例级图像超分辨率方法。

本发明提供了一种计算机可读存储介质，计算机可读存储介质有可执行指令，计算机执行可执行指令时能够实现一种基于小目标分布的实例级图像超分辨率方法。

上述存储介质包括但不限于随机存取存储器(英文：Random Access Memory；简称：RAM)、只读存储器(英文：Read-Only Memory；简称：ROM)、缓存(英文：Cache)、硬盘(英文：Hard Disk Drive；简称：HDD)或者存储卡(英文：Memory Card)。所述存储器可以用于存储计算机程序指令。

虽然本发明提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。本实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照本实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，也可以通过数据迁移的实施过程中体现出来。该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施方式采用递进的方式描述，各个实施方式之间相同或相似的部分互相参见即可，每个实施方式重点说明的都是与其他实施方式的不同之处。本发明的全部或者部分可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、移动通信终端、多处理器系统、基于微处理器的系统、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

以上实施例仅用以说明本发明的技术方案，而非对本发明限制；尽管参照前述实施例对本发明进行了详细的说明，本领域普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明技术方案的范围。