图像超分辨率方法、装置、设备及存储介质

技术领域

本申请属于图像处理技术领域，尤其涉及一种图像超分辨率方法、装置、设备及存储介质。

背景技术

超分辨率技术用于从给定的低分辨率图像恢复高分辨率图像。一般情况下，图像分辨率越高，图像中包含的细节就越多，信息量也越大。在电子图像领域，人们往往期望获得高分辨率图像，但由于设备、传感器等原因，得到的图像可能是低分辨率图像，这种情况下，也就需要利用超分辨率技术从低分辨率图像恢复高分辨率图像，来满足人们对高分辨率图像的需求。

相关技术中，通常采用基于深度学习的超分辨率方法，即采用基于深度学习构建的超分辨率网络模型对低分辨率图像进行处理，以生成对应的高分辨率图像。目前，普遍使用的超分辨率网络模型包括SRResNet或CARN等，但是由于这些超分辨率网络模型不能很高效地利用特征，因此通常需要很大的参数量和计算量。

发明内容

本申请实施例提供了一种图像超分辨率方法、装置、设备及存储介质，可以解决相关技术中的超分辨率网络模型不能很高效地利用特征，需要很大的参数量和计算量的问题，提高了超分性能的同时能为用户提供更加高质量的视觉体验。

第一方面，本申请实施例提供了一种图像超分辨率方法，包括：

获取第一图像，所述第一图像的分辨率为第一分辨率；

将所述第一图像输入到超分辨率网络模型中进行处理，得到第二图像，所述第二图像的分辨率为第二分辨率，且所述第二分辨率大于所述第一分辨率，所述超分辨率网络模型是采用像素注意力机制的网络模型，所述像素注意力机制用于为输入特征图中的每个像素生成对应的权重。

可选地，所述像素注意力机制用于通过指定卷积层对输入特征图进行卷积处理，生成所述输入特征图的三维注意力图，所述输入特征图的三维注意力图包括所述输入特征图的通道信息、所述输入特征图中每个像素的位置信息以及每个像素的权重。

可选地，所述指定卷积层为1*1卷积层。

可选地，所述超分辨率网络模型包括：特征提取模块、非线性映射模块和重建模块，所述非线性映射模块和重建模块中的至少一种采用所述像素注意力机制。

可选地，所述将所述第一图像输入到超分辨率网络模型中进行处理，得到第二图像，包括：

将所述第一图像输入到所述特征提取模块中，通过所述特征提取模块对所述第一图像进行特征提取，得到第一特征图；

将所述第一特征图输入到所述非线性映射模块中，通过所述非线性映射模块对所述第一特征图进行非线性映射，得到第二特征图；

将所述第二特征图输入到所述重建模块中，通过所述重建模块对所述第二特征图进行重建，得到第三特征图，基于所述第三特征图生成所述第二图像。

可选地，所述非线性映射模块包括多个指定自校正卷积块，所述指定自校正卷积块是指采用像素注意力机制的自校正卷积块；

所述通过所述非线性映射模块对所述第一特征图进行非线性映射，得到第二特征图，包括：

通过所述多个指定自校正卷积块，对所述第一特征图进行非线性映射，得到所述第二特征图。

可选地，所述多个指定自校正卷积块中的第一自校正卷积块至少包括第一卷积层、第二卷积层、第三卷积层、第一像素注意力层、第四卷积层、第五卷积层和融合层，所述第一自校正卷积块为所述多个指定自校正卷积块中的任一个；

所述通过所述多个指定自校正卷积块，对所述第一特征图进行非线性映射，包括：

对于所述第一自校正卷积块，通过所述第一卷积层和所述第二卷积层分别对第一输入特征图进行特征图分割，得到第一分割图和第二分割图；

其中，若所述第一自校正卷积块为所述多个指定自校正卷积块中的第一个指定自校正卷积块，则所述第一输入特征图为所述第一特征图，若所述第一自校正卷积块为所述多个指定自校正卷积块中除第一个指定自校正卷积块之外的其他指定自校正卷积块，则所述第一输入特征图为所述第一自校正卷积块的上一个指定自校正卷积块输出的特征图；

将所述第一分割图输入到所述第三卷积层中进行卷积处理，得到第四特征图，以及将所述第一分割图输入到所述第一像素注意力层中进行处理，生成所述第一分割图中每个像素的权重，基于所述第一分割图中每个像素的权重和所述第四特征图，生成第五特征图，将所述第五特征图输入至所述第四卷积层进行卷积处理，得到第六特征图；

将所述第二分割图输入到所述第五卷积层进行卷积处理，得到第七特征图；

将所述第六特征图和所述第七特征图输入到所述融合层进行特征图融合，得到第八特征图，基于所述第八特征图生成所述第一自校正卷积块的输出特征图。

可选地，所述第一像素注意力层包括指定卷积层；

所述将所述第一分割图输入至所述第一像素注意力层中进行处理，生成所述第一分割图中每个像素的权重，包括：

将所述第一分割图输入到所述指定卷积层中进行卷积处理，生成所述第一分割图的三维注意力图，所述第一分割图的三维注意力图包括所述第一分割图的通道信息、所述第一分割图中每个像素的位置信息和每个像素的权重。

可选地，所述第一像素注意力层包括指定卷积层和第一逻辑回归层；

所述将所述第一分割图输入至所述第一像素注意力层中进行处理，生成所述第一分割图中每个像素的权重，包括：

将所述第一分割图输入到所述指定卷积层中进行卷积处理，生成所述第一分割图的三维注意力图，所述第一分割图的三维注意力图包括所述第一分割图的通道信息、所述第一分割图中每个像素的位置信息和每个像素的权重；

将所述第一分割图的三维注意力图输入到所述第一逻辑回归层，通过所述第一逻辑回归层对所述第一分割图中每个像素的权重进行逻辑回归处理。

可选地，所述重建模块包括多个指定上采样卷积块，所述指定上采样卷积块是指采用像素注意力机制的上采样卷积块；

所述通过所述重建模块对所述第二特征图进行重建，得到所述第三特征图，包括：

通过所述多个指定上采样卷积块，对所述第二特征图进行重建，得到所述第三特征图。

可选地，所述多个指定上采样卷积块中的第一上采样卷积块包括上采样层、第六卷积层、第二像素注意力层和第七卷积层，所述第一上采样卷积块为所述多个指定上采样卷积块中的任一个；

所述通过所述多个指定上采样卷积块，对所述第二特征图进行重建，包括：

对于所述第一上采样卷积块，通过所述上采样层对第二输入特征图进行放大处理，得到第九特征图；

其中，若所述第一上采样卷积块为所述多个指定上采样卷积块中的第一个指定上采样卷积块，则所述第二输入特征图为所述第二特征图，若所述第一上采样卷积块为所述多个指定上采样卷积块中除第一个指定上采样卷积块之外的其他指定上采样卷积块，则所述第二输入特征图为所述第一上采样卷积块的上一个指定上采样卷积块输出的特征图；

将所述第九特征图输入到所述第六卷积层进行卷积处理，得到第十特征图；

将所述第十特征图输入到所述第二像素注意力层进行处理，生成所述第十特征图中每个像素的权重，基于所述第十特征图中每个像素的权重和所述第十特征图生成第十一特征图；

将所述第十一特征图输入至所述第七卷积层进行卷积处理，得到所述第一上采样卷积块的输出特征图。

可选地，所述第二像素注意力层包括指定卷积层；

所述将所述第十特征图输入到所述第二像素注意力层进行处理，生成所述第十特征图中每个像素的权重，包括：

将所述第十特征图输入到所述指定卷积层中进行卷积处理，生成所述第十特征图的三维注意力图，所述第十特征图的三维注意力图包括所述第十特征图的通道信息、所述第十特征图中每个像素的位置信息和每个像素的权重。

可选地，所述第二像素注意力层包括指定卷积层和第二逻辑回归层；

所述将所述第十特征图输入到所述第二像素注意力层进行处理，生成所述第十特征图中每个像素的权重，包括：

将所述第十特征图输入到所述指定卷积层中进行处理，生成所述第十特征图的三维注意力图，所述第十特征图的三维注意力图包括所述第十特征图的通道信息、所述第十特征图中每个像素的位置信息和每个像素的权重；

将所述第十特征图的三维注意力图输入到所述第二逻辑回归层，通过所述第二逻辑回归层对所述第十特征图中每个像素的权重进行逻辑回归处理。

第二方面，本申请实施例提供了一种图像超分辨率装置，包括：

获取模块，用于获取第一图像，所述第一图像的分辨率为第一分辨率；

处理模块，用于将所述第一图像输入到超分辨率网络模型中进行处理，得到第二图像，所述第二图像的分辨率为第二分辨率，且所述第二分辨率大于所述第一分辨率，所述超分辨率网络模型是采用像素注意力机制的网络模型，所述像素注意力机制用于为输入特征图中的每个像素生成对应的权重。

可选地，所述像素注意力机制用于通过指定卷积层对输入特征图进行卷积处理，生成所述输入特征图的三维注意力图，所述输入特征图的三维注意力图包括所述输入特征图的通道信息、所述输入特征图中每个像素的位置信息以及每个像素的权重。

可选地，所述指定卷积层为1*1卷积层。

可选地，所述超分辨率网络模型包括：特征提取模块、非线性映射模块和重建模块，所述非线性映射模块和重建模块中的至少一种采用所述像素注意力机制。

可选地，所述处理模块包括：

特征提取单元，用于将所述第一图像输入到所述特征提取模块中，通过所述特征提取模块对所述第一图像进行特征提取，得到第一特征图；

非线性映射单元，用于将所述第一特征图输入到所述非线性映射模块中，通过所述非线性映射模块对所述第一特征图进行非线性映射，得到第二特征图；

重建单元，用于将所述第二特征图输入到所述重建模块中，通过所述重建模块对所述第二特征图进行重建，得到第三特征图，基于所述第三特征图生成所述第二图像。

可选地，所述非线性映射模块包括多个指定自校正卷积块，所述指定自校正卷积块是指采用像素注意力机制的自校正卷积块；

所述非线性映射单元用于：

通过所述多个指定自校正卷积块，对所述第一特征图进行非线性映射，得到所述第二特征图。

可选地，所述多个指定自校正卷积块中的第一自校正卷积块至少包括第一卷积层、第二卷积层、第三卷积层、第一像素注意力层、第四卷积层、第五卷积层和融合层，所述第一自校正卷积块为所述多个指定自校正卷积块中的任一个；

所述非线性映射单元用于：

对于所述第一自校正卷积块，通过所述第一卷积层和所述第二卷积层分别对第一输入特征图进行特征图分割，得到第一分割图和第二分割图；

其中，若所述第一自校正卷积块为所述多个指定自校正卷积块中的第一个指定自校正卷积块，则所述第一输入特征图为所述第一特征图，若所述第一自校正卷积块为所述多个指定自校正卷积块中除第一个指定自校正卷积块之外的其他指定自校正卷积块，则所述第一输入特征图为所述第一自校正卷积块的上一个指定自校正卷积块输出的特征图；

将所述第一分割图输入到所述第三卷积层中进行卷积处理，得到第四特征图，以及将所述第一分割图输入到所述第一像素注意力层中进行处理，生成所述第一分割图中每个像素的权重，基于所述第一分割图中每个像素的权重和所述第四特征图，生成第五特征图，将所述第五特征图输入至所述第四卷积层进行卷积处理，得到第六特征图；

将所述第二分割图输入到所述第五卷积层进行卷积处理，得到第七特征图；

将所述第六特征图和所述第七特征图输入到所述融合层进行特征图融合，得到第八特征图，基于所述第八特征图生成所述第一自校正卷积块的输出特征图。

可选地，所述第一像素注意力层包括指定卷积层；

所述非线性映射单元用于：

将所述第一分割图输入到所述指定卷积层中进行卷积处理，生成所述第一分割图的三维注意力图，所述第一分割图的三维注意力图包括所述第一分割图的通道信息、所述第一分割图中每个像素的位置信息和每个像素的权重。

可选地，所述第一像素注意力层包括指定卷积层和第一逻辑回归层；

所述非线性映射单元用于：

将所述第一分割图输入到所述指定卷积层中进行卷积处理，生成所述第一分割图的三维注意力图，所述第一分割图的三维注意力图包括所述第一分割图的通道信息、所述第一分割图中每个像素的位置信息和每个像素的权重；

将所述第一分割图的三维注意力图输入到所述第一逻辑回归层，通过所述第一逻辑回归层对所述第一分割图中每个像素的权重进行逻辑回归处理。

可选地，所述重建模块包括多个指定上采样卷积块，所述指定上采样卷积块是指采用像素注意力机制的上采样卷积块；

所述重建单元用于：

通过所述多个指定上采样卷积块，对所述第二特征图进行重建，得到所述第三特征图。

可选地，所述多个指定上采样卷积块中的第一上采样卷积块包括上采样层、第六卷积层、第二像素注意力层和第七卷积层，所述第一上采样卷积块为所述多个指定上采样卷积块中的任一个；

所述重建单元用于：

对于所述第一上采样卷积块，通过所述上采样层对第二输入特征图进行放大处理，得到第九特征图；

其中，若所述第一上采样卷积块为所述多个指定上采样卷积块中的第一个指定上采样卷积块，则所述第二输入特征图为所述第二特征图，若所述第一上采样卷积块为所述多个指定上采样卷积块中除第一个指定上采样卷积块之外的其他指定上采样卷积块，则所述第二输入特征图为所述第一上采样卷积块的上一个指定上采样卷积块输出的特征图；

将所述第九特征图输入到所述第六卷积层进行卷积处理，得到第十特征图；

将所述第十特征图输入到所述第二像素注意力层进行处理，生成所述第十特征图中每个像素的权重，基于所述第十特征图中每个像素的权重和所述第十特征图生成第十一特征图；

将所述第十一特征图输入至所述第七卷积层进行卷积处理，得到所述第一上采样卷积块的输出特征图。

可选地，所述第二像素注意力层包括指定卷积层；

所述重建单元用于：

将所述第十特征图输入到所述指定卷积层中进行卷积处理，生成所述第十特征图的三维注意力图，所述第十特征图的三维注意力图包括所述第十特征图的通道信息、所述第十特征图中每个像素的位置信息和每个像素的权重。

可选地，所述第二像素注意力层包括指定卷积层和第二逻辑回归层；

所述重建单元用于：

将所述第十特征图输入到所述指定卷积层中进行处理，生成所述第十特征图的三维注意力图，所述第十特征图的三维注意力图包括所述第十特征图的通道信息、所述第十特征图中每个像素的位置信息和每个像素的权重；

将所述第十特征图的三维注意力图输入到所述第二逻辑回归层，通过所述第二逻辑回归层对所述第十特征图中每个像素的权重进行逻辑回归处理。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的图像超分辨率方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的图像超分辨率方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的图像超分辨率方法。

本申请实施例与现有技术相比存在的有益效果是：

本申请实施例中，使用采用像素注意力机制的超分辨率网络模型对低分辨率图像进行处理，生成对应的高分辨率图像，以得到符合实际应用场景的画质清晰的图像，可以为用户提供更加干净清晰、自然舒适的图像或视频体验。由于超分辨率网络模型采用了像素注意力机制，因此能够使得模型在图像处理过程中更加关注关键特征，进而能够更加高效地利用特征，大幅减小了超分辨率网络模型所需的参数量和计算量，提高了超分辨网络模型的处理速度，从而降低了网络传输负担，降低了经济成本。进一步地，像素注意力机制能够为网络中的特征图中的每个像素生成对应的权重，增加了参数与特征的利用率，因此对底层视觉问题和轻量级网络更加有效，相对于为高层视觉任务设计的空间注意力机制或信道注意力机制，像素注意力机制更加适用于超分辨率这样的底层视觉任务，提高了超分性能，所得到的高分辨率图像的超分效果更好，有利于提高用户的图像或视频体验。进一步地，像素注意力机制可以根据需要设置在超分辨率网络模型的任一任务环节，具有良好的泛用性。进一步地，通过仅使用一个卷积层来实现像素注意力机制，操作更加简单有效，在硬件上的运算更加简单，减小了模型的计算量，提高了模型的实际运行速度。进一步地，通过在超分辨率网络模型的非线性映射模块和重建模块中引入像素自注意力机制，比如在非线性映射模块中配置采用像素自注意力机制的自校正卷积块，以及在重建模块中配置采用像素自注意力机制的上采样卷积块，可以进一步提升超分辨率网络模型的处理速度，减小网络所需的参数，并提升超分性能。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像超分辨率方法的流程图；

图2是本申请实施例提供的一种超分辨率网络模型的结构示意图；

图3是本申请实施例提供的另一种图超分辨率方法的流程图；

图4是本申请实施例提供的另一种超分辨率网络模型的结构示意图；

图5是本申请实施例提供的一种指定自校正卷积块的结构示意图；

图6是本申请实施例提供的另一种指定自校正卷积块的结构示意图；

图7是本申请实施例提供的一种指定上采样卷积块的结构示意图；

图8是本申请实施例提供的另一种指定上采样卷积块的结构示意图；

图9是本申请实施例提供的一种超分辨率网络模型的输入图像和输出图像的效果对比图；

图10是本申请实施例提供的一种图像超分辨率的应用场景示意图；

图11是本申请实施例提供的一种图像超分辨率装置的结构框图；

图12是本申请实施例提供的一种终端设备的部分结构的框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

相关技术中，普遍使用的超分辨率网络模型为SRResNet或CARN等，但是由于这些超分辨率网络模型不能很高效地利用特征，因此通常需要很大的参数量和计算量。

有鉴于此，本申请实施例提供了一种图像超分辨率方法，该方法中，使用采用像素注意力机制的超分辨率网络模型对低分辨率图像进行处理，生成对应的高分辨率图像，以得到符合实际应用场景的画质清晰的图像。由于超分辨率网络模型采用了像素注意力机制，因此能够使得模型在图像处理过程中更加关注关键特征，进而能够更加高效地利用特征，大幅减小了超分辨率网络模型所需的参数量和计算量，提高了超分辨网络模型的处理速度，从而降低了网络传输负担，降低了经济成本，可以为用户提供更加干净清晰、自然舒适的图像或视频体验。进一步地，像素注意力机制能够为网络中的特征图中的每个像素生成对应的权重，增加了参数与特征的利用率，因此对底层视觉问题和轻量级网络更加有效，相对于为高层视觉任务设计的空间注意力机制或信道注意力机制，像素注意力机制更加适用于超分辨率这样的底层视觉任务，提高了超分性能，所得到的高分辨率图像的超分效果更好，有利于提高用户的图像或视频体验。进一步地，像素注意力机制可以根据需要设置在超分辨率网络模型的任一任务环节，具有良好的泛用性。进一步地，通过仅使用一个卷积层来实现像素注意力机制，操作更加简单有效，在硬件上的运算更加简单，减小了模型的计算量，提高了模型的实际运行速度。进一步地，通过在超分辨率网络模型的非线性映射模块和重建模块中引入像素自注意力机制，比如在非线性映射模块中配置采用像素自注意力机制的自校正卷积块，以及在重建模块中配置采用像素自注意力机制的上采样卷积块，可以进一步提升超分辨率网络模型的处理速度，减小网络所需的参数，并提升超分性能。

本申请实施例提供的图像超分辨率方法涉及人工智能(ArtificialIntelligence，AI)技术。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

在本申请实施例中，可以涉及的人工智能技术包括计算机视觉(图像)和机器学习等方向。计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。

例如，本申请实施例可以通过计算机视觉技术中的图像处理技术对原始图像进行上采样处理、图像重建等；通过图像语义理解(Image Semantic Understanding，ISU)中的图像分割(Image Segmentation)技术对图像进行分割；通过图像语义理解中的图像特征提取(Image Feature Extraction)技术进行特征提取等。

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习通常包括深度学习(Deep Learning)等技术，深度学习包括人工神经网络(Artificial NeuralNetworks)，例如卷积神经网络(Convolutional Neural Network，CNN)、循环神经网络(Recurrent Neural Network，RNN)、深度神经网络(Deep neural network，DNN)等。

本申请实施例提供的图像超分辨率方法可应用于各种电子图像领域，用于快速有效地从低分辨图像恢复高分辨率图像，以提高原有图像的分辨率，满足人们对高分辨率图像的需求。例如，可以应用于监控图像、医疗图像、卫星图像或视频等领域。

例如，本申请实施例提供的方法可以应用到各类需要提升图像分辨率、清晰度的应用场景，以生成像素密度更高、能够提供更多细节的高分辨率图像，为后续图像处理提供支持，或者为用户提供更好的观看体验。例如，可以用于提高医疗图像的分辨率，以对医生做出正确的诊断提供帮助；或者用于提高卫星图像的分辨率，以便更容易从相似物中区别相似图像；或者提高计算机视觉中模式识别的输入图像的分辨率，以提高模式识别的性能。

例如，本申请实施例提供的方法可以应用到各类需要提升视频分辨率、清晰度的应用场景里，为用户提供更好的观看体验。例如，当用户通过各类长视频应用程序(Application，APP)观看视频时，根据需求可作为超高清/蓝光/4K档，或作为老视频翻新的一种技术手段；也可在各类短视频APP中用于提升不清晰视频的清晰度；还可用于4K内容资源生产等场景。

图1是本申请实施例提供的一种图像超分辨率方法的流程图。本申请实施例中图像超分辨率方法的执行主体为终端设备，终端设备包括但不限于智能手机、平板电脑、计算机、个人数字助理(Personal Digital Assistant，PDA)等移动设备，还可以包括台式电脑等设备。如图1所示，该方法包括如下步骤：

步骤101：获取第一图像，第一图像的分辨率为第一分辨率。

需要说明的是，图像的分辨率是指图像中存储的信息量，用于指示图像中的像素密度，通常用每英寸图像内有多少个像素点来表示。

第一图像为待进行超分辨率处理的低分辨率图像，需要通过超分辨率处理来获得对应的高分辨率图像。第一分辨率可以小于或等于第一分辨率阈值，第一分辨率阈值可以根据实际需要预先设置。比如，第一分辨率阈值为100DPI(Dots Per Inch，每英寸像素)或300DPI等。示例的，第一分辨率为20DPI或72DPI等。

第一图像可以为单个的图像，也可以为一个视频中的任一视频帧等。作为一个示例，本申请实施例可以按照本申请实施例提供的方法对视频帧序列进行超分辨率处理，以得到更加清晰的视频，提高用户的视频体验。

另外，第一图像可以通过相机拍摄得到，可以从终端设备的存储空间中获取得到，可以从网络中下载得到，也可以由其他设备发送得到，本申请实施例对第一图像的获取方式也不作限定。

步骤102：将第一图像输入到超分辨率网络模型中进行处理，得到第二图像，第二图像的分辨率为第二分辨率，且第二分辨率大于第一分辨率，该超分辨率网络模型是采用像素注意力机制的网络模型，像素注意力机制用于为输入特征图中的每个像素生成对应的权重。

其中，第二图像的图像分辨率大于第一图像的图像分辨率，也即是，第一图像为低分辨率图像，第二图像为分辨率大于第一图像的高分辨率图像。超分辨率网络模型用于从低分辨率图像恢复高分辨率图像，即提高图像的分辨率。第一图像经过超分辨率网络模型进行处理，能够得到分辨率更高的第二图像。

比如，可以通过超分辨率网络模型对分辨率为72DPI的第一图像进行处理，得到分辨率为300DPI或350DPI的第二图像。

作为一个示例，第二分辨率大于或等于第二分辨率阈值，比如第二分辨率阈值为300DPI或500DPI等。或者，第二分辨率为第一分辨率的m倍，m大于1。比如m为5或10等。或者，第二分辨率与第一分辨率的分辨率差值大于或等于差值阈值，比如，差值阈值为200或300DPI等。

需要说明的是，像素注意力机制是一种像素维度的注意力机制，用于为输入特征图中的每个像素生成对应的权重。输入特征图可以为超分辨率网络模型中任一环节产生的特征图，比如为第一图像在超分辨率网络模型中任一环节产生的特征图。也即是，本申请实施例中，可以根据实际需要将像素注意力机制设置在超分辨率网络模型的任一任务环节，来提高特征处理效率。

还需要说明的是，像素注意力机制通过为每个像素生成对应的权重，增加了参数与特征的利用效率，因此对底层视觉问题和轻量级网络更加有效，更加适用于超分辨率这种底层视觉任务中。而且，像素注意力机制可以即插即用地运用在各种各样的深度学习任务中上，具有良好的泛用性。

作为一个示例，像素注意力机制用于为第一图像的特征图生成对应的三维注意力图，该三维注意力特征图包括特征图的通道信息、特征图中每个像素的位置信息和每个像素的权重。其中，通道信息用于指示特征图所在的通道，可以为通道号等。位置信息用于指示像素在特征图中的位置，可以为坐标等。

作为一个示例，像素注意力机制可以通过一个指定卷积层来实现，也即是，可以通过一个指定卷积来为输入的特征图中的每个像素生成对应的权重。通过仅使用一个卷积层来实现像素注意力机制，操作更加简单有效，减小了模型的计算量，提高了模型的实际运行速度。

比如，像素注意力机制用于通过指定卷积层对输入的特征图进行卷积处理，生成特征图的三维注意力图，特征图的三维注意力图包括特征图的通道、特征图中每个像素的位置信息和每个像素的权重。

需要说明的是，指定卷积层可以为N*N卷积层，即指定卷积层的卷积核为N*N，N为正整数。其中，N可以预先设置，比如N可以为1，2或3等，本申请实施例对此不作限定。

作为一个示例，指定卷积层为1*1卷积层，即指定卷积层的卷积核为1*1。由于1*1卷积层在硬件上的运算更加简单，因此进一步减小了模型的计算量，提高了模型的实际运行速度。

本申请实施例中，使用采用像素注意力机制的超分辨率网络模型对低分辨率图像进行处理，生成对应的高分辨率图像，以得到符合实际应用场景的画质清晰的图像，如此，可以为用户提供更加干净清晰、自然舒适的图像或视频体验。而且，由于超分辨率网络模型采用了像素注意力机制，因此能够使得模型在图像处理过程中更加关注关键特征，进而能够更加高效地利用特征，大幅减小了超分辨率网络模型所需的参数量和计算量，提高了超分辨网络模型的处理速度，从而降低了网络传输负担，降低了经济成本。进一步地，像素注意力机制能够为网络中的特征图中的每个像素生成对应的权重，增加了参数与特征的利用率，因此对底层视觉问题和轻量级网络更加有效，相对于为高层视觉任务设计的空间注意力机制或信道注意力机制，像素注意力机制更加适用于超分辨率这样的底层视觉任务，提高了超分性能，所得到的高分辨率图像的超分效果更好，有利于提高用户的图像或视频体验。进一步地，像素注意力机制可以根据需要设置在超分辨率网络模型的任一任务环节，具有良好的泛用性。进一步地，通过仅使用一个卷积层来实现像素注意力机制，操作更加简单有效，在硬件上的运算更加简单，减小了模型的计算量，提高了模型的实际运行速度。

图2是本申请实施例提供的一种超分辨率网络模型的结构示意图，如图2所示，该超分辨率网络模型包括特征提取模块21、非线性映射模块22和重建模块23。其中，非线性映射模块22和重建模块23中的至少一种采用像素注意力机制，也即是，可以在超分辨率网络模型的非线性映射任务和重建任务中的至少一个任务环节设置像素注意力机制，为了便于说明，接下来将以非线性映射模块22和重建模块23均采用像素注意力机制为例进行说明。

图3是本申请实施例提供的另一种图超分辨率方法的流程图，该方法应用于图2所示的超分辨率网络模型中，如图3所示，该方法包括如下步骤：

步骤301：获取第一图像，第一图像的分辨率为第一分辨率。

其中，步骤301可以参考上述图1实施例中步骤101的相关描述，本申请实施例在此不再赘述。

步骤302：将第一图像输入到超分辨率网络模型的特征提取模块中，通过特征提取模块对第一图像进行特征提取，得到第一特征图。

其中，特征提取模块用于对第一图像进行特征提取，得到第一图像的特征图。作为一个示例，特征提取模块可以为卷积层。该卷积层可以为M*M卷积层，即卷积核为M*M，M为正整数。其中，M可以预先设置，比如M可以为1，3，4或5等，本申请实施例对此不作限定。

作为一个示例，特征提取模块的卷积层为3*3卷积层，3*3卷积层是指卷积核为3*3的卷积层。

步骤303：将第一特征图输入到非线性映射模块中，通过非线性映射模块对第一特征图进行非线性映射，得到第二特征图，非线性映射模块采用像素注意力机制。

其中，非线性映射模块用于拟合低分辨率图像与高分辨率图像之间的映射关系，以便重建模块基于低分辨率图像与高分辨率图像之间的映射关系重建高分辨率图像。

作为一个示例，非线性映射模块为采用像素注意力机制的非线性映射模块，在对第一特征图进行非线性映射过程中，可以先对第一特征图进行特征图分割，再对分割后的特征图使用像素注意力机制。

请参考图4，图4是本申请实施例提供的另一种超分辨率网络模型的结构示意图，如图4所示，非线性映射模块22可以包括多个指定自校正卷积块。其中，指定自校正卷积块是指采用像素注意力机制的自校正卷积块。非线性映射模块22可以通过多个指定自校正卷积块，对第一特征图进行非线性映射，得到第二特征图。

请参考图5，图5是本申请实施例提供的一种指定自校正卷积块的结构示意图。如图5所示，指定自校正卷积块可以包括第一卷积层51、第二卷积层52、第三卷积层53、第一像素注意力层54、第四卷积层55、第五卷积层56和融合层57。

由图5可知，指定自校正卷积块包括两个分支，两个分支的开始都有一个卷积层，即第一卷积层51和第二卷积层52。第一卷积层51和第二卷积层52用于分别对指定自校正卷积块的输入特征图进行特征图分割，得到第一分割图和第二分割图，然后分别输入两条支路。示例的，第一分割图和第二分割图可以为在经过特征图分割后拥有原有输入特征图中一半特征的特征图。另外，第一卷积层51和第二卷积层52可以均为N*N卷积层，如1*1卷积层。

对于靠上的分支，靠上的分支在第一卷积层51之后还包括两个卷积层：第三卷积层53和第四卷积层55，且第三卷积层53配备了像素注意力机制。第三卷积层53用于对第一分割图进行卷积处理，得到第四特征图。第一像素注意力层54用于对第一分割图进行处理，得到第一分割图中每个像素的权重。基于第一分割图中每个像素的权重和第四特征图，可以生成第五特征图，比如可以基于第一分割图中每个像素的权重，对第四特征图中的各个像素进行加权处理，得到第五特征图。第四卷积层55用于对第五特征图进行卷积处理，得到第六特征图。

示例的，第三卷积层53和第四卷积层55可以均为M*M卷积层，如3*3卷积层。示例的，第一像素注意力层54包括指定卷积层，或者包括指定卷积层和第一逻辑回归层。指定卷积层用于对第一分割图进行卷积处理，生成第一分割图的三维注意力图，第一分割图的三维注意力图包括第一分割图的通道信息、第一分割图中每个像素的位置信息和每个像素的权重。第一逻辑回归层用于对第一分割图中每个像素的权重进行逻辑回归处理，以将第一分割图中每个像素的权重映射至0到1之间。

对于靠下的分支，靠下的分支在第二卷积层52之后还包括1个卷积层：第五卷积层56。第五卷积层56用于对第二分割图进行卷积处理，得到第七特征图。示例的，第五卷积层56为M*M卷积层，如3*3卷积层。

另外，指定自校正卷积块还包括融合层57，融合层57用于对第六特征图和第七特征图进行特征融合。示例的，融合层57包括合并层和卷积层，合并层用于对第六特征图和第七特征图进行合并，卷积层用于对合并层输出的特征图进行卷积处理。

作为一个示例，基于图5所示的指定自校正卷积块，通过多个指定自校正卷积块，对第一特征图进行非线性映射的操作可以包括如下步骤：

1)对于第一自校正卷积块，通过第一卷积层和第二卷积层分别对第一输入特征图进行特征图分割，得到第一分割图和第二分割图。

其中，第一自校正卷积块为多个指定自校正卷积块中的任一指定自校正卷积块，具体网络结构如图5所示。而且，若第一自校正卷积块为多个指定自校正卷积块中的第一个指定自校正卷积块，则第一输入特征图为第一特征图，若第一自校正卷积块为多个指定自校正卷积块中除第一个指定自校正卷积块之外的其他指定自校正卷积块，则第一输入特征图为第一自校正卷积块的上一个指定自校正卷积块输出的特征图。

作为一个示例，第一分割图和第二分割图可以为经过特征图分割后拥有输入特征图中一半特征的特征图。

2)将第一分割图输入到第三卷积层中进行卷积处理，得到第四特征图，以及将第一分割图输入到第一像素注意力层中进行处理，生成第一分割图中每个像素的权重，基于第一分割图中每个像素的权重和第四特征图，生成第五特征图，将第五特征图输入至所述第四卷积层进行卷积处理，得到第六特征图。

作为一个示例，第一像素注意力层包括指定卷积层。将第一分割图输入至所述第一像素注意力层中进行处理，生成第一分割图中每个像素的权重的操作包括：将第一分割图输入到所述指定卷积层中进行卷积处理，生成第一分割图的三维注意力图，第一分割图的三维注意力图包括第一分割图的通道信息、第一分割图中每个像素的位置信息和每个像素的权重。

作为另一示例，第一像素注意力层包括指定卷积层和第一逻辑回归层。相应的，将第一分割图输入至第一像素注意力层中进行处理，生成第一分割图中每个像素的权重的操作包括：将第一分割图输入到所述指定卷积层中进行卷积处理，生成所述第一分割图的三维注意力图；将第一分割图的三维注意力图输入到第一逻辑回归层，通过第一逻辑回归层对第一分割图中每个像素的权重进行逻辑回归处理，以将第一分割图中每个像素的权重映射至0到1之间。

作为一个示例，基于第一分割图中每个像素的权重和第四特征图，生成第五特征图的操作包括：基于第一分割图中每个像素的权重，对第四特征图中对应的像素进行加权处理，得到第五特征图。

3)将第二分割图输入到第五卷积层进行卷积处理，得到第七特征图。

通过第五卷积层来处理第二分割图，可以保持第二分割图的原始信息。

4)将第六特征图和第七特征图输入到融合层进行特征图融合，得到第八特征图，基于第八特征图生成第一自校正卷积块的输出特征图。

作为一个示例，基于第八特征图生成第一自校正卷积块的输出特征图的操作可以包括：将第八特征图作为第一自校正卷积块的输出特征图。或者，基于第一输入特征图和第八特征图，生成第一自校正卷积块的输出特征图。比如，将第一输入特征图和第八特征图按元素进行相加，生成第一自校正卷积块的输出特征图。

请参考图6，图6是本申请实施例提供的另一种指定自校正卷积块的结构示意图，如图6所示，指定自校正卷积块包括两个分支，每个分支在开始都是1*1卷积层进行特征图分割，输入特征图首先被分割成具有输入特征图中一半特征的两个特征图，然后被分别输入两条支路。靠上的分支包含两个3*3卷积层，第一个3*3卷积层配备了像素注意力机制。在另一个分支中，仅使用一个3*3卷积层来处理分割后的特征图，以保持原始信息。最后，将两个分支处理好的特征图进行合并，然后输入至1*1卷积层中进行处理，再基于1*1卷积层输出的特征图生成指定自校正卷积块最终的输出特征图。进一步地，为了加速训练，可以使用捷径连接机制生成最终的输出特征图，比如，将1*1卷积层输出的特征图与输入特征图按元素进行相加，生成指定自校正卷积块最终的输出特征图。

步骤304：将第二特征图输入到重建模块中，通过重建模块对第二特征图进行重建，得到第三特征图，重建模块采用像素注意力机制。

其中，重建模块用于基于低分辨率图像与高分辨率图像之间的映射关系，重建出低分辨率图像对应的高分辨率图像。

需要说明的是，相关技术中很少在重建模块中使用注意力机制，本申请实施例中，通过在重建模块中引入像素注意力机制，可以显著提高超分性能，且参数成本较小。而且采用像素注意力机制的重建模块也可以广泛运用在各种超分辨率网络模块中，以在增加少量参数的情况下带来性能提升。

请参考图4，重建模块23可以包括多个指定上采样卷积块。其中，指定上采样卷积块是指采用像素注意力机制的上采样卷积块。指定上采样卷积块可以通过多个指定上采样卷积块，对第二特征图进行重建，得到第三特征图。

作为一个示例，指定上采样卷积块包括上采样层、像素注意力层和卷积层。请参考图7，图7是本申请实施例提供的一种指定上采样卷积块的结构示意图。如图7所示，指定上采样卷积块包括上采样层71、第六卷积层72、第二像素注意力层73和第七卷积层74。

其中，上采样层71用于对第二输入特征图进行放大处理，得到第九特征图。示例的，上采样层71可以为最近邻放大层，比如用于将第二输入特征图放大两倍的最近邻放大层。

其中，第六卷积层72用于对第九特征图进行卷积处理，得到第十特征图。示例的，第六卷积层72为M*M卷积层，如1*1卷积层，或3*3卷积层等。

其中，第二像素注意力层73用于对第十特征图进行处理，生成第十特征图中每个像素的权重。另外，基于第十特征图中每个像素的权重和第十特征图可以生成第十一特征图。比如，基于第十特征图中每个像素的权重对第十特征图中的对应像素进行加权处理，得到第十一特征图。

示例的，第二像素注意力层73包括指定卷积层，或者包括指定卷积层和逻辑回归层。指定卷积层用于对第十特征图进行卷积处理，生成第十特征图的三维注意力图，第十特征图的三维注意力图包括第十特征图的通道信息、第十特征图中每个像素的位置信息和每个像素的权重。逻辑回归层用于对第十特征图中每个像素的权重进行逻辑回归处理，以将第十特征图中每个像素的权重映射至0到1之间。

其中，第七卷积层74用于对第十一特征图进行卷积处理，得到指定上采样卷积块的输出特征图。示例的，第七卷积层74为M*M卷积层，如1*1卷积层，或3*3卷积层等。

作为一个示例，基于图7所示的指定上采样卷积块，通过多个指定上采样卷积块，对第二特征图进行重建的操作可以包括如下步骤：

1)对于第一上采样卷积块，通过上采样层对第二输入特征图进行放大处理，得到第九特征图。

其中，第一上采样卷积块为多个指定上采样卷积块中的任一个。若第一上采样卷积块为多个指定上采样卷积块中的第一个指定上采样卷积块，则第二输入特征图为非线性映射模块输出的第二特征图。若第一上采样卷积块为多个指定上采样卷积块中除第一个指定上采样卷积块之外的其他指定上采样卷积块，则第二输入特征图为第一上采样卷积块的上一个指定上采样卷积块输出的特征图。

2)将第九特征图输入到第六卷积层进行卷积处理，得到第十特征图。

3)将第十特征图输入到第二像素注意力层进行处理，生成第十特征图中每个像素的权重，基于第十特征图中每个像素的权重和第十特征图生成第十一特征图。

作为一个示例，第二像素注意力层包括指定卷积层。相应地，将所述第十特征图输入到所述第二像素注意力层进行处理，生成第十特征图中每个像素的权重的操作包括：将第十特征图输入到所述指定卷积层中进行卷积处理，生成第十特征图的三维注意力图，第十特征图的三维注意力图包括第十特征图的通道信息、第十特征图中每个像素的位置信息和每个像素的权重。

作为另一个示例，请参考图8，第二像素注意力层包括指定卷积层和第二逻辑回归层。相应地，将所述第十特征图输入到第二像素注意力层中进行处理，生成第十特征图中每个像素的权重的操作包括：将第十特征图输入到指定卷积层中进行处理，生成第十特征图的三维注意力图；将第十特征图的三维注意力图输入到第二逻辑回归层，通过第二逻辑回归层对第十特征图中每个像素的权重进行逻辑回归处理，以将第十特征图中每个像素的权重映射在0到1之间。

4)将第十一特征图输入到第七卷积层中进行卷积处理，得到第一上采样卷积块的输出特征图。

步骤305：基于第三特征图生成第二图像，第二图像的分辨率为第二分辨率，且第二分辨率大于第一分辨率。

作为一个示例，可以将第三特征图确定为第二图像。

作为另一个示例，超分辨率网络模型在重建模块之后还可以包括一个卷积层，可以将第三特征图输入到该卷积层中进行处理，得到第二图像。

作为另一个示例，请参考图4，超分辨率网络模型还包括上采样层以及位于重建模块之后的一个卷积层，可以将第三特征图输入到位于重建模块之后的卷积层中进行处理，得到第十二特征图，而第一图像还可以输入到上采样层进行放大处理，得到第十三特征图，然后基于第十二特征图和第十三特征图生成待输出的第二图像。比如，可以将第十二特征图和第十三特征图按元素相加，得到第二图像。

请参考图9，图9是本申请实施例提供的一种超分辨率网络模型的输入图像和输出图像的效果对比图。如图9所示，图像91为超分辨率网络模型的输入图像(即第一图像)，图像92为超分辨率网络模型的输出图像(即第二图像)，图像92的分辨率大于图像91的分辨率，图像更加清晰。由此可知，经超分辨率网络模型对输入图像进行处理之后，能够得到分辨率更高、图像更加清晰的输出图像，从而为用户提供了更加高质量的视觉体验。

本申请实施例中，使用采用像素注意力机制的超分辨率网络模型对低分辨率图像进行处理，生成对应的高分辨率图像，以得到符合实际应用场景的画质清晰的图像，可以为用户提供更加干净清晰、自然舒适的图像或视频体验。由于超分辨率网络模型采用了像素注意力机制，因此能够使得模型在图像处理过程中更加关注关键特征，进而能够更加高效地利用特征，大幅减小了超分辨率网络模型所需的参数量和计算量，提高了超分辨网络模型的处理速度，从而降低了网络传输负担，降低了经济成本。进一步地，像素注意力机制能够为网络中的特征图中的每个像素生成对应的权重，增加了参数与特征的利用率，因此对底层视觉问题和轻量级网络更加有效，相对于为高层视觉任务设计的空间注意力机制或信道注意力机制，像素注意力机制更加适用于超分辨率这样的底层视觉任务，提高了超分性能，所得到的高分辨率图像的超分效果更好，有利于提高用户的图像或视频体验。进一步地，像素注意力机制可以根据需要设置在超分辨率网络模型的任一任务环节，具有良好的泛用性。进一步地，通过仅使用一个卷积层来实现像素注意力机制，操作更加简单有效，在硬件上的运算更加简单，减小了模型的计算量，提高了模型的实际运行速度。进一步地，通过在超分辨率网络模型的非线性映射模块和重建模块中引入像素自注意力机制，比如在非线性映射模块中配置采用像素自注意力机制的自校正卷积块，以及在重建模块中配置采用像素自注意力机制的上采样卷积块，可以进一步提升超分辨率网络模型的处理速度，减小网络所需的参数，并提升超分性能。

进一步地，通过在非线性映射模块中配置采用像素自注意力机制的自校正卷积块，以及在重建模块中配置采用像素自注意力机制的上采样卷积块，超分辨率网络模型经过训练可以达到与SRResNet和CARN相似的性能，同时处理速度相对较快，所需的参数量也相对较小，所需的参数量仅为SRResNet所需参数量的17.95％，以及CARN所需参数量的17.24％。

需要说明的是，本申请实施例提供的超分辨率方法可以应用于各种提升图像或视频的分辨率的场景中，图10是本申请实施例提供的一种图像超分辨率的应用场景示意图，如图10所示，该应用场景可以包括如下流程：

步骤1001：用户打开终端设备上的应用程序。

其中，该应用程序为终端设备预先安装的应用程序。该应用程序用于对图像进行超分辨处理，或者用于为用户提供对图像进行超分辨处理的入口。

作为一个示例，该应用程序集成有上述超分辨率模型的算法逻辑，可以通过超分辨率模型对图像进行超分辨率处理。

步骤1002：用户上传某张图像。

用户可以通过该应用程序上传某张图像。比如，用户可以从相册中选择分辨率较低的某张图像进行上传。示例的，用户可以将图9中分辨率较低的图像91进行上传。

步骤1003：终端设备获取并识别该图像的分辨率，并将该图像作为第一图像。

终端设备获取并识别该图像的分辨率之后，可以先判断该图像的分辨率是否满足预设要求，若满足预设要求，则将该图像作为第一图像。

其中，该预设要求为终端设备能够进行超分辨率处理的分辨率要求，比如，该预设要求可以为该图像的分辨率小于或等于第一分辨率阈值。第一分辨率阈值为预先设置的阈值，比如，第一分辨率阈值为100DPI或300DPI等。

需要说明的是，终端设备可以通过该应用程序获取并识别该图像的分辨率，并将该图像作为第一图像进行处理。或者，终端设备也可以获取通过应用程序上传的图像，然后由终端设备本身识别该图像的分辨率，然后将该图像作为第一图像进行处理。也就是说，本申请实施例中，可以由应用程序获取并识别该图像的分辨率，并将该图像作为第一图像进行处理，也可以由终端设备自身获取并识别该图像的分辨率，并将该图像作为第一图像进行处理。

步骤1004：终端设备通过上述超分辨率模型对第一图像进行处理，得到分辨率大于第一图像的第二图像。

终端设备可以通过上述超分辨率模型，按照上述图1或图3实施例所述的图像超分辨率方法对第一图像进行处理，得到分辨率更高的第二图像。

比如，终端设备可以通过上述超分辨率模型，对图9中的图像91进行处理，得到分辨率更高且清晰度更高的图像92，从而为用户提供了更加高质量的视觉体验。

作为一个示例，终端设备可以通过应用程序对第一图像进行处理，该应用程序集成有上述超分辨率模型的算法逻辑，可以通过超分辨率模型对第一图像进行超分辨率处理。

步骤1005：终端设备向用户显示第二图像。

在对第一图像进行处理，得到分辨率大于第一图像的第二图像之后，终端设备还可以在显示界面中显示第二图像，以便用户能够直观地看到分辨率更高、更加清晰地第二图像，从而为用户提供更加高质量的视觉体验。比如，终端设备可以将第二图像显示在应用程序的显示界面中。

另外，在终端设备向用户显示第二图像之后，用户还可以对第二图像进行保存，比如将第二图像保存在相册中。

需要说明的是，图10仅是本申请实施例提供的一种应用场景的举例，其并不用于限制本申请，在实际应用中，本申请实施例提供的图像超分辨率方法还可以应用于其他场景中，本申请实施例在此不再一一举例说明。

图11是本申请实施例提供的一种图像超分辨率装置的结构框图，该装置可以集成在终端设备中。如图11所示，该装置包括：

获取模块1101，用于获取第一图像，所述第一图像的分辨率为第一分辨率；

处理模块1102，用于将所述第一图像输入到超分辨率网络模型中进行处理，得到第二图像，所述第二图像的分辨率为第二分辨率，且所述第二分辨率大于所述第一分辨率，所述超分辨率网络模型是采用像素注意力机制的网络模型，所述像素注意力机制用于为输入特征图中的每个像素生成对应的权重。

可选地，该装置还包括：

显示模块1103，用于显示所述第二图像。

可选地，所述像素注意力机制用于通过指定卷积层对输入特征图进行卷积处理，生成所述输入特征图的三维注意力图，所述输入特征图的三维注意力图包括所述输入特征图的通道信息、所述输入特征图中每个像素的位置信息以及每个像素的权重。

可选地，所述超分辨率网络模型包括：特征提取模块、非线性映射模块和重建模块，所述非线性映射模块和重建模块中的至少一种采用所述像素注意力机制。

可选地，所述处理模块1102包括：

特征提取单元，用于将所述第一图像输入到所述特征提取模块中，通过所述特征提取模块对所述第一图像进行特征提取，得到第一特征图；

非线性映射单元，用于将所述第一特征图输入到所述非线性映射模块中，通过所述非线性映射模块对所述第一特征图进行非线性映射，得到第二特征图；

重建单元，用于将所述第二特征图输入到所述重建模块中，通过所述重建模块对所述第二特征图进行重建，得到第三特征图，基于所述第三特征图生成所述第二图像。

可选地，所述非线性映射模块包括多个指定自校正卷积块，所述指定自校正卷积块是指采用像素注意力机制的自校正卷积块；

所述非线性映射单元用于：

通过所述多个指定自校正卷积块，对所述第一特征图进行非线性映射，得到所述第二特征图。

可选地，所述多个指定自校正卷积块中的第一自校正卷积块至少包括第一卷积层、第二卷积层、第三卷积层、第一像素注意力层、第四卷积层、第五卷积层和融合层，所述第一自校正卷积块为所述多个指定自校正卷积块中的任一个；

所述非线性映射单元用于：

对于所述第一自校正卷积块，通过所述第一卷积层和所述第二卷积层分别对第一输入特征图进行特征图分割，得到第一分割图和第二分割图；

其中，若所述第一自校正卷积块为所述多个指定自校正卷积块中的第一个指定自校正卷积块，则所述第一输入特征图为所述第一特征图，若所述第一自校正卷积块为所述多个指定自校正卷积块中除第一个指定自校正卷积块之外的其他指定自校正卷积块，则所述第一输入特征图为所述第一自校正卷积块的上一个指定自校正卷积块输出的特征图；

将所述第一分割图输入到所述第三卷积层中进行卷积处理，得到第四特征图，以及将所述第一分割图输入到所述第一像素注意力层中进行处理，生成所述第一分割图中每个像素的权重，基于所述第一分割图中每个像素的权重和所述第四特征图，生成第五特征图，将所述第五特征图输入至所述第四卷积层进行卷积处理，得到第六特征图；

将所述第二分割图输入到所述第五卷积层进行卷积处理，得到第七特征图；

将所述第六特征图和所述第七特征图输入到所述融合层进行特征图融合，得到第八特征图，基于所述第八特征图生成所述第一自校正卷积块的输出特征图。

可选地，所述第一像素注意力层包括指定卷积层；

所述非线性映射单元用于：

将所述第一分割图输入到所述指定卷积层中进行卷积处理，生成所述第一分割图的三维注意力图，所述第一分割图的三维注意力图包括所述第一分割图的通道信息、所述第一分割图中每个像素的位置信息和每个像素的权重。

可选地，所述第一像素注意力层包括指定卷积层和第一逻辑回归层；

所述非线性映射单元用于：

将所述第一分割图输入到所述指定卷积层中进行卷积处理，生成所述第一分割图的三维注意力图，所述第一分割图的三维注意力图包括所述第一分割图的通道信息、所述第一分割图中每个像素的位置信息和每个像素的权重；

将所述第一分割图的三维注意力图输入到所述第一逻辑回归层，通过所述第一逻辑回归层对所述第一分割图中每个像素的权重进行逻辑回归处理。

可选地，所述重建模块包括多个指定上采样卷积块，所述指定上采样卷积块是指采用像素注意力机制的上采样卷积块；

所述重建单元用于：

通过所述多个指定上采样卷积块，对所述第二特征图进行重建，得到所述第三特征图。

可选地，所述多个指定上采样卷积块中的第一上采样卷积块包括上采样层、第六卷积层、第二像素注意力层和第七卷积层，所述第一上采样卷积块为所述多个指定上采样卷积块中的任一个；

所述重建单元用于：

对于所述第一上采样卷积块，通过所述上采样层对第二输入特征图进行放大处理，得到第九特征图；

其中，若所述第一上采样卷积块为所述多个指定上采样卷积块中的第一个指定上采样卷积块，则所述第二输入特征图为所述第二特征图，若所述第一上采样卷积块为所述多个指定上采样卷积块中除第一个指定上采样卷积块之外的其他指定上采样卷积块，则所述第二输入特征图为所述第一上采样卷积块的上一个指定上采样卷积块输出的特征图；

将所述第九特征图输入到所述第六卷积层进行卷积处理，得到第十特征图；

将所述第十特征图输入到所述第二像素注意力层进行处理，生成所述第十特征图中每个像素的权重，基于所述第十特征图中每个像素的权重和所述第十特征图生成第十一特征图；

将所述第十一特征图输入至所述第七卷积层进行卷积处理，得到所述第一上采样卷积块的输出特征图。

可选地，所述第二像素注意力层包括指定卷积层；

所述重建单元用于：

将所述第十特征图输入到所述指定卷积层中进行卷积处理，生成所述第十特征图的三维注意力图，所述第十特征图的三维注意力图包括所述第十特征图的通道信息、所述第十特征图中每个像素的位置信息和每个像素的权重。

可选地，所述第二像素注意力层包括指定卷积层和第二逻辑回归层；

所述重建单元用于：

将所述第十特征图输入到所述指定卷积层中进行处理，生成所述第十特征图的三维注意力图，所述第十特征图的三维注意力图包括所述第十特征图的通道信息、所述第十特征图中每个像素的位置信息和每个像素的权重；

将所述第十特征图的三维注意力图输入到所述第二逻辑回归层，通过所述第二逻辑回归层对所述第十特征图中每个像素的权重进行逻辑回归处理。

本申请实施例中，使用采用像素注意力机制的超分辨率网络模型对低分辨率图像进行处理，生成对应的高分辨率图像，以得到符合实际应用场景的画质清晰的图像，可以为用户提供更加干净清晰、自然舒适的图像或视频体验。由于超分辨率网络模型采用了像素注意力机制，因此能够使得模型在图像处理过程中更加关注关键特征，进而能够更加高效地利用特征，大幅减小了超分辨率网络模型所需的参数量和计算量，提高了超分辨网络模型的处理速度，从而降低了网络传输负担，降低了经济成本。进一步地，像素注意力机制能够为网络中的特征图中的每个像素生成对应的权重，增加了参数与特征的利用率，因此对底层视觉问题和轻量级网络更加有效，相对于为高层视觉任务设计的空间注意力机制或信道注意力机制，像素注意力机制更加适用于超分辨率这样的底层视觉任务，提高了超分性能，所得到的高分辨率图像的超分效果更好，有利于提高用户的图像或视频体验。进一步地，像素注意力机制可以根据需要设置在超分辨率网络模型的任一任务环节，具有良好的泛用性。进一步地，通过仅使用一个卷积层来实现像素注意力机制，操作更加简单有效，在硬件上的运算更加简单，减小了模型的计算量，提高了模型的实际运行速度。进一步地，通过在超分辨率网络模型的非线性映射模块和重建模块中引入像素自注意力机制，比如在非线性映射模块中配置采用像素自注意力机制的自校正卷积块，以及在重建模块中配置采用像素自注意力机制的上采样卷积块，可以进一步提升超分辨率网络模型的处理速度，减小网络所需的参数，并提升超分性能。

图12是本申请实施例提供的一种终端设备的部分结构的框图，该终端设备包括但不限于智能手机、平板电脑、计算机、个人数字助理(Personal Digital Assistant，PDA)、台式电脑等电子设备。如图12所示，该终端设备包括：射频(Radio Frequency，简称RF)电路1210、存储器1220、输入单元1230、显示单元1240、传感器1250、音频电路1260、无线保真(wireless fidelity，简称WiFi)模块1270、处理器1280、以及电源1290等部件。

本领域技术人员可以理解，图12中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图12对终端设备的各个构成部件进行具体的介绍：

RF电路1210可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1280处理；另外，将设计上行的数据发送给基站。通常，RF电路1210包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，简称LNA)、双工器等。此外，RF电路1210还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobile communication，简称GSM)、通用分组无线服务(GeneralPacket Radio Service，简称GPRS)、码分多址(Code Division MultipleAccess，简称CDMA)、宽带码分多址(Wideband Code Division Multiple Access，简称WCDMA)、长期演进(Long Term Evolution，简称LTE)、电子邮件、短消息服务(ShortMessaging Service，简称SMS)等。

存储器1220可用于存储软件程序以及模块，处理器1280通过运行存储在存储器1220的软件程序以及模块，从而执行终端设备的各种功能应用以及数据处理。存储器1220可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1220可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1230可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。具体地，输入单元1230可包括触控面板1231以及其他输入设备1232。触控面板1231，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1231上或在触控面板1231附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1231可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1280，并能接收处理器1280发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1231。除了触控面板1231，输入单元1230还可以包括其他输入设备1232。具体地，其他输入设备1232可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1240可用于显示由用户输入的信息或提供给用户的信息以及终端设备的各种菜单。显示单元1 1 4 0可包括显示面板1 1 41，可选的，可以采用液晶显示器(Liquid Crystal Display，简称LCD)、有机发光二极管(Organic Light-Emitting Diode，简称OLED)等形式来配置显示面板1241。进一步的，触控面板1231可覆盖显示面板1241，当触控面板1231检测到在其上或附近的触摸操作后，传送给处理器1280以确定触摸事件的类型，随后处理器1280根据触摸事件的类型在显示面板1241上提供相应的视觉输出。虽然在图12中，触控面板1231与显示面板1241是作为两个独立的部件来实现终端设备的输入和输入功能，但是在某些实施例中，可以将触控面板1231与显示面板1241集成而实现终端设备的输入和输出功能。

终端设备还可包括至少一种传感器1250，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1241的亮度，接近传感器可在终端设备移动到耳边时，关闭显示面板1241和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端设备姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1260、扬声器1261，传声器1262可提供用户与终端设备之间的音频接口。音频电路1260可将接收到的音频数据转换后的电信号，传输到扬声器1261，由扬声器1261转换为声音信号输出；另一方面，传声器1262将收集的声音信号转换为电信号，由音频电路1260接收后转换为音频数据，再将音频数据输出处理器1280处理后，经RF电路1210以发送给比如另一终端设备，或者将音频数据输出至存储器1220以便进一步处理。

WiFi属于短距离无线传输技术，终端设备通过WiFi模块1270可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图12示出了WiFi模块1270，但是可以理解的是，其并不属于终端设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1280是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器1220内的软件程序和/或模块，以及调用存储在存储器1220内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。可选的，处理器1280可包括一个或多个处理单元；优选的，处理器1280可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1280中。

终端设备还包括给各个部件供电的电源1290(比如电池)，优选的，电源可以通过电源管理系统与处理器1280逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，终端设备还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本实施例中，该终端设备所包括的处理器1280还具有以下功能：

获取第一图像，所述第一图像的分辨率为第一分辨率；

将所述第一图像输入到超分辨率网络模型中进行处理，得到第二图像，所述第二图像的分辨率为第二分辨率，且所述第二分辨率大于所述第一分辨率，所述超分辨率网络模型是采用像素注意力机制的网络模型，所述像素注意力机制用于为输入特征图中的每个像素生成对应的权重。

另外，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述图1或图3实施例中所述的图像超分辨率方法。

另外，本申请实施例还提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述图1或图3实施例中所述的图像超分辨率方法。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神范围，均应包含在本申请的保护范围之内。