一种图像处理方法、装置、计算机设备和存储介质

技术领域

本公开属于图像处理技术领域，具体涉及一种图像处理方法、装置、计算机设备和存储介质。

背景技术

超分辨率(super-resolution，SR)成像是将较低分辨率图像提升到较高分辨率图像，能够达到良好视觉感知效果。由于基于SR的方法能够丰富图像的细节，因此对于图像中某些规则对象或平坦化的区域，反而丰富出更为细节的棱角，不能保持对象的实际结构，造成图像在这些区域部分失真，降低图像的质量，不利于用户的视觉感知。

发明内容

本公开旨在至少解决现有技术中存在的技术问题之一，提供一种图像处理方法、装置、计算机设备和存储介质。

第一方面，解决本公开技术问题所采用的技术方案是一种图像处理方法，应用于图像处理装置；所述图像处理装置配置有第一分支模块和第二分支模块；所述第一分支模块为基于超分辨率SR算子的神经网络；所述第二分支模块为基于图像插值算子的网络；所述图像处理方法，包括：

将获取到的待处理图像分别输入到所述第一分支模块和所述第二分支模块；

利用所述第一分支模块对所述待处理图像进行处理，输出第一目标图像；所述第一目标图像的分辨率高于所述待处理图像的分辨率；

利用所述第二分支模块对所述待处理图像进行处理，输出第二目标图像；所述第二目标图像的分辨率等于所述第一目标图像的分辨率；

对所述第一目标图像和所述第二目标图像进行融合处理，得到输出图像。

在一些实施例中，所述利用所述第一分支模块对所述待处理图像进行处理，输出第一目标图像，包括：

对所述待处理图像进行特征提取，得到第一中间特征图；

对所述第一中间特征图进行非线性转换，得到第二中间特征图；

对所述第二中间特征图进行图像重建，得到所述第一目标图像。

在一些实施例中，所述第二分支模块包括图像插值算法；

所述利用所述第二分支模块对所述待处理图像进行处理，输出第二目标图像，包括：

基于预设分辨率对所述待处理图像进行放大，并利用所述图像插值算法，得到放大后图像中各个像素点的像素信息，确定出所述第二目标图像。

在一些实施例中，所述图像处理装置还配置有第一注意力模块和第二注意力模块；

所述对所述第一目标图像和所述第二目标图像进行融合处理，得到输出图像，包括：

利用所述第一注意力模块，对所述第一目标图像进行处理，得到所述第一目标图像中各像素点的第一融合权重；

利用所述第二注意力模块，对所述第二目标图像进行处理，得到所述第二目标图像中各像素点的第二融合权重；所述第二目标图像中具有结构特征的像素点的第二融合权重大于所述第一目标图像中具有结构特征的相同像素点的第一融合权重；

基于所述第一目标图像各像素点的像素信息、所述第一目标图像中各像素点的第一融合权重、所述第二目标图像各像素点的像素信息、以及所述第二目标图像中各像素点的第二融合权重，得到所述输出图像。

在一些实施例中，所述第一注意力模块包括顺序连接的第一卷积层、第二卷积层、下采样层、第三卷积层、第四卷积层、第五卷积层和激活函数；和/或，

所述第二注意力模块包括顺序连接的第一卷积层、第二卷积层、下采样层、第三卷积层、第四卷积层、第五卷积层和激活函数。

在一些实施例中，所述像素信息为所述像素点在当前颜色空间中的像素值；

所述基于所述第一目标图像各像素点的像素信息、所述第一目标图像中各像素点的第一融合权重、所述第二目标图像各像素点的像素信息、以及所述第二目标图像中各像素点的第二融合权重，得到所述输出图像，包括：

对于所述第一目标图像中的各个所述像素点，将所述像素点的像素值和与之对应的第一融合权重进行乘法运算，得到所述像素点更新后的像素值，以得到第一待融合图像；

对于所述第二目标图像中的各个所述像素点，将所述像素点的像素值和与之对应的第二融合权重进行乘法运算，得到所述像素点更新后的像素值，以得到第二待融合图像；

将所述第一待融合图像中各所述像素点的像素值和所述第二待融合图像中与之对应的所述像素点的像素值相加，得到融合图像；

对所述融合图像进行降噪处理，得到输出图像。

第二方面，本公开实施例还提供了一种图像处理装置，包括输入模块、第一分支模块、第二分支模块和处理模块；所述第一分支模块为基于超分辨率SR算子的神经网络；所述第二分支模块为基于图像插值算子的网络；

所述输入模块，被配置为将获取到的待处理图像分别输入到第一分支模块和第二分支模块；

所述第一分支模块，被配置为对所述待处理图像进行处理，输出第一目标图像；所述第一目标图像的分辨率高于所述待处理图像的分辨率；

所述第二分支模块，被配置为对所述待处理图像进行处理，输出第二目标图像；所述第二目标图像的分辨率等于所述第一目标图像的分辨率；

所述处理模块，被配置为对所述第一目标图像和所述第二目标图像进行融合处理，得到输出图像。

在一些实施例中，所述处理模块还包括第一注意力模块、第二注意力模块和融合器；

所述第一注意力模块，被配置为对所述第一目标图像进行处理，得到所述第一目标图像中各像素点的第一融合权重；

所述第二注意力模块，被配置为对所述第二目标图像进行处理，得到所述第二目标图像中各像素点的第二融合权重；所述第二目标图像中具有结构特征的像素点的第二融合权重大于所述第一目标图像中具有结构特征的相同像素点的第一融合权重；

所述融合器，被配置为基于所述第一目标图像各像素点的像素信息、所述第一目标图像中各像素点的第一融合权重、所述第二目标图像各像素点的像素信息、以及所述第二目标图像中各像素点的第二融合权重，得到输出图像。

第三方面，本公开实施例中还提供了一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面中任一项所述的图像处理方法的步骤。

第四方面，本公开实施例中还提供了一种计算机非瞬态可读存储介质，其中，该计算机非瞬态可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面中任一项所述的图像处理方法的步骤。

附图说明

图1为本公开实施例提供的一种图像处理方法的流程图；

图2为本公开实施例提供的第一分支模块的具体处理流程图；

图3为本公开实施例提供的采用双线性插值算法得到第二目标图像的示意图；

图4为本公开实施例提供的采用最近邻插值算法得到第二目标图像的示意图；

图5为本公开实施例提供的图像融合的具体流程示意图；

图6为本公开实施例提供的注意力模块的网络架构示意图；

图7为本公开实施例提供的第三融合模块的网络架构示意图；

图8为本公开实施例提供的图像处理装置所集成的网络架构的示意图；

图9为本公开实施例提供的一种图像处理装置的示意图；

图10为本公开实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

在本公开中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

在相关技术中，基于人工智能的超级分辨率技术(Artificial IntelligenceSuper Resolution，AISR)是一种依靠机器学习来实现图像放大的算法，将低分辨率图像放大为超分辨率图像，能够丰富图像的细节，从而达到良好的视觉感知效果。但是，对于图像中的某些画面，不是说细节越丰富越好，例如卡通图像和图像发生器产生的测试图卡中大量的规则对象，该对象线条分明，丰富线条细节反而增添冗余的“毛刺”信息，从而破坏线条结构，造成图像在线条区域部分失真，降低图像的质量，不利于用户的视觉感知。

鉴于此，本公开实施例提供了一种图像处理方法，其实质上消除了由于相关技术的限制和缺陷而导致的问题。具体的，本公开实施例中图像处理方法应用于图像处理装置；图像处理装置配置有第一分支模块和第二分支模块；第一分支模块为基于超分辨率SR算子的神经网络；第二分支模块为基于插值算子的网络。其中，图像处理方法包括将获取到的待处理图像分别输入到第一分支模块和第二分支模块；利用第一分支模块对待处理图像进行处理，输出第一目标图像；第一目标图像的分辨率高于待处理图像的分辨率；利用第二分支模块对待处理图像进行处理，输出第二目标图像；第二目标图像的分辨率等于第一目标图像的分辨率；对第一目标图像和第二目标图像进行融合处理，得到输出图像。

本公开实施例中，利用两条分支网络分别对待处理图像进行处理，其中第一分支模块可以是基于超分辨率SR算子的神经网络，例如可以理解第一分支模块是一种基于AISR技术的神经网络，在实现图像放大过程中，丰富图像的细节，从而达到良好的视觉感知效果。第二分支模块可以是基于插值算子的网络，例如可以理解为第二分支模块是一种图像插值算法的网络，相比于基于AISR技术的神经网络，图像整体质量较差，但是图像中关于对象结构的特征能够被完全保留。之后，将第一分支模块输出的第一目标图像和第二分支模块输出的第二目标图像进行融合，既能够丰富图像的细节，又能够有针对性的保留规则对象完整的结构特征，提高图像的整体质量，确保用户具有良好的视觉感知效果。

为了方便理解，在介绍本公开实施例之前，对本公开涉及到的特殊名词做详细说明。

1、Transformer算法是一种基于自注意力机制的深度学习模型，采用注意力机制的思想，使用多级别的自监督学习来学习高分辨率图像表示，从而将低分辨率的待处理图像转换为高分辨率的第二目标图像。

2、生成对抗网络(Generative Adversarial Network，GAN)，是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。GAN至少包括生成器和鉴别器，其中生成器的优势适合于对抗训练中生成的数据和实际数据的渐变，而在SRGAN中，只有生成的部分生效。鉴别器能够帮助学习更清晰的边缘和更细腻的纹理。

3、变分自编码器(Variational Auto-Encoders，VAE)变分自编码器也是一种由编码器和解码器组成的结构，经过训练以使编码解码后的数据与初始数据之间的重构误差最小。本公开实施例采用基于VAE的网络进行图像处理。

4、Example-based算法是一种基于学习的单图像超分辨率算法。Example-based算法运用机器学习相关算法训练数据集，学习得到LR和HR之间的关系，搜索到与LR最佳匹配的HR，从而达到超分辨率重建的目的。

5、超分辨率(super-resolution)算法是一类技术，旨在通过观测低分辨率图像重建出相应的高分辨率图像。

下面对本公开实施例提供的一种图像处理方法的具体过程进行详细说明。本公开实施例提供的一种图像处理方法可以应用于图像处理装置。该图像处理装置至少配置有第一分支模块和第二分支模块，第一分支模块为基于超分辨率SR算子的神经网络；第二分支模块为基于插值算子的网络。

示例性的，第一分支模块的网络架构可以是基于AISR技术的神经网络，能够将较低分辨率图像提升到较高分辨率图像，图像质量远高于传统基于图像插值的方式。然而，基于AISR技术的神经网络也可能会在图像的某些画面存在结构失真，此时的感知效果不如传统的图像插值方式。在此基础上，借助第二分支模块，例如基于图像插值算法的网络，保留图像中关于对象结构的特征，将具有丰富细节特征的第一目标图像和具有完整结构特征的第二目标图像进行融合，使得最终输出的输出图像既能够丰富图像的细节，又能够有针对性的保留规则对象完整的结构特征，提高图像的整体质量，确保用户具有良好的视觉感知效果。

图1为本公开实施例提供的一种图像处理方法的流程图，如图1所示，包括步骤S11～S13，其中：

S11、将获取到的待处理图像分别输入到第一分支模块和第二分支模块。

本步骤中，待处理图像可以是预测存储在数据库中的图像数据，或者，也可以是拍摄设备实时拍摄传输的视频流中的图像数据等。

S12、利用第一分支模块对待处理图像进行处理，输出第一目标图像。

其中，第一目标图像的分辨率高于待处理图像的分辨率。

示例性的，第一分支模块可以是基于AISR技术的神经网络，例如包括但不仅限于以下至少一种算法：基于卷积神经网络的超分辨率算法、基于transformer的超分辨率算法、基于GAN的超分辨率算法、基于样本学习的超分辨率算法、基于AVE的超分辨方法等等。其中，基于样本学习的超分辨率算法例如可以是Example-based算法、super-resolution算法等。

示例性的，第一目标图像的分辨率为预设分辨率，该预设分辨率可以基于显示屏的显示分辨率确定，例如预设分辨率为显示屏的显示分辨率。利用第一分支模块对待处理图像进行处理，具体可以按照预设分辨率，对具有较低分辨率的待处理图像进行放大，得到具有较高分辨率的第一目标图像。

S13、利用第二分支模块对待处理图像进行处理，输出第二目标图像。

其中，第二目标图像的分辨率等于第一目标图像的分辨率。例如，第二目标图像的分辨率等于第一目标图像的分辨率，且均为预设分辨率。

示例性的，第二分支模块可以是基于图像插值算法的网络，图像插值算法例如可以包括双三次插值算法、双线性插值算法、最近邻插值算法和面积插值算法中的任意一种。

示例性的，利用第二分支模块对待处理图像进行处理，具体可以按照预设分辨率，对具有较低分辨率的待处理图像进行插值放大，得到具有较高分辨率的第二目标图像。

S14、对第一目标图像和第二目标图像进行融合处理，得到输出图像。

具体地，对第一目标图像进行识别，得到具有结构特征的像素点的位置；根据第一目标图像各像素点的像素值和具有结构特征的像素点的位置，生成第一目标图像中各像素点的第一融合权重，具有结构特征的像素点的第一融合权重相比第二目标图像中相同位置像素点的第二融合权重低。对第二目标图像进行识别，得到具有结构特征的像素点的位置；根据第二目标图像各像素点的像素值和具有结构特征的像素点的位置，生成第二目标图像中各像素点的第二融合权重，具有结构特征的像素点的第二融合权重相比第一目标图像中相同位置像素点的第一融合权重高。

本公开实施例针对同一待处理图像采用不同的处理分支，并根据不同处理分支的特点，自适应生成不同的融合权重，例如对于质量较好的第一目标图像，将其中具有结构特征的像素点的第一融合权重调低；对于画面结构特征完整的第二目标图像，将其中具有结构特征的像素点的第二融合权重调高，利用第一融合权更新第一目标图像，利用第二融合权重更新第二目标图像，再将二者结合，使得最终输出的输出图像既能够丰富图像的细节，又能够有针对性的保留规则对象完整的结构特征，提高图像的整体质量，确保用户具有良好的视觉感知效果。

针对步骤S12中第一分支模块的具体处理过程如下：在一些实施例中，图2为本公开实施例提供的第一分支模块的具体处理流程图，如图2所示，其中以第一分支模块包括基于卷积神经网络的超分辨率算法为例进行说明，具体包括步骤S121～S123，其中：

S121、对待处理图像进行特征提取，得到第一中间特征图。

具体地，第一分支模块包括多层网络层，多层网络层例如包括特征提取器、非线性映射单元和重建单元。采用特征提取器对待处理图像进行特征提取，得到第一中间特征图。应当理解的是，对于多通道特征提取，得到与通道数一一对应的第一中间特征图。本公开实施例不限定通道数。

S122、对第一中间特征图进行非线性转换，得到第二中间特征图。

具体地，采用非线性映射单元对第一中间特征图进行非线性转换，得到第二中间特征图。

S123、对第二中间特征图进行图像重建，得到第一目标图像。

具体地，第二中间特征图包含特征信息，采用重建单元将特征信息转换为像素信息，即为图像重建，得到第一目标图像。

本公开实施例采用基于卷积神经网络的超分辨率算法对待处理图像进行放大，使得第一目标图像具有更多的高频细节，提高第一目标图像的质量。

针对步骤S13中第二分支模块的具体处理过程如下：在一些实施例中，第二分支模块包括图像插值算法。可以基于预设分辨率对待处理图像进行放大，并利用图像插值算法，得到放大后图像中各个像素点的像素信息，确定出第二目标图像。

具体地，在已知预设分辨率的前提下，可以获取预设放大倍数；按照预设放大倍数对待处理图像进行放大，得到放大后图像；进一步基于待处理图像中各第一像素点的位置、放大后图像中各第二像素点的位置和预设放大倍数，确定待处理图像中与放大后图像中各第二像素点对应的目标像素点。例如，5×5分辨率的待处理图像，预设放大倍数为2，确定放大后图像的分辨率为10×10。例如，放大后图像中第二像素点(2,2)对应待处理图像中第一像素点(1,1)(1,2)(2,1)(2,2)，又例如放大后图像中第二像素点(7,7)对应待处理图像中第一像素点(3,3)(3,4)(4,3)(4,4)。之后，基于各目标像素点的像素信息，确定各目标像素点所对应的第二像素点的像素信息；基于相同原理，能够确定出全部第二像素点的像素信息，以得到第二目标图像。

示例性的，图3为本公开实施例提供的采用双线性插值算法得到第二目标图像的示意图，如图3所示，31表示第二像素点，32表示与第二像素点31对应的目标像素点32，以图像插值算法为双线性插值算法为例，基于各目标像素点32的像素信息，确定各目标像素点32所对应的第二像素点31的像素信息，具体计算过程如下：

luma_interp(r-1,c)＝luma(y,x)+(luma(y,x+1)–luma(y,x))×dx

luma_interp(r+1,c)＝luma(y+1,x)+(luma(y+1,x+1)–luma(y+1,x))×dx luma_interp(r,c)＝luma_interp(r-1,c)+(luma_interp(r+1,c)–luma_interp(r-1,c))×dy

其中，luma_interp(r-1,c)表示虚拟像素点33的像素信息；luma_interp(r+1,c)表示虚拟像素点34的像素信息；luma_interp(r，c)表示插值点(r，c)(也即第二像素点31)的像素信息；dx表示插值点在X方向上与(y，x)的距离；dx表示插值点在Y方向上与(y，x)的距离。

示例性的，图4为本公开实施例提供的采用最近邻插值算法得到第二目标图像的示意图，如图4所示，41表示第二像素点，42表示与第二像素点41对应的目标像素点，以图像插值算法为最近邻插值算法为例，基于各目标像素点42的像素信息，确定各目标像素点42所对应的第二像素点41的像素信息，具体计算过程如下：

I

其中，c表示插值点(也即第二像素点41)在X方向上的坐标值；r表示插值点(也即第二像素点41)在Y方向上的坐标值；scale

本公开实施例采用图像插值算法对待处理图像进行放大，保留了待处理图像中更多的结构特征，从整体结构上提高图像感知效果。

针对步骤S14中对第一目标图像和第二目标图像融合过程的具体说明如下：在一些实施例中，图像处理装置还配置有第一注意力模块和第二注意力模块。图5为本公开实施例提供的图像融合的具体流程示意图，如图5所示，具体包括步骤S141～S143，其中：

S141、利用第一注意力模块，对第一目标图像进行处理，得到第一目标图像中各像素点的第一融合权重。

示例性的，第一注意力模块可以包括顺序连接的第一卷积层、第二卷积层、下采样层、第三卷积层、第四卷积层、第五卷积层和激活函数。

对于训练完成的第一注意力模块，其能够具有为具有结构特征的像素点生成较低第一融合权重的能力。

S142、利用第二注意力模块，对第二目标图像进行处理，得到第二目标图像中各像素点的第二融合权重。

其中，第二目标图像中具有结构特征的像素点的第二融合权重大于第一目标图像中具有结构特征的相同像素点的第一融合权重。

示例性的，第二注意力模块可以包括顺序连接的第一卷积层、第二卷积层、下采样层、第三卷积层、第四卷积层、第五卷积层和激活函数。

对于训练完成的第二注意力模块，其能够具有为具有结构特征的像素点生成较高第二融合权重的能力。

图6为本公开实施例提供的注意力网络的网络架构示意图，如图6所示，第一注意力模块和第二注意力模块可以采用同种网络架构(以下简称注意力网络61)。注意力网络61可以包括顺序连接的第一卷积层、第二卷积层、下采样层、第三卷积层、第四卷积层、第五卷积层和激活函数。对于输入的目标图像(第一目标图像或第二目标图像)，利用卷积核3×3的第一卷积层进行卷积，其中步长stride＝1，填充值padding＝1，得到第一特征图feature0；对于第一特征图feature0，分两部分支路进行处理，其中一个支路依次经过第二卷积层、下采样层(Max Pooling)、第三卷积层和第四卷积层，输出第二特征图feature1，其中第二卷积层的卷积核尺寸3×3，步长stride＝2，填充值padding＝0，下采样层的卷积核尺寸5×5，步长stride＝1，第三卷积层的卷积核尺寸3×3，步长stride＝1，填充值padding＝1，第四卷积层卷积核尺寸1×1，步长stride＝1，填充值padding＝0；另一个支路直接输出第一特征图feature0作为卷积核3×3的第五卷积层的输入，其中步长stride＝1，填充值padding＝1，以融合第二特征图feature1和第一特征图feature0，得到第三特征图feature3。之后，将第三特征图feature3输入至激活函数，得到目标图像中各像素点的融合权重。

S143、基于第一目标图像各像素点的像素信息、第一目标图像中各像素点的第一融合权重、第二目标图像各像素点的像素信息、以及第二目标图像中各像素点的第二融合权重，得到输出图像。

像素信息可以理解为所述像素点在当前颜色空间中的像素值。当前颜色空间例如可以是RGB、YUV、或HSV对应的颜色空间。本公开实施例以YUV颜色空间为例进行说明。

图像处理装置还包括与第一注意力模块的输出端和第二注意力模块的输出端均连接的融合器；融合器的第一端口与第一注意力模块的输出端连接，融合器的第二端口与第二注意力模块的输出端连接，第一端口与第二端口不同。融合器包括第一融合模块、第二融合模块和第三融合模块。针对步骤S143具体包括步骤S143-1～143-4，其中：

S143-1、对于第一目标图像中的各个像素点，将像素点的像素值和与之对应的第一融合权重进行乘法运算，得到像素点更新后的像素值，以得到第一待融合图像。

如图6所示，62表示与第一注意力模块连接的第一融合模块62-1。以第一目标图像中一个像素点为例，第一融合模块62-1确定一像素点更新后的像素值的计算过程如下：

out_1(r,c)＝input_1(r,c)×coef_1(r,c)

其中，coef_1(r,c)表示第一目标图像中像素点(r,c)的第一融合权重，input_1(r,c)表示第一目标图像中像素点(r,c)的像素值，out_1(r,c)表示第一待融合图像中像素点(r,c)的像素值。

需要说明的是，若当前颜色空间为YUV颜色空间，则input_1(r,c)和out_1(r,c)可以是Y通道的数据。本公开实施例采用YUV颜色空间，可以仅对Y通道数据进行处理，节省了其他通道数据(也即U、V通道)的运算，从而提高插值效率。若当前颜色空间为RGB颜色空间，则input_1(r,c)和out_1(r,c)可以是R通道、G通道和B通道三通道的融合数据。本公开实施例采用RGB颜色空间，提高插值点的像素质量，从而提高视觉感官效果。

对于第一目标图像中除了像素点(r,c)外剩余的其他像素点，计算像素值的原理相同，可以参见上述过程，重复部分不再赘述。计算出第一目标图像中的全部像素点更新后的像素值，即可得到第一待融合图像I_aisr。

S143-2、对于第二目标图像中的各个像素点，将像素点的像素值和与之对应的第二融合权重进行乘法运算，得到像素点更新后的像素信息，以得到第二待融合图像。

如图6所示，62表示与第二注意力模块连接的第二融合模块62-2。以第二目标图像中一个像素点为例，第二融合模块62-2确定一像素点更新后的像素值的计算过程如下：

out_2(r,c)＝input_2(r,c)×coef_2(r,c)

其中，coef_2(r,c)表示第二目标图像中像素点(r,c)的第二融合权重，input_2(r,c)表示第二目标图像中像素点(r,c)的像素值，out_2(r,c)表示第二待融合图像中像素点(r,c)的像素值。

需要说明的是，若当前颜色空间为YUV颜色空间，则input_2(r,c)和out_2(r,c)可以是Y通道的数据。本公开实施例采用YUV颜色空间，可以仅对Y通道数据进行处理，节省了其他通道数据(也即U、V通道)的运算，从而提高插值效率。若当前颜色空间为RGB颜色空间，则input_2(r,c)和out_2(r,c)可以是R通道、G通道和B通道三通道的融合数据。本公开实施例采用RGB颜色空间，提高插值点的像素质量，从而提高视觉感官效果。

对于第二目标图像中除了像素点(r,c)外剩余的其他像素点，计算像素值的原理相同，可以参见上述过程，重复部分不再赘述。计算出第二目标图像中的全部像素点更新后的像素值，即可得到第二待融合图像I_gs。

S143-3、将第一待融合图像中各像素点的像素值和第二待融合图像中与之对应的像素点的像素值相加，得到融合图像。

图7为本公开实施例提供的第三融合模块的网络架构示意图，如图7所示，第三融合模块63包括融合单元631和降噪单元632；其中，融合单元631将第一待融合图像I_aisr中各像素点的像素值和第二待融合图像I_gs中与之对应的像素点的像素值相加，得到融合图像。

S143-4、对融合图像进行降噪处理，得到输出图像。

如图7所示，降噪单元632包括卷积层6321、卷积层6322、激活函数6323和卷积层6324。具体地，将融合图像输入至卷积层6321中，得到卷积层6321输出的特征图feature4；对于将特征图feature4，分两部分支路进行处理，其中一个支路依次经过卷积层6322和激活函数6323，输出特征图feature5；另一个支路直接输出特征图feature4并与特征图feature5进行融合，得到特征图feature6。之后，将特征图feature6至卷积层6324进行卷积，最终输出得到输出图像I_sr。这里，对融合图像进行噪声处理，提高图像质量，从而提高用户的视觉感官效果。

为了方便理解，下面以一个完整示例对本公开实施例提供的图像处理方法进行说明。示例性的，图8为本公开实施例提供的图像处理装置所集成的网络架构的示意图，如图8所示，包括第一分支模块92、第二分支模块93、第一注意力模块61-1、第二注意力模块61-2和融合器；其中，第一分支模块92包括特征提取器921、非线性映射单元922和重建单元923。融合器还包括第一融合模块62-1、第二融合模块62-2和第三融合模块63；第三融合模块63包括融合单元631和降噪单元632。其中：

第一分支模块92对待处理图像进行处理，输出第一目标图像；第二分支模块93对待处理图像进行处理，输出第二目标图像；第一注意力模块61-1对第一目标图像进行处理，得到第一目标图像中各像素点的第一融合权重；第二注意力模块61-2对第二目标图像进行处理，得到第二目标图像中各像素点的第二融合权重；第一融合模块62-1对于第一目标图像中的各个像素点，将像素点的像素值和与之对应的第一融合权重进行乘法运算，得到像素点更新后的像素值，以得到第一待融合图像；第二融合模块62-2对于第二目标图像中的各个像素点，将像素点的像素值和与之对应的第二融合权重进行乘法运算，得到像素点更新后的像素值，以得到第二待融合图像；融合单元631将第一待融合图像中各像素点的像素值和第二待融合图像中与之对应的像素点的像素值相加，得到融合图像；降噪单元632对融合图像进行降噪处理，得到输出图像。

在一些实施例中，第一分支模块的训练步骤包括S21～S23，其中：

S21、获取第一训练数据集。

第一训练数据集可以是预先存储的包含大量具有规则结构特征的正样本、以及非结构特征和无结构特征的负样本。

S22、将第一训练数据集输入到待训练的第一分支模块中进行迭代训练。

S23、构造加权损失值，通过对加权损失值进行加权反向传播以持续训练待训练的第一分支模块，直至加权损失值收敛，得到训练完成的第一分支模块。

在一些实施例中，图像处理装置还配置有与第一分支模块连接的第一注意力模块，与第二分支模块连接的第二注意力模块，与第一注意力模块的输出端和第二注意力模块的输出端均连接的融合器；融合器的第一端口与第一注意力模块的输出端连接，融合器的第二端口与第二注意力模块的输出端连接，第一端口与第二端口不同。

本公开实施例将第一分支模块的训练与融合器的训练阶段分开处理，结合上述已经训练完成的第一分支模块，保持第一分支模块的参数不变，对第一注意力模块、第二注意力模块和融合器进行训练，具体训练步骤包括S24～S26，其中：

S24、获取第二训练数据集。

第二训练数据集可以是预先存储的包含大量具有规则结构特征的正样本、以及非结构特征和无结构特征的负样本。例如，第二训练数据集中的部分样本可以采用第一训练数据集中的训练样本。

S25、将第一训练数据集分别输入到训练完成的第一分支模块和第二分支模块，对待训练的第一注意力模块、待训练的第二注意力模块和待训练的融合器进行迭代训练。

第二分支模块是基于图像插值算子的网络，结构主体为固定的图像插值算法，无需训练。

S26、构造加权损失值，通过对加权损失值进行加权反向传播，并保证训练完成的第一分支模块的参数不变，持续训练待训练的第一注意力模块、待训练的第二注意力模块和待训练的融合器，直至加权损失值收敛，得到训练完成的第一注意力模块、训练完成的第二注意力模块和训练完成的融合器。

如图8所示，训练完成的第一分支模块92、第一注意力模块61-1、第二注意力模块61-2和融合器，结合第二分支模块93构成整体的图像处理网络，该图像处理网络集成在图像处理装置中。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

另外，本公开实施例中还提供了与图像处理方法对应的图像处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

图9为本公开实施例提供的一种图像处理装置的示意图，如图9所示，其中，图像处理装置包括输入模块91、第一分支模块92、第二分支模块93和处理模块94；第一分支模块92为基于超分辨率SR算子的神经网络；第二分支模块93为基于图像插值算子的网络。

输入模块91，被配置为将获取到的待处理图像分别输入到第一分支模块92和第二分支模块93。输入模块91可以是图像处理装置中的接口，用于接收外部信息。

需要说明的是，本公开实施例中的输入模块91被配置为执行上述图像处理方法中的步骤S11。

第一分支模块92，被配置为对待处理图像进行处理，输出第一目标图像；第一目标图像的分辨率高于待处理图像的分辨率。

需要说明的是，本公开实施例中的第一分支模块92被配置为执行上述图像处理方法中的步骤S12。

第二分支模块93，被配置为对待处理图像进行处理，输出第二目标图像；第二目标图像的分辨率等于第一目标图像的分辨率。

需要说明的是，本公开实施例中的第二分支模块93被配置为执行上述图像处理方法中的步骤S13。

处理模块94，被配置为对第一目标图像和第二目标图像进行融合处理，得到输出图像。

需要说明的是，本公开实施例中的处理模块94被配置为执行上述图像处理方法中的步骤S14。本公开实施例中的处理模块94中集成有第一注意力模块61-1、第二注意力模块61-2和融合器。

在一些实施例中，利用特征提取器921被配置为对待处理图像进行特征提取，得到第一中间特征图；非线性映射单元922被配置为对第一中间特征图进行非线性转换，得到第二中间特征图；重建单元923被配置为对第二中间特征图进行图像重建，得到第一目标图像。

需要说明的是，本公开实施例中的第一分支模块92被配置为执行上述图像处理方法中的步骤S121～S123。

在一些实施例中，第二分支模块93包括图像插值算法；第二分支模块93具体被配置为基于预设分辨率对待处理图像进行放大，并利用图像插值算法，得到放大后图像中各个像素点的像素信息，确定出第二目标图像。

需要说明的是，本公开实施例中的第二分支模块93被配置为执行上述图像处理方法中的步骤S13的具体实施过程。

在一些实施例中，图像插值算法包括双三次插值算法、双线性插值算法、最近邻插值算法和面积插值算法中的任意一种。

在一些实施例中，处理模块94中集成有第一注意力模块61-1、第二注意力模块61-2和融合器。

第一注意力模块61-1被配置为对第一目标图像进行处理，得到第一目标图像中各像素点的第一融合权重。

需要说明的是，本公开实施例中的第一注意力模块61-1被配置为执行上述图像处理方法中的步骤S141。

第二注意力模块61-2被配置为对第二目标图像进行处理，得到第二目标图像中各像素点的第二融合权重；第二目标图像中具有结构特征的像素点的第二融合权重大于第一目标图像中具有结构特征的相同像素点的第一融合权重。

需要说明的是，本公开实施例中的第二注意力模块61-2被配置为执行上述图像处理方法中的步骤S142。

融合器被配置为基于第一目标图像各像素点的像素信息、第一目标图像中各像素点的第一融合权重、第二目标图像各像素点的像素信息、以及第二目标图像中各像素点的第二融合权重，得到输出图像。

需要说明的是，本公开实施例中的融合器被配置为执行上述图像处理方法中的步骤S143。

在一些实施例中，第一注意力模块61-1包括顺序连接的第一卷积层、第二卷积层、下采样层、第三卷积层、第四卷积层、第五卷积层和激活函数；和/或，第二注意力模块61-2包括顺序连接的第一卷积层、第二卷积层、下采样层、第三卷积层、第四卷积层、第五卷积层和激活函数。

在一些实施例中，像素信息为像素点在当前颜色空间中的像素值。

融合器包括第一融合模块62-1、第二融合模块62-2和第三融合模块63。第三融合模块63包括融合单元631和降噪单元632。

第一融合模块62-1被配置为对于第一目标图像中的各个像素点，将像素点的像素值和与之对应的第一融合权重进行乘法运算，得到像素点更新后的像素值，以得到第一待融合图像。

需要说明的是，本公开实施例中的第一融合模块62-1被配置为执行上述图像处理方法中的步骤S143-1。

第二融合模块62-2被配置为对于第二目标图像中的各个像素点，将像素点的像素值和与之对应的第二融合权重进行乘法运算，得到像素点更新后的像素值，以得到第二待融合图像。

需要说明的是，本公开实施例中的第二融合模块62-2被配置为执行上述图像处理方法中的步骤S143-2。

融合单元631被配置为将第一待融合图像中各像素点的像素值和第二待融合图像中与之对应的像素点的像素值相加，得到融合图像。

需要说明的是，本公开实施例中的融合单元631被配置为执行上述图像处理方法中的步骤S143-3。

噪声单元被配置为对融合图像进行降噪处理，得到输出图像。

需要说明的是，本公开实施例中的噪声单元被配置为执行上述图像处理方法中的步骤S143-4。

在一些实施例中，图像处理装置还包括第一训练模块；第一训练模块被配置为对第一分支模块92进行训练，具体地获取第一训练数据集；将第一训练数据集输入到待训练的第一分支模块92中进行迭代训练；构造加权损失值，通过对加权损失值进行加权反向传播以持续训练待训练的第一分支模块92，直至加权损失值收敛，得到训练完成的第一分支模块92。

需要说明的是，本公开实施例中的第一训练模块被配置为执行上述图像处理方法中的步骤S21～S23。

在一些实施例中，图像处理装置还配置有与第一分支模块92连接的第一注意力模块61-1，与第二分支模块93连接的第二注意力模块61-2，与第一注意力模块61-1的输出端和第二注意力模块61-2的输出端均连接的融合器；融合器的第一端口与第一注意力模块61-1的输出端连接，融合器的第二端口与第二注意力模块61-2的输出端连接，第一端口与第二端口不同；

图像处理装置还包括第二训练模块；第二训练模块被配置为对第一注意力模块61-1、第二注意力模块61-2和融合器进行训练，具体地获取第二训练数据集；将第一训练数据集分别输入到训练完成的第一分支模块92和第二分支模块93，对待训练的第一注意力模块61-1、待训练的第二注意力模块61-2和待训练的融合器进行迭代训练；构造加权损失值，通过对加权损失值进行加权反向传播，并保证训练完成的第一分支模块92的参数不变，持续训练待训练的第一注意力模块61-1、待训练的第二注意力模块61-2和待训练的融合器，直至加权损失值收敛，得到训练完成的第一注意力模块61-1、训练完成的第二注意力模块61-2和训练完成的融合器。

需要说明的是，本公开实施例中的第一训练模块被配置为执行上述图像处理方法中的步骤S24～S26。

图10为本公开实施例提供的一种计算机设备的结构示意图。如图10所示，本公开实施例提供一种计算机设备包括：一个或多个处理器101、存储器102、一个或多个I/O接口103。存储器102上存储有一个或多个程序，当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现如上述实施例中任一的图像处理方法；一个或多个I/O接口103连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。

其中，处理器101为具有数据处理能力的器件，其包括但不限于中央处理器(CPU)等；存储器102为具有数据存储能力的器件，其包括但不限于随机存取存储器(RAM，更具体如SDRAM、DDR等)、只读存储器(ROM)、带电可擦可编程只读存储器(EEPROM)、闪存(FLASH)；I/O接口(读写接口)103连接在处理器101与存储器102间，能实现处理器101与存储器102的信息交互，其包括但不限于数据总线(Bus)等。

在一些实施例中，处理器101、存储器102和I/O接口103通过总线104相互连接，进而与计算设备的其它组件连接。

根据本公开的实施例，还提供一种计算机非瞬态可读存储介质。该计算机非瞬态可读存储介质上存储有计算机程序，其中，该程序被处理器执行时实现如上述实施例中任一的图像处理方法中的步骤。

特别地，根据本公开实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(Central Processing Unit，CPU)执行时，执行本公开的系统中限定的上述功能。

需要说明的是，本公开所示的计算机非瞬态可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read-OnlyMemory，EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-OnlyMemory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机非瞬态可读存储介质，该计算机非瞬态可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机非瞬态可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个相连的方框实际上可以表示基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。