图像锐化方法

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像锐化方法。

背景技术

锐化是一种常见的图像处理技术，其目的是补偿图像的轮廓，增强图强的边缘及灰度跳变的部分，使图像变得清晰。图像锐化是为了突出图像上地物的边缘、轮廓，或某些线性目标要素的特征。

通常，图像锐化重点在于图像细节的提取，一般是从空域的角度对图像进行处理。

然而，目前对图像锐化之后得到的锐化图像依然存在细节无法区分等情况，锐化效果差。

发明内容

本申请提供一种图像锐化方法和装置，用于解决现有图像锐化效果差的问题。

第一方面，本申请实施例提供一种图像锐化方法，包括：

获取待处理的图像；

将所述待处理的图像输入预先获取的训练后的锐化神经网络，提取得到所述待处理的图像的纹理细节和边缘细节；其中，所述训练后的锐化神经网络是根据训练样本集合中的多个样本图像的第一细节特征和第二细节特征训练得到的，每个图像的第一细节特征是采用训练前的锐化神经网络从所述图像中提取得到的，每个图像的第二细节特征是对所述图像真实的细节进行标定得到的；

将所述纹理细节和所述边缘细节回叠至所述待处理的图像，得到锐化后的目标图像。

在第一方面的一种可能设计中，所述锐化神经网络至少包括一个编码器和至少两个解码器；

相应的，所述将所述待处理的图像输入预先获取的训练后的锐化神经网络，提取得到所述待处理的图像的纹理细节和边缘细节，包括：

将所述待处理的图像输入所述编码器，对输入的图像进行编码得到编码结果；

将所述编码结果输入所述至少两个解码器中的第一解码器，对所述编码结果进行解码，获取至少两个频段的纹理细节；

将所述编码结果输入所述至少两个解码器中的第二解码器，对所述编码结果进行解码，获取至少两个频段的边缘细节。

在第一方面的另一种可能设计中，所述将所述待处理的图像输入预先获取的训练后的锐化神经网络，得到所述待处理图像的纹理细节和边缘细节之前，所述方法还包括：

获取用于进行锐化神经网络训练的所述训练样本集合，所述训练样本集合中包括多个样本图像的第一细节特征和第二细节特征；

针对所述训练样本集合中每个样本图像，从所述样本图像的第一细节特征中获取所述样本图像的至少两个频段的纹理细节、至少两个频段的边缘细节；

从所述样本图像的第二细节特征中获取所述样本图像的真实的纹理细节、真实的边缘细节；

针对所述样本图像，获取每个频段的纹理细节与真实的纹理细节的第一损失值，并获取每个频段的边缘细节与真实的边缘细节的第二损失值；

根据预设的加权值、所述第一损失值和所述第二损失值，计算得到所述样本图像对应的锐化总损失；

根据所述训练样本集合中的每个样本图像对应的锐化总损失，训练预设的所述训练前的锐化神经网络，得到所述训练后的锐化神经网络。

在第一方面的再一种可能设计中，所述编码器包括：浅层特征提取网络和与所述浅层特征提取网络连接的深层特征提取网络，所述浅层特征提取网络包括至少一个处理模块，所述深层特征提取网络包括至少一个混合注意力组模块；

相应的，所述对输入的图像进行编码得到编码结果，包括：

通过所述处理模块中的不同尺度的卷积分支提取输入的图像的多尺度特征并融合，得到融合后特征；

通过所述处理模块中的坐标注意力机制模块对所述融合后特征进行坐标注意力机制的计算，获取特征图权重，并将所述特征图权重与所述融合后特征相乘后，作为所述浅层特征提取网络的输出；

通过所述混合注意力组模块从浅层特征提取模块的输出中提取高级图像特征，并将所述高级图像特征经过卷积后与所述浅层特征提取模块的输出融合，得到深层编码特征，作为所述编码结果。

在第一方面的又一种可能设计中，所述浅层特征提取网络包括第一处理模块，第二处理模块和第三处理模块；

相应的，获取浅层特征提取网络的输出，包括：

通过所述第一处理模块对输入的图像进行处理，获取A*B*N的第一浅层特征图，A、B表示图像尺寸，N表示图像通道数；

通过所述第二处理模块对所述第一浅层特征图进行处理，获取第二浅层特征图，所述第二浅层特征图的尺寸小于所述第一浅层特征图且通道数大于所述第一浅层特征图；

通过所述第三处理模块对所述第二浅层特征图进行处理，获取第三浅层特征图，作为所述浅层特征提取网络的输出，所述第三浅层特征图的尺寸小于所述第二浅层特征图且通道数大于所述第二浅层特征图。

在第一方面的又一种可能设计中，所述第一处理模块、第二处理模块、第三处理模块中的多尺度分支模块的卷积核个数和步长不相同，所述第一处理模块、第二处理模块、第三处理模块中的坐标注意力机制模块的卷积核个数和步长不相同。

在第一方面的又一种可能设计中，所述混合注意力组模块包括混合注意力块；

相应的，所述通过所述混合注意力组模块从浅层特征提取模块的输出中提取高级图像特征，包括：

通过所述混合注意力块对所述浅层特征提取模块的输出进行层归一化，并通过通道注意力机制和基于窗口的多头自注意力机制同时进行处理之后，与所述浅层特征提取模块的输出融合，得到第一特征；

通过所述混合注意力块对所述第一特征通过层归一化和多层感知器之后与所述第一特征融合，得到该混合注意力块的输出，作为所述高级图像特征。

在第一方面的又一种可能设计中，所述第一解码器包括第四处理模块、第五处理模块和第六处理模块；

相应的，所述获取至少两个频段的纹理细节，包括：

通过所述第四处理模块对所述编码结果进行处理，得到A/2*B/2*2N的第一纹理细节特征图；

通过所述第五处理模块对所述第一纹理细节特征图进行处理，得到第二纹理细节特征图，所述第二纹理细节特征图的尺寸大于所述第一纹理细节特征图且第二纹理细节特征图的通道数小于所述第一纹理细节特征图；

通过所述第六处理模块对所述第二纹理细节特征图进行处理，得到第三纹理细节特征图，作为纹理细节，所述第三纹理细节特征图的尺寸与所述第二纹理细节特征图的尺寸相同且第三纹理细节特征图的通道数与纹理细节的频段个数相同。

在第一方面的又一种可能设计中，所述第二解码器包括第七处理模块、第八处理模块和第九处理模块；

相应的，所述获取至少两个频段的边缘细节，包括：

通过所述第七处理模块对编码结果进行处理，得到A/2*B/2*2N的第一边缘细节特征图；

通过所述第八处理模块对所述第一边缘细节特征图进行处理，得到第二边缘细节特征图，所述第二边缘细节特征图的尺寸大于所述第一边缘细节特征图且第二边缘细节特征图的通道数小于所述第一边缘细节特征图；

通过所述第九处理模块对所述第二边缘细节特征图进行处理，得到第三边缘细节特征图，作为边缘细节，所述第三边缘细节特征图的尺寸与所述第二边缘细节特征图的尺寸相同且第三边缘细节特征图的通道数与边缘细节的频段个数相同。

第二方面，本申请实施例提供一种图像锐化装置，包括：

图像获取模块，用于获取待处理的图像；

细节提取模块，用于将所述待处理的图像输入预先获取的训练后的锐化神经网络，提取得到所述待处理的图像的纹理细节和边缘细节；其中，所述训练后的锐化神经网络是根据训练样本集合中的多个样本图像的第一细节特征和第二细节特征训练得到的，每个图像的第一细节特征是采用训练前的锐化神经网络从所述图像中提取得到的，每个图像的第二细节特征是对所述图像真实的细节进行标定得到的；

锐化图像获取模块，用于将所述纹理细节和所述边缘细节回叠至所述待处理的图像，得到锐化后的目标图像。

本申请实施例提供的图像锐化方法、装置、设备和可读存储介质，通过获取训练后的锐化神经网络，基于训练后的锐化神经网络提取出输入图像的纹理细节和边缘细节，并回叠至原输入图像获得锐化图像，能够更加准确的区分细节，提高锐化效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的图像锐化的整体流程示意图；

图2为本申请实施例提供的图像锐化方法的流程示意图；

图3为本申请实施例提供的锐化神经网络的整体网络结构示意图；

图4为本申请实施例提供的锐化神经网络的具体网络结构示意图；

图5为本申请实施例提供的处理模块的结构示意图；

图6为本申请实施例提供的混合注意力组模块的结构示意图；

图7为本申请实施例提供的图像锐化装置的结构示意图；

图8为本申请实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

锐化是一种常见的图像处理技术，在图像信号处理(Image Signal Processing，ISP)等领域中发挥着关键作用，其目的是增强一副图像的细节信息，提高图像清晰度，同时要求细节区域以外的部分不能发生较大的信息变化。图像锐化重点在于图像细节的提取，一般是从空域的角度对图像进行处理。常用的经典锐化手段利用反锐化掩膜，拉普拉斯算子，高斯差分等滤波方法提取图像细节，并回叠至原图以增强原图像细节。但这些经典方法对每个像素点采用相同处理手段，因此整体锐化效果不佳。近些年来，越来越多的研究人员针对经典锐化存在的问题进行优化，包括对图像分频段或分区域进行锐化处理。但这些改进方法仍然存在运行效率低、无法准确区分纹理和边缘细节、噪声敏感、场景自适应性差等诸多劣势。目前还未有将深度学习应用于图像锐化的研究。

针对目前遇到的问题，本申请提供了一种图像锐化方法、装置、设备和可读存储介质，通过构建锐化神经网络并进行训练，基于训练后的锐化神经网络提取出输入图像的纹理细节和边缘细节，并回叠至原输入图像获得锐化图像，能够更加准确的区分细节，提高锐化效果。

下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图1为本申请实施例提供的图像锐化的整体流程示意图，如图1所示，以待锐化图像为单通道亮度图像为例，通过锐化神经网络提取出多频段的纹理细节和多频段的边缘细节，然后从多频段的纹理细节中选择出第i个纹理细节，从多频段的边缘细节中选取出第j个纹理细节(i，j为常数)，选择第i个纹理细节频段和第j个边缘细节频段与待锐化图像回叠，得到最终的锐化结果。

图2为本申请实施例提供的图像锐化方法的流程示意图，该方法可以应用于图像处理设备，如图2所示，其具体包括如下步骤：步骤S201，获取待处理的图像。

在本实施例中，待处理的图像即待锐化图像，示例性的，待处理的图像具体可以是单通道亮度图像，图像中通常会包括有某些要素，例如人物、动植物、建筑物等，这些要素通常也具有边缘细节以及纹理细节。

步骤S202，将待处理的图像输入预先获取的训练后的锐化神经网络，提取得到待处理的图像的纹理细节和边缘细节。其中，训练后的锐化神经网络是根据训练样本集合中的多个样本图像的第一细节特征和第二细节特征训练得到的，每个图像的第一细节特征是采用训练前的锐化神经网络从图像中提取得到的，每个图像的第二细节特征是对图像真实的细节进行标定得到的。

在本实施例中，待处理的图像在进行锐化时，需要输入预先训练好的锐化神经网络(即训练后的锐化神经网络)中进行纹理细节和边缘细节的提取。为此需要在进行图像锐化之前获取训练样本集合(其中包括有多个样本图像)，并构建锐化神经网络(即构建训练前的锐化神经网络)和用于训练的损失函数，通过将样本图像输入到构建好的锐化神经网络中，提取出第一细节特征(第一细节特征是训练前的锐化神经网络从样本图像中提取得到的，与该样本图像实际的细节特征不匹配)，然后与该样本图像的第二细节特征(即该样本图像实际上的真实细节，可以事先给出)对比，通过对比第一细节特征与第二细节特征之间的差异，作为反馈结果，以此来调节优化未训练完成的锐化神经网络的参数，直到最终第一细节特征与第二细节特征之间的差异尽可能的小，即完成训练，得到训练后的锐化神经网络。

在本实施例中，图像的边缘可以是指图像中局部不连续的特征，一般根据灰度值来判断，图像边缘是灰度值发生突变的位置，也就是梯度值大的位置，图像的纹理是指图像中反复出现的局部模式和它们的排列规则，也可以认为是图像强度局部变化的重复模式。纹理一般用于描述物体表面的外观信息，这些信息不仅仅是颜色信息，也可以是法线，粗糙度，环境光等各种信息。

示例性的，在一些实施例中，可以通过如下步骤获得训练后的锐化神经网络：获取用于进行锐化神经网络训练的训练样本集合，训练样本集合中包括多个样本图像的第一细节特征和第二细节特征；针对训练样本集合中每个样本图像，从样本图像的第一细节特征中获取样本图像的至少两个频段的纹理细节、至少两个频段的边缘细节；从样本图像的第二细节特征中获取样本图像的真实的纹理细节、真实的边缘细节；针对样本图像，获取每个频段的纹理细节与真实的纹理细节的第一损失值，并获取每个频段的边缘细节与真实的边缘细节的第二损失值；根据预设的加权值、第一损失值和第二损失值，计算得到样本图像对应的锐化总损失；根据训练样本集合中的每个样本图像对应的锐化总损失，训练预设的训练前的锐化神经网络，得到训练后的锐化神经网络。

在本实施例中，锐化神经网络的损失函数可以表示为：

L

上式中，Ldetail表示锐化总损失函数，L

在本实施例中，通过构建由纹理和边缘细节损失函数构成的锐化总损失函数，并用Adam优化器进行训练直至锐化总损失函数收敛，可令锐化神经网络达到较好的性能，进一步提高对纹理细节和边缘细节提取的准确性。

步骤S203，将纹理细节和边缘细节回叠至待处理的图像，得到锐化后的目标图像。

在本实施例中，以待处理的图像表示为Y，锐化后的图像表示为S(Y)，纹理细节表示为f

S(Y)＝Y+f

本申请实施例通过使用神经网络对输入图像同时提取纹理和边缘两类不同的细节，并回叠至原图实现锐化效果，能够解决目前图像锐化过程中出现的噪声影响、锐化模糊等问题，准确区分图像中的纹理和边缘细节，提高锐化效果。

图3为本申请实施例提供的锐化神经网络的整体网络结构示意图，如图3所示，锐化神经网络至少包括一个编码器和至少两个解码器(其中一个为纹理细节解码器，另一个为边缘细节解码器)；在通过训练后的锐化神经网络提取待处理的图像的纹理细节和边缘细节时，具体可以通过如下步骤实现：将待处理的图像输入编码器，对输入的图像进行编码得到编码结果；将编码结果输入至少两个解码器中的第一解码器，对编码结果进行解码，获取至少两个频段的纹理细节；将编码结果输入至少两个解码器中的第二解码器，对编码结果进行解码，获取至少两个频段的边缘细节。

在本实施例中，锐化神经网络整体遵循编码-解码网络架构，输入到编码器中的图像可以是上述待处理的图像，通过构建编码器用于提取输入的图像Y的特征编码，接着利用边缘和纹理细节的解码器分别解码重建出输入的图像Y的多个频段的边缘和纹理细节。通过构建纹理细节解码器提取图像中的纹理细节，构建边缘细节解码器提取图像中的边缘细节，能够实现对边缘和纹理的准确区分，进一步提到图像的锐化效果。

其中，纹理细节和边缘细节可以划分多个频段，示例性的，纹理细节f

进一步的，在另一些实施例中，图4为本申请实施例提供的锐化神经网络的具体网络结构示意图，如图4所示，编码器可以包括有浅层特征提取网络和与浅层特征提取网络连接的深层特征提取网络。

其中，浅层特征提取网络包括至少一个处理模块，深层特征提取网络包括至少一个混合注意力组模块。处理模块可以是结合坐标注意力机制的多尺度分支块(MSB-CA)，多尺度分支块MSB由四条不同尺度的卷积分支构成，多条分支的输出相加后经过激活函数(例如Rectified Linear Unit(ReLU)函数)，即构成整体的多分支块替代传统conv+relu模式，丰富特征空间。接着使用坐标注意力机制块CA，令编码过程更关注于图像中具有高频信息的细节区域，而忽略不具有细节信息的平坦区域。

示例性的，图5为本申请实施例提供的处理模块的结构示意图，如图5所示，多尺度分支块MSB由四条不同尺度的卷积分支构成(具体包括3x3卷积+平均池化、1x1卷积+3x3卷积、1x1卷积+平均池化和5x5卷积四条支路)，坐标注意力机制块CA依次包括水平方向平均池化、垂直方向平均池化、1x1卷积、激活函数(例如ReLU激活函数)、两个1x1卷积分支。

在本实施例中，深层特征提取网络包括至少一个混合注意力组模块RHAG，当深层特征提取网络包括多个混合注意力组模块RHAG模块时，各个混合注意力组模块RHAG之间可以级联以提取图像中更为抽象的高级图像特征。

在本实施例中，可以通过如下步骤来对输入的图像进行编码得到编码结果：通过处理模块中的不同尺度的卷积分支提取输入的图像的多尺度特征并融合，得到融合后特征；通过处理模块中的坐标注意力机制模块对融合后特征进行坐标注意力机制的计算，获取特征图权重，并将特征图权重与融合后特征相乘后，作为浅层特征提取网络的输出；通过混合注意力组模块从浅层特征提取模块的输出中提取高级图像特征，并将高级图像特征经过卷积后与浅层特征提取模块的输出融合，得到深层编码特征，作为编码结果。

在本实施例中，用f

具体的，继续参考上述图5，首先将输入f

MSB(f

+AvgPool(Conv

在本实施例中，坐标注意力机制块CA实现对MSB的输出特征图完成坐标注意力机制的计算，即

f

具体为，首先对多尺度分支块MSB的输出f

f

上式中，AvgPool

其中，在得到f

f

在本实施例中，在锐化神经网络的部署测试阶段，可以将多尺度分支块MSB的分支合并为单层5x5卷积运算，这样既保留了多尺度卷积分支的优势，又不增加模型耗时。

本申请实施例通过采用MSB-CA模块构成浅层特征提取网络，将多尺度分支结构引入锐化神经网络，同时加上坐标注意力机制使得锐化神经网络更多关注图像的高频细节区域，能够更好提取图像细节，同时深层特征提取网络由基于transformer的残差混合注意力组RHAG模块构成，可以提取更为高级抽象的特征，进一步提高锐化效果。

在上述实施例的基础上，在另一些实施例中，浅层特征提取网络可以包括多个上述的处理模块(即结合坐标注意力机制的多尺度分支块MSB-CA)，示例性的，以浅层特征提取网络包括三个依次连接的处理模块为例，可以通过如下步骤来获取浅层特征提取网络的输出：通过第一处理模块对输入的图像进行处理，获取A*B*N的第一浅层特征图，A、B表示图像尺寸，N表示图像通道数；通过第二处理模块对第一浅层特征图进行处理，获取第二浅层特征图，第二浅层特征图的尺寸小于第一浅层特征图且通道数大于第一浅层特征图；通过第三处理模块对第二浅层特征图进行处理，获取第三浅层特征图，作为浅层特征提取网络的输出，第三浅层特征图的尺寸小于第二浅层特征图且通道数大于第二浅层特征图。

在本实施例中，以输入的图像为像素尺寸为A*B的单通道亮度图像Y为例，经过第一个处理模块处理，得到维度为A*B*64的第一浅层特征图f

f

上式中，CA

然后将f

f

上式中，CA

最后将f

f

上式中，CA

进一步的，在其他实施方式中，第一处理模块、第二处理模块、第三处理模块中的多尺度分支模块的卷积核个数和步长不相同，第一处理模块、第二处理模块、第三处理模块中的坐标注意力机制模块的卷积核个数和步长不相同。

示例性的，为了保证更加准确高效的提取出图像细节，第一个处理模块中多尺度分支块MSB和坐标注意力机制块CA的所有卷积核个数可以配置为64、步长为1，第二个处理模块中多尺度分支块MSB中所有卷积核个数可以配置为128、步长为2，第二个处理模块中坐标注意力机制块CA的卷积核个数可以配置为128、步长为1，第三个处理模块中多尺度分支块MSB的卷积核个数可以都配置为256、步长为2，第三个处理模块中坐标注意力机制块CA的卷积核个数可以配置为256，步长为1。

示例性的，在另一些实施方式中，图6为本申请实施例提供的混合注意力组模块的结构示意图，如图6所示，混合注意力组模块包括有多个混合注意力块，浅层特征提取网络的输出作为第一个混合注意力块的输入，通过多个混合注意力块提取出高级图像特征之后，将高级图像特征经过卷积后与浅层特征提取模块的输出融合，得到深层编码特征，作为编码结果。在本实施方式中，可以通过如下步骤实现高级图像特征的提取：通过混合注意力块对浅层特征提取模块的输出进行层归一化，并通过通道注意力机制和基于窗口的多头自注意力机制同时进行处理之后，与浅层特征提取模块的输出融合，得到第一特征；通过混合注意力块对第一特征通过层归一化和多层感知器之后与第一特征融合，得到该混合注意力块的输出，作为高级图像特征。

首先，在本实施例中，深层特征提取网络可以包括3个级联的混合注意力组模块RHAG，每个混合注意力组模块RHAG结构保持一致(参考图6)，将第三浅层特征图f

f

上式中，f

在本实施例中，继续参考图6，每个混合注意力组模块RHAG都由6个混合注意力块HAB与一层3x3卷积构成，第i个混合注意力组模块RHAG输出特征f

f

f

在本实施例中，继续参考上述图6，每个混合注意力块HAB用于：对输入至该混合注意力块HAB的特征X进行层归一化，然后分别使用通道注意力和基于窗口的多头自注意力机制同时进行处理，与特征X进行融合得到第一特征输出X

X

上式中，CAB为通道注意力机制，W-MSA为基于窗口的多头自注意力机制，LN为层归一化，α为通道注意力和多头自注意力机制的融合强度。

其中，基于计算得到的第一特征输出X

HAB(X)＝X

上式中，MLP为多层感知器。

本申请实施例通过构建单编码双解码器结构的锐化神经网络，可同时提取图像的多个频段的纹理和边缘两种细节，MSB-CA模块构成浅层特征提取网络，将多尺度分支结构引入锐化神经网络，同时加上坐标注意力机制使得网络更多关注图像的高频细节区域，能够更好提取图像细节；使用基于transformer的混合注意力块HAB构建深层特征提取网络，以提取更为高级抽象的特征，进一步提高对图像的锐化效果。

在一些实施例中，第一解码器(即纹理细节解码器)包括第四处理模块、第五处理模块和第六处理模块；其中，第四处理模块与第五处理模块的结构基本相同，具体可以参考上述图5，第六处理模块包括有图5中的多尺度分支块MSB。另外，各个处理模块的不同之处在于其中的多尺度分支模块的卷积核个数和步长不相同，以及坐标注意力机制模块的卷积核个数和步长不相同。

在本实施例中，可以通过如下步骤获取至少两个频段的纹理细节：通过第四处理模块对编码结果进行处理，得到A/2*B/2*2N的第一纹理细节特征图；通过第五处理模块对第一纹理细节特征图进行处理，得到第二纹理细节特征图，第二纹理细节特征图的尺寸大于第一纹理细节特征图且第二纹理细节特征图的通道数小于第一纹理细节特征图；通过第六处理模块对第二纹理细节特征图进行处理，得到第三纹理细节特征图，作为纹理细节，第三纹理细节特征图的尺寸与第二纹理细节特征图的尺寸相同且第三纹理细节特征图的通道数与纹理细节的频段个数相同。

在本实施例中，编码结果可以视为深层特征提取网络的输出f

f

上式中，f

然后将A/2*B/2*128的第一纹理细节特征图f

f

上式中，f

最后，将A*B*64的第二纹理细节特征图经过第六处理模块进行处理，最终得到尺寸为A*B*N

f

上式中，f

示例性的，为了保证更加准确高效的提取出纹理细节，第四处理模块中多尺度分支块MSB和坐标注意力机制块CA的所有卷积核个数可以配置为128、步长为1，第五处理模块中多尺度分支块MSB和坐标注意力机制块CA的所有卷积核个数可以配置为64，步长为1，第六处理模块中多尺度分支块MSB的卷积核个数可以都配置为N

进一步的，在另一些实施例中，第二解码器(即边缘细节解码器)包括第七处理模块、第八处理模块和第九处理模块；其中，第二解码器与第一解码器的结构一致，其主要区别在于各个处理模块中卷积核的权重值不同，通过配置不同的权重值，实现纹理细节和边缘细节的区分提取。

在本实施例中，可以通过如下步骤获取至少两个频段的边缘细节：通过第七处理模块对编码结果进行处理，得到A/2*B/2*2N的第一边缘细节特征图；通过第八处理模块对第一边缘细节特征图进行处理，得到第二边缘细节特征图，第二边缘细节特征图的尺寸大于第一边缘细节特征图且第二边缘细节特征图的通道数小于第一边缘细节特征图；通过第九处理模块对第二边缘细节特征图进行处理，得到第三边缘细节特征图，作为边缘细节，第三边缘细节特征图的尺寸与第二边缘细节特征图的尺寸相同且第三边缘细节特征图的通道数与边缘细节的频段个数相同。

在本实施例中，在本实施例中，编码结果可以视为深层特征提取网络的输出f

f

上式中，f

然后将A/2*B/2*128的第一边缘细节特征图f

F

上式中，f

最后，将A*B*64的第二边缘细节特征图经过第九处理模块进行处理，最终得到尺寸为A*B*N

f

上式中，f

示例性的，为了保证更加准确高效的提取出纹理细节，第七处理模块中多尺度分支块MSB和坐标注意力机制块CA的所有卷积核个数可以配置为128、步长为1，第八处理模块中多尺度分支块MSB和坐标注意力机制块CA的所有卷积核个数可以配置为64，步长为1，第九处理模块中多尺度分支块MSB的卷积核个数可以都配置为N

本申请实施例通过利用简单高效的解码器解码得到不同频段的图像纹理细节和边缘细节，其中频段个数可通过调整解码器输出层的卷积核个数Ntex和Nedge进行改变，可以提高图像锐化的效率，减少锐化过程的复杂度。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图7为本申请实施例提供的图像锐化装置的结构示意图，如图7所示，该图像锐化装置700包括图像获取模块710、细节提取模块720、锐化图像获取模块730。其中，图像获取模块710用于获取待处理的图像。细节提取模块720用于将待处理的图像输入预先获取的训练后的锐化神经网络，提取得到待处理的图像的纹理细节和边缘细节；其中，训练后的锐化神经网络是根据训练样本集合中的多个样本图像的第一细节特征和第二细节特征训练得到的，每个图像的第一细节特征是采用训练前的锐化神经网络从图像中提取得到的，每个图像的第二细节特征是对图像真实的细节进行标定得到的。锐化图像获取模块730用于将纹理细节和边缘细节回叠至待处理的图像，得到锐化后的目标图像。

可选的，锐化神经网络至少包括一个编码器和至少两个解码器；相应的，细节提取模块具体可以用于：将待处理的图像输入编码器，对输入的图像进行编码得到编码结果；将编码结果输入至少两个解码器中的第一解码器，对编码结果进行解码，获取至少两个频段的纹理细节；将编码结果输入至少两个解码器中的第二解码器，对编码结果进行解码，获取至少两个频段的边缘细节。

可选的，还包括神经网络训练模块，用于获取用于进行锐化神经网络训练的训练样本集合，训练样本集合中包括多个样本图像的第一细节特征和第二细节特征；针对训练样本集合中每个样本图像，从样本图像的第一细节特征中获取样本图像的至少两个频段的纹理细节、至少两个频段的边缘细节；从样本图像的第二细节特征中获取样本图像的真实的纹理细节、真实的边缘细节；针对样本图像，获取每个频段的纹理细节与真实的纹理细节的第一损失值，并获取每个频段的边缘细节与真实的边缘细节的第二损失值；根据预设的加权值、第一损失值和第二损失值，计算得到样本图像对应的锐化总损失；根据训练样本集合中的每个样本图像对应的锐化总损失，训练预设的训练前的锐化神经网络，得到训练后的锐化神经网络。

可选的，编码器包括：浅层特征提取网络和与浅层特征提取网络连接的深层特征提取网络，浅层特征提取网络包括至少一个处理模块，深层特征提取网络包括至少一个混合注意力组模块；

对应的，细节提取模块具体可以用于：通过处理模块中的不同尺度的卷积分支提取输入的图像的多尺度特征并融合，得到融合后特征；通过处理模块中的坐标注意力机制模块对融合后特征进行坐标注意力机制的计算，获取特征图权重，并将特征图权重与融合后特征相乘后，作为浅层特征提取网络的输出；通过混合注意力组模块从浅层特征提取模块的输出中提取高级图像特征，并将高级图像特征经过卷积后与浅层特征提取模块的输出融合，得到深层编码特征，作为编码结果。

可选的，浅层特征提取网络包括第一处理模块，第二处理模块和第三处理模块；

对应的，细节提取模块具体可以用于：通过第一处理模块对输入的图像进行处理，获取A*B*N的第一浅层特征图，A、B表示图像尺寸，N表示图像通道数；通过第二处理模块对第一浅层特征图进行处理，获取第二浅层特征图，第二浅层特征图的尺寸小于第一浅层特征图且通道数大于第一浅层特征图；通过第三处理模块对第二浅层特征图进行处理，获取第三浅层特征图，作为浅层特征提取网络的输出，第三浅层特征图的尺寸小于第二浅层特征图且通道数大于第二浅层特征图。

可选的，第一处理模块、第二处理模块、第三处理模块中的多尺度分支模块的卷积核个数和步长不相同，第一处理模块、第二处理模块、第三处理模块中的坐标注意力机制模块的卷积核个数和步长不相同。

可选的，混合注意力组模块包括混合注意力块；

对应的，细节提取模块具体可以用于：通过混合注意力块对浅层特征提取模块的输出进行层归一化，并通过通道注意力机制和基于窗口的多头自注意力机制同时进行处理之后，与浅层特征提取模块的输出融合，得到第一特征；通过混合注意力块对第一特征通过层归一化和多层感知器之后与第一特征融合，得到该混合注意力块的输出，作为高级图像特征。

可选的，第一解码器包括第四处理模块、第五处理模块和第六处理模块；

对应的，细节提取模块具体可以用于：通过第四处理模块对编码结果进行处理，得到A/2*B/2*2N的第一纹理细节特征图；通过第五处理模块对第一纹理细节特征图进行处理，得到第二纹理细节特征图，第二纹理细节特征图的尺寸大于第一纹理细节特征图且第二纹理细节特征图的通道数小于第一纹理细节特征图；通过第六处理模块对第二纹理细节特征图进行处理，得到第三纹理细节特征图，作为纹理细节，第三纹理细节特征图的尺寸与第二纹理细节特征图的尺寸相同且第三纹理细节特征图的通道数与纹理细节的频段个数相同。

可选的，第二解码器包括第七处理模块、第八处理模块和第九处理模块；

对应的，细节提取模块具体可以用于：通过第七处理模块对编码结果进行处理，得到A/2*B/2*2N的第一边缘细节特征图；通过第八处理模块对第一边缘细节特征图进行处理，得到第二边缘细节特征图，第二边缘细节特征图的尺寸大于第一边缘细节特征图且第二边缘细节特征图的通道数小于第一边缘细节特征图；通过第九处理模块对第二边缘细节特征图进行处理，得到第三边缘细节特征图，作为边缘细节，第三边缘细节特征图的尺寸与第二边缘细节特征图的尺寸相同且第三边缘细节特征图的通道数与边缘细节的频段个数相同。

本申请实施例提供的装置，可用于执行上述实施例中的方法，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，图像获取模块可以为单独设立的处理元件，也可以集成在上述装置的某一个元件元件中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上图像获取模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

图8为本申请实施例提供的电子设备的结构示意图。如图8所示，该电子设备800包括：至少一个处理器801、存储器802、总线803及通信接口804。

其中：处理器801、通信接口804以及存储器802通过总线803完成相互间的通信。通信接口804，用于与其它设备进行通信。该通信接口包括用于进行数据传输的通信接口以及用于进行人机交互的显示界面或者操作界面等。

处理器801用于执行存储在存储器上并可在处理器上运行的计算机程序，具体可以执行上述实施例中所描述的方法中的相关步骤。处理器可能是中央处理器，或者是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器用于存放可在处理器上运行的计算机程序。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。

本实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机指令，当电子设备的至少一个处理器执行该计算机指令时，电子设备执行上述的各种实施方式提供的方法。

本实施例还提供一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机指令，至少一个处理器执行该计算机指令使得电子设备实施上述的各种实施方式提供的方法。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系；在公式中，字符“/”，表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中，a，b，c可以是单个，也可以是多个。

可以理解的是，在本申请实施例中涉及的各种数字编号仅为描述方便进行的区分，并不用来限制本申请的实施例的范围。在本申请的实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请的实施例的实施过程构成任何限定。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。