掌桥专利:专业的专利平台
掌桥专利
首页

图像画质增强方法

文献发布时间:2024-04-18 20:02:18


图像画质增强方法

技术领域

本申请涉及计算机技术领域,具体而言,涉及一种图像画质增强方法。

背景技术

随着计算机网络的不断发展,需要对图像进行优化的场景越来越多,如对用户的某张照片进行画质增强,或者对视频数据中的图像帧进行画质增强等。在现有的画质增强方法中,常通过卷积神经网络训练图像得到增强模型,利用该模型对图像进行画质增强处理。

但在现有的画质增强方法中,由于设备功耗和资源的限制,在移动端上进行画质增强的卷积神经网络模型通常具备较少的层数和较为简单的网络结构,即模型容量相对较小,导致模型的泛化能力不够,无法适应各种需要画质增强处理的场景,且画质增强的效果不够理想。

发明内容

为了至少克服现有技术中的上述不足,本申请的目的在于提供一种图像画质增强方法。

第一方面,本申请实施例提供一种图像画质增强方法,应用图像画质增强系统,所述图像画质增强系统包括移动端和服务器,所述方法包括:

所述服务器对多分支多层卷积网络进行图像画质增强训练得到网络模型,将所述网络模型转化为与其等效的单分支多层卷积网络,并将所述单分支多层卷积网络部署到所述移动端作为图像画质增强模型;

所述移动端将待进行图像画质增强的目标图像分解为第一通道图像、第二通道图像及第三通道图像;

将所述第一通道图像输入到图像画质增强模型中进行图像画质增强处理,得到增强后的第一通道图像;

将所述增强后的第一通道图像与所述第二通道图像及所述第三通道图像进行合成,得到图像画质增强后的目标图像。

在一种可能的实现方式中,所述服务器对多分支多层卷积网络进行图像画质增强训练得到网络模型,将所述网络模型转化为与其等效的单分支多层卷积网络,并将所述单分支多层卷积网络部署到所述移动端作为图像画质增强模型的步骤,包括:

所述服务器对多分支训练模型进行图像画质增强训练,得到训练后的多分支训练模型;

将所述训练后的多分支训练模型中的各个分支转换为卷积核大小相同的分支;

基于转换后的多分支训练模型,得到与所述转换后的多分支训练模型等效的单分支多层卷积网络,并将所述单分支多层卷积网络部署到所述移动端作为图像画质增强模型。

在一种可能的实现方式中,所述服务器对多分支训练模型进行训练,得到训练后的多分支训练模型的步骤,包括:

所述服务器获取样本图像对,其中,所述样本图像对包括高低两种画质的同一图像;

将所述样本图像对中的低画质图像分解为第一通道图像、第二通道图像及第三通道图像;

将所述低画质图像的第一通道图像输入所述多分支训练模型中进行训练,得到增强后的第一通道图像;

将所述增强后的第一通道图像与所述低画质图像的第二通道图像和第三通道图像进行合成,得到训练后的图像;

基于所述训练后的图像与所述样本图像对中高画质图像计算模型的损失函数值,并根据所述损失函数值对所述多分支训练模型中的模型参数进行迭代更新,直到满足迭代终止条件,将更新后的多分支训练模型作为训练后的多分支训练模型。

在一种可能的实现方式中,所述多分支训练模型包括第一分支、第二分支、残差分支及拓展分支,所述将所述训练后的多分支训练模型中的各个分支转换为卷积核大小相同的分支的步骤,包括:

将所述第一分支、所述残差分支和所述拓展分支分别转换为与所述第二分支的卷积核相同的对应分支。

在一种可能的实现方式中,所述基于转换后的多分支训练模型,得到与所述转换后的多分支训练模型等效的单分支多层卷积网络,并将所述单分支多层卷积网络部署到所述移动端作为图像画质增强模型的步骤,包括:

将转换后的多分支训练模型中各个分支的卷积核权重以及偏置进行融合,得到与所述转换后的多分支训练模型等效的单分支多层卷积网络。

在一种可能的实现方式中,所述目标图像为RGB图像,所述移动端将待进行图像画质增强的目标图像分解为第一通道图像、所述第二通道图像及所述第三通道图像的步骤,包括:

所述移动端将所述目标图像转换为YUV图像;

将所述YUV图像分解为包括Y分量图像的第一通道图像,包括U分量图像的第二通道图像及包括V分量图像的第三通道图像;

所述将所述增强后的第一通道图像与所述第二通道图像及所述第三通道图像进行合成,得到图像画质增强后的目标图像的步骤,包括:

将所述增强后的第一通道图像与所述第二通道图像及所述第三通道图像进行合成为YUV图像;

将合成的YUV图像转化为RGB图像,得到图像画质增强后的目标图像。

第二方面,本申请实施例还提供另一种图像画质增强方法,应用于服务器,所述方法包括:

对多分支训练模型中进行图像画质增强训练,得到训练后的多分支训练模型;

将所述训练后的多分支训练模型中的各个分支转换为卷积核大小相同的分支;

基于转换后的多分支训练模型,得到与所述转换后的多分支训练模型等效的单分支多层卷积网络,由所述单分支多层卷积网络作为所述图像画质增强模型,并将所述图像画质增强模型部署到移动端,由所述移动端基于所述图像画质增强模型对待进行图像画质增强的目标图像进行画质增强。

在一种可能的实现方式中,所述对多分支训练模型中进行图像画质增强训练,得到训练后的多分支训练模型的步骤,包括:

获取样本图像对,其中,所述样本图像对包括高低两种画质的同一图像;

将所述样本图像对中的低画质图像分解为第一通道图像、第二通道图像及第三通道图像;

将所述低画质图像的第一通道图像输入所述多分支训练模型中进行训练,得到增强后的第一通道图像;

将所述增强后的第一通道图像与所述低画质图像的第二通道图像和第三通道图像进行合成,得到训练后的图像;

基于所述训练后的图像与所述样本图像对中高画质图像计算模型的损失函数值,并根据所述损失函数值对所述多分支训练模型中的模型参数进行迭代更新,直到满足迭代终止条件,将更新后的多分支训练模型作为训练后的多分支训练模型。

在一种可能的实现方式中,所述多分支训练模型包括第一分支、第二分支、残差分支及拓展分支,所述将所述训练后的多分支训练模型中的各个分支转换为卷积核大小相同的分支的步骤,包括:

将所述第一分支、所述残差分支和所述拓展分支分别转换为与所述第二分支的卷积核相同的对应分支;

所述基于转换后的多分支训练模型,得到与所述转换后的多分支训练模型等效的单分支多层卷积网络,由所述单分支多层卷积网络作为所述图像画质增强模型的步骤,包括:

将转换后的多分支训练模型中各个分支的卷积核权重以及偏置进行融合,得到与所述转换后的多分支训练模型等效的单分支多层卷积网络。

第三方面,本申请实施例还提供一种图像画质增强方法,应用于移动端,所述方法包括:

所述移动端部署有图像画质增强模型,所述图像画质增强模型为服务器对多分支多层卷积网络进行图像画质增强训练得到的网络模型所对应的等效单分支多层卷积网络;

将待进行图像画质增强的目标图像分解为第一通道图像、第二通道图像及第三通道图像;

将所述第一通道图像输入到图像画质增强模型中进行图像画质增强处理,得到增强后的第一通道图像;

将所述增强后的第一通道图像与所述第二通道图像及所述第三通道图像进行合成,得到图像画质增强后的目标图像。

基于上述任意一个方面,本申请实施例提供的图像画质增强方法。在图像画质增强方法中,服务器端采用多分支多层卷积网络进行图像画质增强训练,提升网络模型的容量的同时保证网络模型的泛化能力,训练得到的网络模型对各种场景的图像都具备画质增强的效果,,考虑到实际应用中图像传输和渲染的影响,在模型训练时采用端到端的训练方案确保模型最终输出的画质效果满足人眼视觉感受,并基于结构重参数化将该网络模型转换为等效的单分支多层卷积网络。对移动端进行部署时,将与服务器端的网络模型等效的单分支多层卷积网络作为图像画质增强模型,不仅可以提升图像画质增强模型对图像处理的效果,还能保证图像画质增强模型在移动端上的运行效率以及功耗要求。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要调用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。

图1为本申请提供的图像画质增强方法的一种可能的流程示意图;

图2为图1中步骤S11的子步骤流程示意图;

图3为图2中步骤S111的子步骤流程示意图;

图4为本申请提供的图像画质增强方法的多分支网络推理过程图一;

图5为本申请提供的图像画质增强方法的多分支网络推理过程图二;

图6为本申请提供的图像画质增强方法的另一种可能的流程示意图;

图7为图6中步骤S21的子步骤流程示意图;

图8为为本申请提供的图像画质增强方法的另一种可能的流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。

本说明书实施例提供一种图像画质增强处理的方法,所要实现的画质增强效果,可以包括对画面的颜色、亮度、对比度等进行调优,也可以包括提高画面的分辨率,或者还可以包括对边缘纹理信息进行增强,去除划痕、噪点等,本实施例对此不作限制。

第一实施例

下面结合图1所示的流程示意图对本申请实施例提供的图像画质增强方法进行示例性说明。本申请实施例提供的图像画质增强方法可以应用于图像画质增强系统,图像画质增强系统包括移动端和服务器,在本申请实施例的图像画质增强方法中的部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除,该图像画质增强系统执行的图像画质增强方法的详细步骤介绍如下。

步骤S11:服务器对多分支多层卷积网络进行图像画质增强训练得到网络模型,将网络模型转化为与其等效的单分支多层卷积网络,并将单分支多层卷积网络部署到移动端作为图像画质增强模型。

在本步骤中,服务器端采用多分支多层卷积网络进行图像画质增强训练,不仅可以提升网络模型的容量,还可以保证网络模型的泛化能力,训练得到的网络模型对各种场景的图像都具备画质增强的效果。移动端将与服务器端的网络模型等效的单分支多层卷积网络作为图像画质增强模型,不仅可以提升图像画质增强模型对图像处理的效果,还能保证图像画质增强模型在移动端上的运行效率以及功耗要求。

步骤S12:移动端将待进行图像画质增强的目标图像分解为第一通道图像、第二通道图像及第三通道图像。

在本步骤中,目标图像可以是RGB图像,通常由摄像头捕获得到的,也可以由用户上传得到。由于人眼对亮度的敏感度较高,而对色度的敏感度相对较低,因此,可以将RGB图像转化为YUV图像后,对YUV图像进行处理。YUV图像不仅可以独立处理亮度和色度信息,还可以实现压缩图像和优化传输。需要说明的是,Y通道信息用于保存图片亮度信息,U通道信息和V通道信息用于保存图片色差,而第一通道图像可以是Y通道图像,第二通道图像可以是U通道图像,第三通道图像可以是V通道图像。

步骤S13:将第一通道图像输入到图像画质增强模型中进行图像画质增强处理,得到增强后的第一通道图像。

在本步骤中,对第一通道图像进行画质增强处理即对Y通道图像进行画质增强处理,可以改变图像的整体明暗度、对比度以及细节的展现,使得人眼更容易注意到图像中的细微变化,从而实现图像画质增强的目的。

步骤S14:将增强后的第一通道图像与第二通道图像及第三通道图像进行合成,得到图像画质增强后的目标图像。

在本步骤中,图像画质增强后的目标图像可以为RGB图像,具体地,增强后的第一通道图像与第二通道图像及第三通道图像合成得到的图像为YUV图像,而后将YUV图像转化得到RGB图像。

在本实施例中,基于结构重参数化,服务器端可以采用多分支多层卷积网络进行图像画质增强训练,提升网络模型的容量的同时保证网络模型的泛化能力,训练得到的网络模型对各种场景的图像都具备画质增强的效果,同时考虑到实际应用中图像传输和渲染的影响,在模型训练时采用端到端的训练方案确保模型最终输出的画质效果满足人眼视觉感受,并基于结构重参数化将该训练好的网络模型转换为等效的单分支多层卷积网络。对移动端进行部署时,将与服务器端的网络模型等效的单分支多层卷积网络作为图像画质增强模型,不仅可以提升图像画质增强模型对图像处理的效果,还能保证图像画质增强模型在移动端上的运行效率以及功耗要求。

请参阅图2,在本申请的一种可能的实施方式中,步骤S11可以通过以下方法实现。

步骤S111:服务器对多分支训练模型进行图像画质增强训练,得到训练后的多分支训练模型。

示例性地,多分支训练模型可以由多个多分支单层模块组成,其中,多分支单层模块可以包括1×1分支、3×3分支、残差分支和拓展分支,此时的多分支训练模型复杂度高、模型容量大,具备较好的泛化能力。

步骤S112:将训练后的多分支训练模型中的各个分支转换为卷积核大小相同的分支。

本步骤可以理解成,在推理时,基于网络重参数化,将训练后的多分支多层训练模型转化为等效的单分支多层卷积网络,示例性地,可以将多分支单层模块中的1×1分支、残差分支和拓展分支分别等效为并行的3×3分支。

步骤S113:基于转换后的多分支训练模型,得到与转换后的多分支训练模型等效的单分支多层卷积网络,并将单分支多层卷积网络部署到移动端作为图像画质增强模型。

本步骤可以理解成,将多分支单层模块中的1×1分支、残差分支和拓展分支等效后的3×3分支的输出相加,得到一个单分支单层卷积网络,即,将多个并行的单层的3×3分支等效为一个单层的3×3分支。最后,将多个多分支单层模块等效得到单分支单层卷积网络融合成一个单分支多层卷积网络。

在本实施例中,采用多分支多层卷积网络进行图像画质增强训练,不仅可以提升网络模型的容量,还可以保证网络模型的泛化能力,训练得到的网络模型对各种场景的图像都具备画质增强的效果。此外,通过结构重参数化将与服务器端的网络模型等效为一个单分支多层卷积网络,该等效得到的单分支多层卷积网络不仅具备良好的图像画质增强能力,还能保证其在移动端上的应用要求。

发明人在实际应用中发现,在服务器训练多分支多层卷积网络的过程中,基于RGB图像训练的损失函数(例如感知损失、GAN损失等)不能直接应用到Y通道图像上,只有像素损失可以直接应用于Y通道图像上,但单一的像素损失会导致画质增强的结果过于平滑,高频细节不够。考虑上述原因,请参考图3,步骤S111可以通过以下方法实现。

步骤S1111:服务器获取样本图像对,其中,样本图像对包括高低两种画质的同一图像。

在本步骤中,样本图像对为RGB图像,可以将低画质图像对应的RGB数据为[R

步骤S1112:将所述样本图像对中的低画质图像分解为第一通道图像、第二通道图像及第三通道图像。

在本步骤中,可以先将RGB图像转换为YUV图像,YUV图像对应的YUV数据可以为[Y

步骤S1113:将所述低画质图像的第一通道图像输入所述多分支训练模型中进行训练,得到增强后的第一通道图像。

在本步骤中,将通道数据为Y

步骤S1114:将所述增强后的第一通道图像与所述低画质图像的第二通道图像和第三通道图像进行合成,得到训练后的图像;

在本步骤中,先将通道数据为Y

步骤S1115:基于训练后的图像与样本图像对中高画质图像计算模型的损失函数值,并根据损失函数值对多分支训练模型中的模型参数进行迭代更新,直到满足迭代终止条件,将更新后的多分支训练模型作为训练后的多分支训练模型。

在本步骤中,基于训练后的图像与样本图像对中高画质图像计算模型的损失函数值,即计算RGB数据为[R

在本实施例中,服务器在训练网络模型过程中,将低画质图像分解成第一通道图像、第二通道图像和第三通道图像,并将画质增强后的第一通道图像与第二通道图像及第三通道图像进行合成,得到新的YUV图像后将其转化为RGB图像,对训练后的RGB图像应用像素损失、感知损失和GAN损失等多种损失函数,可以优化图像中的高频纹理细节,得到的效果更符合人眼的感知。

进一步地,请参考图4,多分支训练模型包括第一分支A1、第二分支A2、残差分支A3及拓展分支A4,步骤S112具体可以通过以下方法实现:将第一分支A1、残差分支A3和拓展分支A4分别转换为与第二分支A2的卷积核相同的对应分支,具体地,第一分支A1可以包括训练模型中的卷积核为1×1的分支,第二分支A2可以包括训练模型中的卷积核为3×3的分支。

请再次参考图4,多分支网络重参数化结构的具体过程可以如下。

第二分支A2中只包括一个多层的3×3卷积,其对应的权重和偏置分别为K

该多分支网络模型有且仅有一个残差分支A3,可以将恒等映射视为只有卷积核中心元素为1的3×3卷积,且其对应的偏置为0,记权重和偏置为K

第一分支A1(即1×1分支)的推理过程与上述残差分支的推理过程类似,可以将第一分支视为只有卷积核中心元素不为0的3×3卷积,记权重和偏置为K

请再次参考图4,扩展分支A4由两个1×1卷积层和一个3×3卷积层构成。第一个1×1卷积层主要是为了扩大通道数,记第一个1×1卷积层对应的权重和偏置为K

其中,⊙表示按通道相乘,则最终该分支等效的一个3×3卷积的权重和偏置分别为

该分支的特征输出可以表示为

此外,扩展分支A4中的3x3卷积也可以采用常见的梯度检测算子,用以提取纹理边缘特征、提升画质增强效果,该类特殊的扩展分支可以视为梯度分支。在该类特殊的扩展分支中,3x3分支的权重分布为梯度检测算子,且输入和输出通道数一致D=C,权重在训练中无需优化,即对卷积权重K

更进一步地,请参考图5,步骤S113可以通过以下方法实现。

将转换后的多分支训练模型中各个分支的卷积核权重以及偏置进行融合,得到与所述转换后的多分支训练模型等效的单分支多层卷积网络。

具体地,经过步骤S112的推理后,第一分支A1、第二分支A2、残差分支A3及拓展分支A4都可以等效成一个单层的3×3卷积,且每个分支对应的等效权重和偏置为

在移动端上进行图像画质增强处理时,目标图像为RGB图像,步骤S12和步骤S14可以通过以下方法实现。

在步骤S12中,可以先将RGB图像转换为YUV图像,并将YUV图像分解为包括Y通道图像的第一通道图像,包括U通道图像的第二通道图像以及包括V分量图像的第三通道图像。具体的,目标图像的RGB数据可以记为[R

在步骤S14中,可以先将增强后的第一通道图像与第二通道图像及所述第三通道图像合成得到YUV图像,最后将合成的YUV图像转化为RGB图像,得到图像画质增强后的目标图像。具体的,可以将增强后的第一通道图像的通道数据记为Y

在本实施例中,移动端将目标图像分解成Y通道图像、U通道图像和V通道图像,利用与服务器端的网络模型等效的图像画质增强模型对Y通道图像进行画质增强,并将画质增强后的Y通道图像与U通道图像及V通道图像进行合成,得到新的YUV图像后将其转化为RGB图像。不仅可以增加目标图像中的高频纹理细节,还能保证图像画质增强模型在移动端上的运行效率以及功耗要求。

在第一实施例中,基于结构重参数化,服务器端可以采用多分支多层卷积网络进行图像画质增强训练,提升网络模型的容量的同时保证网络模型的泛化能力,训练得到的网络模型对各种场景的图像都具备画质增强的效果。对移动端进行部署时,将与服务器端的网络模型等效的单分支多层卷积网络作为图像画质增强模型,不仅可以提升图像画质增强模型对图像处理的效果,还能保证图像画质增强模型在移动端上的运行效率以及功耗要求。

第二实施例

请参阅图6,本申请实施例还提供另一种图像画质增强方法,应用于服务器,该方法的详细步骤介绍如下。

步骤S21:对多分支训练模型中进行图像画质增强训练,得到训练后的多分支训练模型。

示例性地,训练模型可以由多个多分支单层模块组成,其中,多分支单层模块可以包括1×1分支、3×3分支、残差分支和拓展分支,此时的多分支训练模型复杂度高、模型容量大,具备较好的泛化能力。

步骤S22:将训练后的多分支训练模型中的各个分支转换为卷积核大小相同的分支。

本步骤可以理解成,在推理时,基于网络重参数化,将训练后的多分支多层训练模型转化为等效的单分支多层卷积网络,示例性地,可以将多分支单层模块1×1分支、残差分支和拓展分支分别等效为并行的3×3分支。

步骤S23:基于转换后的多分支训练模型,得到与转换后的多分支训练模型等效的单分支多层卷积网络,由单分支多层卷积网络作为图像画质增强模型,并将图像画质增强模型部署到移动端,由移动端基于图像画质增强模型对待进行图像画质增强的目标图像进行画质增强。

本步骤可以理解成,将1×1分支、残差分支和拓展分支等效后的3×3分支的输出相加,得到一个单分支单层卷积网络,即,将多个单层的3×3分支等效为一个单层的3×3分支。最后,将多个多分支单层模块等效得到单分支单层卷积网络融合成一个单分支多层卷积网络。

在本实施例中,采用多分支多层卷积网络进行图像画质增强训练,不仅可以提升网络模型的容量,还可以保证网络模型的泛化能力,训练得到的网络模型对各种场景的图像都具备画质增强的效果。此外,通过结构重参数化将与服务器端的网络模型等效为一个单分支多层卷积网络,该单分支多层卷积网络应用于移动端上时,不仅具备良好的图像画质增强能力,还能保证其在移动端上的应用要求。

进一步地,请参考图7,步骤S21可以通过以下方法实现。

步骤S211:获取样本图像对,其中,样本图像对包括高低两种画质的同一图像。

在本步骤中,样本图像对为RGB图像,可以将低画质图像的RGB数据记为[R

步骤S212:将所述样本图像对中的低画质图像分解为第一通道图像、第二通道图像及第三通道图像。

在本步骤中,可以先将RGB图像转换为YUV图像,YUV图像对应的YUV数据可以为[Y

步骤S213:将所述低画质图像的第一通道图像输入所述多分支训练模型中进行训练,得到增强后的第一通道图像。

在本步骤中,将通道数据为Y

步骤S214:将所述增强后的第一通道图像与所述低画质图像的第二通道图像和第三通道图像进行合成,得到训练后的图像;

在本步骤中,先将通道数据为Y

步骤S215:基于训练后的图像与样本图像对中高画质图像计算模型的损失函数值,并根据损失函数值对多分支训练模型中的模型参数进行迭代更新,直到满足迭代终止条件,将更新后的多分支训练模型作为训练后的多分支训练模型。

在本步骤中,基于训练后的图像与样本图像对中高画质图像计算模型的损失函数值,即计算RGB数据为[R

在本实施例中,服务器在训练网络模型过程中,将低画质图像分解成第一通道图像、第二通道图像和第三通道图像,并将画质增强后的第一通道图像与第二通道图像及第三通道图像进行合成,得到新的YUV图像后将其转化为RGB图像,对训练后的RGB图像应用像素损失、感知损失和GAN损失等多种损失函数,可以优化图像中的高频纹理细节,得到的效果更符合人眼的感知。

更进一步地,在步骤S22中,多分支训练模型包括第一分支、第二分支、残差分支及拓展分支,第一分支可以包括训练模型中的卷积核为1×1的分支,第二分支可以包括训练模型中的卷积核为3×3的分支。具体的,可以将第一分支、残差分支和拓展分支分别转换为与第二分支的卷积核相同的对应分支。

多分支网络重参数化结构的具体过程可以如下。

第二分支中只包括一个3×3卷积层,其对应的权重和偏置分别为K

该多分支网络模型有且仅有一个残差分支,可以将恒等映射视为只有卷积核中心元素为1的3×3卷积,且其对应的偏置为0,记权重和偏置为K

第一分支(即1×1分支)的推理过程与上述残差分支的推理过程类似,可以将第一分支视为只有卷积核中心元素不为0的3×3卷积,记权重和偏置为K

此外,扩展分支中的3x3卷积也可以采用常见的梯度检测算子,用以提取纹理边缘特征、提升画质增强效果,该类特殊的扩展分支可以视为梯度分支。在该类特殊的扩展分支中,3x3分支的权重分布为梯度检测算子,且输入和输出通道数一致D=C,权重在训练中无需优化,即对卷积权重K

此外,3x3卷积和后一个1x1卷积不包含偏置,即3x3卷积只提取特征图上每个通道的纹理特征,后一个1x1卷积只对提取的纹理特征进行缩放,来控制纹理特征的强度。则最终该类梯度分支等效的一个3x3卷积的权重和偏置分别为

更进一步地,步骤S23可以通过以下方法实现:将转换后的多分支训练模型中各个分支的卷积核权重以及偏置进行融合,得到与转换后的多分支训练模型等效的单分支卷积网络。

经过步骤S22的推理后,第一分支、第二分支、残差分支及拓展分支都可以等效成一个普通的3×3卷积,且每个分支对应的等效权重和偏置为

第三实施例

请参考图8,本申请实施还提供另一种图像画质增强方法,应用于移动端,该方法的详细步骤介绍如下。

步骤S31:所述移动端部署有图像画质增强模型,所述图像画质增强模型为服务器对多分支多层卷积网络进行图像画质增强训练得到的网络模型所对应的等效单分支多层卷积网络。

在本步骤中,采用与服务器端的网络模型等效的单分支多层卷积网络作为图像画质增强模型,不仅可以提升图像画质增强模型对图像处理的效果,还能保证图像画质增强模型在移动端上的运行效率以及功耗要求。

步骤S32:将待进行图像画质增强的目标图像分解为第一通道图像、第二通道图像及第三通道图像。

在本步骤中,目标图像为RGB图像,先将RGB图像转换为YUV图像,并将YUV图像分解为包括Y通道图像的第一通道图像,包括U通道图像的第二通道图像以及包括V通道图像的第三通道图像。具体的,目标图像的RGB数据可以记为[R

步骤S33:将第一通道图像输入到图像画质增强模型中进行图像画质增强处理,得到增强后的第一通道图像。

在本步骤中,将通道数据为Y

步骤S34:将增强后的第一通道图像与第二通道图像及第三通道图像进行合成,得到图像画质增强后的目标图像。

在本步骤中,先将通道数据为Y

在本实施例中,移动端将目标图像分解成Y通道图像、U通道图像和V通道图像,利用与服务器端的网络模型等效的图像画质增强模型对Y通道图像进行画质增强,并将画质增强后的Y通道图像与U通道图像及V通道图像合成,得到新的YUV图像后将其转化为RGB图像。不仅可以增加目标图像中的高频纹理细节,还能保证图像画质增强模型在移动端上的运行效率以及功耗要求。

综上所述,本申请提供一种图像画质增强方法。在图像画质增强方法中,服务器端采用多分支多层卷积网络进行图像画质增强训练,提升网络模型的容量的同时保证网络模型的泛化能力,训练得到的网络模型对各种场景的图像都具备画质增强的效果,并基于结构重参数化将该网络模型转换为等效的单分支多层卷积网络。对移动端进行部署时,将与服务器端的网络模型等效的单分支多层卷积网络作为图像画质增强模型,不仅可以提升图像画质增强模型对图像处理的效果,还能保证图像画质增强模型在移动端上的运行效率以及功耗要求。

以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

技术分类

06120116576828