图像处理方法、电子设备及可读存储介质
文献发布时间:2023-06-19 09:29:07
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像处理方法、电子设备及可读存储介质。
背景技术
目前,可以采用卷积神经网络进行高动态范围图像(High Dynamic Range,HDR)的映射,如从标准动态范围(Standard Dynamic Range,SDR)图像映射为HDR图像,在图像处理上表现优于传统的算法。但是随着网络深度的加深,其计算量急剧增大成为其应用于实际的瓶颈。另外,通过导向图滤波进行从SDR图像到HDR图像映射的方法,能够保证输出图像整体上和输入图像大体相似,而纹理边缘和导向图相同,但是由于其直接在大分辨率图像上进行计算,其计算量较大。
发明内容
本发明提供一种图像处理方法、电子设备及可读存储介质,解决了现有技术中从SDR图像到HDR图像映射的方法存在计算量大的问题。
为了解决上述技术问题,本发明实施例是这样实现的:
第一方面,本发明的实施例提供了一种图像处理方法,包括:
获取第一分辨率标准动态范围SDR图像;
根据第一分辨率SDR图像得到第二分辨率SDR图像的导向图和第二分辨率SDR图像的滤波系数;
根据所述第二分辨率SDR图像的导向图和所述第二分辨率SDR图像的滤波系数进行导向滤波处理,得到第二分辨率HDR图像;
其中,所述第二分辨率高于所述第一分辨率。
可选地,根据第一分辨率SDR图像得到第二分辨率SDR图像的滤波系数,包括:
基于第一卷积神经网络模型,通过所述第一分辨率SDR图像得到第一分辨率HDR图像;
基于第二卷积神经网络模型,通过所述第一分辨率SDR图像和所述第一分辨率HDR图像得到第二分辨率SDR图像的滤波系数。
可选地,通过所述第一分辨率SDR图像和所述第一分辨率HDR图像得到第二分辨率SDR图像的滤波系数,包括:
根据所述第一分辨率SDR图像,得到第一分辨率SDR图像的导向图;
根据所述第一分辨率HDR图像和所述第一分辨率SDR图像的导向图,计算得到第一分辨率SDR图像的滤波系数;
对所述第一分辨率SDR图像的滤波系数进行上采样处理,得到第二分辨率SDR图像的滤波系数。
可选地,所述根据所述第一分辨率HDR图像和所述第一分辨率SDR图像的导向图,计算得到第一分辨率SDR图像的滤波系数,包括:
根据所述第二卷积神经网络模型的卷积核半径和所述第一分辨率SDR图像对应的图像缩放比例值之间的比值,计算得到滤波半径r
基于半径为r
基于半径为r
根据所述M
可选地,所述根据所述M
根据所述M
根据所述var
根据所述M
可选地,所述根据所述var
在半径为r
根据所述cov
计算所述mean
可选地,所述根据所述M
计算所述mean
计算所述mean
可选地,根据第一分辨率SDR图像得到第二分辨率SDR图像的导向图,包括:
根据所述第一分辨率SDR图像,得到第一分辨率SDR图像的导向图;
将所述第一分辨率SDR图像的导向图作为所述第三卷积神经网络模型的输入,并通过子像素卷积处理得到所述第二分辨率SDR图像的导向图。
可选地,所述将所述第一分辨率SDR图像导向图作为所述第三卷积神经网络模型的输入,并通过子像素卷积处理得到所述第二分辨率SDR图像的导向图之前,还包括:
通过执行以下步骤,训练得到所述第三卷积神经网络模型:
在所述第一卷积神经网络模型和所述第二卷积神经网络模型的参数固定的情况下,将所述第二卷积神经网络模型训练时输出的第一分辨率的导向图作为所述第三卷积神经网络模型的输入,并通过子像素卷积处理得到第二分辨率的导向图;
根据所述第二分辨率的导向图和所述第二卷积神经网络模型训练时输出的对应第二分辨率的滤波系数,得到预测的HDR图像。
第二方面,本发明实施例还提供了一种图像处理装置,包括:
获取模块,用于获取第一分辨率标准动态范围SDR图像;
第一处理模块,用于根据第一分辨率SDR图像,得到第二分辨率SDR图像的导向图和第二分辨率SDR图像的滤波系数;
第二处理模块,用于根据所述第二分辨率SDR图像的导向图和所述第二分辨率SDR图像的滤波系数进行导向滤波处理,得到第二分辨率HDR图像;
其中,所述第二分辨率高于所述第一分辨率。
可选地,所述第一处理模块包括:
第一处理子模块,用于基于第一卷积神经网络模型,通过所述第一分辨率SDR图像得到第一分辨率HDR图像;
第二处理子模块,用于基于第二卷积神经网络模型,通过所述第一分辨率SDR图像和所述第一分辨率HDR图像得到第二分辨率SDR图像的滤波系数。
可选地,所述第二处理子模块包括:
第一处理单元,用于根据所述第一分辨率SDR图像,得到第一分辨率SDR图像的导向图;
第二处理单元,用于根据所述第一分辨率HDR图像和所述第一分辨率SDR图像的导向图,计算得到第一分辨率SDR图像的滤波系数;
上采样单元,用于对所述第一分辨率SDR图像的滤波系数进行上采样处理,得到第二分辨率SDR图像的滤波系数。
可选地,所述第二处理单元包括:
第一计算子单元,用于根据所述第二卷积神经网络模型的卷积核半径和所述第一分辨率SDR图像对应的图像缩放比例值之间的比值,计算得到滤波半径r
第一滤波子单元,用于基于半径为r
第二滤波子单元,用于基于半径为r
第二计算子单元,用于根据所述M
可选地,所述第二计算子单元具体用于:
根据所述M
根据所述var
根据所述M
可选地,所述第二计算子单元执行所述根据所述var
在半径为r
根据所述cov
计算所述mean
可选地,所述第二计算子单元执行所述根据所述M
计算所述mean
计算所述mean
可选地,所述第一处理模块包括:
第三处理子模块,用于根据所述第一分辨率SDR图像,得到第一分辨率SDR图像的导向图;
第四处理子模块,用于将所述第一分辨率SDR图像的导向图作为所述第三卷积神经网络模型的输入,并通过子像素卷积处理得到所述第二分辨率SDR图像的导向图。
可选地,所述图像处理装置还包括:
训练模块,用于通过执行以下步骤,训练得到所述第三卷积神经网络模型:
在所述第一卷积神经网络模型和所述第二卷积神经网络模型的参数固定的情况下,将所述第二卷积神经网络模型训练时输出的第一分辨率的导向图作为所述第三卷积神经网络模型的输入,并通过子像素卷积处理得到第二分辨率的导向图;
根据所述第二分辨率的导向图和所述第二卷积神经网络模型训练时输出的对应第二分辨率的滤波系数,得到预测的HDR图像。
第三方面,本发明的实施例还提供了一种电子设备,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述处理器执行所述程序时实现如上所述的图像处理方法的步骤。
第四方面,本发明的实施例还提供了一种可读存储介质,所述可读存储介质上存储有程序,所述程序被处理器执行时实现如上所述的图像处理方法的步骤。
本发明的实施例,通过获取到第一分辨率SDR图像,并基于第一分辨率SDR图像,得到第二分辨率SDR图像的导向图和第二分辨率SDR图像的滤波系数,降低了滤波系数的计算复杂度;进而根据所述第二分辨率SDR图像的导向图和所述第二分辨率SDR图像的滤波系数进行导向滤波处理,得到第二分辨率HDR图像,即实现从SDR图像到HDR图像的映射,解决了现有技术中SDR图像到HDR图像的映射方法存在计算量大的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1表示本发明实施例的图像处理的流程图;
图2表示本发明实施例SDR-HDR模块和Guide_CNN模块的处理流程图;
图3表示本发明实施例CNN-C的处理流程图;
图4表示本发明实施例通过导向图I
图5表示本发明实施例的图像处理装置的框图;
图6表示本发明实施例的电子设备的框图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。在下面的描述中,提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此,本领域技术人员应该清楚,可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外,为了清楚和简洁,省略了对已知功能和构造的描述。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在本发明所提供的实施例中,应理解,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
具体地,本发明的实施例提供了一种图像处理方法,解决了现有技术中从SDR图像到HDR图像映射的方法存在计算量大的问题。
其中,HDR图像/视频支持更宽范围的亮度和更丰富的色彩,能够捕获和呈现场景中较暗部分和较亮部分更多的细节。HDR图像编码范围在10比特(bit)以上,色域遵循BT.2020标准。HDR图像清晰度高、层次感强,能够展现更接近于人眼视觉的真实感受。
HDR视频与SDR视频相比,HDR视频主要具有以下特点:亮/暗区域的细节会更加明显;图像的亮度结合屏的最大亮度进行还原,并且不损失图像细节;消除闪烁等负面效果;保留更多的图像细节,提升图像的清晰度。
如图1所示,本发明实施例提供了一种图像处理方法,具体可以包括以下步骤:
步骤11:获取第一分辨率标准动态范围SDR图像。
可选地,该第一分辨率的SDR图像可以是一张第一分辨率的SDR图片,也可以是第一分辨率的SDR视频中的图像;
可选地,作为一种实现方式,该步骤11可以具体包括:获取初始SDR图像,该初始SDR图像的分辨率为第一分辨率,可以理解为该初始SDR图像即为第一分辨率的SDR图像。
可选地,作为另一种实现方式,该步骤11可以具体包括:获取初始SDR图像,所述初始SDR图像的分辨率高于所述第一分辨率;对初始SDR图像进行下采样处理,得到第一分辨率SDR图像。
其中,初始SDR图像的分辨率与所要处理得到的HDR图像(即下述步骤14中获得的第二分辨率的HDR图像)的分辨率可以相同,也可以不同。
例如:可以通过对初始SDR图像进行下采样处理,得到第一分辨率的SDR图像;其中,下采样处理的采样率可以预先设定,或者可以依据初始SDR图像和下采样处理后得到的SDR图像的分辨率确定,本发明实施例不以此为限。
步骤12:根据第一分辨率SDR图像,得到第二分辨率SDR图像的导向图和第二分辨率SDR图像的滤波系数;其中,所述第二分辨率高于所述第一分辨率。
可选地,上述步骤12可以具体包括:基于卷积神经网络模型,通过第一分辨率SDR图像得到第二分辨率SDR图像的导向图和第二分辨率SDR图像的滤波系数。
其中,卷积神经网络可以用于进行图像特征提取,并对临近像素敏感,每次卷积时对临近且相关性较高的像素点进行感知。当使用多次卷积时,可以得到更大感受区域,即更大的感受野。例如:对于某张图像的特征提取,卷积神经网络使用特定卷积核可以得到整张图像的特征图,使用不同卷积核进行对整张图像的卷积,可以获得基于不同卷积核得到的不同特征图。卷积神经网络具有局部感知、参数共享、多卷积核的特点,使得卷积神经网络在进行图像处理时具有更优的性能。
步骤13:根据所述第二分辨率SDR图像的导向图和所述第二分辨率SDR图像的滤波系数进行导向滤波处理,得到第二分辨率HDR图像。
可选地,所述导向滤波处理即基于导向图滤波的图像滤波技术,采用该技术的输出图像由输入图像和导向图共同决定。导向图滤波可以作为一个保边平滑算子使用,并且对图像边缘的处理能够达到更好的效果。
该实施例中采用的导向滤波处理,在低分辨率的导向图和低分辨率输入图片上计算局部线性模型,再将其运用到高分辨率图像上,从而得到高分辨率的滤波结果,其输出图像整体上和输入图像大体相似,纹理边缘和导向图相同,并且时间复杂度较低。
该实施例中,通过获取到第一分辨率SDR图像,并基于第一分辨率SDR图像得到第二分辨率SDR图像的导向图和第二分辨率SDR图像的滤波系数,降低了滤波系数的计算复杂度;进而根据所述第二分辨率SDR图像的导向图和所述第二分辨率SDR图像的滤波系数进行导向滤波处理,得到第二分辨率HDR图像,即实现从SDR图像到HDR图像的映射,解决了现有技术中SDR图像到HDR图像的映射方法存在计算量大的问题。
可选地,上述步骤12可以具体包括:
基于第一卷积神经网络模型,通过所述第一分辨率SDR图像得到第一分辨率HDR图像;
基于第二卷积神经网络模型,通过和所述第一分辨率HDR图像得到第二分辨率SDR图像的滤波系数。
其中,第一卷积神经网络模型CNN-A用于将第一分辨率SDR图像转换为第一分辨率HDR图像,也可以将其称为SDR-HDR模块;第二卷积神经网络模型CNN-B用于将第一分辨率SDR图像进行处理,得到第一分辨率SDR图像的导向图,并结合CNN-A输出的第一分辨率HDR图像,计算得到滤波系数,也可以将其称为Guide_CNN模块。
该实施例中,将卷积神经网络模型CNN-A和CNN-B分别使用在不同的网络分支,即通过使用CNN-A对低频部分进行映射,CNN-B对高频部分进行映射,得到滤波系数,从而提高了整个网络的鲁棒性和准确性。
可选地,所述通过所述第一分辨率SDR图像和所述第一分辨率HDR图像得到第二分辨率SDR图像的滤波系数的步骤,可以具体包括:
根据所述第一分辨率SDR图像,得到第一分辨率SDR图像的导向图;
根据所述第一分辨率HDR图像和所述第一分辨率SDR图像的导向图,计算得到第一分辨率SDR图像的滤波系数;
对所述第一分辨率SDR图像的滤波系数进行上采样处理,得到第二分辨率SDR图像的滤波系数。
如图2所示,给出了SDR-HDR模块和Guide_CNN模块的处理流程图。
其中,针对SDR-HDR模块的处理过程包括:
对于输入的初始SDR图像p进行x倍的下采样处理,得到小分辨率SDR图像P,例如可以通过以下公式表示下采样过程:
P=f
其中,x表示采样率;f
对于下采样得到的小分辨率SDR图像使用所述SDR-HDR(或称为CNN-A)模块转换为第一分辨率HDR图像,并将输出的小分辨率HDR图像作为Guide_CNN(或称为CNN-B)模块的输入。
其中,针对Guide_CNN模块的处理过程包括:
对于输入的初始SDR图像p进行y倍的下采样处理,得到小分辨率SDR图像I;例如可以通过以下公式表示下采样过程:
I=f
其中,y表示采样率,f
对于下采样得到的小分辨率SDR图像使用Guide_CNN(或称为CNN-B)模块,得到小分辨率SDR图像的导向图;
对于小分辨率SDR图像的导向图结合SDR-HDR模块输出的小分辨率HDR图像,计算得到小分辨率SDR图像的滤波系数;
对于小分辨率SDR图像的滤波系数进行上采样处理,得到大分辨率SDR图像的滤波系数。
该实施例中,通过对原始SDR图像进行下采样,再使用CNN-A将SDR图像转换成HDR图像,得到小分辨率HDR图像,作为计算滤波系数a、b的原始图像输入,由于CNN-A采用了在小分辨率图像上进行转换,实现了算法的加速;并且对于原始SDR图像进行下采样处理得到小分辨率SDR图像,通过CNN-B的处理得到小分辨率导向图,并结合小分辨率HDR图像共同计算出快速导向图滤波的滤波系数,节省了计算滤波系数的计算的时间,并提高了算法的准确性,并且所述CNN-B可以弥补滤波系数上采样后的缺失。
可选地,在使用所述CNN-A和CNN-B进行处理之前,还可以对CNN-A和CNN-B进行训练。
可选地,针对CNN-A的训练过程为:选用成对的SDR图像和HDR图像作为训练样本,将HDR图像作为训练标签,将训练样本与标签一一对应,形成训练集。如可以基于U-NET网络进行训练。
可选地,针对CNN-B的训练过程为:将CNN-A训练得到训练集进行缩图,得到成对的小分辨率SDR图像和HDR图像,作为新的训练集,小分辨率HDR图像作为训练标签,如该CNN-B可以是一个3层3*3的卷积网络,并结合导向图滤波模块进行训练。
可选地,为了提高模型精度,可以对CNN-B进行单独训练,其输入为缩小的sdr图像和原始SDR图像,缩小的sdr图像和原始SDR图像共享卷积参数,分别输出标记为g(sdr),和g(SDR)。
g(sdr)结合小的HDR图像通过导向滤波算法求解得出滤波参数a、b,在将所述滤波参数a、b通过双三次插值上采样处理得到滤波参数A、B。
g(SDR)结合滤波参数A、B,通过公式HDR=g(SDR)*A+B得出预测的HDR图像。
将该特征图(即上述预测的HDR图像)与g(SDR)图像相加得出最终要求的导向图I,最后得出预测的HDR图像为A×I+B。
可选地,所述根据所述第一分辨率HDR图像和所述第一分辨率SDR图像的导向图,计算得到第一分辨率SDR图像的滤波系数的步骤,可以具体包括:
根据所述第二卷积神经网络模型的卷积核半径和所述第一分辨率SDR图像对应的图像缩放比例值之间的比值,计算得到滤波半径r
例如:可以通过公式:r
基于半径为r
例如:可以通过公式:M
基于半径为r
例如:可以通过公式:M
根据所述M
其中,f
可选地,所述根据所述M
根据所述M
根据所述var
根据所述M
可选地,所述根据所述M
计算所述I
例如:通过公式:corr
计算所述I
例如:通过公式:corr
计算所述M
例如:通过公式:var
计算所述M
例如:通过公式:cov
可选地,所述根据所述var
在半径为r
需要说明的是,由上述计算过程可知var
例如:通过公式:mean
其中,ε可以是预先设定的固定值,ε用于表征半径为r
计算所述mean
例如:通过公式:a
可选地,所述根据所述M
计算所述mean
例如:通过公式:mean
计算所述mean
例如:通过公式:b
可选地,所述对所述第一分辨率SDR图像的滤波系数进行上采样处理,得到第二分辨率SDR图像的滤波系数的步骤,可以具体包括:
对所述第一分辨率SDR图像对应的第一滤波系数a
对所述第一分辨率SDR图像对应的第二滤波系数b
例如:对第一分辨率导向图的滤波系数a
A=f
B=f
其中,f
可选地,上述步骤12还可以具体包括:
基于第三卷积神经网络模型,通过所述第一分辨率SDR图像的导向图得到第二分辨率SDR图像的导向图。
其中,第三卷积神经网络模型用于对第一分辨率SDR图像的导向图进行上采样,得到第二分辨率SDR图像的导向图,实现了导向图的超分,其还可以称为CNN-C模块。
如图3所示,给出了CNN-C模块的处理流程图,将第一分辨率SDR图像的导向图输入CNN-C进行处理(这里CNN-C带有上采样的功能),从而得到第二分辨率SDR图像的导向图。
可选地,所述第一分辨率SDR图像的导向图可以是CNN-B输出第一分辨率SDR图像的导向图,即CNN-C可以直接针对CNN-B输出的第一分辨率SDR图像的导向图进行处理,得到第二分辨率SDR图像的导向图。
当然,作为另一种实现方式:CNN-C也可以相对于CNN-B独立,即CNN-C可以先基于第一分辨率SDR图像,得到第一分辨率SDR图像的导向图,进而再通过所述第一分辨率SDR图像的导向图得到第二分辨率SDR图像的导向图,本发明实施例不以此为限。
可选地,上述步骤12还可以具体包括:
根据所述第一分辨率SDR图像,得到第一分辨率SDR图像的导向图;
将所述第一分辨率SDR图像的导向图作为所述第三卷积神经网络模型的输入,并通过子像素卷积(Subpixel)处理得到第二分辨率SDR图像的导向图。
其中,根据所述第一分辨率SDR图像得到的第一分辨率SDR图像的导向图,可以是基于CNN-B输出的第一分辨率SDR图像的导向图,即CNN-C可以直接针对CNN-B输出的第一分辨率SDR图像的导向图进行处理得到第二分辨率SDR图像的导向图。
由于上述CNN-B已经得出较好的预测HDR图像,但是其过程中需要经过上采样得到滤波系数,该方式可能导致精度损失,因而可以通过微调g(SDR)的结果来弥补这部分的精度缺失,即通过第三卷积神经网络模型结合Subpixel的上采样处理得到大分辨率导向图的方式,可以弥补经过上采样得到滤波系数导致的准确度缺失的问题。
或者CNN-C也可以相对于CNN-B独立,即CNN-C可以先基于第一分辨率SDR图像得到第一分辨率SDR图像的导向图,进而再通过所述第一分辨率SDR图像的导向图得到第二分辨率SDR图像的导向图,本发明实施例不以此为限。
可选地,所述将所述第一分辨率SDR图像的导向图作为所述第三卷积神经网络模型的输入,并通过子像素卷积处理得到所述第二分辨率SDR图像的导向图的步骤之前,还可以具体包括:
通过执行以下步骤,训练得到所述第三卷积神经网络模型:
在所述第一卷积神经网络模型和所述第二卷积神经网络模型的参数固定的情况下,将所述第二卷积神经网络模型训练时输出的第一分辨率的导向图作为所述第三卷积神经网络模型的输入,并通过子像素卷积处理得到第二分辨率的导向图;
根据所述第二分辨率的导向图和所述第二卷积神经网络模型训练时输出的对应第二分辨率的滤波系数,得到预测的HDR图像。
例如:CNN-C的训练过程为:固定CNN-A和CNN-B的参数,将最终的HDR图像作为训练标签,将CNN-B输出的小分辨率的导向图作为CNN-C的输入,即将I
可选地,上述步骤13可以具体包括:
通过公式:O=A*I
本发明的实施例中,基于快速导向图滤波和卷积神经网络深度学习相结合的思想,实现了对于图像细节的还原和计算量的数倍节省,并且通过对导向图进行上采样,使最终的HDR图像在图像和质量上得到了保证,并且基于该实施例从SDR图像到SDR图像的映射,使得图像亮/暗区域的细节会更加明显,图像的亮度得到最大程度的还原,并且在不损失图像细节的基础上,提高了图像质量,保证了图像的颜色恢复。
此外,本发明的实施例中,基于快速导向图滤波、卷积神经网络及超分辨率相结合的思想,降低了滤波系数的计算复杂度,同时通过针对性训练的卷积神经网络分别放在整个网络的不同位置,既实现了SDR图像映射为高分辨率的HDR图像的加速,也增强了算法的鲁棒性。
以上实施例对本发明的图像处理方法进行了说明,下面结合附图对其对应的图像处理装置进行具体说明。
如图5所示,本发明实施例还提供了一种图像处理装置500,包括:
获取模块510,用于获取第一分辨率标准动态范围SDR图像;
第一处理模块520,用于根据第一分辨率SDR图像得到第二分辨率SDR图像的导向图和第二分辨率SDR图像的滤波系数;
第二处理模块530,用于根据所述第二分辨率SDR图像的导向图和所述第二分辨率SDR图像的滤波系数进行导向滤波处理,得到第二分辨率HDR图像;
其中,所述第二分辨率高于所述第一分辨率。
可选地,所述获取模块510包括:
获取子模块,用于获取初始SDR图像;
下采样子模块,用于对初始SDR图像进行下采样处理,得到第一分辨率SDR图像。
可选地,所述第一处理模块520包括:
第一处理子模块,用于基于第一卷积神经网络模型,通过所述第一分辨率SDR图像得到第一分辨率HDR图像;
第二处理子模块,用于基于第二卷积神经网络模型,通过所述第一分辨率SDR图像和所述第一分辨率HDR图像得到第二分辨率SDR图像的滤波系数。
可选地,所述第二处理子模块包括:
第一处理单元,用于根据所述第一分辨率SDR图像,得到第一分辨率SDR图像的导向图;
第二处理单元,用于根据所述第一分辨率HDR图像和所述第一分辨率SDR图像的导向图,计算得到第一分辨率SDR图像的滤波系数;
上采样单元,用于对所述第一分辨率SDR图像的滤波系数进行上采样处理,得到第二分辨率SDR图像的滤波系数。
可选地,所述第二处理单元包括:
第一计算子单元,用于根据所述第二卷积神经网络模型的卷积核半径和所述第一分辨率SDR图像对应的图像缩放比例值之间的比值,计算得到滤波半径r
第一滤波子单元,用于基于半径为r
第二滤波子单元,用于基于半径为r
第二计算子单元,用于根据所述M
可选地,所述第二计算子单元具体用于:
根据所述M
根据所述var
根据所述M
可选地,所述第二计算子单元执行所述根据所述M
计算所述I
计算所述I
计算所述M
计算所述M
可选地,所述第二计算子单元执行所述根据所述var
在半径为r
根据所述cov
计算所述mean
可选地,所述第二计算子单元执行所述根据所述M
计算所述mean
计算所述mean
可选地,所述第一处理模块520包括:
第三处理子模块,用于根据所述第一分辨率SDR图像,得到第一分辨率SDR图像的导向图;
第四处理子模块,用于将所述第一分辨率SDR图像的导向图作为所述第三卷积神经网络模型的输入,并通过子像素卷积处理得到所述第二分辨率SDR图像的导向图。
可选地,所述图像处理装置500还包括:
训练模块,用于通过执行以下步骤,训练得到所述第三卷积神经网络模型:
在所述第一卷积神经网络模型和所述第二卷积神经网络模型的参数固定的情况下,将所述第二卷积神经网络模型训练时输出的第一分辨率的导向图作为所述第三卷积神经网络模型的输入,并通过子像素卷积处理得到第二分辨率的导向图;
根据所述第二分辨率的导向图和所述第二卷积神经网络模型训练时输出的对应第二分辨率的滤波系数,得到预测的HDR图像。
本发明实施例中的图像处理装置能够实现上述图像处理方法的相应功能,并能达到相同的技术效果,此处不再赘述。
本发明实施例中的装置500,通过获取到第一分辨率SDR图像,并基于第一分辨率SDR图像得到第二分辨率SDR图像的导向图和第二分辨率SDR图像的滤波系数,降低了滤波系数的计算复杂度;进而根据所述第二分辨率SDR图像的导向图和所述第二分辨率SDR图像的滤波系数进行导向滤波处理,得到第二分辨率HDR图像,即实现从SDR图像到HDR图像的映射,解决了现有技术中SDR图像到HDR图像的映射方法存在计算量大的问题。
如图6所示,本发明实施例还提供一种电子设备,包括处理器61、存储器62及存储在所述存储器62上并可在所述处理器61上运行的程序,所述处理器61执行所述程序时实现上述的图像处理方法的步骤。
可选地,所述处理器61用于:获取第一分辨率标准动态范围SDR图像;根据第一分辨率SDR图像得到第二分辨率SDR图像的导向图和第二分辨率SDR图像的滤波系数;根据所述第二分辨率SDR图像的导向图和所述第二分辨率SDR图像的滤波系数进行导向滤波处理,得到第二分辨率HDR图像;其中,所述第二分辨率高于所述第一分辨率。
可选地,所述处理器61用于:获取初始SDR图像;对初始SDR图像进行下采样处理,得到第一分辨率SDR图像。
可选地,所述处理器61用于:基于第一卷积神经网络模型,通过所述第一分辨率SDR图像得到第一分辨率HDR图像;基于第二卷积神经网络模型,通过所述第一分辨率SDR图像和所述第一分辨率HDR图像得到第二分辨率SDR图像的滤波系数。
可选地,所述处理器61用于:根据所述第一分辨率SDR图像,得到第一分辨率SDR图像的导向图;根据所述第一分辨率HDR图像和所述第一分辨率SDR图像的导向图,计算得到第一分辨率SDR图像的滤波系数;对所述第一分辨率SDR图像的滤波系数进行上采样处理,得到第二分辨率SDR图像的滤波系数。
可选地,所述处理器61用于:根据所述第二卷积神经网络模型的卷积核半径和所述第一分辨率SDR图像对应的图像缩放比例值之间的比值,计算得到滤波半径r
可选地,所述处理器61用于:根据所述M
可选地,所述处理器61用于:计算所述I
可选地,所述处理器61用于:在半径为r
可选地,所述处理器61用于:计算所述mean
可选地,可选地,所述处理器61用于:根据所述第一分辨率SDR图像,得到第一分辨率SDR图像的导向图;将所述第一分辨率SDR图像的导向图作为所述第三卷积神经网络模型的输入,并通过子像素卷积处理得到所述第二分辨率SDR图像的导向图。
可选地,所述处理器61用于:通过执行以下步骤,训练得到所述第三卷积神经网络模型:
在所述第一卷积神经网络模型和所述第二卷积神经网络模型的参数固定的情况下,将所述第二卷积神经网络模型训练时输出的第一分辨率的导向图作为所述第三卷积神经网络模型的输入,并通过子像素卷积处理得到第二分辨率的导向图;
根据所述第二分辨率的导向图和所述第二卷积神经网络模型训练时输出的对应第二分辨率的滤波系数,得到预测的HDR图像。
本发明实施例中的电子设备,在处理器61执行所述程序时能够实现上述图像处理方法的对应功能,并能达到相同的技术效果,这里不再赘述。
本发明实施例中的电子设备,通过获取到第一分辨率SDR图像,并基于第一分辨率SDR图像得到第二分辨率SDR图像的导向图和第二分辨率SDR图像的滤波系数,降低了滤波系数的计算复杂度;进而根据所述第二分辨率SDR图像的导向图和所述第二分辨率SDR图像的滤波系数进行导向滤波处理,得到第二分辨率HDR图像,即实现从SDR图像到HDR图像的映射,解决了现有技术中SDR图像到HDR图像的映射方法存在计算量大的问题。
其中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器61代表的一个或多个处理器61和存储器62代表的存储器62的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。
可选地,所述电子设备还可以包括:总线接口,用于提供接口。
可选地,所述电子设备还可以包括:收发机63可以是多个元件,即包括发送机和收发机,提供用于在传输介质上与各种其他装置通信的单元。处理器61负责管理总线架构和通常的处理,存储器62可以存储处理器在执行操作时所使用的数据。
本领域技术人员可以理解,实现上述实施例的全部或者部分步骤可以通过硬件来完成,也可以通过程序来指示相关的硬件来完成,所述程序包括执行上述方法的部分或者全部步骤的指令;且该程序可以存储于一可读存储介质中,存储介质可以是任何形式的存储介质。
另外,本发明具体实施例还提供一种可读存储介质,其上存储有程序,该程序被处理器执行时实现上述的信息处理方法中的步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本发明的保护范围内。
- 图像处理方法、图像处理系统、电子设备及可读存储介质
- 图像处理方法、图像处理系统、电子设备及可读存储介质