掌桥专利:专业的专利平台
掌桥专利
首页

图像去噪方法、装置、电子设备和可读存储介质

文献发布时间:2023-06-19 12:10:19


图像去噪方法、装置、电子设备和可读存储介质

技术领域

本申请涉及图像处理技术领域,特别是涉及一种图像去噪方法、装置、电子设备和可读存储介质。

背景技术

随着图像处理相关技术的不断发展,人们对图像质量的要求也越来愈高。在众多影响图像质量的因素中,噪声就是一个极其重要的因素。图像噪声是指存在于图像数据中的不必要的或多余的干扰信息。由于噪声的存在严重影响了图像的质量,因此在进行图像处理的过程中,去除噪声就显得非常重要。

传统的去噪方法,包括时域去噪、空域去噪、频域去噪等方法。其中,时域去噪是一种结合前后帧图像进行处理的去噪方法。空域去噪是一种针对单帧图像进行处理的去噪方法。频域去噪是一种将图像从空间域转换到频域上进行去噪的方法。

但是,采用传统去噪方法对图像进行去噪的效果均较差。

发明内容

本申请实施例提供了一种图像去噪方法和装置、电子设备、可读存储介质,可以提高图像的去噪效果。

一种图像去噪方法,所述方法包括:

获取待处理图像帧中每个像素的原始亮度分量和每个像素的原始色度分量,以及获取参考帧中每个像素的原始亮度分量;所述参考帧包括在所述待处理图像帧之前预设数目的图像帧;

对所述待处理图像帧中每个像素的原始亮度分量进行空域去噪处理,得到空域去噪后的亮度分量;

采用预设的目标权重,对所述参考帧的原始亮度分量和所述空域去噪后的亮度分量进行时域去噪处理,得到联合去噪处理后的亮度分量;所述目标权重与像素的饱和度、亮度和差异度相关;

根据所述原始色度分量和所述联合去噪处理后的亮度分量,确定目标图像。

一种图像去噪装置,所述装置包括:

获取模块,用于获取待处理图像帧中每个像素的原始亮度分量和每个像素的原始色度分量,以及获取参考帧中每个像素的原始亮度分量;所述参考帧包括在所述待处理图像帧之前预设数目的图像帧;

空域去噪模块,用于对所述待处理图像帧中每个像素的原始亮度分量进行空域去噪处理,得到空域去噪后的亮度分量;

时域去噪模块,用于采用预设的目标权重,对所述参考帧的原始亮度分量和所述空域去噪后的亮度分量进行时域去噪处理,得到联合去噪处理后的亮度分量;所述目标权重与像素的饱和度、亮度和差异度相关;

目标图像确定模块,用于根据所述原始色度分量和所述联合去噪处理后的亮度分量,确定目标图像。

一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上所述的图像去噪方法的步骤。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的图像去噪方法的步骤。

上述图像去噪方法、装置、电子设备和计算机可读存储介质,首先,对待处理图像帧中每个像素的原始亮度分量进行空域去噪处理,然后,通过各个像素的目标权重将空域去噪后的亮度分量与参考帧的原始亮度分量进行时域去噪处理,从而可以获得经过时域及空域联合去噪处理后的亮度分量。另外,由于一般情况下人眼对亮度分量较敏感,因此,电子设备在对原始亮度分量进行时域去噪处理时,从像素的饱和度、亮度以及差异度等多个维度确定像素的目标权重,使得待处理图像帧获得更好的去噪效果。最后,根据待处理图像帧的原始色度分量和经过时域及空域联合去噪处理后的亮度分量,确定目标图像。最终,大大提高了所生成的目标图像的去噪效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为一个实施例中图像去噪方法的应用环境图;

图2为一个实施例中图像去噪方法的流程图;

图3为另一个实施例中图像去噪方法的流程图;

图4为一个实施例中根据第一亮度分量、第一色度分量和参考帧的原始亮度分量,确定目标权重方法的流程图;

图5为一个实施例中计算目标权重的示意图;

图6为图4中根据第一亮度分量和第一色度分量,计算待处理图像帧的饱和度权重方法的流程图;

图7为图4中根据第一亮度分量,计算待处理图像帧的亮度权重方法的流程图;

图8为图4中根据空域去噪后的亮度分量及参考帧的原始亮度分量,计算待处理图像帧的差异度权重方法的流程图;

图9为一个实施例中金字塔差分运算的示意图;

图10为一个具体的实施例中图像去噪处理流程的示意图;

图11为一个实施例中将待处理图像帧划分成多个待处理图像块的示意图;

图12为一个实施例中图像去噪装置的结构框图;

图13为另一个实施例中图像去噪装置的结构框图;

图14为图13中目标权重确定模块的结构框图;

图15为再一个实施例中图像去噪装置的结构框图;

图16为一个实施例中电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

图1为一个实施例中图像去噪方法的应用场景图。如图1所示,该应用环境包括电子设备120,电子设备120通过获取待处理图像帧中每个像素的原始亮度分量和每个像素的原始色度分量,以及获取参考帧中每个像素的原始亮度分量;参考帧包括在待处理图像帧之前预设数目的图像帧;对待处理图像帧中每个像素的原始亮度分量进行空域去噪处理,得到空域去噪后的亮度分量;采用预设的目标权重,对参考帧的原始亮度分量和空域去噪后的亮度分量进行时域去噪处理,得到联合去噪处理后的亮度分量;目标权重与像素的饱和度、亮度和差异度相关;根据原始色度分量和联合去噪处理后的亮度分量,确定目标图像。这里,电子设备120可以是手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、穿戴式设备(智能手环、智能手表、智能眼镜、智能手套、智能袜子、智能腰带等)、智能家居等任意终端设备。

图2为一个实施例中图像去噪方法的流程图。本实施例中的图像去噪方法,以运行于图1中的电子设备120上为例进行描述。该图像去噪方法包括:

步骤220,获取待处理图像帧中每个像素的原始亮度分量和每个像素的原始色度分量,以及获取参考帧中每个像素的原始亮度分量;参考帧包括在待处理图像帧之前预设数目的图像帧。

电子设备可以对每个待处理图像帧进行格式转换,将待处理图像帧转换成YUV格式,其中,“Y”表示明亮度(Luminance或Luma),也就是灰度值;而“U”和“V”表示的则是色度(Chrominance或Chroma)。从而,可以获得待处理图像帧的原始色度分量以及待处理图像帧的原始亮度分量。上述待处理图像帧的原始色度分量中包括待处理图像帧各个像素的色度值;上述待处理图像帧的亮度分量中,包括待处理图像帧各个像素的亮度值。

同理,电子设备可以对参考帧进行格式转换,将参考帧转换成YUV格式,从而获取参考帧中每个像素的原始亮度分量。

步骤240,对待处理图像帧中每个像素的原始亮度分量进行空域去噪处理,得到空域去噪后的亮度分量。

针对上述原始亮度分量,电子设备可以对待处理图像帧的原始亮度分量进行空域去噪处理,获得该待处理图像帧对应的空域去噪帧的亮度分量。

电子设备可以采用空域滤波器,对待处理图像帧的原始亮度分量进行滤波处理,使得待处理图像帧的原始亮度分量更平滑。上述空域滤波器可以是高斯滤波器,也可以是中值滤波器,还可以是均值滤波器,在此不做限定。

步骤260,采用预设的目标权重,对参考帧的原始亮度分量和空域去噪后的亮度分量进行时域去噪处理,得到联合去噪处理后的亮度分量;目标权重与像素的饱和度、亮度和差异度相关。

电子设备可以计算待处理图像帧中每个像素的目标权重,上述目标权重可以与像素的饱和度、亮度以及差异度相关。其中,上述差异度可以是待处理图像帧与参考帧在同一位置像素的像素值差异,可以用于表征待处理图像帧和参考帧的差异程度。

电子设备在计算上述目标权重值,可以分别计算各个像素的饱和度、亮度以及差异度相关的融合权重,然后基于各个融合权重获得各像素的目标权重。

电子设备在计算各个融合权重时,可以先计算各个像素的饱和度、亮度以及差异度等图像参数,然后基于上述图像参数确定各个融合权重。进一步地,针对每个像素,电子设备可以对各个融合权重进行加权求和、相乘等处理,获得该像素的目标权重。

可选地,电子设备根据第一亮度分量、第一色度分量和参考帧的原始亮度分量,确定各像素的目标权重;其中,上述第一亮度分量包括待处理图像帧的原始亮度分量或者空域去噪帧的亮度分量。也就是说,电子设备既可以采用待处理图像帧的原始亮度分量计算目标权重,也可以采用空域去噪帧的亮度分量计算目标权重。上述第一色度分量包括待处理图像帧的原始色度分量或者空域去噪后的色度分量。也就是说,电子设备既可以采用待处理图像帧的原始色度分量计算目标权重,也可以采用空域去噪帧的色度分量计算目标权重。

电子设备通过引入第一亮度分量、第一色度分量以及参考帧的原始亮度分量计算目标权重,可以使得目标权重能结合待处理图像帧及参考帧的更多图像特征,使得目标权重更准确。

电子设备在对参考帧的原始亮度分量和空域去噪后的亮度分量进行时域去噪处理时,可以采用上述目标权重,对参考帧的原始亮度分量与空域去噪帧的亮度分量进行加权融合。电子设备对各亮度分量进行加权融合时,可以采用预设加权计算公式,获得融合后的亮度分量;例如,上述加权计算公式可以是加权求和公式,电子设备可以在空域去噪帧的亮度分量上乘以目标权重,然后与参考帧的原始亮度分量相加,也可以在参考帧的原始亮度分量上乘以目标权重,然后与空域去噪帧的亮度分量相加,在此不做限定。

可选地,电子设备可以根据公式:

步骤280,根据原始色度分量和联合去噪处理后的亮度分量,确定目标图像。

在上述步骤的基础上,电子设备对待处理图像帧的原始亮度分量依次进行空域去噪处理和时域去噪处理之后,获得联合去噪处理后的亮度分量。进一步地,电子设备可以基于上述联合去噪处理后的亮度分量与待处理图像帧的原始色度分量确定目标图像,目标图像也可以称之为待处理图像帧的去噪输出帧。电子设备可以将上述联合去噪处理后的亮度分量与待处理图像帧的原始色度分量直接合并,获得目标图像,还可以对上述联合去噪处理后的亮度分量与待处理图像帧的原始色度分量再进行滤波或者融合处理之后,再将联合去噪处理后的亮度分量和原始色度分量进行结合,获得目标图像;对于上述目标图像的获取方式在此不做限定。

本申请实施例中,电子设备获取待处理图像帧中每个像素的原始亮度分量和每个像素的原始色度分量,以及获取参考帧中每个像素的原始亮度分量;参考帧包括在待处理图像帧之前预设数目的图像帧。对待处理图像帧中每个像素的原始亮度分量进行空域去噪处理,得到空域去噪后的亮度分量。采用预设的目标权重,对参考帧的原始亮度分量和空域去噪后的亮度分量进行时域去噪处理,得到联合去噪处理后的亮度分量;其中,目标权重与像素的饱和度、亮度和差异度相关。根据原始色度分量和联合去噪处理后的亮度分量,确定目标图像。

首先,对待处理图像帧中每个像素的原始亮度分量进行空域去噪处理,然后,通过各个像素的目标权重将空域去噪后的亮度分量与参考帧的原始亮度分量进行时域去噪处理,从而可以获得经过时域及空域联合去噪联合去噪处理(后文简称联合去噪处理)后的亮度分量。另外,由于一般情况下人眼对亮度分量较敏感,因此,电子设备在对原始亮度分量进行时域去噪处理时,从像素的饱和度、亮度以及差异度等多个维度确定像素的目标权重,使得待处理图像帧获得更好的去噪效果。最后,根据待处理图像帧的原始色度分量和经过时域及空域联合去噪联合去噪处理后的亮度分量,确定目标图像。最终,大大提高了所生成的目标图像的去噪效果。

在一个实施例中,步骤280,根据原始色度分量和联合去噪处理后的亮度分量,确定目标图像,包括:

对原始色度分量进行空域去噪,得到空域去噪后的色度分量;

根据空域去噪后的色度分量和联合去噪处理后的亮度分量,确定目标图像。

具体的,对待处理图像帧的原始色度分量进行空域去噪处理的方式,具体为:将待处理图像帧按照不同的图像尺寸划分为待处理图像块,计算待处理图像块的梯度。若待处理图像块的梯度大于预设梯度阈值,则将待处理图像块中像素的原始色度分量作为像素对应的空域去噪后的色度分量。若待处理图像块的梯度小于或等于预设梯度阈值,则将待处理图像块与待处理图像块的目标图像块进行匹配。目标图像块为待处理图像帧中位于待处理图像块周围预设范围内的图像块。将匹配成功的目标图像块的原始色度分量与待处理图像块的原始色度分量进行融合,得到待处理图像块中每个像素对应的空域去噪后的色度分量。与下文中对原始亮度分量进行空域去噪处理的方式类似。需要说明的是,电子设备对原始色度分量以及原始亮度分量进行空域去噪处理时,采用的去噪参数可以相同,也可以不同。例如,电子设备采用上述非局部均值的空域滤波方法对原始色度分量进行空域去噪处理时,采用的梯度阈值、匹配阈值以及图像块的大小等参数,可以与对原始亮度分量进行处理的参数不同。

因此,在根据原始色度分量和联合去噪处理后的亮度分量确定目标图像时,首先,对原始色度分量进行空域去噪,得到空域去噪后的色度分量。然后,根据空域去噪后的色度分量和联合去噪处理后的亮度分量,确定目标图像。即虽然人眼对色度分量的敏感度较低,但是对原始色度分量进行空域去噪,得到空域去噪后的色度分量,从而,从色度分量的维度也提高了目标图像的去噪效果。

本申请实施例中,对原始色度分量进行空域去噪,得到空域去噪后的色度分量,根据空域去噪后的色度分量和联合去噪处理后的亮度分量,确定目标图像。从而,从色度分量、亮度分量两个角度去待处理图像帧进行去噪处理,提高了所得到的目标图像的去噪效果。

在一个实施例中,如图3所示,提供了一种图像去噪方法,还包括:

步骤250,根据第一亮度分量、第一色度分量和参考帧的原始亮度分量,确定目标权重;其中,第一亮度分量包括待处理图像帧的原始亮度分量或者空域去噪后的亮度分量,第一色度分量包括待处理图像帧的原始色度分量或者空域去噪后的色度分量。

具体的,在上述步骤260中,需要采用预设的目标权重,对参考帧的原始亮度分量和空域去噪后的亮度分量进行时域去噪处理,得到联合去噪处理后的亮度分量。这里的目标权重可以用jnt_wgt来表示。即基于预设的目标权重,分别计算参考帧的原始亮度分量和空域去噪后的亮度分量进行时域去噪处理时,参考帧的原始亮度分量的权重及空域去噪后的亮度分量的权重。然后,基于参考帧的原始亮度分量的权重乘以参考帧的原始亮度分量,基于空域去噪后的亮度分量的权重乘以空域去噪后的亮度分量,再计算这两者之和就得到了联合去噪处理后的亮度分量。

这里预设的目标权重,是根据第一亮度分量、第一色度分量和参考帧的原始亮度分量reffrmY所得到的。其中,第一亮度分量包括待处理图像帧的原始原始亮度分量CurfrmY或者空域去噪后的亮度分量snrfrmY,第一色度分量包括待处理图像帧的原始色度分量CurfrmC或者空域去噪后的色度分量snrfrmC。即在计算目标权重时,从CurfrmY、snrfrmY中任选其一,从CurfrmC、snrfrmC中任选其一,再结合reffrmY计算出目标权重。本申请中,并不对从CurfrmY、snrfrmY中任选其一,从CurfrmC、snrfrmC中任选其一,再结合reffrmY所得的组合进行限定。

本申请实施例中,根据第一亮度分量、第一色度分量和参考帧的原始亮度分量,确定目标权重,实现了从待处理图像帧的原始亮度分量、空域去噪后的亮度分量、待处理图像帧的原始色度分量、空域去噪后的色度分量及参考帧的原始亮度分量这五个元素出发,计算目标权重。那么,所计算出的目标权重将兼顾以上五种元素的特点,使得后续采用目标权重,对参考帧的原始亮度分量和空域去噪后的亮度分量进行时域去噪处理,所得到的处理结果更加准确。

在一个实施例中,如图4所示,提供了一种图像去噪方法,还包括:

步骤420,根据第一亮度分量和第一色度分量,计算待处理图像帧的饱和度权重。

结合图5所示,为一个实施例中计算目标权重的示意图。其中,第一亮度分量包括待处理图像帧的原始亮度分量CurfrmY或者空域去噪后的亮度分量snrfrmY,第一色度分量包括待处理图像帧的原始色度分量CurfrmC或者空域去噪后的色度分量snrfrmC。即在计算待处理图像帧的饱和度权重时,从CurfrmY、snrfrmY中任选其一,从CurfrmC、snrfrmC中任选其一,进行计算处理图像的饱和度权重。本申请中,并不对从CurfrmY、snrfrmY中任选其一,从CurfrmC、snrfrmC中任选其一所得的组合进行限定。

具体的,在根据第一亮度分量和第一色度分量,计算待处理图像帧的饱和度权重时,可以先基于待处理图像帧中每个像素的第一亮度分量和第一色度分量,计算出待处理图像帧的饱和度映射图。然后,将饱和度映射图中每个饱和度输入至对应的函数中计算出饱和度权重sat_wgt。

步骤440,根据第一亮度分量,计算待处理图像帧的亮度权重。

其中,第一亮度分量包括待处理图像帧的原始亮度分量CurfrmY或者空域去噪后的亮度分量snrfrmY。因此,在计算待处理图像帧的亮度权重时,从CurfrmY、snrfrmY中任选其一即可。

具体的,在根据第一亮度分量,计算待处理图像帧的亮度权重时,可以先基于待处理图像帧中每个像素的第一亮度分量,计算出待处理图像帧的亮度映射图。然后,将亮度映射图中每个亮度输入至对应的函数中计算出亮度权重lum_wgt。

步骤460,根据空域去噪后的亮度分量及参考帧的原始亮度分量,计算待处理图像帧的差异度权重。

针对待处理图像帧中每个像素,获取每个像素空域去噪后的亮度分量snrfrmY。针对参考帧中每个像素,获取每个像素的原始亮度分量reffrmY。其中,参考帧包括在待处理图像帧之前预设数目的图像帧,在这里,预设数目可以是一个或多个,本申请对此不作限定。

具体的,在根据空域去噪后的亮度分量snrfrmY及参考帧的原始亮度分量reffrmY,计算待处理图像帧的差异度权重时,可以先计算出待处理图像帧的差异度映射图。然后,将差异度映射图中每个差异度输入至对应的函数中计算出差异度权重bdr_wgt。

步骤480,根据饱和度权重、亮度权重及差异度权重,确定目标权重。

最后,将所计算出的饱和度权重sat_wgt、亮度权重lum_wgt及差异度权重bdr_wgt进行预设运算,生成目标权重。这里,预设预算可以是加权平均,当然,还可以是其他类型的计算方式,本申请对此不作限定。

本申请实施例中,在根据第一亮度分量、第一色度分量和参考帧的原始亮度分量,确定目标权重时,具体为:首先,根据第一亮度分量和第一色度分量,计算待处理图像帧的饱和度权重。其次,根据第一亮度分量,计算待处理图像帧的亮度权重。再次,根据空域去噪后的亮度分量及参考帧的原始亮度分量,计算待处理图像帧的差异度权重。最后,根据饱和度权重、亮度权重及差异度权重,确定目标权重。

实现了从饱和度权重、亮度权重及差异度权重这三个维度出发,去计算目标权重。那么,所计算出的目标权重能兼顾多个维度的特点,使得后续采用目标权重,对参考帧的原始亮度分量和空域去噪后的亮度分量进行时域去噪处理,所得到的处理结果更加准确。

在一个实施例中,如图6所示,步骤420,根据第一亮度分量和第一色度分量,计算待处理图像帧的饱和度权重,包括:

步骤420a,根据第一亮度分量和第一色度分量,确定像素的饱和度;

步骤420b,根据像素的饱和度和预设的第一权重映射关系,确定像素的饱和度权重;其中,第一权重映射关系包括不同的像素饱和度与饱和度权重之间的映射关系。

具体的,在计算待处理图像帧的饱和度权重时,从CurfrmY、snrfrmY中任选其一,从CurfrmC、snrfrmC中任选其一,进行计算处理图像的饱和度权重。然后,在根据第一亮度分量和第一色度分量,计算待处理图像帧的饱和度权重时,可以先基于待处理图像帧中每个像素的第一亮度分量和第一色度分量,计算出待处理图像帧的饱和度映射图。其中,饱和度映射图包括各个像素的饱和度。

然后,根据像素的饱和度和预设的第一权重映射关系,确定像素的饱和度权重。其中,第一权重映射关系包括不同的像素饱和度与饱和度权重之间的映射关系,第一权重映射关系为预设的。且这里,不同的像素饱和度与饱和度权重之间的映射关系为:像素饱和度越大,则该像素对应的饱和度权重越小;反之越大。

本申请实施例中,首先,根据第一亮度分量和第一色度分量,确定像素的饱和度。然后,根据像素的饱和度、不同的像素饱和度与饱和度权重之间的映射关系,确定像素的饱和度权重。基于预设的不同的像素饱和度与饱和度权重之间的映射关系,就可以准确地得出像素的饱和度权重。

在一个实施例中,步骤420a,根据第一亮度分量和第一色度分量,确定像素的饱和度,包括:

针对待处理图像帧的每个像素,对像素的第一亮度分量、像素的第一色度分量进行色域映射,生成待处理图像帧的饱和度映射图;其中,饱和度映射图包括各个像素的饱和度;

从饱和度映射图中确定像素的饱和度。

具体的,在根据第一亮度分量和第一色度分量,确定像素的饱和度时,针对待处理图像帧的每个像素,对像素的第一亮度分量、像素的第一色度分量进行色域映射,生成待处理图像帧的饱和度映射图。这里,色域映射指的是色彩空间的转换。对像素的第一亮度分量、像素的第一色度分量进行色域映射,具体可以为将待处理图像帧从YUV色彩空间转换至HSI色彩空间。

其中,HSI色彩空间是从人的视觉系统出发,HSI色彩空间可以分为三个分量,其中,“H”表示色调(Hue)、“S”表示饱和度(Saturation或Chroma)、“I”表示亮度(Intensity或Brightness)。其中,一般情况下人眼对亮度比较敏感。

其中,YUV色彩空间也可以分为三个分量,其中,“Y”表示明亮度(Luminance或Luma),也就是灰度值;而“U”和“V”表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。采用YUV色彩空间的一个重要原因,就是在YUV色彩空间中亮度信号Y和色度信号U、V是分离的。且一般情况下,人眼对色度的敏感程度要低于对亮度的敏感程度。

因此,将待处理图像帧从YUV色彩空间转换至HSI色彩空间,基于每个像素在HSI色彩空间的S分量,就可以生成待处理图像帧的饱和度映射图。其中,饱和度映射图包括各个像素的饱和度,所以从饱和度映射图中就可以确定像素的饱和度。

本申请实施例中,针对待处理图像帧的每个像素,对像素的第一亮度分量、像素的第一色度分量进行色域映射,生成待处理图像帧的饱和度映射图,从饱和度映射图中就可以确定像素的饱和度。具体,将待处理图像帧从YUV色彩空间转换至HSI色彩空间,就可以直接得到像素的饱和度映射图,为后续计算像素的饱和度权重做了铺垫。

在一个实施例中,步骤420b,根据像素的饱和度和预设的第一权重映射关系,确定像素的饱和度权重,包括:

将像素的饱和度输入第一分段权重函数,生成像素的饱和度权重;第一分段权重函数包括多个不同饱和度区间对应的函数表达式;或,

将像素的饱和度输入第一连续权重函数,生成像素的饱和度权重;第一连续权重函数包括多个不同饱和度对应的函数表达式。

具体的,在步骤420a中基于饱和度映射图计算出了像素的饱和度之后,根据像素的饱和度和预设的第一权重映射关系,确定像素的饱和度权重。其中,这里的第一权重映射关系体现为第一分段权重函数,则可以直接将像素的饱和度输入第一分段权重函数,就生成了像素的饱和度权重。

其中,第一分段权重函数包括多个不同饱和度区间对应的函数表达式,例如,包括以下两种函数:其中,当采用第一分段权重函数计算像素的饱和度权重时,map指的是饱和度映射图不同像素对应的饱和度,thr_0、thr_1、thr_2、thr_3……thr_k、thr_k+1为依次设置的饱和度阈值。Wgt指的是不同像素对应的饱和度权重,d_0、d_1、d_2、d_3、……d_k+1、d_k+2为依次设置的饱和度权重。其中,第一种函数为:

若map>thr_0,wgt=d_0;

若map>thr_1且map<=thr_0,wgt=d_1;

若map>thr_2且map<=thr_1,wgt=d_2;

若map>thr_3且map<=thr_2,wgt=d_3;

……

若map>thr_k+1且map<=thr_k,wgt=d_k+1;

若map

其中,第二种函数为:

若map>thr_0,wgt=d_0;

若map>thr_1且map<=thr_0,wgt=d_1+(map-thr_1)*(d_1-d_0)/(thr_0-thr_1);

若map>thr_2且map<=thr_1,wgt=d_2+(map-thr_2)*(d_2-d_1)/(thr_1-thr_2);

若map>thr_3且map<=thr_2,wgt=d_3+(map-thr_3)*(d_3-d_2)/(thr_2-thr_3);

……

若map>thr_k+1且map<=thr_k,wgt=d_k+1+(map-thr_k+1)*(d_k+1-d_k)/(thr_k-thr_k+1);

若map

在另一种情况下,这里的第一权重映射关系体现为第一连续权重函数,则可以直接将像素的饱和度输入第一连续权重函数,就生成了像素的饱和度权重。第一连续权重函数包括多个不同饱和度对应的函数表达式。例如包括以下一种函数,该函数是涉及到thr、map的函数:

Wgt=f(thr,map);

其中,thr为饱和度阈值,map指的是饱和度映射图不同像素对应的饱和度。

本申请实施例中,将像素的饱和度输入第一分段权重函数,生成像素的饱和度权重;第一分段权重函数包括多个不同饱和度区间对应的函数表达式;或,将像素的饱和度输入第一连续权重函数,生成像素的饱和度权重;第一连续权重函数包括多个不同饱和度对应的函数表达式。将像素的饱和度输入多种不同的函数,计算像素的饱和度权重,实现了从多种维度去计算饱和度权重,提高了计算饱和度权重过程的鲁棒性。

在一个实施例中,如图7所示,步骤440,根据原始亮度分量或空域去噪后的亮度分量,计算得到待处理图像帧的亮度权重,包括:

步骤440a,根据第一亮度分量确定像素的亮度;

步骤440b,根据像素的亮度和预设的第二权重映射关系,确定像素的亮度权重;其中,第二权重映射关系包括不同的像素亮度与亮度权重之间的映射关系。

具体的,在计算待处理图像帧的亮度权重时,从CurfrmY、snrfrmY中任选其一,进行计算处理图像的亮度权重。然后,在根据第一亮度分量计算待处理图像帧的亮度权重时,可以先基于待处理图像帧中每个像素的第一亮度分量,计算出待处理图像帧的亮度映射图。其中,亮度映射图包括各个像素的亮度。

然后,根据像素的亮度和预设的第二权重映射关系,确定像素的亮度权重。其中,第二权重映射关系包括不同的像素亮度与亮度权重之间的映射关系,第二权重映射关系为预设的。且这里,不同的像素亮度与亮度权重之间的映射关系为:像素亮度越大,则该像素对应的亮度权重越小;反之越大。

本申请实施例中,首先,根据第一亮度分量,确定像素的亮度。然后,根据像素的亮度、不同的像素亮度与亮度权重之间的映射关系,确定像素的亮度权重。基于预设的不同的像素亮度与亮度权重之间的映射关系,就可以准确地得出像素的亮度权重。

在一个实施例中,步骤440a,根据第一亮度分量确定像素的亮度,包括:

针对待处理图像帧的每个像素,对像素的第一亮度分量进行预设映射,生成待处理图像帧的亮度映射图;其中,亮度映射图包括各个像素的亮度;

从亮度映射图中确定像素的亮度。

具体的,在根据第一亮度分量确定像素的亮度时,针对待处理图像帧的每个像素,对像素的第一亮度分量进行预设映射,生成待处理图像帧的亮度映射图。这里,预设映射可以是直接将像素的第一亮度分量作为亮度映射图中同位置像素的亮度,也可以是对像素的第一亮度分量进行预设运算,生成待处理图像帧的亮度映射图中同位置像素的亮度。其中,亮度映射图包括各个像素的亮度。即从亮度映射图中就可以确定每个像素的亮度。

本申请实施例中,针对待处理图像帧的每个像素,对像素的第一亮度分量进行预设映射,生成待处理图像帧的亮度映射图,从亮度映射图中确定像素的亮度。具体,将待处理图像帧中每个像素的第一亮度分量进行预设映射,就可以直接得到像素的亮度映射图,为后续计算像素的亮度权重做了铺垫。

在一个实施例中,步骤440b,根据像素的亮度和预设的第二权重映射关系,确定像素的亮度权重,包括:

将像素的亮度输入第二分段权重函数,生成像素的亮度权重;第二分段权重函数包括多个不同亮度区间对应的函数表达式;或,

将像素的亮度输入第二连续权重函数,生成像素的亮度权重;第二连续权重函数包括多个不同亮度对应的函数表达式。

具体的,在步骤440a中基于亮度映射图计算出了像素的亮度之后,根据像素的亮度和预设的第二权重映射关系,确定像素的亮度权重。其中,这里的第二权重映射关系体现为第二分段权重函数,则可以直接将像素的亮度输入第二分段权重函数,就生成了像素的亮度权重。

其中,第二分段权重函数包括多个不同亮度区间对应的函数表达式,例如,包括以下两种函数:其中,当采用第二分段权重函数计算像素的亮度权重时,map指的是亮度映射图不同像素对应的亮度,thr_0、thr_1、thr_2、thr_3……thr_k、thr_k+1为依次设置的亮度阈值。Wgt指的是不同像素对应的亮度权重,d_0、d_1、d_2、d_3、……d_k+1、d_k+2为依次设置的亮度权重。其中,第一种函数为:

若map>thr_0,wgt=d_0;

若map>thr_1且map<=thr_0,wgt=d_1;

若map>thr_2且map<=thr_1,wgt=d_2;

若map>thr_3且map<=thr_2,wgt=d_3;

……

若map>thr_k+1且map<=thr_k,wgt=d_k+1;

若map

其中,第二种函数为:

若map>thr_0,wgt=d_0;

若map>thr_1且map<=thr_0,wgt=d_1+(map-thr_1)*(d_1-d_0)/(thr_0-thr_1);

若map>thr_2且map<=thr_1,wgt=d_2+(map-thr_2)*(d_2-d_1)/(thr_1-thr_2);

若map>thr_3且map<=thr_2,wgt=d_3+(map-thr_3)*(d_3-d_2)/(thr_2-thr_3);

……

若map>thr_k+1且map<=thr_k,wgt=d_k+1+(map-thr_k+1)*(d_k+1-d_k)/(thr_k-thr_k+1);

若map

在另一种情况下,这里的第二权重映射关系体现为第二连续权重函数,则可以直接将像素的亮度输入第二连续权重函数,就生成了像素的亮度权重。第二连续权重函数包括多个不同亮度对应的函数表达式。例如包括以下一种函数,该函数是涉及到thr、map的函数:

Wgt=f(thr,map);

其中,thr为亮度阈值,map指的是亮度映射图不同像素对应的亮度。

本申请实施例中,将像素的亮度输入第二分段权重函数,生成像素的亮度权重;第二分段权重函数包括多个不同亮度区间对应的函数表达式;或,将像素的亮度输入第二连续权重函数,生成像素的亮度权重;第二连续权重函数包括多个不同亮度对应的函数表达式。将像素的亮度输入多种不同的函数,计算像素的亮度权重,实现了从多种维度去计算亮度权重,提高了计算亮度权重过程的鲁棒性。

在一个实施例中,如图8所示,步骤460,根据空域去噪后的亮度分量及参考帧的原始亮度分量,计算待处理图像帧的差异度权重,包括:

步骤460a,针对待处理图像帧的各个像素,根据空域去噪后的亮度分量及参考帧的原始亮度分量,生成像素的差异度;

步骤460b,根据像素的差异度和预设的第三权重映射关系,确定像素的差异度权重;其中,第三权重映射关系包括不同的像素差异度与差异度权重之间的映射关系。

具体的,在根据空域去噪后的亮度分量及参考帧的原始亮度分量计算待处理图像帧的差异度权重时,可以先基于待处理图像帧中每个像素的空域去噪后的亮度分量及参考帧的原始亮度分量,计算出待处理图像帧的差异度映射图。其中,差异度映射图包括各个像素的差异度。

然后,根据像素的差异度和预设的第三权重映射关系,确定像素的差异度权重。其中,第三权重映射关系包括不同的像素差异度与差异度权重之间的映射关系,第三权重映射关系为预设的。且这里,不同的像素差异度与差异度权重之间的映射关系为:像素差异度越大,则该像素对应的差异度权重越小;反之越大。

本申请实施例中,首先,根据空域去噪后的亮度分量及参考帧的原始亮度分量,确定像素的差异度。然后,根据像素的差异度、不同的像素差异度与差异度权重之间的映射关系,确定像素的差异度权重。基于预设的不同的像素差异度与差异度权重之间的映射关系,就可以准确地得出像素的差异度权重。

在一个实施例中,针对待处理图像帧的各个像素,根据空域去噪后的亮度分量及参考帧的原始亮度分量,生成像素的差异度,包括:

针对待处理图像帧的各个像素,将空域去噪后的亮度分量及参考帧的原始亮度分量进行差分运算,生成待处理图像帧的差异度映射图;其中,差异度映射图包括各个像素的差异度;

从差异度映射图中确定像素的差异度。

具体的,在根据空域去噪后的亮度分量及参考帧的原始亮度分量确定像素的差异度时,针对待处理图像帧的每个像素,对像素的空域去噪后的亮度分量及参考帧的原始亮度分量进行差分运算,生成待处理图像帧的差异度映射图。这里,差分运算可以是金字塔差分运算或差分滤波运算。其中,差异度映射图包括各个像素的差异度。即从差异度映射图中就可以确定每个像素的差异度。

在这里,可以选择多个参考帧的原始亮度分量reffrmY与待处理图像帧的空域去噪后的亮度分量snrfrmY进行差分运算,生成待处理图像帧的差异度映射图。即针对多个参考帧的原始亮度分量reffrmY,分别对应生成了多个中间bdr_map,将这些中间bdr_map进行融合后得到最终的bdr_map

其中,对各像素点的差异度求最大值的公式如下:

其中,对各像素点的差异度求加权平均值的公式如下:

其中,i和j为当前bdr_map上像素的位置坐标。

本申请实施例中,针对待处理图像帧的每个像素,对像素的空域去噪后的亮度分量及参考帧的原始亮度分量进行差分运算,生成待处理图像帧的差异度映射图,从差异度映射图中确定像素的差异度。具体,将待处理图像帧中每个像素的空域去噪后的亮度分量及参考帧的原始亮度分量进行差分运算,就可以直接得到像素的差异度映射图,为后续计算像素的差异度权重做了铺垫。

在一个实施例中,针对待处理图像帧的各个像素,将空域去噪后的亮度分量及参考帧的原始亮度分量进行差分运算,生成待处理图像帧的差异度映射图,包括:

针对待处理图像帧的各个像素,将空域去噪后的亮度分量及参考帧的原始亮度分量进行金字塔差分运算或差分滤波运算,生成待处理图像帧的差异度映射图。

其中,在采用金字塔差分运算生成待处理图像帧的差异度映射图时,将待处理图像帧按照不同的图像尺寸划分为待处理图像块,将参考帧按照不同的图像尺寸划分为参考图像块。针对各同一图像尺寸,获取同一图像尺寸下所划分的待处理图像块对应的空域去噪后的亮度分量,获取同一图像尺寸下所划分的参考图像块的原始亮度分量。根据待处理图像块对应的空域去噪后的亮度分量与参考图像块的原始亮度分量,计算同一图像尺寸下待处理图像帧与参考帧之间的差异度映射图。基于所有图像尺寸下的差异度映射图,得到待处理图像帧的差异度映射图。

如图9所示,首先,需要将待处理图像帧、参考帧分别依次按照不同的图像尺寸划分为k级得到各级的图像块,不同级的图像块的图像大小不同,但是同级图像块的图像大小相同。其中,图像块的像素值可以为原始像素值的均值。其中,将待处理图像帧按照不同的图像尺寸划分为待处理图像块,将参考帧按照不同的图像尺寸划分为参考图像块。k级包括level 0、level 1……level k,且自level 0、level 1往下至level k,图像块的大小逐渐缩小。

首先,针对待处理图像帧上同一图像尺寸的待处理图像块,获取同一图像尺寸的待处理图像块的空域去噪后的亮度分量。具体为,图9中第一列的snrfrmY_level 0、snrfrmY_level 1……snrfrmY_level k即为同一图像尺寸的待处理图像块的空域去噪后的亮度分量。

其次,针对参考帧上同一图像尺寸的参考图像块,获取同一图像尺寸的参考图像块的原始亮度分量。具体为,图9中第二列的reffrmY_level 0、reffrmY_level 1……reffrmY_level k即为同一图像尺寸的参考图像块的原始亮度分量。

再次,针对各同一图像尺寸,根据同一图像尺寸的待处理图像块的空域去噪后的亮度分量与同一图像尺寸的参考图像块的原始亮度分量,计算得到该图像尺寸对应的差异度映射图。例如,针对第一行对应level 0级别,根据该级别下的snrfrmY_level 0、reffrmY_level 0,计算得到level 0级别对应的差异度bdr_map_level 0,具体可以是计算snrfrmY_level 0、reffrmY_level 0的差的绝对值。再基于每个图像块的差异度就得到了差异度映射图,如第三列所示bdr_map_level 1、bdr_map_level 2……bdr_map_level k。针对第二行对应level 1级别,根据该级别下的snrfrmY_level 1、reffrmY_level 1,计算得到level 1级别对应的差异度bdr_map_level 1,具体可以是计算snrfrmY_level 1、reffrmY_level 1的差的绝对值,再基于每个图像块的差异度就得到了level 1级别对应的差异度映射图。针对每个级别的待处理图像块及参考图像块都进行上述处理,得到所有图像尺寸对应的差异度映射图bdr_map。

最后,基于所有图像尺寸对应的差异度映射图进行融合,得到待处理图像帧的差异度映射图。其中,融合的方式可以为求最值或者平均值等操作,本申请对此不进行限定。基于待处理图像帧的差异度映射图,就得到了每个像素的差异度。

其中,在采用差分滤波运算生成待处理图像帧的差异度映射图时,对空域去噪后的亮度分量与每个参考帧的原始亮度分量分别进行差分计算,获得多个差分图像。针对每个像素,在各差分图像中提取最大像素值,获得最大差分图像,按照预设图像尺寸,获取最大差分图像中的局部最大图像块。对局部最大图像块进行滤波和膨胀处理,获得待处理图像帧的差异度映射图。

本申请实施例中,在采用金字塔差分运算生成待处理图像帧的差异度映射图时,将待处理图像帧按照不同的图像尺寸划分为待处理图像块,将参考帧按照不同的图像尺寸划分为参考图像块。针对各同一图像尺寸,获取同一图像尺寸下所划分的待处理图像块对应的空域去噪后的亮度分量,获取同一图像尺寸下所划分的参考图像块的原始亮度分量。根据待处理图像块对应的空域去噪后的亮度分量与参考图像块的原始亮度分量,计算同一图像尺寸下待处理图像帧与参考帧之间的差异度映射图。基于所有图像尺寸下的差异度映射图,得到待处理图像帧的差异度映射图。采用金字塔差分运算,从不同图像尺寸的图像块提取差异度,显然所得的结果更加全面、更加准确。而采用差分滤波运算可以使差异度映射图bdr_map更加平滑和粗壮。

在一个实施例中,将空域去噪后的亮度分量及参考帧的原始亮度分量进行差分滤波运算,生成待处理图像帧的差异度映射图,包括:

对空域去噪后的亮度分量与每个参考帧的原始亮度分量分别进行差分计算,获得多个差分图像;

针对每个像素,在各差分图像中提取最大像素值,获得最大差分图像;

按照预设图像尺寸,获取最大差分图像中的局部最大图像块;

对局部最大图像块进行滤波和膨胀处理,获得待处理图像帧的差异度映射图。

具体的,电子设备可以选择多个参考帧的原始亮度分量RefFrmY与待处理图像的空域去噪后的亮度分量SnrFrmY进行差分运算,获得每个参考帧对应的差分图像。电子设备得到的多个差分图像为等分辨率的差分图像difFrm。

进一步地,电子设备可以将多个差分图像difFrm进行叠加,然后提取各个像素的最大像素值,获得最大差分图像difMaxFrm。

上述预设大小可以是4×4,也可以是其它值,本申请不做限定。电子设备可以按照预设大小,求块最大值,获取最大差分图像中的局部最大图像块difMaxFrm4×4。

电子设备可以采用平滑滤波器对上述局部最大图像块difMaxFrm4×4进行滤波处理,例如平滑滤波器的维度可以是5×5,得到滤波后的差分帧。然后对差分帧进行形态学的膨胀处理,获得差异度映射图bdr_map。

本申请实施例中,采用差分滤波运算的目的为使差异度映射图bdr_map更加平滑和粗壮,其使用的手段可为先对bdr_map进行平滑滤波,然后对滤波的结果进行膨胀处理,得到最终差分滤波运算处理之后的bdr_map。

在一个实施例中,根据像素的差异度和预设的第三权重映射关系,确定像素的差异度权重,包括:

将像素的差异度输入第三分段权重函数,生成像素的差异度权重;第三分段权重函数包括多个不同差异度区间对应的函数表达式;或,

将像素的差异度输入第三连续权重函数,生成像素的差异度权重;第三连续权重函数包括多个不同差异度对应的函数表达式。

具体的,在步骤460a中针对待处理图像帧的各个像素,根据空域去噪后的亮度分量及参考帧的原始亮度分量,生成像素的差异度之后,根据像素的差异度和预设的第三权重映射关系,确定像素的差异度权重。其中,这里的第三权重映射关系体现为第三分段权重函数,则可以直接将像素的亮度输入第三分段权重函数,就生成了像素的差异度权重。

其中,第三分段权重函数包括多个不同差异度区间对应的函数表达式,例如,包括以下两种函数:其中,当采用第三分段权重函数计算像素的差异度权重时,map指的是差异度映射图不同像素对应的差异度,thr_0、thr_1、thr_2、thr_3……thr_k、thr_k+1为依次设置的差异度阈值。Wgt指的是不同像素对应的差异度权重,d_0、d_1、d_2、d_3、……d_k+1、d_k+2为依次设置的差异度权重。其中,第一种函数为:

若map>thr_0,wgt=d_0;

若map>thr_1且map<=thr_0,wgt=d_1;

若map>thr_2且map<=thr_1,wgt=d_2;

若map>thr_3且map<=thr_2,wgt=d_3;

……

若map>thr_k+1且map<=thr_k,wgt=d_k+1;

若map

其中,第二种函数为:

若map>thr_0,wgt=d_0;

若map>thr_1且map<=thr_0,wgt=d_1+(map-thr_1)*(d_1-d_0)/(thr_0-thr_1);

若map>thr_2且map<=thr_1,wgt=d_2+(map-thr_2)*(d_2-d_1)/(thr_1-thr_2);

若map>thr_3且map<=thr_2,wgt=d_3+(map-thr_3)*(d_3-d_2)/(thr_2-thr_3);

……

若map>thr_k+1且map<=thr_k,wgt=d_k+1+(map-thr_k+1)*(d_k+1-d_k)/(thr_k-thr_k+1);

若map

在另一种情况下,这里的第三权重映射关系体现为第三连续权重函数,则可以直接将像素的差异度输入第三连续权重函数,就生成了像素的差异度权重。第三连续权重函数包括多个不同差异度对应的函数表达式。例如包括以下一种函数:

Wgt=f(thr,map);

其中,thr为差异度阈值,map指的是差异度映射图不同像素对应的差异度。

本申请实施例中,将像素的差异度输入第三分段权重函数,生成像素的差异度权重;第三分段权重函数包括多个不同差异度区间对应的函数表达式;或,将像素的差异度输入第三连续权重函数,生成像素的差异度权重;第三连续权重函数包括多个不同差异度对应的函数表达式。将像素的差异度输入多种不同的函数,计算像素的差异度权重,实现了从多种维度去计算差异度权重,提高了计算差异度权重过程的鲁棒性。

在一个实施例中,在根据原始色度分量和联合去噪处理后的亮度分量,确定目标图像之前,还包括:

将联合去噪处理后的亮度分量与原始亮度分量进行融合,得到目标亮度分量;

根据原始色度分量和联合去噪处理后的亮度分量,确定目标图像,包括:

根据原始色度分量和目标亮度分量,确定目标图像。

如图10所示,为一个实施例中的图像去噪处理流程的示意图。其中,CurFrm表示待处理图像帧,CurFrmY表示待处理图像帧的原始亮度分量,CurFrmC表示待处理图像帧的原始色度分量。SNR为空域去噪处理模块,TNR为时域去噪处理模块。电子设备将CurFrmY和CurFrmC分别输入SNR模块,获得空域去噪联合去噪处理后的亮度分量SnrFrmY以及空域去噪处理后的色度分量SnrFrmC。

对于SnrFrmY,电子设备获取参考帧对应的原始亮度分量RefFrmY,例如TNR输出的前一待处理图像帧的时域去噪后的亮度分量;然后将RefFrmY、SnrFrmY、CurFrmY和CurFrmC一起输入TNR模块,通过TNR模块对SnrFrmY进行时域去噪处理,获得经过空域及时域去噪处理的亮度分量TnrFrmY。

进一步地,电子设备将TnrFrmY记录在参考帧列表中,用于对下一图像的时域去噪处理,并将TnrFrmY和CurFrmY输入MERGE模块。上述MERGE模块用于基于像素的融合权重值对TnrFrmY和CurFrmY进行融合处理,获得目标亮度分量OutFrmY。电子设备将SnrFrmC直接作为目标色度分量OutFrmC,通过将OutFrmY与OutFrmC进行合并,获得目标图像的OutFrm。电子设备还可以直接将CurFrmC与OutFrmY合并,获得目标图像的OutFrm,本申请对此不进行限定。

本申请实施例中,在时域去噪处理过程可能导致图像纹理丢失的情况下,电子设备通过计算各个像素的融合权重值,并基于融合权重值将时域去噪后的亮度分量与待处理图像帧的原始亮度分量进行融合,使得输出的亮度分量中可以保留待处理图像帧的纹理特征,提升了待处理图像帧的去噪效果。

在一个实施例中,将联合去噪处理后的亮度分量与原始亮度分量进行融合,得到目标亮度分量,包括:

采用边缘算子计算原始亮度分量的梯度;

从原始亮度分量的梯度中获取最大的梯度;

根据原始亮度分量的梯度及最大的梯度,计算联合去噪处理后的亮度分量及原始亮度分量进行融合的融合权重;

基于融合权重将联合去噪处理后的亮度分量及原始亮度分量进行融合,得到目标亮度分量。

其中,边缘算子是用于边缘检测的算子,包括Sobel算子等。其中,Sobel算子是一个主要用作边缘检测的离散微分算子(discrete differentiation operator)。Sobel算子结合了高斯平滑和微分求导,用来计算图像灰度函数的近似梯度。在图像的任何一点使用Sobel算子,将会产生对应的梯度矢量或法矢量。

具体的,在MERGE模块中将联合去噪处理后的亮度分量TnrfrmY与原始亮度分量CurFrmY进行融合,得到目标亮度分量OutFrmY时,首先,采用边缘算子计算原始亮度分量CurFrmY的梯度。这里,针对待处理图像帧的所有原始亮度分量CurFrmY,可以分别先后采用水平sobel算子和垂直sobel算子进行检测,生成梯度grad_val。

其次,从原始亮度分量的梯度grad_val中获取最大的梯度,将该最大的梯度命名为k。

其次,根据原始亮度分量的梯度grad_val及最大的梯度k,计算联合去噪处理后的亮度分量TnrfrmY及原始亮度分量CurFrmY进行融合的融合权重。

最后,基于融合权重将联合去噪处理后的亮度分量TnrfrmY及原始亮度分量CurFrmY进行融合,得到目标亮度分量OutFrmY。具体可以基于下述公式进行融合:

OutFrmY=(TnrfrmY*(k-grad_val)+CurfrmY*grad_val)/k

其中,这个公式中TnrfrmY所乘的系数就是TnrfrmY的融合权重,CnrfrmY所乘的系数就是CurFrmY的融合权重。

本申请实施例中,采用边缘算子计算原始亮度分量的梯度,从原始亮度分量的梯度中获取最大的梯度。根据原始亮度分量的梯度及最大的梯度,计算联合去噪处理后的亮度分量及原始亮度分量进行融合的融合权重。基于融合权重将联合去噪处理后的亮度分量及原始亮度分量进行融合,得到目标亮度分量。其中,梯度能够反映图像的纹理特征。因此通过计算梯度得到联合去噪处理后的亮度分量TnrfrmY及原始亮度分量CurFrmY的融合权重,从而基于融合权重将联合去噪处理后的亮度分量及原始亮度分量进行融合,就可以保留待处理图像帧的纹理特征,提升了待处理图像帧的去噪效果。

在一个实施例中,根据原始色度分量和目标亮度分量,确定目标图像,包括:

对原始色度分量进行空域去噪处理,得到空域去噪后的色度分量;

根据空域去噪后的色度分量和目标亮度分量,确定目标图像。

具体的,对待处理图像帧的原始色度分量进行空域去噪处理的方式,与上述对原始亮度分量进行空域去噪处理的方式类似,在此不做赘述。需要说明的是,电子设备对原始色度分量以及原始亮度分量进行空域去噪处理时,采用的去噪参数可以相同,也可以不同。例如,电子设备采用上述非局部均值的空域滤波方法对原始色度分量进行空域去噪处理时,采用的梯度阈值、匹配阈值以及图像块的大小等参数,可以与对原始亮度分量进行处理的参数不同。

结合图10所示,对原始色度分量进行空域去噪处理,得到空域去噪后的色度分量,即为对CurFrmC进行空域去噪处理,得到SnrFrmC。根据空域去噪后的原始色度分量和目标亮度分量,确定目标图像,即为将SnrFrmC与目标亮度分量OutFrmY进行合并,获得目标图像的OutFrm。

本申请实施例中,对原始色度分量进行空域去噪,得到空域去噪后的色度分量,根据空域去噪后的色度分量和联合去噪处理后的亮度分量,确定目标图像。从而,从色度分量、亮度分量两个角度去待处理图像帧进行去噪处理,提高了所得到的目标图像的去噪效果。

在一个实施例中,对待处理图像帧中每个像素的原始亮度分量进行空域去噪处理,得到每个像素空域去噪后的亮度分量,包括:

将待处理图像帧按照不同的图像尺寸划分为待处理图像块,计算待处理图像块的梯度;

若待处理图像块的梯度大于预设梯度阈值,则将待处理图像块中像素的原始亮度分量作为像素对应的空域去噪后的亮度分量;

若待处理图像块的梯度小于或等于预设梯度阈值,则将待处理图像块与待处理图像块的目标图像块进行匹配;目标图像块为待处理图像帧中位于待处理图像块周围预设范围内的图像块;

将匹配成功的目标图像块的原始亮度分量与待处理图像块的原始亮度分量进行融合,得到待处理图像块中每个像素对应的空域去噪后的亮度分量。

可选地,电子设备可以采用非局部均值的空域滤波方法对待处理图像帧的原始亮度分量进行空域去噪处理。上述非局部均值的空域滤波方法具体如下:

针对待处理图像帧的原始亮度分量,电子设备可以采用预设图像尺寸对待处理图像帧的原始亮度分量进行遍历,确定各个待处理图像块是否需要进行空域去噪处理。上述待处理图像块的预设图像尺寸,可以根据待处理图像帧的噪声形态进行设置,噪声从细碎的低频噪声到斑状的高频噪声,上述待处理图像块的大小可以越来越大。电子设备对待处理图像帧的原始亮度分量进行遍历时,遍历补偿可以小于n,遍历补偿可以随噪声形态而调整,例如噪声从细碎的低频噪声到斑状的高频噪声,补偿可以越来越小;另外,上述遍历步长也可以随噪声大小进行调整,噪声越大,步长越小。

以n×n的图像尺寸为例,电子设备可以将待处理图像帧划分成如图11所示的多个待处理图像块,然后分别计算各个待处理图像块对应的像素梯度,其中上述像素梯度用于衡量待处理图像块中像素值变化程度。若该待处理图像块(在图11中采用Cur来进行表示)对应的像素梯度大于预设梯度阈值,则电子设备可以确定不对该待处理图像块进行空域去噪处理;若该待处理图像块对应的像素梯度小于或等于预设梯度阈值,则电子设备可以确定需要对该待处理图像块进行空域去噪处理。上述预设梯度阈值可以根据待处理图像帧的噪声大小进行设置;噪声越大,对应的梯度阈值越大。

进一步地,针对需要进行空域去噪处理的当前图像块,电子设备可以将该当前待处理图像块周围的多个待处理图像块确定为目标图像块(在图11中采用Ref来进行表示),然后采用预设的匹配方式(例如SAD匹配方式)对目标图像块与当前待处理图像块进行匹配。若SAD小于预设的匹配阈值,则认为该目标图像块与当前待处理图像块匹配。上述匹配阈值可以根据待处理图像帧的噪声大小进行设置;噪声越大,对应的匹配阈值越大。

若目标图像块与当前待处理图像块匹配成功,则将所有匹配的目标图像块与当前待处理图像块进行加权融合,获得当前待处理图像块对应的空域去噪块;在对每个需要进行去噪处理的待处理图像块采用上述方式进行处理之后,可以获得待处理图像帧的空域去噪帧的亮度分量。

本申请实施例中,电子设备可以采用非局部均值的空域滤波方法对待处理图像帧的原始亮度分量进行空域去噪处理。从待处理图像块中提取梯度,若待处理图像块的梯度小于或等于预设梯度阈值,则将待处理图像块与待处理图像块的目标图像块进行匹配。基于匹配结果计算待处理图像块中像素对应的空域去噪后的亮度分量。显然,基于梯度以及后续的图像块匹配,使得空域去噪后的亮度分量更加全面、更加准确。

在一个实施例中,如图12所示,提供了一种图像去噪装置1200,该装置包括:

获取模块1220,用于获取待处理图像帧中每个像素的原始亮度分量和每个像素的原始色度分量,以及获取参考帧中每个像素的原始亮度分量;参考帧包括在待处理图像帧之前预设数目的图像帧;

空域去噪模块1240,用于对待处理图像帧中每个像素的原始亮度分量进行空域去噪处理,得到空域去噪后的亮度分量;

时域去噪模块1260,用于采用预设的目标权重,对参考帧的原始亮度分量和空域去噪后的亮度分量进行时域去噪处理,得到联合去噪处理后的亮度分量;目标权重与像素的饱和度、亮度和差异度相关;

目标图像确定模块1280,用于根据原始色度分量和联合去噪处理后的亮度分量,确定目标图像。

在一个实施例中,目标图像确定模块1280,还用于对原始色度分量进行空域去噪,得到空域去噪后的色度分量;根据空域去噪后的色度分量和联合去噪处理后的亮度分量,确定目标图像。

在一个实施例中,如图13所示,提供了一种图像去噪装置,该装置还包括:

目标权重确定模块1250,用于根据第一亮度分量、第一色度分量和参考帧的原始亮度分量,确定目标权重;其中,第一亮度分量包括待处理图像帧的原始亮度分量或者空域去噪后的亮度分量,第一色度分量包括待处理图像帧的原始色度分量或者空域去噪后的色度分量。

在一个实施例中,如图14所示,目标权重确定模块1250,包括:

饱和度权重计算模块1252,用于根据第一亮度分量和第一色度分量,计算待处理图像帧的饱和度权重;

亮度权重计算模块1254,用于根据第一亮度分量,计算待处理图像帧的亮度权重;

差异度权重计算模块1256,用于根据空域去噪后的亮度分量及参考帧的原始亮度分量,计算待处理图像帧的差异度权重;

目标权重计算模块1258,用于根据饱和度权重、亮度权重及差异度权重,确定目标权重。

在一个实施例中,饱和度权重计算模块1252,还用于根据第一亮度分量和第一色度分量,确定像素的饱和度;根据像素的饱和度和预设的第一权重映射关系,确定像素的饱和度权重;其中,第一权重映射关系包括不同的像素饱和度与饱和度权重之间的映射关系。

在一个实施例中,饱和度权重计算模块1252,还用于针对待处理图像帧的每个像素,对像素的第一亮度分量、像素的第一色度分量进行色域映射,生成待处理图像帧的饱和度映射图;其中,饱和度映射图包括各个像素的饱和度;从饱和度映射图中确定像素的饱和度。

在一个实施例中,饱和度权重计算模块1252,还用于将像素的饱和度输入第一分段权重函数,生成像素的饱和度权重;第一分段权重函数包括多个不同饱和度区间对应的函数表达式;或,

将像素的饱和度输入第一连续权重函数,生成像素的饱和度权重;第一连续权重函数包括多个不同饱和度对应的函数表达式。

在一个实施例中,亮度权重计算模块1254,还用于根据第一亮度分量确定像素的亮度;根据像素的亮度和预设的第二权重映射关系,确定像素的亮度权重;其中,第二权重映射关系包括不同的像素亮度与亮度权重之间的映射关系。

在一个实施例中,亮度权重计算模块1254,还用于针对待处理图像帧的每个像素,对像素的第一亮度分量进行预设映射,生成待处理图像帧的亮度映射图;其中,亮度映射图包括各个像素的亮度;从亮度映射图中确定像素的亮度。

在一个实施例中,亮度权重计算模块1254,还用于将像素的亮度输入第二分段权重函数,生成像素的亮度权重;第二分段权重函数包括多个不同亮度区间对应的函数表达式;或,

将像素的亮度输入第二连续权重函数,生成像素的亮度权重;第二连续权重函数包括多个不同亮度对应的函数表达式。

在一个实施例中,差异度权重计算模块1256,还用于针对待处理图像帧的各个像素,根据空域去噪后的亮度分量及参考帧的原始亮度分量,生成像素的差异度;根据像素的差异度和预设的第三权重映射关系,确定像素的差异度权重;其中,第三权重映射关系包括不同的像素差异度与差异度权重之间的映射关系。

在一个实施例中,差异度权重计算模块1256,还用于针对待处理图像帧的各个像素,将空域去噪后的亮度分量及参考帧的原始亮度分量进行差分运算,生成待处理图像帧的差异度映射图;其中,差异度映射图包括各个像素的差异度;从差异度映射图中确定像素的差异度。

在一个实施例中,差异度权重计算模块1256,还用于针对待处理图像帧的各个像素,将空域去噪后的亮度分量及参考帧的原始亮度分量进行金字塔差分运算或差分滤波运算,生成待处理图像帧的差异度映射图。

在一个实施例中,差异度权重计算模块1256包括金字塔差分运算单元,用于:将所述待处理图像帧按照不同的图像尺寸划分为待处理图像块,将所述参考帧按照所述不同的图像尺寸划分为参考图像块;针对各同一图像尺寸,获取所述同一图像尺寸下所划分的所述待处理图像块对应的所述空域去噪后的亮度分量,获取所述同一图像尺寸下所划分的所述参考图像块的原始亮度分量;根据所述待处理图像块对应的所述空域去噪后的亮度分量与所述参考图像块的原始亮度分量,计算所述同一图像尺寸下所述待处理图像帧与所述参考帧之间的差异度映射图;基于所有图像尺寸下的所述差异度映射图,得到所述待处理图像帧的差异度映射图。

在一个实施例中,差异度权重计算模块1256包括差分滤波运算单元,用于对所述空域去噪后的亮度分量与每个所述参考帧的原始亮度分量分别进行差分计算,获得多个差分图像;针对每个像素,在各所述差分图像中提取最大像素值,获得最大差分图像;按照预设图像尺寸,获取所述最大差分图像中的局部最大图像块;对所述局部最大图像块进行滤波和膨胀处理,获得所述待处理图像帧的差异度映射图。

在一个实施例中,差异度权重计算模块1256,还用于将像素的差异度输入第三分段权重函数,生成像素的差异度权重;第三分段权重函数包括多个不同差异度区间对应的函数表达式;或,

将像素的差异度输入第三连续权重函数,生成像素的差异度权重;第三连续权重函数包括多个不同差异度对应的函数表达式。

在一个实施例中,如图15所示,提供了一种图像去噪装置1200,该装置还包括:

融合模块1270,用于将联合去噪处理后的亮度分量与原始亮度分量进行融合,得到目标亮度分量;

目标图像确定模块1280,还用于根据原始色度分量和目标亮度分量,确定目标图像。

在一个实施例中,融合模块1270,还用于采用边缘算子计算原始亮度分量的梯度;从原始亮度分量的梯度中获取最大的梯度;根据原始亮度分量的梯度及最大的梯度,计算联合去噪处理后的亮度分量及原始亮度分量进行融合的融合权重;基于融合权重将联合去噪处理后的亮度分量及原始亮度分量进行融合,得到目标亮度分量。

在一个实施例中,目标图像确定模块1280,还用于对原始色度分量进行空域去噪处理,得到空域去噪后的色度分量;根据空域去噪后的色度分量和目标亮度分量,确定目标图像。

在一个实施例中,空域去噪模块,还用于将所述待处理图像帧按照不同的图像尺寸划分为待处理图像块,计算所述待处理图像块的梯度;

若所述待处理图像块的梯度大于预设梯度阈值,则将所述待处理图像块中所述像素的原始亮度分量作为所述像素对应的空域去噪后的亮度分量;

若所述待处理图像块的梯度小于或等于所述预设梯度阈值,则将所述待处理图像块与所述待处理图像块的目标图像块进行匹配;所述目标图像块为所述待处理图像帧中位于所述待处理图像块周围预设范围内的图像块;

将匹配成功的目标图像块的原始亮度分量与所述待处理图像块的原始亮度分量进行融合,得到所述待处理图像块中每个像素对应的空域去噪后的亮度分量。

应该理解的是,虽然图中的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图像去噪装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像去噪装置按照需要划分为不同的模块,以完成图像去噪装置的全部或部分功能。

关于图像去噪装置的具体限定可以参见上文中对于图像去噪方法的限定,在此不再赘述。图像去噪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,还提供了一种电子设备,包括存储器及处理器,存储器中储存有计算机程序,计算机程序被处理器执行时,使得处理器执行以上各个实施例所提供的一种图像去噪方法的步骤。

图16为一个实施例中电子设备的内部结构示意图。如图16所示,该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器用于提供计算得到和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以上各个实施例所提供的一种图像去噪方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal DigitalAssistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、穿戴式设备等任意终端设备。

本申请实施例中提供的图像去噪装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在电子设备或电子设备上运行。该计算机程序构成的程序模块可存储在电子设备或电子设备的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器执行时,使得处理器执行图像去噪方法的步骤。

一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像去噪方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上图像去噪实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

相关技术
  • 图像去噪方法、装置、电子设备及计算机可读存储介质
  • 视频图像的去噪方法、装置、电子设备和可读存储介质
技术分类

06120113193970