数字图像降噪方法、装置、芯片及存储介质
文献发布时间:2024-04-18 20:01:30
技术领域
本申请涉及数字图像处理技术领域,特别涉及一种数字图像降噪方法、装置、芯片及存储介质。
背景技术
图像降噪是指结合图像的纹理、亮度、色彩等特征,减少视频画面中图像的噪声,以使图像效果更佳清晰的技术。目前的许多图像降噪方案,在实现降噪效果的同时也存在一些问题,例如:1、基于均值滤波的图像降噪方法能够抑制图像中的噪声,但是容易将图像中的细节信息平滑,导致图像模糊;2、基于高斯滤波的图像降噪方法够有效地去除高斯噪声、白噪声等高斯分布类型的噪声,但对于非高斯噪声效果不佳,还会导致图像细节信息损失;3、基于三维降噪(3D Noise Reduce,3DNR)的图像降噪方法,3DNR考虑到了时间维度上的信息,利用视频帧之间的相似性来去除视频信号的噪声,能有效提高视频质量,但由于3DNR处理过程中会对多帧图像进行加权平均和运动补偿等操作,在很多情况下会导致图像细节信息的丢失。
由于上述多种图像降噪方法的局限性,针对同时包括动态和静态景物的图像拍摄场景,目前的图像降噪算法常常会出现噪声残留、清晰度低等问题,并且,目前的图像降噪算法针对同一图像拍摄场景所处的不同时段,难以保证稳定的图像降噪效果。因此,亟需一种图像降噪方法,能够在同时包括动态和静态景物的图像拍摄场景中,稳定地实现良好的图像降噪效果。
发明内容
本申请提供了一种数字图像降噪方法、装置、芯片及存储介质,能够在同时包括动态和静态景物的图像拍摄场景中,稳定地实现良好的图像降噪效果。
为了实现上述目的,第一方面,本申请提供了一种数字图像降噪方法,用于对目标场景的数字图像进行降噪,所述目标场景中包括动态对象和静态对象,所述方法包括:
S1、采用与所述目标场景所处时段匹配的曝光参数进行自动曝光,从所述目标场景获取符合预设的目标亮度的数字图像;
S2、根据所述数字图像的亮度信息和噪声分布信息,确定所述数字图像的静态区、转换区和动态区,所述静态区对应所述静态对象,所述动态区对应所述动态对象,所述转换区对应所述静态对象和动态对象之间的过渡区域;
S3、根据与所述目标场景所处时段匹配的滤波强度,用时域滤波器对所述数字图像的静态区进行时域滤波,用时空域结合滤波器对所述转换区进行时域滤波和空域滤波,用纯空域滤波器对所述动态区进行空域滤波,得到降噪后的数字图像。
在一种可能实施方式中,所述时域滤波器包括分别针对不同的图像通道的第一时域滤波器和第二时域滤波器,步骤S3包括:
通过所述第一时域滤波器和第二时域滤波器,按照第一强度对所述静态区进行时域滤波,通过所述时空域结合滤波器,按照第二强度对所述转换区进行时域滤波和空域滤波;通过所述纯空域滤波器,按照第三强度对所述动态区进行空域滤波;
其中,所述第一强度用于使在所述时段的环境照度下采集的数字图像在滤波后符合预设的图像质量评价指标,所述第二强度和第三强度以所述第一强度为基准确定。
在一种可能实施方式中,所述第一强度和所述目标场景所处时段的环境照度匹配,如果所述目标场景所处时段的照度小于照度阈值,与所述时段匹配的第一强度用于使滤波后的所述静态区处于目标噪声水平,所述目标噪声水平用于使滤波后的所述动态区中动态对象的轮廓清晰度符合预设的图像质量评价指标。
在一种可能实施方式中,噪声分布信息包括高频区域噪声量和低频区域噪声量;所述步骤S2包括:
根据所述数字图像的对比度信息和所述亮度统计信息,将所述数字图像划分为多个亮度区,每个所述亮度区的平均亮度不同;
计算多个亮度区中的高频区域噪声量和低频区域噪声量;
采用运动估计算法确定所述数字图像中的运动向量,所述运动向量表示所述数字图像中对象的移动程度;
根据所述高频区域噪声量、低频区域噪声量以及所述运动向量,确定所述数字图像中的动态对象,将所述多个亮度区划分为静态区、转换区和动态区。
在一种可能实施方式中,在执行步骤S1之后,执行步骤S2之前,所述方法还包括:
对所述数字图像中的暗区进行提亮,调整所述数字图像的对比度、色彩饱和度、锐度和纹理中至少一项,以使调整后的所述数字图像符合预设的图像质量评价指标,所述图像质量评价指标包括主观评价指标和/或客观评价指标。
在一种可能实施方式中,所述对所述数字图像中的暗区进行提亮包括:对所述数字图像进行伽马校正,提升所述数字图像中的暗区的亮度;
所述调整所述数字图像的对比度、色彩饱和度、锐度和纹理中至少一项,以使调整后的所述数字图像符合预设的图像质量评价指标,包括:
调整所述数字图像的色彩饱和度和/或全域对比度,以使调整后数字图像的色彩差异效果符合所述图像质量评价指标;其中,如果所述数字图像的整体亮度大于给定的第一亮度阈值,调高所述数字图像的全域对比度;如果所述画面的整体亮度小于给定的第二亮度阈值,降低所述数字图像的全域对比度;和/或,
调整所述数字图像的锐度和/或纹理,以使调整后数字图像的清晰度满足所述图像质量评价指标。
在一种可能实施方式中,与时段匹配的曝光参数包括感光度,所述步骤S1包括:
根据所述目标场景当前画面的原始亮度统计值,基于与所述时段匹配的感光度,动态更新摄像模组所采用的光圈大小、曝光时间和增益,直至所述目标场景中画面的亮度达到所述目标亮度。
第二方面,提供一种数字图像降噪装置,该装置包括多个功能模块,用于执行如第一方面所提供的数字图像降噪方法中的对应步骤。
第三方面,提供一种芯片,该芯片包括处理器和接口电路,所处理器用于执行如第一方面提供的数字图像降噪方法。
第四方面,提供一种计算机可读存储介质,该存储介质中存储有至少一段程序,该至少一段程序由处理器执行以实现如第一方面提供的数字图像降噪方法。
本申请提供的技术方案至少包括如下技术效果:
本申请的数字图像降噪方法可用于对包括动、静对象的目标场景进行图像降噪,采用与目标场景所处时段匹配的曝光参数进行自动曝光,获取符合预设目标亮度的数字图像;分析数字图像的亮度信息和噪声分布,将数字图像划分为动态区、转换区和静态区,采用与所处时段匹配的策略进行分区滤波,针对当前时段的光照环境,精准消除静态对象的噪点和动态对象移动产生的拖影。采用与时段匹配的曝光参数使得数字图像能够适应不同的光照环境,采用与时段匹配的滤波策略保证降噪方法对环境变化具有强适应性,因此,上述方案能够在包括动态和静态景物的场景中,稳定地实现良好的图像降噪效果。
附图说明
图1是本申请根据一示例性实施例示出的一种图像拍摄场景的示意图;
图2是本申请根据一示例性实施例示出的一种数字图像降噪方法的流程示意图;
图3是本申请根据一示例性实施例提供的一种通过伽马曲线拉升图像亮度的示意图;
图4是本申请根据一示例性实施例提供了一种噪声动静态分区的示意图;
图5是本申请根据一示例性实施例提供了一种数字图像降噪装置的示意图;
图6是本申请根据一示例性实施例提供的一种芯片的结构示意图。
具体实施方式
为进一步说明各实施例,本申请提供有附图。这些附图为本申请揭露内容的一部分,其主要用以说明实施例,并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容,本领域普通技术人员应能理解其他可能的实施方式以及本申请的优点。图中的组件并未按比例绘制,而类似的组件符号通常用来表示类似的组件。
现结合附图和具体实施方式对本申请进一步说明。
本申请提供的数字图像降噪方法能够在环境亮度变化频繁的环境条件下,针对同时存在动态对象和静态对象的图像拍摄场景,实现稳定的、良好的图像降噪效果。
图1为本申请根据一示例性实施例示出的一种图像拍摄场景的示意图,如图1所示,该目标场景中同时存在静态对象和动态对象。其中,静态对象是指位置固定且不会移动的人、物或背景环境,例如,图1中画面中间示出的置物架以及置物架上的物品;动态对象是指会移动的人或物,例如,图1中示出的会移动的人偶,人偶固定在滑轨上,能够沿着滑轨自由移动,人偶上设置有车牌,该车牌可用于评价数字图像的质量。
在本申请实施例中,摄像模组架设在同时存在静态对象和动态对象的目标场景中,目标场景中的静态对象以及动态对象的动态活动范围,都落在摄像模组的采集画面中。摄像过程中,动态对象可移动,以呈现静与动相互结合的场景画面。摄像模组用于采集目标场景的原始(RAW)图像,将该原始图像传输至图像信号处理芯片(Image SignalProcessing,ISP)中进行图像降噪处理。
本申请提供的数字图像降噪方法能够由数字信号处理芯片执行,摄像模组采集到的原始图像传输至ISP流水线(ISP pipeline),由ISP包含的各个功能模块依次处理,完成数字图像的降噪和调优,最后得到清晰、色彩丰富的数字图像。示例性地,本申请中ISP涉及的功能模块包括:自动曝光模块(AE)、统计模块和降噪模块。下面对本申请提供的数字图像降噪方法进行介绍。
图2是本申请根据一示例性实施例示出的一种数字图像降噪方法的流程示意图,用于对包括动态对象和静态对象的目标场景进行数字图像降噪,参考图2,本申请提供的技术方案包括下述步骤S1至步骤S3,由数字信号处理芯片执行,不同的步骤可以由数字信号处理芯片中对应的功能模块执行。
S1、图像信号处理芯片的自动曝光模块,采用与目标场景所处时段匹配的曝光参数进行自动曝光,从目标场景获取符合预设的目标亮度的数字图像。
其中,目标亮度(target luma)是能够让画面达到合适人眼观看的亮度,通常可以根据环境亮度对应设置。可选地,目标亮度也可以是一个范围,如55±5,以保证自动曝光不会频繁收敛带来亮度变化,对人眼造成不适。
其中,时段是指目标场景处于不同环境照度下的多个时段,例如,清晨、上午、正午、下午、傍晚和夜晚等,环境照度决定了摄像模组所能够采集到的画面的亮度。具体地,各个时段对应的亮度可以用摄像模组图像传感器的感光度(ISO)来表示,例如,感光度落在100、200、400、800、1600、3200、6400、12800、25600、51200、102400等数据段,感光度越高则摄像模组的图像传感器对光线越敏感,也即表示环境光线越弱;正午时段环境光照最强,摄像模组所感受到的亮度也最强,因此,ISO可以设置为100;夜晚时段环境光照最弱,摄像模组所感受到的亮度也最弱,因此,ISO可以设置为102400。
本申请实施例中,时段和曝光参数之间的匹配关系根据目标场景中的环境照度预先测定,从而为图像降噪算法提供场景适配的、覆盖全时段的参数支持。
本申请实施例中,曝光参数包括光圈大小、曝光时间和增益,增益是指ISP增益。与时段匹配的曝光参数包括感光度ISO,在一些实施例中,感光度也成为传感器增益。
本步骤S1具体包括:自动曝光模块根据时段内目标场景当前画面的原始亮度统计值,基于与时段匹配的感光度,动态更新摄像模组所采用的光圈大小、曝光时间和增益,直至目标场景中画面的亮度达到目标亮度,采集数字图像。
在一些实施例中,摄像模组的光圈大小为固定的,则可以只调整曝光时间和增益。具体地,自动曝光算法会抓取原始(RAW)图像的亮度统计值,并依据预先设定的目标亮度,按照与时段匹配的感光度,控制光圈大小、曝光时间及ISP增益,动态地调整曝光收敛速度,使得成像亮度逐渐平稳地收敛到目标亮度,得到画面亮度符合要求的数字图像。
在一种可能实施方式中,在执行完步骤S1之后,在执行步骤S2之前,本申请提供的数字图像降噪方法还包括:对数字图像中的暗区进行提亮,调整数字图像的对比度、色彩饱和度、锐度和纹理中至少一项,以使调整后的数字图像符合预设的图像质量评价指标。
其中,图像质量评价指标包括主观评价指标和/或客观评价指标。具体地,客观评价指标包括峰值信噪比(Peak-Signal to Noise Ratio,PSNR)、均方误差(Mean SquareError,MSE)和信噪比(Signal to Noise Ratio,SNR)等指标;主观评价指标包括由人眼观察后针对清晰度、亮度和色彩等维度得出的平均主观得分 (Mean opinion score, MOS)或平均主观得分差异。其中,客观评价指标也可以针对清晰度、亮度和色彩等维度进行评价,例如,边缘检测算子可用于评价清晰度,求亮度平均值可用于评价整体亮度,像素点的饱和度均值可用于评价整体色彩饱和度等。
示例性地,对数字图像中的暗区进行提亮包括:对数字图像进行伽马(gamma)校正,提升数字图像中的暗区的亮度。具体地,通过ISP包含的gamma模块即可实现gamma校正,确保整个图像的亮度更加均匀,图像中的暗区细节能得到呈现。
进一步地,调整数字图像的对比度、色彩饱和度、锐度和纹理中至少一项包括下述A部分和B部分:
A、调整数字图像的色彩饱和度和/或全域对比度,以使调整后数字图像的色彩差异效果符合图像质量评价指标。
其中,如果数字图像的整体亮度大于给定的第一亮度阈值,调高数字图像的全域对比度;如果画面的整体亮度小于给定的第二亮度阈值,降低数字图像的全域对比度。
本申请实施例中,对比度包括全域对比度和区域对比度。如果画面整体亮度较高,可以通过调高全局对比度,让数字图像的画面明暗区分更加明显;如果在画面整体亮度较差,则调低全域对比度,使得暗区得到增强。
饱和度是颜色的深浅程度,与颜色中混入白光的比例有关,因此,可以根据调整对比度的原理来调整色彩饱和度,达成画面色彩差异明显的效果。其中,如果数字图像的整体亮度大于给定的第三亮度阈值,调高数字图像的色彩饱和度;如果画面的整体亮度小于给定的第四亮度阈值,降低数字图像的色彩饱和度。
当然,在一种可能实施方式中,可以通过ISP的对比度和亮度模块(contrast&brightness)模块来调整对比度和亮度,通过ISP的色彩校正(color correction)模块或色彩饱和度(hue Saturation)模块来调整色彩饱和度。
B、调整数字图像的锐度和/或纹理,以使调整后数字图像的清晰度满足图像质量评价指标。
具体地,可以通过ISP的边缘(Edge)模块或锐化(Sharpen)模块,来调整图像的锐度,使得纹理边缘清晰,并通过控制锐化后的图像的白边白点(overshoot)和黑边黑点(undershoot),去除成像的白边、黑点等。
参考图3,本申请根据一示例性实施例提供了一种通过伽马曲线拉升图像亮度的示意图,如图3所示,快速调试(fast tuning)界面中可选的调优项包括伽马校正(gamma)、黑电平校正(black)和对比度(contrast),图3中gamma校正的参数设置为“1/1.3”,表示输入和输出的gamma幂指数比;contrast的参数设置为1,表示对比度强度为1。图3中曲线下方的“XY”表格表示曲线中的坐标点,X表示横坐标(取0-128),Y表示纵坐标(取0-1023),右侧的“index-value”表格表示从曲线中确定的另一些坐标点,“index”对应于Y,“value”对应于X。
通过上述技术方案,从曝光参数、gamma、对比度、色彩饱和度、锐度等多个维度来调整数字图像的质量,以图像降噪清晰为调优目标,从多方面入手,保证了图像降噪效果达到最佳,使得图像的成像质量更加符合人眼观察的效果,实现适配人眼的清晰。
S2、图像信号处理芯片的统计模块,根据数字图像的亮度信息和噪声分布信息,确定数字图像的静态区、转换区和动态区。
其中,静态区对应静态对象,动态区对应动态对象,转换区对应静态对象和动态对象之间的过渡区域。示例性地,划分多个分区是为了针对不同分区的噪声特点进行针对性降噪处理。静态区中主要存在跳动的噪点,需要通过降噪使静态区安静且清晰;转换区中主要存在动态对象运动产生的拖影,需要通过降噪消除 拖影;动态区存在不清晰的问题,需要通过降噪提升清晰度。
本申请实施例中,图像信号处理芯片的统计模块进一步包括亮度统计模块、噪声特征模块和运动估计模块;本步骤S2进一步包括下述步骤S21至步骤S23。
S21、亮度统计(Image STA)模块根据数字图像的对比度信息和亮度信息,将数字图像划分为多个亮度区,每个亮度区的平均亮度不同。噪声特征(Noise Feature)模块计算多个亮度区的噪声分布模型。
其中,亮度信息是指数字图像中各个像素点的亮度值,可以从数字图像的Y通道数据中获取,Y通道是指YUV格式的图像数据的亮度(Luminance)通道。具体地,通过上述步骤S1对数字图像进行初步的客/主观的调整后,数字图像以YUV格式传输到亮度统计模块。亮度统计模块结合对比度和亮度信息,将数字图像按照划分为8个亮度区;再将划分出亮度区的数字图像传输到噪声特征模块,结合不同亮度区,计算数字图像基于不同亮度区的噪声分布信息。噪声分布信息包括数字图像中低频区域(例如图像中大块的平坦区域)的噪声量和高频区域(例如图像中的纹理、边缘等细节信息)的噪声量。
S22、运动估计模块采用运动估计算法确定数字图像中的运动向量,运动向量表示数字图像中对象的移动程度。
示例性地,运动估计模组采用运动估计和运动补偿(Motion Estimation andMotion Compensation,MEMC)算法,结合前后帧的数字图像计算出数字图像中的运动向量(Motion Vector,MV)。具体地,运动向量穿过多个亮度区,能够表示图像中发生的移动过程。
S23、运动估计模块根据噪声特征模块确定的高频区域噪声量、低频区域噪声量以及运动向量,确定数字图像中的动态对象,将多个亮度区划分为静态区、转换区和动态区。
本申请实施例中,噪声分布信息包括数字图像中低频区域(例如图像中大块的平坦区域)的噪声量和高频区域(例如图像中的纹理、边缘等细节信息)的噪声量,根据噪声分布信息可以估计数字图像的噪声水平,从而辅助划分动态区、静态区和转换区。
具体地,运动估计模块利用噪声特征模块给出的噪声分布模型,结合运动向量分析动态对象所在位置,即可分析数字图像中动态对象在前后帧间相同位置中的噪声差值(SAD),任一亮度区的噪声差值大于参考值的可被判定为动态区,以此精确地划分出数字图像中的静态区、转换区和动态区。进一步地,可以通过计算各个亮度区在前后帧间的噪声差值,估计亮度区的噪声水平(Noise Level),根据噪声水平的高低来划分静态区、动态区和转换区。
本申请根据一示例性实施例提供了一种噪声动静态分区的示意图,如图4所示,噪声水平(Noise Level)= 系数B(CoefB)+系数A(CoefA)*细节信息(Detail),其中,细节信息是指噪声模型提供的高频区域的噪声量;系数B表示低频区域(例如图像中大块的平坦区域)的噪声量,系数A表示噪声水平相对于细节信息的斜率关系。从图像位置来说,图4中数字“1”和数字“0”中间的示意线表示静态参考水平,若噪声水平落在静态参考水平以下则为静态区;数字“2”和数字“1”中间的示意线为动态参考水平,若噪声水平落在动态参考水平以上则为动态区;若噪声水平落在静态参考水平和动态参考水平之间则为转换区。从数值意义来说,最下方示意线为标准参考水平,静态参考线相对标准参考水平的噪声差值(SAD)标准差(STD)用K
通过上述技术方案,从亮度、噪声和运动估计三个方面对数字图像进行处理,有效地将数字图像区分为静态区、转换区和动态区。在此基础上,可以针对不同的分区加以区分降噪,采用动、静、转换分别处理的降噪策略,相比于相关技术中针对整个图像采用一体化的处理方式,依据实际场景中的景物,来划分多个分区,可以显著提升降噪的针对性。
S3、图像信号处理芯片的降噪模块根据与目标场景所处时段匹配的滤波强度,用时域滤波器对数字图像的静态区进行时域滤波,用时空域结合滤波器对转换区进行时域滤波和空域滤波,用纯空域滤波器对动态区进行空域滤波,得到降噪后的数字图像。
其中,时域滤波器包括针对不同图像通道的第一时域滤波器和第二时域滤波器。
本申请实施例采用多级滤波串联的三维降噪(3DNR)模组来实现多级滤波,此处的3DNR模块可以是软件代码模块(数字滤波器)也可以是硬件模组(模拟滤波器),本申请对实现方式不做具体限定。3DNR中各个滤波器的串联顺序为:纯空域滤波器(Filter 1)、第一时域滤波(Filter 2)、时空域结合滤波TNR/SNR(Filter 3)、第二时域滤波(Filter 4)。TNR是指时域滤波,时域,SNR是指空域(空间域)滤波。
其中,上述各个滤波器可以针对数字图像的不同通道进行针对性滤波。具体地,Filter1是针对Y通道的纯空域滤波器。Filter2是针对Y通道的纯时域滤波器。Filter3是针对Y通道时空域混合滤波器。Filter4是针对Y/C通道的纯时域滤波器。Y通道是指YUV格式的图像数据的亮度(Luminance)通道,表示亮度信息。C通道是指图像数据的色度(Chrominance)通道,表示色度信息。YUV 格式把彩色的图像编码成了一个表示明暗程度的亮度信号Y,以及两个表示颜色的色度信号U 和 V。U和V通道分别是蓝色通道和红色通道,在将YUV格式的图像表示为数字信号时,U、V通道分别表示为Cb通道和Cr通道,可统称为C通道。
本申请实施例中,降噪模块根据与目标场景所处时段匹配的滤波强度,配置各级滤波器的强度,从而能够利用各级滤波器对静态区、转换区和动态区进行针对性的滤波,去除各个区域中的噪声,保证图像的整体效果。
其中,时域滤波器可用于减轻静态区中的噪声跳动,提升画面的清晰度;动态区用空域滤波进行处理,可避免降噪导致的拖影(残影),并保护运动区域的纹理、轮廓等细节不受时域滤波影响;静态区与动态区之间的转换区,则同时采用时/空域降噪处理,即可以去除拖影,也可去除跳动噪点,维持了清晰度和无拖影的平衡。
其中,与目标场景所处时段匹配的滤波强度可以根据滤波后图像质量的实测数据来标定。示例性地,在多次实验中,在多个不同时段下,采集目标场景在不同环境照度下的数字图像,不断调整滤波强度,以使得滤波后的数字图像符合预设的图像质量评价指标,将该滤波强度存储为与该时段下匹配的滤波参数。
该预设的图像质量评价指标可以参考前文的介绍,在另一些可能实施方式中,还可以通过图像识别准确率来评价滤波效果。如图1中示出的人偶(动态对象),人偶上挂有车牌,通过识别滤波后的数字图像中人偶所挂车牌,与真实车牌信息进行对比,根据识别的准确率,可确定滤波后数字图像的清晰度;进一步地,通过上述的各种主观/客观评价指标,可以从色彩、纹理、亮度等方面综合地评价滤波后数字图像。
在一种可能实施方式中,滤波强度包括针对静态区的第一强度、针对转换区的第二强度和针对动态区的第三强度。降噪模块通过第一时域滤波器和第二时域滤波器,按照第一强度对静态区进行时域滤波,通过时空域结合滤波器,按照第二强度对转换区进行时域滤波和空域滤波;通过纯空域滤波器,按照第三强度对动态区进行空域滤波。
其中,第一强度用于使目标场景所处时段的环境照度下采集的数字图像在滤波后符合预设的图像质量评价指标,可以按照上述介绍的方法进行预先标定。第一强度包括第一时域滤波器的亮度通道强度和第二时域滤波器的亮/色度通道强度。其中,第一时域滤波器是针对亮度通道的纯时域滤波器,则亮度通道强度指示了对静态区亮度通道的滤波强度。第二时域滤波器是针对亮度和色度通道的纯时域滤波器,则亮度和色度通道强度指示了针对静态区亮度通道和色度通道的滤波强度。亮度通道强度和第二时域滤波器的亮/色度通道强度可以相同。第二强度和第三强度以第一强度为基准确定,也即是,第二强度和第三强度是第一强度的相对强度。具体地,可以在标定第一强度的基础上,对第一强度进行缩小或增大,得到第二强度和第三强度。
在一些实施例中,3DNR模组中每级滤波器标定有多个滤波强度等级,例如,0-7这8个等级,对应着逐渐增强的滤波强度。若第一强度设置为强度等级2,则第一时域滤波器和第二时域滤波器均可按照强度等级2进行滤波;相应地,第二强度和第三强度可以以强度等级2为基准进行缩小(例如1)或增大(例如4)。
在另一些实施方式中,利用统计模块确定的运动向量,可以确定各个亮度区的移动程度,则针对动态区中移动程度较大的亮度区,对第一强度进行缩小得到针对该亮度区的第三强度,以避免产生拖影;对动态区中移动程度较小的亮度区,对第一强度进行放大得到针对该亮度区的第三强度,以实现降噪的效果。
相比于针对全部图像进行空间和时间的一体化滤波,本申请依据画面的实际场景,将图像划分为不同特点的多个分区,利用多级滤波器采用与时段匹配的滤波强度进行分区滤波,使得图像的降噪效果更加显著,动态对象的拖影现象可以明显消除,有效提升画面清晰度。
在另一种可能实施方式中,第一强度和目标场景所处时段的环境照度匹配,如果目标场景所处时段的照度小于照度阈值,与时段匹配的第一强度用于使滤波后的静态区处于目标噪声水平,目标噪声水平用于使滤波后的动态区中动态对象的轮廓清晰度符合预设的图像质量评价指标。示例性地,照度阈值可以为0.01光照度(lux)。
上述过程考虑到在若当前目标场景所处时段的环境照度太低,对静态区和动态区的区分难度变大,通过适当地降低对静态区的滤波强度,使得静态区存在一些噪声,可以使得动态区中的动态对象轮廓更加清晰,更容易被捕获。其中降低滤波强度的尺度则可以用图像质量评价指标来确定,以使滤波后的动态区中动态对象的轮廓清晰度达到容易被捕获的标准。
本申请的数字图像降噪方法可用于对包括动、静对象的目标场景进行图像降噪,采用与目标场景所处时段匹配的曝光参数进行自动曝光,获取符合预设目标亮度的数字图像;分析数字图像的亮度信息和噪声分布,将数字图像划分为动态区、转换区和静态区,采用与所处时段匹配的策略进行分区滤波,针对当前时段的光照环境,精准消除静态对象的噪点和动态对象移动产生的拖影。采用与时段匹配的曝光参数使得数字图像能够适应不同的光照环境,采用与时段匹配的滤波策略保证降噪方法对环境变化具有强适应性,因此,上述方案能够在包括动态和静态景物的场景中,稳定地实现良好的图像降噪效果。
进一步地,可以针对全天候各个时段,达到图像静态区噪点安静、动态区噪点磨平以及转换区拖影消除的效果,高效地输出清晰的图像画面。
相比于传统的一套策略在一个场景下全天候通用的降噪用法,本申请提供的技术方案,采用与时段匹配的曝光参数以及滤波强度,能够根据环境照度的变化来调整图像降噪算法的各个阶段,通过将清晨、中午、傍晚、夜晚等时段对应于不同ISO,并调整降噪采用的滤波强度,可以实现全天候的优良降噪效果,提升降噪算法的普遍适应性。在部署场景丰富、需要全天候实施且对图像清晰度要求高的安防领域,能够普遍适应各种动静结合的复杂场景,并实现全天候、多时段的高精准图像降噪。
需要说明的是,上述说明过程中均以某一帧数字图像的降噪过程为例进行说明,对包括连续多帧图像的视频进行持续降噪的过程同理。
本申请还提供了一种数字图像降噪装置的示意图,参考图5,该装置用于对目标场景的数字图像进行降噪,所述目标场景中包括动态对象和静态对象,该装置包括:
自动曝光模块51,被配置为采用与所述目标场景所处时段匹配的曝光参数进行自动曝光,从所述目标场景获取符合预设的目标亮度的数字图像;
统计模块52,被配置为根据所述数字图像的亮度信息和噪声分布信息,确定所述数字图像的静态区、转换区和动态区,所述静态区对应所述静态对象,所述动态区对应所述动态对象,所述转换区对应所述静态对象和动态对象之间的过渡区域;
降噪模块53,被配置为根据与所述目标场景所处时段匹配的滤波强度,用时域滤波器对所述数字图像的静态区进行时域滤波,用时空域结合滤波器对所述转换区进行时域滤波和空域滤波,用纯空域滤波器对所述动态区进行空域滤波,得到降噪后的数字图像。
在一种可能实施方式中,所述时域滤波器包括分别针对不同的图像通道的第一时域滤波器和第二时域滤波器,降噪模块53,被配置为执行:
通过所述第一时域滤波器和第二时域滤波器,按照第一强度对所述静态区进行时域滤波,通过所述时空域结合滤波器,按照第二强度对所述转换区进行时域滤波和空域滤波;通过所述纯空域滤波器,按照第三强度对所述动态区进行空域滤波;
其中,所述第一强度用于使在所述时段的环境照度下采集的数字图像在滤波后符合预设的图像质量评价指标,所述第二强度和第三强度以所述第一强度为基准确定。
在一种可能实施方式中,所述第一强度和所述目标场景所处时段的环境照度匹配,如果所述目标场景所处时段的照度小于照度阈值,与所述时段匹配的第一强度用于使滤波后的所述静态区处于目标噪声水平,所述目标噪声水平用于使滤波后的所述动态区中动态对象的轮廓清晰度符合预设的图像质量评价指标。
在一种可能实施方式中,噪声分布信息包括高频区域噪声量和低频区域噪声量;所述统计模块52,被配置为执行:
根据所述数字图像的对比度信息和所述亮度统计信息,将所述数字图像划分为多个亮度区,每个所述亮度区的平均亮度不同;
计算多个亮度区中的高频区域噪声量和低频区域噪声量;
采用运动估计算法确定所述数字图像中的运动向量,所述运动向量表示所述数字图像中对象的移动程度;
根据所述高频区域噪声量、低频区域噪声量以及所述运动向量,确定所述数字图像中的动态对象,将所述多个亮度区划分为静态区、转换区和动态区。
在一种可能实施方式中,所述装置还包括优化模块,优化模块被配置为执行:
对所述数字图像中的暗区进行提亮,调整所述数字图像的对比度、色彩饱和度、锐度和纹理中至少一项,以使调整后的所述数字图像符合预设的图像质量评价指标,所述图像质量评价指标包括主观评价指标和/或客观评价指标。
在一种可能实施方式中,所述优化模块被配置为执行:
对所述数字图像进行伽马校正,提升所述数字图像中的暗区的亮度;
调整所述数字图像的色彩饱和度和/或全域对比度,以使调整后数字图像的色彩差异效果符合所述图像质量评价指标;其中,如果所述数字图像的整体亮度大于给定的第一亮度阈值,调高所述数字图像的全域对比度;如果所述画面的整体亮度小于给定的第二亮度阈值,降低所述数字图像的全域对比度;和/或,
调整所述数字图像的锐度和/或纹理,以使调整后数字图像的清晰度满足所述图像质量评价指标。
在一种可能实施方式中,与时段匹配的曝光参数包括感光度,所述自动曝光模块51,被配置为:
根据所述目标场景当前画面的原始亮度统计值,基于与所述时段匹配的感光度,动态更新摄像模组所采用的光圈大小、曝光时间和增益,直至所述目标场景中画面的亮度达到所述目标亮度。
需要说明的是,上述实施例提供的数字图像降噪装置在实现相应步骤时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数字图像降噪装置与上述的数字图像降噪方法属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请中术语“至少一个”的含义是指一个或多个,本申请中术语“多个”的含义是指两个或两个以上,例如,多个时段是指两个或两个以上的时段。
本申请提供的数字图像降噪方法能够由芯片执行。图6是本申请根据一示例性实施例提供的一种芯片的结构示意图,如图6所示,芯片60可以实现为上述数字信号处理芯片ISP。芯片60包括处理器61和接口电路62,其中,接口电路62,用于接收指令并传输至处理器61。处理器61与存储器63耦合,存储器63用于存储程序代码,当该程序代码被处理器61执行时,使得处理器61、接口电路62以及存储器63所组成的芯片系统实现上述任一方法实施例中方法的操作步骤。
可选地,该芯片系统中的处理器61有至少一个,应理解,在本申请实施例中,处理器61可以是中央处理器(central processing unit,CPU)或其他通用处理器,处理器61还可以是一个或多个用于实现本申请方案的集成电路,例如,数字信号处理器(digitalsignal processing,DSP)、专用集成电路(application-specific integrated circuit,ASIC)、可编程逻辑器件(programmable logic device,PLD)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件或分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。
可选地,该芯片系统中的存储器63也可以为一个或多个。存储器63可以与处理器61集成在一起,也可以和处理器61分离设置,本申请并不限定。其中,存储器63可以包括只读存储器和随机存取存储器,并向处理器61提供指令和数据。存储器63还可以包括非易失性随机存取存储器。存储器63还可以是易失性存储器,或可包括易失性和非易失性存储器两者。
其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。示例性的,该芯片系统可以是FPGA,可以是ASIC,还可以是SoC,还可以是CPU,还可以是网络处理器(networkprocessor,NP),还可以是数字信号处理电路(digital signal processor,DSP),还可以是微控制器(micro controller unit,MCU),还可以是PLD)或其他集成芯片。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本申请实施例上述方法的步骤。
所述计算机单元集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。
尽管结合优选实施方案具体展示和介绍了本申请,但所属领域的技术人员应该明白,在不脱离所附权利要求书所限定的本申请的精神和范围内,在形式上和细节上可以对本申请做出各种变化,均为本申请的保护范围。
- 具有平衡压力作用的泄压先导阀
- 具有平衡压力作用的泄压先导阀