掌桥专利:专业的专利平台
掌桥专利
首页

图像增强方法及相关产品

文献发布时间:2023-06-19 09:47:53


图像增强方法及相关产品

技术领域

本申请涉及图像处理技术领域,具体涉及一种图像增强方法及相关产品。

背景技术

随着电子技术快速发展,拍照越来越成为电子设备(如手机、平板电脑等)的标配技术,拍照的话,用户对图像质量的要求也越来越高,图像的好坏也在一定程度上影响用户对电子设备的评价,因此,如何提升图像质量的问题亟待解决。

发明内容

本申请实施例提供了一种图像增强方法及相关产品,能提升图像质量。

第一方面,本申请实施例提供一种图像增强方法,所述方法包括:

获取第n帧图像,n为大于1的整数;

以所述第n帧图像中未处理的像素点为中心,构建目标模板,并基于所述目标模板进行第一滤波,得到第一滤波图像;

基于第n-1帧图像的目标参数统计信息对所述第一滤波图像进行非线性映射,得到映射图像,所述第n-1帧图像为所述第n帧图像的前一帧图像;

采用所述第n-1帧图像非线性映射后的直方图统计信息对所述映射图像进行全局对比度增强处理,得到增强图像;

对所述增强图像进行滤波处理,得到第二滤波图像;

基于所述增强图像对所述第二滤波图像进行局部对比度增强处理,得到输出图像。

第二方面,本申请实施例提供一种图像增强装置,所述装置包括:获取单元、第一滤波单元、映射单元、全局增强单元、第二滤波单元和局部增强单元,其中,

所述获取单元,用于获取第n帧图像,n为大于1的整数;

所述第一滤波单元,用于以所述第n帧图像中未处理的像素点为中心,构建目标模板,并基于所述目标模板进行第一滤波,得到第一滤波图像;

所述映射单元,用于基于第n-1帧图像的目标参数统计信息对所述第一滤波图像进行非线性映射,得到映射图像,所述第n-1帧图像为所述第n帧图像的前一帧图像;

所述全局增强单元,用于采用所述第n-1帧图像非线性映射后的直方图统计信息对所述映射图像进行全局对比度增强处理,得到增强图像;

所述第二滤波单元,用于对所述增强图像进行滤波处理,得到第二滤波图像;

所述局部增强单元,用于基于所述增强图像对所述第二滤波图像进行局部对比度增强处理,得到输出图像。

第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。

第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

采用本申请实施例,具备如下有益效果:

可以看出,本申请实施例中所描述的图像增强方法及相关产品,获取第n帧图像,n为大于1的整数,以第n帧图像中未处理的像素点为中心,构建目标模板,并基于目标模板进行第一滤波,得到第一滤波图像,基于第n-1帧图像的目标参数统计信息对第一滤波图像进行非线性映射,得到映射图像,第n-1帧图像为第n帧图像的前一帧图像,采用第n-1帧图像非线性映射后的直方图统计信息对映射图像进行全局对比度增强处理,得到增强图像,对增强图像进行滤波处理,得到第二滤波图像,基于增强图像对第二滤波图像进行局部对比度增强处理,得到输出图像,如此,能够对当前帧图像进行滤波,以及基于前一帧图像的统计信息来对当前帧进行映射、全局对比度增强、滤波以及局部对比度增强处理,有助于提升图像质量,且能够保证视频图像之间的连续性,增强效果更佳宜于人眼。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1A是本申请实施例提供的一种电子设备的结构示意图;

图1B是本申请实施例提供的一种图像增强方法的流程示意图;

图1C是本申请实施例提供的S曲线的演示示意图;

图1D是本申请实施例提供的参数统计信息运算的演示示意图;

图1E是本申请实施例提供的另一种图像增强方法的流程示意图;

图2是本申请实施例提供的另一种图像增强方法的流程示意图;

图3是本申请实施例提供的一种电子设备的结构示意图;

图4是本申请实施例提供的一种图像增强装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的电子设备可以是具备通信能力的电子设备,也可以是不具备通信能力的电子设备,该电子设备可以包括各种具有无线通信功能的手持设备(如手机、平板电脑等)、车载设备、可穿戴设备(智能眼镜、智能手环、智能手表等等)、智能相机、智能摄像头、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(User Equipment,UE),移动台(Mobile Station,MS),终端设备(terminal device)等等。

请参见图1A,图1A是本申请实施例提供的一种电子设备的结构示意图。该电子设备包括处理器、存储器、信号处理器、收发器、显示屏、扬声器、麦克风、随机存取存储器(Random Access Memory,RAM)、摄像头、传感器和通信模块等等。其中,存储器、信号处理器、显示屏、扬声器、麦克风、RAM、摄像头、传感器、通信模块与处理器连接,收发器与信号处理器连接。

其中,显示屏可以是液晶显示器(Liquid Crystal Display,LCD)、有机或无机发光二极管(Organic Light-Emitting Diode,OLED)、有源矩阵有机发光二极体面板(ActiveMatrix/Organic Light Emitting Diode,AMOLED)等。

其中,该摄像头可以是普通摄像头、也可以是红外摄像,在此不作限定。该摄像头可以是前置摄像头或后置摄像头,在此不作限定。

其中,传感器包括以下至少一种:光感传感器、陀螺仪、红外接近传感器、指纹传感器、压力传感器等等。其中,光感传感器,也称为环境光传感器,用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中,光敏元件用于将采集的光信号转换为电信号,模数转换器用于将上述电信号转换为数字信号。可选的,光线传感器还可以包括信号放大器,信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。

其中,处理器是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器内的软体程序和/或模块,以及调用存储在存储器内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。

其中,处理器可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器中,其中,处理器可以为以下至少一种:ISP、CPU、GPU、NPU等等,在此不做限定。

其中,存储器用于存储软体程序和/或模块,处理器通过运行存储在存储器的软件程序和/或模块,从而执行电子设备的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的软体程序等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中,通信模块可以用于实现通信功能,通信模块可以为以下至少一种:红外模块、蓝牙模块、移动通信模块、NFC模块、Wi-Fi模块等等,在此不做限定。

下面对本申请实施例进行详细介绍。

请参阅图1B,图1B是本申请实施例提供了一种图像增强方法的流程示意图,应用于如图1A所示的电子设备,如图所示,本图像增强方法包括以下操作。

101、获取第n帧图像,n为大于1的整数。

其中,第n帧图像为待处理视频中的一帧图像,n为大于1的整数,即第n帧图像不为第一帧图像。

具体实现中,第n帧图像可以为灰度图像或者彩色图像。例如,在第n帧图像为彩色图像时,在执行步骤102之前,可以将其转化为灰度图像,具体可以通过如下公式实现:

Y=0.299R+0.587G+0.114B

其中,Y表示灰度图像(亮度图像),R、G、B为第n帧图像的三个颜色分量,R为红色通道对应的分量、G为绿色通道对应的分量和B为蓝色通道对应的分量。

在一个可能的示例中,上述步骤101-步骤102之间,还可以包括如下步骤:

A1、将所述第n帧图像进行多尺度特征分解,得到低频特征分量和高频特征分量;

A2、将所述低频特征分量划分为多个区域;

A3、确定所述多个区域中每一区域对应的信息熵,得到多个信息熵;

A4、依据所述多个信息熵确定平均信息熵和目标均方差;

A5、确定所述目标均方差对应的目标调节系数;

A6、依据所述目标调节系数对所述平均信息熵进行调节,得到目标信息熵;

A7、按照预设的信息熵与评价值之间的映射关系,确定所述目标信息熵对应的第一评价值;

A8、获取所述第n帧图像对应的目标拍摄参数;

A9、按照预设的拍摄参数与低频权重之间的映射关系,确定所述目标拍摄参数对应的目标低频权重,依据该目标低频权重确定目标高频权重;

A10、依据所述高频特征分量确定目标特征点分布密度;

A11、按照预设的特征点分布密度与评价值之间的映射关系,确定所述目标特征点分布密度对应的第二评价值;

A12、依据所述第一评价值、所述第二评价值、所述目标低频权重和所述目标高频权重进行加权运算,得到所述第n帧图像的目标图像质量评价值;

A13、在所述目标图像质量评价值小于预设图像质量评价阈值时,执行步骤102,否则,不执行步骤102。

具体实现中,预设图像质量阈值可以由用户预先设置或者系统默认,其可以预先保存在电子设备中,电子设备可以采用多尺度分解算法将第n帧图像进行多尺度特征分解,得到低频特征分量和高频特征分量,多尺度分解算法可以为以下至少一种:金字塔变换算法、小波变换、轮廓波变换、剪切波变换等等,在此不做限定。进一步地,可以将低频特征分量划分为多个区域,每一区域的面积大小相同或者不同。低频特征分量反映了图像的主体特征,高频特征分量反映了图像的细节信息。

进一步地,电子设备可以确定多个区域中每一区域对应的信息熵,得到多个信息熵,依据多个信息熵确定平均信息熵和目标均方差,信息熵在一定程度上反映了图像信息多少,均方差则可以反映图像信息的稳定性。电子设备中可以预先存储预设均方差与调节系数之间的映射关系,进而,可以依据该映射关系确定目标均方差对应的目标调节系数,本申请实施例中,预先存储的调节系数的取值范围可以由用户自行设置或者系统,例如,取值范围可以为-0.175~0.175。

进一步地,电子设备可以依据目标调节系数对平均信息熵进行调节,得到目标信息熵,目标信息熵=(1+目标调节系数)*平均信息熵。电子设备中可以预先存储预设的信息熵与评价值之间的映射关系,进而,可以按照预设的信息熵与评价值之间的映射关系,确定目标信息熵对应的第一评价值。

另外,电子设备可以获取第n帧图像对应的目标拍摄参数,目标拍摄参数可以为以下至少一种:感光度ISO、曝光时长、感兴趣区域面积、白平衡参数、对焦参数等等,在此不做限定。电子设备中还可以预先存储预设的拍摄参数与低频权重之间的映射关系,进而,可以按照预设的拍摄参数与低频权重之间的映射关系,确定目标拍摄参数对应的目标低频权重,依据该目标低频权重确定目标高频权重,目标低频权重+目标高频权重=1。

进一步地,电子设备可以依据高频特征分量确定目标特征点分布密度,目标特征点分布密度=高频特征分量的特征点总数量/区域面积。电子设备中还可以预先存储预设的特征点分布密度与评价值之间的映射关系,进而,可以按照预设的特征点分布密度与评价值之间的映射关系,确定目标特征点分布密度对应的第二评价值,最后,依据第一评价值、第二评价值、目标低频权重和目标高频权重进行加权运算,得到第n帧图像的目标图像质量评价值,具体如下:

目标图像质量评价值=第一评价值*目标低频权重+第二评价值*目标高频权重

如此,可以基于图像的低频分量以及高频分量两个维度进行图像质量评价,能够精准得到与拍摄环境相宜的评价参数,即目标图像质量评价值,且在目标图像质量评价值小于预设图像质量评价阈值时,执行步骤102,否则,不执行步骤102,即图像质量不好时,则可以进行后续图像增强,否则,则可以认为图像质量较佳,不用刻意进行图像增强。

102、以所述第n帧图像中未处理的像素点为中心,构建目标模板,并基于所述目标模板进行第一滤波,得到第一滤波图像。

其中,具体实现中,可以基于模板窗口滑动,对图像边界进行镜像延拓处理,以便处理图像边界。进而,可以对图像Y(i,j)进行滤波,得到滤波后图像c,即第一滤波图像。电子设备可以以第n帧图像中一个或者多个未处理的像素点为中心,构建目标模板,模板可以为m*n的模板,m,n可以为正整数,可以基于该模板对第n帧图像进行滑动滤波,得到第一滤波图像。

具体实现中,电子设备可以采用至少一个滤波器对目标模板进行第一滤波处理,得到第一滤波图像,其中,滤波器可以为以下至少一种:导向滤波器、曲率滤波器、WLS滤波器、域变换RF滤波器、LEP滤波器等等,在此不做限定。

103、基于第n-1帧图像的目标参数统计信息对所述第一滤波图像进行非线性映射,得到映射图像,所述第n-1帧图像为所述第n帧图像的前一帧图像。

其中,本申请实施例中,第n-1帧图像的目标参数统计信息可以为以下至少一种:S曲线的方向、低灰度增强/抑制的强度系数C、高灰度增强/抑制的强度系数D、图像的重心G等等,在此不做限定。非线性映射可以为一个映射函数,如色调映射或者其他映射,在此不做限定。

本申请实施例中,如图1C所示,S曲线的方向有两种,分别为:低灰度增强高灰度抑制(曲线1,简称LA曲线)和低灰度抑制高灰度增强(曲线2,简称LA_inv曲线)。

具体实现中,S曲线方向判断可以通过如下方式实现:

①、图像预处理,图像灰度值转换为6bit。

②、统计6bit图像的直方图:

p(s

其中,k为灰度级,L为图像最高灰度级(默认值为64),s

其中,n为图像像素数的总和。

③统计图像直方图低灰度级的累积和CL

其中,k为灰度级,s

④统计图像直方图高灰度级的累积和CH

其中,k为灰度级,s

⑤、S曲线方向opt_alg如下:

其中,Thr1为经验值。

具体实现中,如图1D所示,在视频处理中,若对第n帧图像进行局部对比度增强LCE处理,色调映射模块所需的参数分别图像重心G

1)、计算图像重心G

为了使视频画面稳定,对图像重心G进行递归滤波:

其中,n表示视频图像的帧数;G

2)图像低灰度增强系数值C

①、计算图像低灰度平均亮度,即统计图像中灰度值小于重心G值的平均亮度。

②、具体可以按照如下公式计算低灰度增强系数C:

当判断图像的曲线方向为LA时,参数C模型可以为:

C=9.863×ln(im

其中,im

当判断图像的曲线方向为LA_inv时,参数C的模型可以为:

其中,im

③、C递归滤波(视频)

为了使视频画面稳定,对C进行递归滤波:

其中,n表示视频图像的帧数;C

3)图像高灰度增强系数值D(D

①、计算图像高灰度平均亮度

图像中灰度值大于重心G值的平均亮度。

②、计算高灰度增强系数D

当判断图像的曲线方向为LA时,参数D的模型可以为:

其中,im

当判断图像的曲线方向为LA_inv时,参数D的模型可以为:

D=9.18×ln(im

其中,im

③、D递归滤波(视频)

为了使视频画面稳定,对D进行递归滤波:

其中,n表示视频图像的帧数;D

可选地,为了使视频画面平稳,可以对第n帧图像递归滤波,具体如下:

直方图的映射规则map(i)为:

其中,n表示视频图像的帧数;MAP

在一个可能的示例中,上述步骤102,基于第n-1帧图像的目标参数统计信息对所述第一滤波图像进行非线性映射,得到映射图像,可以包括如下步骤:

21、按照预设的参数统计信息与非线性映射配置参数之间的映射关系,确定所述目标参数统计信息对应的目标非线性映射配置参数;

22、依据所述目标非线性映射配置参数对所述第一滤波图像进行非线性映射,得到所述映射图像。

具体实现中,电子设备中可以预先存储预设的参数统计信息与非线性映射配置参数之间的映射关系,进而,可以依据按照预设的参数统计信息与非线性映射配置参数之间的映射关系,确定目标参数统计信息对应的目标非线性映射配置参数,并且可以依据目标非线性映射配置参数对第一滤波图像进行非线性映射,得到映射图像。

举例说明下,非线性映射可以如下,如下提出了一种非线性调整图像整体亮度分布的理论,其思想是在较暗和极亮环境下模拟人眼视网膜系统对光线调节处理,不但保持图像整体像素信息的完整性,同时也提高图像的对比度。

当模型为曲线LA时,其计算公式可以为:

当模型为曲线LA_inv时,其计算公式可以为:

其中,Y表示图像亮度值,Y

其,关键参数T、H

1)计算阈值T

其中,G表示图像的重心值,Y

2)计算H

H

其中,Y

Y

其中,∑Y(i,j)表示满足Y(i,j)<T(i,j)条件的像素累加值,∑(Y(i,j)<T(i,j))表示满足Y(i,j)<T(i,j)条件的像素个数,Thr2表示Y

3)计算H

H

其中,Y

Y

其中,∑Y(i,j)表示满足Y(i,j)>T(i,j)条件的像素累加值,∑(Y(i,j)>T(i,j))表示满足Y(i,j)>T(i,j)条件的像素个数,1-Thr2表示Y

104、采用所述第n-1帧图像非线性映射后的直方图统计信息对所述映射图像进行全局对比度增强处理,得到增强图像。

其中,全局对比度增强可以基于直方图技术实现,包括平台直方图、双平台直方图、CLAHE、ACE算法等,均为了提高图像的全局对比度。

举例说明下,直方图的映射规则MAP为:

其中,Bin表示图像的灰度级数,默认为255(8bi图像,若为10bit图像为1023)。

图像的处理结果Y

Y

其中,Y

在一个可能的示例中,上述步骤104,采用所述第n-1帧图像非线性映射后的直方图统计信息对所述映射图像进行全局对比度增强处理,得到增强图像,可以包括如下步骤:

41、依据所述第n-1帧图像非线性映射后的直方图统计信息确定目标全局对比度增强控制参数;

42、依据所述目标全局对比度增强控制参数对所述映射图像进行全局对比度增强处理,得到增强图像。

其中,具体实现中,全局对比度增强控制参数可以包括全局对比度增强算法以及其相应的控制参数,全局对比度增强算法可以包括以下至少一种:平台直方图、双平台直方图、CLAHE、ACE算法,在此不做限定,其中,每一种全局对比度增强算法均对应相应的控制参数,该控制参数用于调节全局对比度增强效果。

具体实现中,电子设备中可以预先设置直方图统计信息与全局对比度增强控制参之间的映射关系,进而,可以依据该映射关系第n-1帧图像非线性映射后的直方图统计信息确定目标全局对比度增强控制参数,并且可以依据目标全局对比度增强控制参数对映射图像进行全局对比度增强处理,得到增强图像,如此,可以依据统计信息提升全局增强效果。

105、对所述增强图像进行滤波处理,得到第二滤波图像。

其中,电子设备可以采用至少一个滤波器对增强图像进行滤波处理,得到第二滤波图像,其中,滤波器可以为以下至少一种:导向滤波器、曲率滤波器、WLS滤波器、域变换RF滤波器、LEP滤波器等等,在此不做限定。

在一个可能的示例中,上述步骤105,对所述增强图像进行滤波处理,得到第二滤波图像,可以包括如下步骤:

51、将所述增强图像进行特征点提取,得到P个特征点,所述P为大于1的整数;

52、确定所述P个特征点的中心;

53、选取以所述中心为圆心,第一预设半径范围内的特征点,得到Q个特征点,所述Q为小于所述P的正整数;

54、以所述Q个特征点中每一特征点为圆心且以第二预设半径范围进行作圆,得到Q个圆,将每一圆内的特征点作为一个簇,得到Q个簇;

55、确定所述Q个簇中每一簇对应的能量值,得到Q个能量值;

56、确定所述Q个能量值的均方差,得到能量均方差;

57、按照预设的均方差与滤波参数之间的映射关系,确定所述能量均方差对应的目标滤波参数;

58、依据所述目标滤波参数对所述增强图像进行滤波处理,得到所述第二滤波图像。

其中,具体实现中,本申请实施例中,第一预设半径、第二预设半径均可以由用户自行设置或者系统默认。电子设备可以将增强图像进行特征点提取,得到P个特征点,P为大于1的整数,特征点的具体提取算法可以为以下至少一种:harris角点检测算法、尺度不变特征提取算法等等,还可以确定P个特征点的中心,可以选取以中心为圆心,第一预设半径范围内的特征点,得到Q个特征点,Q为小于所述P的正整数。接着,电子设备可以以Q个特征点中每一特征点为圆心且以第二预设半径范围进行作圆,得到Q个圆,将每一圆内的特征点作为一个簇,得到Q个簇,确定Q个簇中每一簇对应的能量值,得到Q个能量值,并确定Q个能量值的均方差,得到能量均方差,能量均方差反映图像的区域内的差异情况,电子设备中可以预先存储预设的均方差与滤波参数之间的映射关系,进而,电子设备可以按照预设的均方差与滤波参数之间的映射关系,确定能量均方差对应的目标滤波参数,本申请实施例中,滤波参数可以为以下至少一种:滤波器类型、滤波器的控制参数,其中,滤波器的控制参数用于控制滤波程度,进而,电子设备可以依据目标滤波参数对增强图像进行滤波处理,得到第二滤波图像,如此,可以实现依据图像邻居区域差异实现针对性滤波,提升滤波处理后的图像质量。

106、基于所述增强图像对所述第二滤波图像进行局部对比度增强处理,得到输出图像。

具体实现中,电子设备可以将增强图像划分为多个区域,确定每一区域的均方差,进而,可以确定均方差大于预设值的区域,并对这些区域进行对比度增强处理,得到输出图像。

在一个可能的示例中,上述步骤106,基于所述增强图像对所述第二滤波图像进行局部对比度增强处理,得到输出图像,可以包括如下步骤:

61、将所述增强图像划分为多个独立区域;

62、确定所述多个独立区域中每一区域的均方差,得到多个均方差;

63、从所述多个均方差中选取大于预设值的均方差,得到至少一个目标均方差,并获取该至少一个均方差对应的区域,得到至少一个目标区域;

64、对所述至少一个目标区域进行对比度增强处理,得到所述输出图像。

其中,上述预设值可以由用户自行设置或者系统默认。具体实现中,电子设备可以将增强图像划分为多个独立区域,每一独立区域的面积大小可以相等或者不等,进而,还可以确定多个独立区域中每一区域的均方差,得到多个均方差,且可以从多个均方差中选取大于预设值的均方差,得到至少一个目标均方差,并获取该至少一个均方差对应的区域,得到至少一个目标区域,对至少一个目标区域进行对比度增强处理,得到输出图像,如此,可以针对区域内差异较大的区域进行局部对比度增强。

进一步地,在输出图像为灰度图像时,还可以对输出图像进行色彩恢复。具体为可以把输出图像恢复为彩色图像,即输出显示的彩色图像C为:

其中,R(i,j)为输入图像的红色分量,R

具体实现中,如图1E所示,可以以输入图像(第n帧图像)未处理的像素点为中心,建立模板并对模板进行滤波,得到第一滤波图像,其次,通过上一帧(第n-1帧图像)参数统计信息,对第一滤波图像进行非线性映射,得到映射图像,对映射图像进行全局对比度增强,得到增强图像,基于滤波器对增强图像滤波,得到第二滤波图像,对该第二滤波图像进行局部对比度增强,输出图像。同理,可以对图像中所有像素点模板滑动遍历的方式进行上述处理,输出处理后的图像。

可以看出,本申请实施例中所描述的图像增强方法,获取第n帧图像,n为大于1的整数,以第n帧图像中未处理的像素点为中心,构建目标模板,并基于目标模板进行第一滤波,得到第一滤波图像,基于第n-1帧图像的目标参数统计信息对第一滤波图像进行非线性映射,得到映射图像,第n-1帧图像为第n帧图像的前一帧图像,采用第n-1帧图像非线性映射后的直方图统计信息对映射图像进行全局对比度增强处理,得到增强图像,对增强图像进行滤波处理,得到第二滤波图像,基于增强图像对第二滤波图像进行局部对比度增强处理,得到输出图像,如此,能够对当前帧图像进行滤波,以及基于前一帧图像的统计信息来对当前帧进行映射、全局对比度增强、滤波以及局部对比度增强处理,有助于提升图像质量,且能够保证视频图像之间的连续性,增强效果更佳宜于人眼。

与上述图1B所示的实施例一致的,请参阅图2,图2是本申请实施例提供的一种图像增强方法的流程示意图,应用于电子设备,如图所示,本图像增强方法包括以下步骤。

201、获取第n帧图像,n为大于1的整数。

202、确定所述第n帧图像的目标图像质量评价值。

203、在所述目标图像质量评价值小于预设图像质量评价阈值时,以所述第n帧图像中未处理的像素点为中心,构建目标模板,并基于所述目标模板进行第一滤波,得到第一滤波图像。

204、基于第n-1帧图像的目标参数统计信息对所述第一滤波图像进行非线性映射,得到映射图像,所述第n-1帧图像为所述第n帧图像的前一帧图像。

205、采用所述第n-1帧图像非线性映射后的直方图统计信息对所述映射图像进行全局对比度增强处理,得到增强图像。

206、对所述增强图像进行滤波处理,得到第二滤波图像。

207、基于所述增强图像对所述第二滤波图像进行局部对比度增强处理,得到输出图像。

其中,上述步骤201-步骤207的具体描述可以参见上述图1B所描述的图像增强方法的相应步骤,在此不再赘述。

可以看出,本申请实施例中所描述的图像增强方法,能够对当前帧图像进行滤波,以及基于前一帧图像的统计信息来对当前帧进行映射、全局对比度增强、滤波以及局部对比度增强处理,有助于提升图像质量,且能够保证视频图像之间的连续性,增强效果更佳宜于人眼。

与上述图1B、图2所示的实施例一致的,请参阅图3,图3是本申请实施例提供的一种电子设备300的结构示意图,如图所示,所述电子设备300包括处理器310、存储器320、通信接口330以及一个或多个程序321,其中,所述一个或多个程序321被存储在上述存储器320中,并且被配置由上述处理器310执行,所述一个或多个程序321包括用于执行上述方法实施例中任一步骤的指令:

获取第n帧图像,n为大于1的整数;

以所述第n帧图像中未处理的像素点为中心,构建目标模板,并基于所述目标模板进行第一滤波,得到第一滤波图像;

基于第n-1帧图像的目标参数统计信息对所述第一滤波图像进行非线性映射,得到映射图像,所述第n-1帧图像为所述第n帧图像的前一帧图像;

采用所述第n-1帧图像非线性映射后的直方图统计信息对所述映射图像进行全局对比度增强处理,得到增强图像;

对所述增强图像进行滤波处理,得到第二滤波图像;

基于所述增强图像对所述第二滤波图像进行局部对比度增强处理,得到输出图像。

可以看出,本申请实施例中所描述的电子设备,获取第n帧图像,n为大于1的整数,以第n帧图像中未处理的像素点为中心,构建目标模板,并基于目标模板进行第一滤波,得到第一滤波图像,基于第n-1帧图像的目标参数统计信息对第一滤波图像进行非线性映射,得到映射图像,第n-1帧图像为第n帧图像的前一帧图像,采用第n-1帧图像非线性映射后的直方图统计信息对映射图像进行全局对比度增强处理,得到增强图像,对增强图像进行滤波处理,得到第二滤波图像,基于增强图像对第二滤波图像进行局部对比度增强处理,得到输出图像,如此,能够对当前帧图像进行滤波,以及基于前一帧图像的统计信息来对当前帧进行映射、全局对比度增强、滤波以及局部对比度增强处理,有助于提升图像质量,且能够保证视频图像之间的连续性,增强效果更佳宜于人眼。

在一个可能的示例中,在所述基于第n-1帧图像的目标参数统计信息对所述第一滤波图像进行非线性映射,得到映射图像方面,所述一个或多个程序321包括用于执行:

按照预设的参数统计信息与非线性映射配置参数之间的映射关系,确定所述目标参数统计信息对应的目标非线性映射配置参数;

依据所述目标非线性映射配置参数对所述第一滤波图像进行非线性映射,得到所述映射图像。

在一个可能的示例中,在所述采用所述第n-1帧图像非线性映射后的直方图统计信息对所述映射图像进行全局对比度增强处理,得到增强图像方面,所述一个或多个程序321包括用于执行:

依据所述第n-1帧图像非线性映射后的直方图统计信息确定目标全局对比度增强控制参数;

依据所述目标全局对比度增强控制参数对所述映射图像进行全局对比度增强处理,得到增强图像。

在一个可能的示例中,在所述对所述增强图像进行滤波处理,得到第二滤波图像方面,所述一个或多个程序321包括用于执行:

将所述增强图像进行特征点提取,得到P个特征点,所述P为大于1的整数;

确定所述P个特征点的中心;

选取以所述中心为圆心,第一预设半径范围内的特征点,得到Q个特征点,所述Q为小于所述P的正整数;

以所述Q个特征点中每一特征点为圆心且以第二预设半径范围进行作圆,得到Q个圆,将每一圆内的特征点作为一个簇,得到Q个簇;

确定所述Q个簇中每一簇对应的能量值,得到Q个能量值;

确定所述Q个能量值的均方差,得到能量均方差;

按照预设的均方差与滤波参数之间的映射关系,确定所述能量均方差对应的目标滤波参数;

依据所述目标滤波参数对所述增强图像进行滤波处理,得到所述第二滤波图像。

在一个可能的示例中,在所述基于所述增强图像对所述第二滤波图像进行局部对比度增强处理,得到输出图像方面,所述一个或多个程序321包括用于执行:

将所述增强图像划分为多个独立区域;

确定所述多个独立区域中每一区域的均方差,得到多个均方差;

从所述多个均方差中选取大于预设值的均方差,得到至少一个目标均方差,并获取该至少一个均方差对应的区域,得到至少一个目标区域;

对所述至少一个目标区域进行对比度增强处理,得到所述输出图像。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

图4是本申请实施例中所涉及的图像增强装置400的功能单元组成框图。该图像增强装置400应用于电子设备,所述图像增强装置400包括获取单元401、第一滤波单元402、映射单元403、全局增强单元404、第二滤波单元405和局部增强单元406,其中,

所述获取单元401,用于获取第n帧图像,n为大于1的整数;

所述第一滤波单元402,用于以所述第n帧图像中未处理的像素点为中心,构建目标模板,并基于所述目标模板进行第一滤波,得到第一滤波图像;

所述映射单元403,用于基于第n-1帧图像的目标参数统计信息对所述第一滤波图像进行非线性映射,得到映射图像,所述第n-1帧图像为所述第n帧图像的前一帧图像;

所述全局增强单元404,用于采用所述第n-1帧图像非线性映射后的直方图统计信息对所述映射图像进行全局对比度增强处理,得到增强图像;

所述第二滤波单元405,用于对所述增强图像进行滤波处理,得到第二滤波图像;

所述局部增强单元406,用于基于所述增强图像对所述第二滤波图像进行局部对比度增强处理,得到输出图像。

可以看出,本申请实施例中所描述的图像增强装置,获取第n帧图像,n为大于1的整数,以第n帧图像中未处理的像素点为中心,构建目标模板,并基于目标模板进行第一滤波,得到第一滤波图像,基于第n-1帧图像的目标参数统计信息对第一滤波图像进行非线性映射,得到映射图像,第n-1帧图像为第n帧图像的前一帧图像,采用第n-1帧图像非线性映射后的直方图统计信息对映射图像进行全局对比度增强处理,得到增强图像,对增强图像进行滤波处理,得到第二滤波图像,基于增强图像对第二滤波图像进行局部对比度增强处理,得到输出图像,如此,能够对当前帧图像进行滤波,以及基于前一帧图像的统计信息来对当前帧进行映射、全局对比度增强、滤波以及局部对比度增强处理,有助于提升图像质量,且能够保证视频图像之间的连续性,增强效果更佳宜于人眼。

在一个可能的示例中,在所述基于第n-1帧图像的目标参数统计信息对所述第一滤波图像进行非线性映射,得到映射图像方面,所述映射单元403具体用于:

按照预设的参数统计信息与非线性映射配置参数之间的映射关系,确定所述目标参数统计信息对应的目标非线性映射配置参数;

依据所述目标非线性映射配置参数对所述第一滤波图像进行非线性映射,得到所述映射图像。

在一个可能的示例中,在所述采用所述第n-1帧图像非线性映射后的直方图统计信息对所述映射图像进行全局对比度增强处理,得到增强图像方面,所述全局增强单元404具体用于:

依据所述第n-1帧图像非线性映射后的直方图统计信息确定目标全局对比度增强控制参数;

依据所述目标全局对比度增强控制参数对所述映射图像进行全局对比度增强处理,得到增强图像。

在一个可能的示例中,在所述对所述增强图像进行滤波处理,得到第二滤波图像方面,所述第二滤波单元405具体用于:

将所述增强图像进行特征点提取,得到P个特征点,所述P为大于1的整数;

确定所述P个特征点的中心;

选取以所述中心为圆心,第一预设半径范围内的特征点,得到Q个特征点,所述Q为小于所述P的正整数;

以所述Q个特征点中每一特征点为圆心且以第二预设半径范围进行作圆,得到Q个圆,将每一圆内的特征点作为一个簇,得到Q个簇;

确定所述Q个簇中每一簇对应的能量值,得到Q个能量值;

确定所述Q个能量值的均方差,得到能量均方差;

按照预设的均方差与滤波参数之间的映射关系,确定所述能量均方差对应的目标滤波参数;

依据所述目标滤波参数对所述增强图像进行滤波处理,得到所述第二滤波图像。

在一个可能的示例中,在所述基于所述增强图像对所述第二滤波图像进行局部对比度增强处理,得到输出图像方面,所述局部增强单元406具体用于:

将所述增强图像划分为多个独立区域;

确定所述多个独立区域中每一区域的均方差,得到多个均方差;

从所述多个均方差中选取大于预设值的均方差,得到至少一个目标均方差,并获取该至少一个均方差对应的区域,得到至少一个目标区域;

对所述至少一个目标区域进行对比度增强处理,得到所述输出图像。

其中,所述获取单元、第一滤波单元、映射单元、全局增强单元、第二滤波单元和局部增强单元可以是处理器。

本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。

需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

相关技术
  • 视频图像增强方法及相关产品
  • 车联网发现过程的计算任务增强方法及相关产品
技术分类

06120112306396