掌桥专利:专业的专利平台
掌桥专利
首页

一种图像处理方法、装置及电子设备

文献发布时间:2023-06-19 11:22:42


一种图像处理方法、装置及电子设备

技术领域

本发明涉及数据处理技术领域,特别是涉及一种图像处理方法、装置及电子设备。

背景技术

随着图像采集技术的发展、图像采集设备的快速普及,使用图像采集设备采集图像已是人们工作、学习的重要组成部分。

图像采集设备所采集的图像的显示效果受很多因素影响,其中,对图像的显示效果影响较大的就是过曝。图像采集设备在采集图像时,当环境存在强光源时,往往会导致采集到的图像出现区域过曝,即图像中局部区域的亮度过大,使得采集到的图像质量较差。

因此,如何避免采集到的图像出现区域过曝,是亟需解决的技术问题。

发明内容

本发明实施例的目的在于提供一种图像处理方法,以避免采集到的图像出现区域过曝。具体技术方案如下:

第一方面,本发明实施例提供了一种图像处理方法,应用于图像信号处理单元,包括:

对感光传感器采集的图像数据进行图像信号处理,以生成预处理图像;

识别所述预处理图像中过曝的图像区域,作为过曝区域;

基于与所述过曝区域对应的过曝数据,生成所述过曝区域对应的子图像,其中,与所述过曝区域对应的过曝数据为所述过曝区域关联的所述图像数据中的数据,所述子图像的图像亮度小于所述过曝区域的区域亮度,所述子图像的图像格式与所述预处理图像的图像格式相同;

利用所述子图像替换所述预处理图像中所述过曝区域,得到目标图像。

在一种实现方式中,所述识别所述预处理图像中过曝的图像区域,作为过曝区域,包括:

识别所述预处理图像中区域亮度大于第一亮度的图像区域,作为过曝区域,其中,所述第一亮度为指定的表征区域过曝的亮度;

在一种实现方式中,所述基于与所述过曝区域对应的过曝数据,生成所述过曝区域对应的子图像,包括:

将第二亮度作为对过曝数据进行图像信号处理的参考亮度,其中,所述第二亮度小于所述第一亮度;

按照所述第二亮度对与所述过曝区域对应的过曝数据进行图像信号处理,生成所述过曝区域对应的的子图像。

在一种实现方式中,所述识别所述预处理图像中区域亮度大于第一亮度的图像区域,作为过曝区域,包括:

识别所述预处理图像中区域内像素点的平均像素亮度或者最低像素亮度大于第一亮度的区域,作为预选区域;

基于预设的面积筛选条件,从所识别的预选区域中,选择出过曝区域。

在一种实现方式中,所述基于预设的面积筛选条件,从所识别的预选区域中,选择出过曝区域,包括:

从所识别的预选区域中,筛选出区域面积大于预设面积的区域,作为过曝区域;或者,

从所识别的预选区域中,筛选出区域面积最大的区域,作为过曝区域。

在一种实现方式中,所述过曝区域的数量为多个;

所述利用所述子图像替换所述预处理图像中所述过曝区域,得到目标图像,包括:

按照各个过曝区域的区域亮度的从小到大的顺序,依次利用每一过曝区域对应的子图像替换所述预处理图像中的该过曝区域,得到目标图像。

在一种实现方式中,在利用所述子图像替换所述预处理图像中所述过曝区域,得到目标图像之后,所述方法还包括:

对所述目标图像中替换边界进行羽化处理,其中,所述替换边界为:所述目标图像中目标区域的区域边界,所述目标区域为:在所述目标图像中的区域位置与所述预处理图像中过曝区域的区域位置相同的区域。

在一种实现方式中,所述对所述目标图像中替换边界进行羽化处理,包括:

根据所述目标图像中替换边界两侧像素的亮度差值,计算羽化范围和羽化力度;

按照所述羽化力度,对所述替换边界两侧位于所述羽化范围内的像素进行羽化处理。

第二方面,本发明实施例提供了一种图像处理装置,应用于图像信号处理单元,包括:

数据处理模块,用于对感光传感器采集的图像数据进行图像信号处理,以生成预处理图像;

区域识别模块,用于识别所述预处理图像中过曝的图像区域,作为过曝区域;

图像生成模块,用于基于与所述过曝区域对应的过曝数据,生成所述过曝区域对应的子图像,其中,与所述过曝区域对应的过曝数据为所述过曝区域关联的所述图像数据中的数据,所述子图像的图像亮度小于所述过曝区域的区域亮度,所述子图像的图像格式与所述预处理图像的图像格式相同;

图像替换模块,用于利用所述子图像替换所述预处理图像中所述过曝区域,得到目标图像。

在一种实现方式中,所述区域识别模块,具体用于识别所述预处理图像中区域亮度大于第一亮度的图像区域,作为过曝区域,其中,所述第一亮度为指定的表征区域过曝的亮度;

在一种实现方式中,所述图像生成模块,具体用于将第二亮度作为对过曝数据进行图像信号处理的参考亮度,其中,所述第二亮度小于所述第一亮度;按照所述第二亮度对与所述过曝区域对应的过曝数据进行图像信号处理,生成所述过曝区域对应的的子图像。

在一种实现方式中,所述区域识别模块,具体用于识别所述预处理图像中区域内像素点的平均像素亮度或者最低像素亮度大于第一亮度的区域,作为预选区域;基于预设的面积筛选条件,从所识别的预选区域中,选择出过曝区域。

在一种实现方式中,所述区域识别模块,具体用于从所识别的预选区域中,筛选出区域面积大于预设面积的区域,作为过曝区域;或者,从所识别的预选区域中,筛选出区域面积最大的区域,作为过曝区域。

在一种实现方式中,所述过曝区域的数量为多个;

所述图像替换模块,具体用于按照各个过曝区域的区域亮度的从小到大的顺序,依次利用每一过曝区域对应的子图像替换所述预处理图像中的该过曝区域,得到目标图像。

在一种实现方式中,还包括:

羽化处理模块,用于在所述图像替换模块执行利用所述子图像替换所述预处理图像中所述过曝区域,得到目标图像之后,对所述目标图像中替换边界进行羽化处理,其中,所述替换边界为:所述目标图像中目标区域的区域边界,所述目标区域为:在所述目标图像中的区域位置与所述预处理图像中过曝区域的区域位置相同的区域。

在一种实现方式中,所述羽化处理模块,具体用于根据所述目标图像中替换边界两侧像素的亮度差值,计算羽化范围和羽化力度;按照所述羽化力度,对所述替换边界两侧位于所述羽化范围内的像素进行羽化处理。

第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现第一方面任一项所述的方法步骤。

第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一饭伽马任一项所述的方法步骤。

本发明实施例有益效果:

本发明实施例所提供的图像处理方法中,可以在生成预处理图像后,识别出预处理图像中的过曝区域,并进一步生成图像亮度小于该过曝区域的区域亮度的子图像,进而利用亮度更低的该子图像替换预处理图像中的过曝区域,消除了替换后的目标图像中的过曝区域,从而避免采集到的图像出现区域过曝。

当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明一个实施例提供的图像处理方法的流程图;

图2a为本发明一个实施例提供的Bayer色彩滤波阵列的示意图;

图2b为本发明一个实施例提供的YUV格式的预处理图像示意图;

图3为本发明另一个实施例提供的图像处理方法的流程图;

图4为本发明另一个实施例提供的图像处理方法的流程图;

图5为本发明一个实施例提供的ISP单元的处理示意图;

图6为本发明一个实施例提供的ISP芯片中各单元的关系示意图;

图7为本发明一个实施例提供的图像处理装置的结构示意图;

图8为本发明实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

为了避免采集到的图像出现区域过曝,本发明实施例提供了图像处理方法、装置和电子设备。

其中,本发明实施例所提供的一种图像处理方法应用于图像信号处理单元,在具体应用中,该图像信号处理单元可以为图像采集设备中的ISP(Image Signal Processing,图像信号处理)芯片。

在本发明的一个实施例中,提供一种图像处理方法,应用于图像信号处理单元,如图1所示,该方法包括以下步骤:

S101:对感光传感器采集的图像数据进行图像信号处理,以生成预处理图像。

其中,感光传感器通过其包含的感光元件将接收到的光信号转换为电信号的传感器,进而生成Bayer(拜耳)格式的图像数据。

图像信号处理单元获取图像数据的方式与具体的应用场景相关。例如,图像信号处理单元可以从存储有感光传感器采集的图像数据的数据库中读取图像数据。或者,在感光传感器与图像信号处理单元位于同一图像采集设备的情况下,图像信号处理单元可以实时获取感光传感器采集的图像数据。

示例性的,对图像数据进行图像信号处理(ISP,Image Signal Processing)至少包括对图像数据进行如下处理:伽马矫正(Gamma Correction)、格式转换。进一步的,对图像数据进行图像信号处理还可以包括如下处理中的任意一种:黑电平补偿(Black LevelCompensation)、坏像素矫正(Badpixel Correction)、颜色插值(demosaic)、Bayer噪声去除、白平衡(awb)矫正、色彩矫正(Color Correction)、色彩空间转换、色彩空间上彩噪去除与边缘加强、色彩与对比度加强等。

通过对图像数据进行图像信号处理,可以将感光传感器采集的Bayer格式的图像数据转换为YUV图像或RGB图像。本发明实施例中,将图像数据经过图像信号处理所生成的图像定义预处理图像。

上述对图像数据进行图像信号处理的过程中,可以依据默认的图像参数对图像进行图像信号处理。其中,默认的图像包括默认对比度、饱和度、默认亮度等。对图像数据进行图像信号处理所得到的预处理图像的图像亮度小于默认亮度。

S102:识别预处理图像中过曝的图像区域,作为过曝区域。

其中,正如前述所提及的,对图像数据进行图像信号处理所得到的预处理图像的图像亮度小于默认亮度。而对于预处理图像中的局部区域而言,亮度分布并不是均匀的,因此,预处理图像中有些局部区域的区域亮度高,有些局部区域的区域亮度低。可以将预处理图像中区域亮度过高的局部区域确定为过曝的图像区域。其中,图像区域的区域亮度可以为该图像区域内各像素点的亮度值的平均值,或者,图像区域的区域亮度也可以理解为该图像区域内各像素点的最小亮度值,这都是可以的。

S103:基于与过曝区域对应的过曝数据,生成过曝区域对应的子图像,其中,与过曝区域对应的过曝数据为过曝区域关联的图像数据中的数据,子图像的图像亮度小于过曝区域的区域亮度,子图像的图像格式与预处理图像的图像格式相同。

需要说明的是,与预处理图像中每一数据关联的图像数据中的数据为;图像数据中用于生成该数据的数据。举例而言,图像数据为Bayer格式图像数据。如图2a为表示Bayer格式图像数据的Bayer色彩滤波阵列的示意图。其中,每一方格表示Bayer格式图像数据的一个Bayer像素。方格中字母表示该Bayer像素的颜色分量,G表示绿色分量、R表示红色分量以及B表示蓝色分量。在Bayer格式图像数据中一个Bayer像素只携带一个颜色分量的像素值。如图2a中Bayer像素[1,1]中的B,表示Bayer像素[1,1]携带的是蓝色分量的像素值。而图2b为基于图2a所示Bayer格式图像数据所生成的YUV格式的预处理图像示意图。其中,每一方格表示预处理图像的一个YUV像素。在对Bayer格式图像数据进行图像信号处理的过程中,需要进行插值运算,得到YUV格式的预处理图像。也就是说,图2b中的YUV像素[1,1]的像素值,可能需要Bayer像素[1,1]、Bayer像素[1,2]、Bayer像素[2,1]和Bayer像素[2,2]四个Bayer像素的进行插值运算来确定。因此,与预处理图像中YUV像素[1,1]关联的图像数据中的数据为:Bayer像素[1,1]、Bayer像素[1,2]、Bayer像素[2,1]和Bayer像素[2,2]。

上述生成过曝区域对应的子图像的方式可以包括:对过曝数据进行图像信号处理。而在本次对曝数据进行图像信号处理的过程中,需要降低所得到子图像的图像亮度,以使得子图像的图像亮度小于过曝区域的区域亮度。因此,可以设置一小于过曝区域的区域亮度的亮度作为对过曝数据进行图像信号处理的参考亮度;再按照该参考亮度对曝数据进行图像信号处理,得到图像亮度小于过曝区域的区域亮度的子图像。

同时,为了方便后续基于所生成的子图像对预设处理图像进行调整,需要确保所生成的子图像的图像格式与预设处理图像的图像格式相同。举例而言,若预处理图像的图像格式为RGB格式,则所生成的子图像的格式也应当为RGB格式。若预处理图像的图像格式为YUV格式,则所生成的子图像的格式也应当为YUV格式。

S104:利用子图像替换预处理图像中过曝区域,得到目标图像。

其中,由于子图像的图像亮度小于过曝区域的区域亮度,当利用子图像替换预处理图像中过曝区域时,可以使得预处理图像中替换后的图像区域的区域亮度小于过曝区域的区域亮度,从而使得替换后的图像区域不再过曝。

上述替换过程可以为像素值的替换。即将过曝区域中每一像素的像素值替换为子图像中对应像素的像素值。其中,与过曝区域中每一像素对应的子图像中的像素为:所关联的图像数据中数据相同的像素。

本实施例所提供方案中,可以识别出预处理图像中的过曝区域,并进一步生成图像亮度小于该过曝区域的区域里亮度的子图像,进而利用亮度更低的该子图像替换预处理图像中的过曝区域,消除了替换后的目标图像中的过曝区域,从而避免采集到的图像出现区域过曝。

基于图1的实施例,如图3所示,本发明的另一实施例所提供的图像处理方法,上述步骤S102可以包括如下步骤:

S102A:识别预处理图像中区域亮度大于第一亮度的图像区域,作为过曝区域,其中,第一亮度为指定的表征区域过曝的亮度。

其中,第一亮度可以基于实际需求、场景和经验指定的表征区域过曝的亮度。示例性的,指定第一亮度为200,图像区域A的亮度值为210,图像区域B的亮度值为190,则图像区域A为过曝区域。

例如,在图像采集环境较暗的情况下,指定的第一亮度的亮度值可以较小。在图像采集环境较亮的情况下,指定的第一亮度的亮度值可以较大。示例性的,若预处理图像为在白天采集的图像,则第一亮度可以指定为210。若预处理图像A为在夜间采集的图像,则第一亮度可以指定为180。

可选的,在一种实现方式中,本步骤可以基于以下步骤实现:

识别预处理图像中亮度值大于第一亮度的像素,作为过曝像素;基于识别的过曝像素,确定区域亮度大于第一亮度的图像区域,作为过曝区域。

其中,预处理图像中每一像素的亮度值可以通过对应像素的像素值进行确定。例如,对于YUV图像,其每一像素的像素值中Y分量即为该像素的亮度值。因此,针对YUV图像,可以确定YUV图像中Y分量大于第一亮度的像素为过曝像素。

当区域亮度为图像区域内各像素点的最小亮度值时,在一种实现方式中,可以将由过曝像素所组成的区域作为过曝区域。举例而言,预处理图像中包含过曝像素1至过曝像素100,且过曝像素1至过曝像素100组成区域A,则可以将区域A作为过曝区域。

当区域亮度为图像区域内各像素点的平均亮度值时,在另一种实现方式中,可以先将过曝像素所组成的区域作为基础过曝区域,进而在基础过曝区域的基础上,确定出平均亮度值大于第一亮度的过曝区域。可选的,可以将与基础过曝区域相邻的像素点预加入该基础过曝区域,并判断在预加入该相邻像素点后,该基础过曝区域内各像素点的平均像素值是否任大于第一亮度。若大于,则将该相邻的像素点加入该基础过曝区域,以更新基础过曝区域,并继续执行将与基础过曝区域相邻的像素点预加入该基础过曝区域的步骤,否则,将未加入该相邻的像素点的基础过曝区域作为过曝区域。可选的,每次预加入基础过曝区域的像素点可以为与基础过曝区域相邻的像素点中亮度值最大的像素点。

举例而言,预处理图像中与基础过曝区域相邻的、且亮度值最大的像素点为像素点1,则将像素点1预加入基础过曝区域,并且基础过曝区域在预加入像素点1后的平均亮度值任大于第一亮度,则将像素点1加入基础过曝区域,以得到更新后的基础过曝区域,而与更新后的基础过曝区域相邻的、且亮度值最大的像素点为像素点2,将像素点2预加入更新后的基础过曝区域,此时基础过曝区域在预加入像素点2后的平均亮度值任小于等于第一亮度,则取消向基础过曝区域加入像素点2,将未加入像素点2的更新后的基础过曝区域作为过曝区域,即将仅加入像素点1的基础过曝区域作为过曝区域。

在一个实施例中,所识别的区域亮度大于第一亮度的图像区域可能存在多个,对于多个图像区域中区域大小较小的图像区域而言,由于其区域大小较小,即使该图像区域过曝,对图像的整体显示效果影响有限,因此,为了提高图像处理的效率,可以从多个图像区域中选择区域大小满足预设的面积筛选条件的图像区域为过曝的图像区域。

此时,本步骤可以基于以下步骤实现:

识别预处理图像中区域内像素点的平均像素亮度或者最低像素亮度大于第一亮度的区域,作为预选区域;基于预设的面积筛选条件,从所识别的预选区域中,选择出过曝区域。

其中,在一种实现方式中,当区域亮度为图像区域内各像素点的亮度值的平均值时,可以将预处理图像中区域内像素点的平均像素亮度大于第一亮度的区域,作为预选区域。可选的,在另一种实现方式中,当图像区域的区域亮度为该图像区域内各像素点的最小亮度值时,可以将预处理图像中区域内像素点的最低像素亮度大于第一亮度的区域,作为预选区域。

上述面积筛选条件可以为基于区域的区域面积所设置的筛选条件,如区域面积最大的图像区域,或区域面积大于预设面积的图像区域等。

可选的,在一种实现方式中,当面积筛选条件为区域面积最大的图像区域时,上述步骤可以包括:

从所识别的预选区域中,筛选出区域面积最大的区域,作为过曝区域。

举例而言,从预处理图像中识别出多个预选区域,包括:图像区域1、图像区域2、图像区域3和图像区域4,其中,图像区域1的区域面积为100像素、图像区域2的区域面积为200像素、图像区域3的区域面积为300像素、图像区域4的区域面积为400像素。上述图像区域1、图像区域2、图像区域3和图像区域4中,图像区域4的区域面积最大,则忽略图像区域1、图像区域2和图像区域,将图像区域4作为过曝区域。

可选的,在另一种实现方式中,当面积筛选条件为区域面积大于预设面积的图像区域时,上述步骤可以包括:

从所识别的预选区域中,筛选出区域面积大于预设面积的区域,作为过曝区域。

举例而言,当预设面积为250时,上述图像区域1、图像区域2、图像区域3和图像区域4中,则忽略图像区域1和图像区域2,将图像区域3和图像区域4作为过曝区域。

其中,预设面积可以基于实际需求和经验进行设置。

为了更好的对预设面积进行设置,可以将预设面积与图像区域所包含像素的数量进行关联。例如:预设面积可以为:包含预设数量个像素的区域的区域面积。因此,只需预先设置预设数量即可确定对应的预设面积。相应的,预设数量同样也可以基于实际需求和经验进行设置的。例如,设置预设数量为100。

在此基础上,本步骤可以基于以下步骤实现:

确定由大于预设数量个过曝像素组成的图像区域,作为过曝区域。

在确定出预设图像中的过曝像素后,可以基于各过曝像素之间的位置关系,将过曝像素划分为多个像素集合。其中,对于划分的每个像素集合,该像素集合中包含的每个过曝像素均可以在该像素集合中找到一个与该过曝像素相邻的过曝像素,且其他像素集合不存在与该过曝像素相邻的过曝像素。确定所包含过曝像素的数量大于预设数量的像素集合,作为过曝集合,并将过曝集合所包含的过曝像素组成的图像区域作为过曝区域。

相应的,在本发明的一种实施例中,上述步骤S103可以包括如下步骤:

S103A:将第二亮度作为对过曝数据进行图像信号处理的参考亮度,其中,第二亮度小于第一亮度;

S103B:按照参考亮度对与过曝区域对应的过曝数据进行图像信号处理,生成过曝区域对应的的子图像。

其中,上述对过曝数据进行图像信号处理的过程与步骤S102中对图像数据进行图像信号处理,以生成图像数据对应的预处理图像的基本相同或相似。

本步骤与步骤S102的区别仅在于,步骤S102是基于默认亮度对图像数据进行图像信号处理,生成的预处理图像的图像亮度小于默认亮度,而在本步骤中,则是按照第二亮度对过曝数据进行图像信号处理,生成子图像的图像亮度小于第二亮度。因此,具体实现方式在此不再赘述。

本实施例所提供方案中,可以基于第一亮度识别出过曝区域,并通过小于第一亮度的第二亮度对过曝数据进行图像信号处理,从而可以使得生成的子图像的图像亮度小于过曝区域的区域亮度,为避免采集到的图像出现区域过曝提供了技术基础。

可选的,在一种实施例中,当所设置的第一亮度的数量为多个,且每一第一亮度预设相关联的第二亮度,每一第二亮度小于相关联的第一亮度时,本发明的另一实施例所提供的图像处理方法,上述步骤S102A可以包括如下步骤:

针对每一第一亮度,识别预处理图像中区域亮度大于该第一亮度的图像区域,作为过曝区域。

其中,当第一亮度为多个时,针对每一第一亮度均可从预处理图像中识别出区域亮度大于该第一亮度的图像区域,作为过曝区域。

针对每一第一亮度,从预处理图像中识别出亮度大于该第一亮度的图像区域的处理过程与步骤S102A相同或相似,在此不再赘述。

示例性的,第一亮度包括:亮度1和亮度2。从预处理图像中识别出区域亮度大于亮度1的图像区域为图像区域1,则图像区域1为亮度1对应的过曝区域。从预处理图像中识别出区域亮度大于亮度2的图像区域为图像区域2,则图像区域2为亮度2对应的过曝区域。

相应的,在一种实现方式中,上述步骤S103A可以包括如下步骤:

针对每一过曝区域,将与该过曝区域对应的第一亮度所关联的第二亮度作为对该过曝数据进行图像信号处理的参考亮度;按照该第二亮度对与aging过曝区域对应的过曝数据进行图像信号处理,生成该过曝区域对应的的子图像、图像亮度小于该第二亮度的子图像。

其中,针对每一过曝区域的子图像生成过程与步骤S103A相同或相似,在此不再赘述。

示例性的,第一亮度包括:亮度1和亮度2,与亮度1关联的第二亮度为亮度a,与亮度2关联的第二亮度为亮度b。在前述示例的基础上,确定出与亮度1对应的过曝区域为图像区域1,与亮度2对应的过曝区域为图像区域2。在本步骤中,针对图像区域1,按照亮度a对与图像区域1对应的过曝数据进行图像信号处理,生成与图像区域1对应的、图像亮度小于亮度a的子图像1。针对图像区域2,按照亮度b对与图像区域2对应的过曝数据进行图像信号处理,生成与图像区域2对应的、图像亮度小于亮度b的子图像2。

本实施例所提供方案中,第一亮度为多个,从而可以按照不同的亮度等级分辨出预处理图像中不同亮度等级的过曝区域,因此可以更准确的消除图像中的过曝区域。另一方面,针对每一亮度等级的过曝区域对应的过曝数据按照不同的第二亮度进行图像信号处理,可以使得得到的子图像的图像亮度更符合预期,提高了替换后的图像质量。

基于图3的实施例,本发明的另一实施例中,当过曝区域的数量为多个时,上述步骤S104可以包括如下步骤:

按照各个过曝区域的区域亮度的从小到大的顺序,依次利用每一过曝区域对应的子图像替换预处理图像中的该过曝区域,得到目标图像。

其中,区域亮度越小,则过曝区域的范围越大,可以按照各个过曝区域的区域亮度的从小到大的顺序,依次利用每一过曝区域对应的子图像替换预处理图像中的该过曝区域,得到目标图像。

在一种实现方式中,当第一亮度的数量为多个时,上述步骤以包括如下步骤:

按照各个第一亮度的从小到大的顺序,依次利用每一第一亮度对应的子图像替换预处理图像中该第一亮度对应的过曝区域,得到目标图像,其中,第一亮度对应的子图像为:第一亮度对应的过曝区域所对应的子图像。

其中,第一亮度越小,所确定出的过曝区域的范围越大,其对应的子图像的范围越大。通常而言,数值较大的第一亮度对应的子图像往往是数值较小的第一亮度对应的过子图像的局部区域。

为了避免数值较小的第一亮度对应的子图像将数值较大的第一亮度对应的子图像的数值覆盖,可以按照各个第一亮度的从小到大的顺序,先使用较小的第一亮度对应的过子图像替换预处理图像中该第一亮度对应的过曝区域,再使用较大的第一亮度对应的过子图像替换预处理图像中该第一亮度对应的过曝区域。

示例性的,第一亮度包括:亮度1和亮度2,亮度1>亮度2,则先使用亮度2对应的过子图像替换预处理图像中亮度2对应的过曝区域,再使用亮度1对应的过子图像替换预处理图像中亮度1对应的过曝区域。

本实施例所提供方案中,可以按照按照各个第一亮度的从小到大的顺序,依次利用每一第一亮度对应的子图像替换预处理图像中该第一亮度对应的过曝区域,从而可以避免数值较小的第一亮度对应的子图像将数值较大的第一亮度对应的子图像的数值覆盖。

基于图1的实施例,如图4所示,本发明的另一实施例所提供的图像处理方法,在S104之后,还可以包括:

S105:对目标图像中替换边界进行羽化处理,其中,替换边界为:目标图像中目标区域的区域边界,目标区域为:在目标图像中的区域位置与预处理图像中过曝区域的区域位置相同的区域。

其中,羽化处理可以使替换边界附件像素的像素值变化更加平滑、自然,消减目标图像中的替换痕迹。

在一种实现方案中,可以按照预设羽化力度,对替换边界两次位于预设羽化范围内的像素进行羽化处理。

在另一种实现方案中,还可以根据目标图像中替换边界两侧像素的亮度差值,计算羽化范围和羽化力度,并且按照羽化力度,对替换边界两侧位于羽化范围内的像素进行羽化处理。

该方式中,替换边界两侧像素的亮度差值可以是:替换边界内所有像素的亮度平均值与替换边界外所有像素的亮度平均值的差值。或者,替换边界两侧像素的亮度差值也可以是:替换边界两侧预设范围内亮度平均值的差值。

当替换边界两侧像素的亮度差值越大时,其计算所得到的羽化范围和羽化力度也越大。

可选的,可以按照以下公式实现羽化范围和羽化力度的计算:

其中,F为羽化范围,α为羽化范围系数,a为羽化范围常数,L为羽化力度,β为羽化力度系数,b羽化力度常数,Δ为替换边界两侧像素的亮度差值。

本实施例所提供方案中,可以替换边界进行羽化处理,使得替换后的目标图像显示的更加平滑、自然。

为了方便理解方案,下面结合一具体实施例,对本发明实施例所提供的一种图像处理方法进行介绍。该具体实施例中,该种图像处理方法通过ISP单元、拼接模块来协同实现,并且,该图像处理方法属于多路ISP处理流程,其中,ISP单元、拼接模块为ISP芯片中的程序模块。

其中,本具体实施例所提供的一种图像处理方法可以包括如下步骤:

ISP单元,用于获取感光传感器的图像数据,传递给多个ISP进程,每个ISP进程对图像数据进行图像信号处理;

图5为一种ISP单元的处理示意图,其中,多个ISP进程包括主进程ISP1和从进程ISP2-从进程ISPn。

ISP主进程,用于根据用户在界面图像参数中所设置的具体参数对Bayer格式的图像数据进行图像信号处理,生成预处理图像YUV1。

从进程ISP2-从进程ISPn为对预处理图像YUV1中过曝的图像区域进行图像信号处理。其中n的大小取决于ISP芯片的性能,性能越好n值越大。

从进程ISP2-从进程ISPn中每个从进程ISPm(1<m≤n)预设配置有第一亮度Y1m和第二亮度Y2m(Y2m

上述任一ISPm从进程处理的过程包括:

步骤1:获取ISP1主进程处理后生成的预处理图像YUV1;

步骤2:识别出预处理图像YUV1中区域大小大于100像素、且亮度大于Y1m的过曝区域Zm;

步骤3:确定Bayer格式的图像数据中与过曝区域Zm对应的过曝数据BAYERZm;

步骤4:按照第二亮度Y2m,对过曝数据BAYERZm进行图像信号处理,得到子图像YUVm。

拼接模块,用于将ISP单元所生成的预处理图像YUV1和子图像YUV2-子图像YUV n进行拼接,生成目标图像YUV。

图6为一种ISP芯片中各单元的关系示意图,其中,ISPm为ISP单元,拼接模块包括:定位模块和羽化模块。

定位模块,确定子图像YUVm在预处理图像YUV1中对应的过曝区域Zm,并依次按序号利用子图像YUV2-子图像YUVn对预处理图像YUV1进行替换,生成目标图像YUV。

羽化模块:根据过曝区域Zm被替换后区域的替换边界两侧的亮度差计算羽化范围和羽化力度,并按照羽化力度,对替换边界两侧位于羽化范围内的像素进行羽化处理。

本实施例所提供方案中,可以识别出预处理图像中的过曝区域,并进一步生成图像亮度小于该过曝区域的区域里亮度的子图像,进而利用亮度更低的该子图像替换预处理图像中的过曝区域,消除了替换后的目标图像中的过曝区域,从而避免采集到的图像出现区域过曝。

相应于上述实施例所提供的图像处理方法,如图7所示,本发明实施例还提供了一种图像处理装置,应用于图像信号处理单元,装置包括:

数据处理模块701,用于对感光传感器采集的图像数据进行图像信号处理,以生成预处理图像;

区域识别模块702,用于识别预处理图像中过曝的图像区域,作为过曝区域;

图像生成模块703,用于基于与过曝区域对应的过曝数据,生成过曝区域对应的子图像,其中,与过曝区域对应的过曝数据为过曝区域关联的图像数据中的数据,子图像的图像亮度小于过曝区域的区域亮度,子图像的图像格式与预处理图像的图像格式相同;

图像替换模块704,用于利用子图像替换预处理图像中过曝区域,得到目标图像。

在一种实现方式中,区域识别模块,具体用于识别预处理图像中区域亮度大于第一亮度的图像区域,作为过曝区域,其中,第一亮度为指定的表征区域过曝的亮度;

在一种实现方式中,图像生成模块,具体用于将第二亮度作为对过曝数据进行图像信号处理的参考亮度,其中,第二亮度小于第一亮度;按照第二亮度对与过曝区域对应的过曝数据进行图像信号处理,生成过曝区域对应的的子图像。

在一种实现方式中,区域识别模块,具体用于识别预处理图像中区域内像素点的平均像素亮度或者最低像素亮度大于第一亮度的区域,作为预选区域;基于预设的面积筛选条件,从所识别的预选区域中,选择出过曝区域。

在一种实现方式中,区域识别模块,具体用于从所识别的预选区域中,筛选出区域面积大于预设面积的区域,作为过曝区域;或者,从所识别的预选区域中,筛选出区域面积最大的区域,作为过曝区域。

在一种实现方式中,过曝区域的数量为多个;

图像替换模块,具体用于按照各个过曝区域的区域亮度的从小到大的顺序,依次利用每一过曝区域对应的子图像替换预处理图像中的该过曝区域,得到目标图像。

在一种实现方式中,还包括:

羽化处理模块,用于在图像替换模块执行利用子图像替换预处理图像中过曝区域,得到目标图像之后,对目标图像中替换边界进行羽化处理,其中,替换边界为:目标图像中目标区域的区域边界,目标区域为:在目标图像中的区域位置与预处理图像中过曝区域的区域位置相同的区域。

在一种实现方式中,羽化处理模块,具体用于根据目标图像中替换边界两侧像素的亮度差值,计算羽化范围和羽化力度;按照羽化力度,对替换边界两侧位于羽化范围内的像素进行羽化处理。。

本实施例所提供方案中,可以识别出预处理图像中的过曝区域,并进一步生成图像亮度小于该过曝区域的区域里亮度的子图像,进而利用亮度更低的该子图像替换预处理图像中的过曝区域,消除了替换后的目标图像中的过曝区域,从而避免采集到的图像出现区域过曝。

本发明实施例还提供了一种电子设备,如图8所示,包括处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信,

存储器803,用于存放计算机程序;

处理器801,用于执行存储器803上所存放的程序时,实现上述图像处理方法步骤。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一图像处理方法的步骤。

在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一图像处理方法。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质、计算机程序产品而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

相关技术
  • 图像处理方法及装置、眼底图像处理方法、电子设备
  • 图像信号处理装置、图像信号处理方法、图像显示装置、电视接收机、电子设备
技术分类

06120112899105