掌桥专利:专业的专利平台
掌桥专利
首页

图像处理方法及装置、电子设备及计算机可读存储介质

文献发布时间:2023-06-19 11:06:50


图像处理方法及装置、电子设备及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及装置、电子设备及计算机可读存储介质。

背景技术

在图像处理领域中,通常采用对除该特定对象所覆盖的像素点区域(下文将称为背景区域)进行虚化处理的方式,突出该对象。例如,假设特定对象为人像,那么通过对图像中除人像区域之外的区域进行虚化处理,可突出人像,并弱化背景区域。但目前的虚化处理方法得到虚化效果较差。

发明内容

本申请提供一种图像处理方法及装置、电子设备及计算机可读存储介质。

第一方面,提供了一种图像处理方法,所述方法包括:

获取第一待处理图像;所述第一待处理图像包括前景区域和背景区域;

确定背景像素点和待校正像素点,所述待校正像素点为所述背景区域中与所述前景区域的最小距离小于阈值的像素点,所述背景像素点为所述背景区域中非所述待校正像素点的像素点;

依据所述背景像素点的像素值,更新所述待校正像素点的像素值,得到第二待处理图像;

对所述第二待处理图像中的所述背景区域进行虚化处理,得到虚化后的图像。

在该方面中,图像处理装置从背景区域中确定语义信息为背景的置信度低的待校正像素点,以及语义信息为背景高的背景像素点,并依据背景像素点的像素值,更新背景区域中的待校正像素点的像素值,以将待校正像素点的语义信息转变为背景。这样,再对背景区域进行虚化处理,可去除前景光晕,从而提升背景虚化效果。

结合本申请任一实施方式,所述确定背景像素点和待校正像素点,所述待校正像素点为所述背景区域中与所述前景区域的最小距离小于阈值的像素点,所述背景像素点为所述背景区域中非所述待校正像素点的像素点,包括:

确定所述待校正像素点,所述待校正像素点为所述背景区域中与所述前景区域的最小距离小于阈值的像素点;

从所述背景区域中确定与界线的距离大于或等于所述阈值的像素点,作为背景像素点;所述界线为所述前景区域和所述背景区域的分界线。

结合本申请任一实施方式,所述从所述背景区域中确定与界线的距离大于或等于所述阈值的像素点,作为背景像素点,包括:

依据所述前景区域内的像素值,更新所述背景区域中与所述界线的距离小于所述阈值的像素点的像素值,得到更新后的像素点;

将所述前景区域和所述更新后的像素点,作为膨胀后的前景区域;

从缩小后的背景区域中选取像素点作为所述背景像素点;所述缩小后的背景区域为所述第一待处理图像中除所述膨胀后的前景区域之外的像素点区域。

在该种实施方式中,图像处理装置将第一待处理图像中除膨胀后的前景区域之外的像素点区域作为缩小后的背景区域。图像处理装置进而可通过从缩小后的背景区域中选取像素点,得到背景像素点。

结合本申请任一实施方式,所述依据所述背景像素点的像素值,更新所述待校正像素点的像素值,得到第二待处理图像,包括:

构建所述待校正像素点的像素点邻域,其中,所述像素点邻域包含所述背景像素点;

依据所述像素点邻域中的像素值,更新所述待校正像素点的像素值,得到所述第二待处理图像。

在该种实施方式中,图像处理装置通过构建待校正像素点的像素点邻域,使该像素点邻域包含背景像素点。这样,图像处理装置可依据像素点邻域中的像素值,更新待校正像素点的像素值,进而使待校正像素点的像素值与背景像素点的像素值接近,从而将待校正像素点的语义转换为背景。

结合本申请任一实施方式,所述依据所述像素点邻域中的像素值,更新所述待校正像素点的像素值,得到所述第二待处理图像,包括:

计算所述像素点邻域中像素值的均值,作为所述待校正像素点的像素值,得到所述第二待处理图像。

传统方法通过将像素点邻域中的最大像素值作为待校正像素点的像素值,实现更新待校正像素点的像素值。但在通过该种方法得到的图像中,待校正像素点处易出现白色光晕。

在该种实施方式中,图像处理装置通过计算像素点邻域中的像素值的均值,得到待校正像素点的像素值,可降低待校正像素点处出现白色光晕的概率。

结合本申请任一实施方式,所述计算所述像素点邻域中像素值的均值,作为所述待校正像素点的像素值,得到所述第二待处理图像,包括:

计算所述像素点邻域中的所述背景像素点的像素值的均值,作为所述待校正像素点的像素值,得到所述第二待处理图像。

在该种实施方式中,由于像素点邻域不仅包含背景像素点,还包含待校正像素点,图像处理装置通过计算像素点邻域中背景像素点的像素值的均值,得到待校正像素点的像素值,可使待校正像素点的像素值与背景像素点的像素值更接近,进而使更新像素值后的待校正像素点的语义为背景的置信度更高。

另一方面,在实际处理中,为减少数据处理量,提高处理速度,通常会通过对掩码进行处理实现该种实现方式。具体的,在第一待处理图像的掩码中,背景像素点所对应的值为第一值,非背景像素点(包括待校正像素点和前景像素点)所对应的值为第二值。在计算像素点邻域中像素值的均值时,从第一待处理图像中确定第一值所对应的像素点的像素值,并确定第二值所对应的像素点的像素值为0。即在计算像素点邻域中像素值的均值时,从第一待处理图像中确定背景像素点的像素值,并确定非背景像素点的像素值为0。这样,若图像处理装置计算像素点邻域中所有像素值的均值,易导致得到的像素值较小。从而在将得到的像素值均值作为待校正像素点的像素值时,导致待校正像素点处出现黑边。

结合本申请任一实施方式,所述对所述第二待处理图像中的所述背景区域进行虚化处理,得到虚化后的图像,包括:

获取模糊核;

从所述第二待处理图像中截取所述背景区域,得到待虚化区域;

使用所述模糊核在所述待虚化区域上滑动,并计算与所述模糊核中的元素对应的像素值的均值,得到所述虚化后的背景区域;

使用所述虚化后的背景区域替换所述第二待处理图像中的背景区域,得到所述虚化后的图像。

在该种实施方式中,图像处理装置从第二待处理图像中截取背景区域得到待虚化区域,并使用模糊核对待虚化区域进行处理,完成对背景区域虚化处理,可减少前景区域内的像素点对背景区域的虚化处理的影响,从而提高背景区域的虚化效果。

结合本申请任一实施方式,所述前景区域为人像区域;

在所述从所述背景区域中确定与界线的距离大于或等于所述阈值的像素点,作为背景像素点之前,所述方法还包括:

对所述第一待处理图像进行人像分割处理,得到所述界线。

在该种实施方式中,图像处理装置通过对第一待处理图像进行人像分割处理得到界线。这样,再结合上述其他实施方式,可提升对第一待处理图像中除人像之外的背景的虚化效果。

第二方面,提供了一种图像处理装置,所述装置包括:

获取单元,用于获取第一待处理图像;所述第一待处理图像包括前景区域和背景区域;

第一处理单元,用于确定背景像素点和待校正像素点,所述待校正像素点为所述背景区域中与所述前景区域的最小距离小于阈值的像素点,所述背景像素点为所述背景区域中非所述待校正像素点的像素点;

第二处理单元,用于依据所述背景像素点的像素值,更新所述待校正像素点的像素值,得到第二待处理图像;

虚化处理单元,用于对所述第二待处理图像中的所述背景区域进行虚化处理,得到虚化后的图像。

结合本申请任一实施方式,所述第一处理单元具体用于:

确定所述待校正像素点,所述待校正像素点为所述背景区域中与所述前景区域的最小距离小于阈值的像素点;

从所述背景区域中确定与界线的距离大于或等于所述阈值的像素点,作为背景像素点;所述界线为所述前景区域和所述背景区域的分界线。

结合本申请任一实施方式,所述第一处理单元具体用于:

依据所述前景区域内的像素值,更新所述背景区域中与所述界线的距离小于所述阈值的像素点的像素值,得到更新后的像素点;

将所述前景区域和所述更新后的像素点,作为膨胀后的前景区域;

从缩小后的背景区域中选取像素点作为所述背景像素点;所述缩小后的背景区域为所述第一待处理图像中除所述膨胀后的前景区域之外的像素点区域。

结合本申请任一实施方式,所述第二处理单元具体用于:

构建所述待校正像素点的像素点邻域,其中,所述像素点邻域包含所述背景像素点;

依据所述像素点邻域中的像素值,更新所述待校正像素点的像素值,得到所述第二待处理图像。

结合本申请任一实施方式,所述第二处理单元具体用于:

计算所述像素点邻域中像素值的均值,作为所述待校正像素点的像素值,得到所述第二待处理图像。

结合本申请任一实施方式,所述第二处理单元具体用于:

计算所述像素点邻域中的所述背景像素点的像素值的均值,作为所述待校正像素点的像素值,得到所述第二待处理图像。

结合本申请任一实施方式,所述虚化处理单元具体用于:

获取模糊核;

从所述第二待处理图像中截取所述背景区域,得到待虚化区域;

使用所述模糊核在所述待虚化区域上滑动,并计算与所述模糊核中的元素对应的像素值的均值,得到所述虚化后的背景区域;

使用所述虚化后的背景区域替换所述第二待处理图像中的背景区域,得到所述虚化后的图像。

结合本申请任一实施方式,所述前景区域为人像区域;

所述图像处理装置还包括:分割处理单元,用于在所述从所述背景区域中确定与界线的距离大于或等于所述阈值的像素点,作为背景像素点之前,对所述第一待处理图像进行人像分割处理,得到所述界线。

第三方面,提供了一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。

第四方面,提供了另一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。

第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。

第六方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。

图1为本申请实施例提供的一种图像处理方法的流程示意图;

图2为本申请实施例提供的一种像素点填充核示意图;

图3a为本申请实施例提供的一种像素点邻域示意图;

图3b为本申请实施例提供的另一种像素点填充核示意图;

图4为本申请实施例提供的一种第一待处理图像示意图;

图5为本申请实施例提供的一种模糊核示意图;

图6a为本申请实施例提供的另一种模糊核示意图;

图6b为本申请实施例提供的一种被虚化像素点邻域示意图;

图7a为本申请实施例提供的另一种被虚化像素点邻域示意图;

图7b为本申请实施例提供的另一种模糊核示意图;

图8为本申请实施例提供的一种待虚化区域示意图;

图9为本申请实施例提供的一种图像处理装置的结构示意图;

图10为本申请实施例提供的一种图像处理装置的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上,“至少两个(项)”是指两个或三个及三个以上,“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。字符“/”还可表示数学运算中的除号,例如,a/b=a除以b;6/3=2。“以下至少一项(个)”或其类似表达。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

在图像处理领域中,通常采用对除特定对象所覆盖的像素点区域(下文将称为背景区域)进行虚化处理的方式,突出该特定对象。例如,假设特定对象为人像,那么通过对图像中除人像区域之外的区域进行虚化处理,可突出人像,并弱化背景区域。

若将上述特定对象所覆盖的像素点区域称为前景区域,并将上述处理过程称为背景虚化处理。那么从图像中确定的前景区域的准确度,将影响背景虚化的效果。具体的,从图像中确定的前景区域的准确度越低,背景虚化的效果越差。

由于在目前的背景虚化处理方法中,易出现将前景像素点确定为背景像素点的情况,对图像进行背景虚化处理,易出现前景光晕,进而导致背景虚化的效果差。基于此,本申请实施例提供了一种技术方案,以提升背景虚化的效果。

在进行接下来的描述之前,首先对下完将要出现的掩码进行定义。本申请实施例中,掩码指图像特定语义掩码。图像特定语义掩码中的元素与图像中的像素点一一对应。掩码中元素的取值包括第一值和第二值,其中,第一值与第二值不同。第一值表示与该元素对应的像素点的语义是特定语义,第二值表示与该元素对应的像素点的语义不是特定语义。可选的,第一值为1,第二值为0。

例如,图像1包括像素点A、像素点B、像素点C和像素点D。图像1的头发掩码包括元素a、元素b、元素c和元素d,即特定语义为头发。其中,元素a与像素点A对应,元素b与像素点B对应,元素c与像素点C对应,元素d与像素点D对应。假设第一值为1,第二值为0。若元素a的取值1,元素b的取值为0,元素c的取值为1,元素d的取值为0。那么,像素点A的语义为头发,即像素点A为头发像素点;像素点B的语义不是头发,即像素点B不是头发像素点;像素点C的语义为头发,即像素点C为头发像素点;像素点D的语义不是头发,即像素点D不是头发像素点。

本申请实施例的执行主体为图像处理装置,其中,图像处理装置可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备。可选的,图像处理装置可以是以下中的一种:手机、计算机、服务器、平板电脑。

应理解,本申请方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图1,图1是本申请实施例提供的一种图像处理方法的流程示意图。

101、获取第一待处理图像,其中,上述第一待处理图像包括前景区域和背景区域。

本申请实施例中,第一待处理图像包含背景区域和前景区域,其中,前景区域为上述特定对象所覆盖的像素点区域,背景区域为图像中除前景区域之外的像素点区域。特定对象可以是任意物体。例如,特定对象可以是人物;又例如,特定对象可以是车辆;再例如,特定对象可以是人物和车辆。

在一种获取第一待处理图像的实现方式中,图像处理装置接收用户通过输入组件输入的第一待处理图像获取第一待处理图像。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。

在另一种获取第一待处理图像的实现方式中,图像处理装置接收终端发送的第一待处理图像获取第一待处理图像。可选的,终端可以是以下任意一种:手机、计算机、平板电脑、服务器、可穿戴设备。

在又一种获取第一待处理图像的实现方式中,图像处理装置装载有摄像组件,其中,摄像组件包括摄像头。图像处理装置通过使用摄像组件采集包含待分割对象的图像作为第一待处理图像。

在又一种获取第一待处理图像的实现方式中,图像处理装置从获取到的视频流中选取一帧图像作为第一待处理图像。

102、确定背景像素点和待校正像素点,上述待校正像素点为上述背景区域中与上述前景区域的最小距离小于阈值的像素点,上述背景像素点为上述背景区域中非上述待校正像素点的像素点。

本申请实施例中,前景区域通过对图像进行分割处理得到。例如,假设特定对象为人像。通过对第一待处理图像进行人像分割处理,可确定前景区域和背景区域。

应理解,对第一待处理图像进行的分割处理的执行主体可以是图像处理装置,也可以不是图像处理装置。例如,终端通过对图像a进行人像分割处理,确定图像a中前景区域和背景区域,并在图像a中将前景区域和背景区域区分开来,得到第一待处理图像。终端再将第一待处理图像发送至图像处理装置。

由于通过对图像进行分割处理将前景区域和背景区域区分开时,易出现将前景像素点(即语义信息为前景)误识别为背景像素点的情况,背景区域中可能包含前景像素点。因此,在背景区域中,像素点距离前景区域越近,该像素点的语义信息为背景像素点的置信度越低。

但在对图像进行背景虚化处理时,会对低置信度背景像素点进行虚化处理。因为低置信度背景像素点的语义信息为前景,对低置信度背景像素点进行虚化处理会导致前景光晕。因此,可通过将低置信度背景像素点的语义信息转变为背景来去除前景光晕。

本申请实施例中,图像处理装置从第一待处理图像中确定的待校正像素点即为上述低置信度背景像素点,该待校正像素点为背景区域中与前景区域的最小距离小于阈值的像素点。可选的,阈值的取值为15个像素点。

如上所述,在背景区域中,像素点距离前景区域越近,该像素点的语义信息为背景像素点的置信度越低。反之,在背景区域中,像素点距离前景区域越远,该像素点的语义信息为背景的置信度越高。因此,本申请实施例中,图像处理装置确定第一待处理图像中的非待校正像素点为高置信度背景像素点,即为上述背景像素点。

103、依据上述背景像素点的像素值,更新上述待校正像素点的像素值,得到第二待处理图像,其中,上述待校正像素点包括上述背景区域中与上述界线的距离小于上述阈值的像素点。

本申请实施例中,图像处理装置依据背景像素点的像素值,更新待校正像素点的像素值,可使待校正像素点的像素值与背景像素点的像素值接近,进而将待校正像素点的语义信息转变为背景,得到第二待处理图像。

在一种可能实现的方式中,图像处理装置在执行步骤103之前,获取像素点填充核。使用像素点填充核在第一待处理图像上滑动,在像素点填充核所对应的像素点区域中包含背景像素点和待校正像素点时,将像素点填充核中的元素作为权重,计算与像素点填充核对应的背景像素点的像素值的加权平均值,作为待校正像素点的像素值。

其中,像素点填充核为包含至少两个元素的二维矩阵。例如,图2所示为尺寸为3*3的像素点填充核,其中,A、B、C、D、E、F、G、H、I均为像素点填充核的元素。

使用像素点填充核对像素点邻域进行处理,可将该像素点邻域中的像素值进行加权平均,从而得到填充像素值,其中,像素值的权重为像素点填充核中与该像素值对应的元素。为表述方便,下文将被像素点填充核处理的像素点邻域称为被填充像素点邻域。

例如,假如在图3a所示的像素点区域中,像素点A、像素点B、像素点E、像素点F、像素点I和像素点J均为背景像素点,像素点C、像素点D、像素点G、像素点H、像素点K和像素点L均为待校正像素点。

图像处理装置使用图3b所示的像素点填充核更新图3a所示的像素点区域中的像素点G的像素值,更新后的像素点G的像素值满足下式:更新后的像素点G的像素值=(元素a×像素点B的像素值+元素d×像素点F的像素值+元素g×像素点J的像素值)/3。

可选的,像素点填充核的尺寸大于第一阈值。在像素点填充核的形状为正方形的情况下,像素点填充核的尺寸为像素点填充核的边长;在像素点填充核的形状不是正方形的情况下,像素点填充核的尺寸为像素点填充核的最小边长,例如,假设像素点填充核的尺寸为4*5,此时,像素点填充核的尺寸为4。

在像素点填充核的尺寸大于第一阈值的情况下,图像处理装置使用像素点填充核在第一待处理图像上滑动,可将所有待校正像素点的像素值更新,从而将所有待校正像素点的语义信息转变为背景。

应理解,在图像处理装置使用像素点填充核在第一待处理图像上滑动时,不会更新背景像素点的像素值。

104、对上述第二待处理图像中的上述背景区域进行虚化处理,得到虚化后的图像。

由于在第二待处理图像的背景区域中,待校正像素点的语义信息为背景,图像处理装置对第二待处理图像中的背景区域进行虚化处理,可去除前文所提及的前景光晕,得到虚化后的图像。

本实施例中,图像处理装置从背景区域中确定语义信息为背景的置信度低的待校正像素点,以及语义信息为背景高的背景像素点,并依据背景像素点的像素值,更新背景区域中的待校正像素点的像素值,以将待校正像素点的语义信息转变为背景。这样,再对背景区域进行虚化处理,可去除前景光晕,从而提升背景虚化效果。

作为一种可选的实施方式,图像处理装置在执行步骤102的过程中执行以下步骤:

1、确定上述待校正像素点,上述待校正像素点为上述背景区域中与上述前景区域的最小距离小于阈值的像素点。

本步骤的实现方式可参见步骤102中确定待校正像素点的实现方式,此处将不再赘述。

2、从上述背景区域中确定与界线的距离大于或等于上述阈值的像素点,作为背景像素点,其中,上述界线为上述前景区域和上述背景区域的分界线。

在本步骤中,图像处理装置依据第一待处理图像中的背景区域和前景区域确定上述界线,并将背景区域中与界线的距离大于或等于阈值的像素点,作为高置信度背景像素点,即上述背景像素点。相应的,图像处理装置将背景区域中与界线的距离小于阈值的像素点,作为低置信度背景像素点,即上述待校正像素点。

作为一种可选的实施方式,图像处理装置在执行步骤2的过程中执行以下步骤:

3、依据上述前景区域内的像素值,更新上述背景区域中与上述界线的距离小于上述阈值的像素点的像素值,得到更新后的像素点。

本步骤中,图像处理装置依据前景区域的像素值,更新背景区域中与界线的距离小于阈值的像素点的像素值,可将背景区域中与界线的距离小于阈值的像素点的语义信息转变为前景。

通过执行步骤3,图像处理装置可将前景区域膨胀,使前景区域扩大。这样,背景区域就将缩小,从而使缩小后的背景区域所包含的像素点即为上述高置信度背景像素点。

4、将上述前景区域和上述更新后的像素点,作为膨胀后的前景区域。

5、从缩小后的背景区域中选取像素点作为上述背景像素点,其中,上述缩小后的背景区域为上述第一待处理图像中除上述膨胀后的前景区域之外的像素点区域。

本步骤中,将第一待处理图像中除膨胀后的前景区域之外的像素点区域作为缩小后的背景区域。图像处理装置通过从缩小后的背景区域中选取像素点作为背景像素点,可实现将语义信息为背景的置信度高的像素点作为背景像素点。

作为一种可选的实施方式,图像处理装置通过对第一待处理图像进行分割处理,得到前景掩码。其中,前景掩码中取值为第一值的元素所对应的像素点的语义信息为前景。

图像处理装置通过对前景掩码中的前景区域进行膨胀,得到放大后的前景掩码。图像处理装置进而可依据放大后的前景掩码,得到缩小后的背景掩码。

例如,前景掩码包括元素a、元素b、元素c和元素d。其中,元素a的取值和元素b的取值均为第一值,元素c的取值和元素d的取值均为第二值,元素a所对应的像素点为像素点A,元素b所对应的像素点为像素点B,元素c所对应的像素点为像素点C,元素d所对应的像素点为像素点D。

通过对前景掩码中的前景区域进行膨胀,使元素c的取值更新为第一值,得到放大后的前景掩码。即在放大后的前景掩码中,元素a的取值、元素b的取值和元素c的取值均为第一值,元素d的取值为第二值。也就是说,在放大后的前景掩码所对应的像素点中,像素点A、像素点B和像素点C均为前景像素点,像素点D为背景像素点。

这样,依据放大后的前景掩码,可得到缩小后的背景掩码。而在缩小后的背景掩码中,元素a的取值、元素b的取值和元素c的取值均为第二值,元素d的取值为第一值。

在得到缩小后的背景掩码后,图像处理装置可从缩小后的背景掩码所对应的像素点中选取像素点作为背景像素点。

在该种实施方式中,图像处理装置通过对前景掩码进行处理,确定背景像素点,可减少数据处理量,提高处理速度。

作为一种可选的实施方式,图像处理装置在执行步骤103的过程中执行以下步骤:

6、构建上述待校正像素点的像素点邻域,其中,上述像素点邻域包含上述背景像素点。

本申请实施例中,待校正像素点的像素点邻域的中心可以是待校正像素点,待校正像素点的像素点邻域的中心也可以不是待校正像素点。待校正像素点的像素点邻域包含至少一个背景像素点。

本申请实施例对待校正像素点的像素点邻域的尺寸不做限定,例如,像素点邻域可以是3*3;又例如,像素点邻域可以是5*4。

例如,假设在图4所示的第一待处理图像中,待校正像素点为像素点A

以像素点A

基于像素点A

7、依据上述像素点邻域中的像素值,更新上述待校正像素点的像素值,得到上述第二待处理图像。

在一种可能实现的方式中,图像处理装置计算像素点邻域中像素值的均值,并将该均值作为待校正像素点的像素值,以更新待校正像素点的像素值,得到第二待处理图像。

在另一种可能实现的方式中,图像处理装置计算像素点邻域中像素值的中位值,并将该中位值作为待校正像素点的像素值,以更新待校正像素点的像素值,得到第二待处理图像。

在另一种可能实现的方式中,图像处理装置在计算像素点邻域中像素值的均值时,将待校正像素点的像素值取为第三值。并将计算得到的均值作为待校正像素点的像素值,以更新待校正像素点的像素值,得到第二待处理图像。其中,第三值为小于5的正数。可选的,第三值为0。

例如,待校正像素点(像素点c)的像素点邻域包括像素点a、像素点b、像素点c和像素点d,其中,像素点a和像素点b均为背景像素点,像素点c和像素点d均为待校正像素点。假设像素点a的像素值为230,像素点b的像素值为210,像素点c的像素值为130,像素点d的像素值为150,第三值为0。那么,像素点邻域中像素值的均值为:(230+210)/4=110。

在该种实现方式中,通过将待校正像素点的像素值取为第三值,可减少待校正像素点的像素值对均值的影响,从而使更新像素值后的待校正像素点的语义信息更接近背景。

作为一种可选的实施方式,图像处理装置在执行步骤7的过程中执行以下步骤:

8、计算上述像素点邻域中像素值的均值,作为上述待校正像素点的像素值,得到上述第二待处理图像。

传统方法通过将像素点邻域中的最大像素值作为待校正像素点的像素值,实现更新待校正像素点的像素值。但在通过该种方法得到的图像中,待校正像素点处易出现白色光晕。图像处理装置通过执行本步骤,可降低待校正像素点处出现白色光晕的概率。

本步骤的实现方式可参见步骤7中两种计算均值的实现方式,此处将不再赘述。

作为一种可选的实施方式,图像处理装置在执行步骤8的过程中执行以下步骤:

9、计算上述像素点邻域中的上述背景像素点的像素值的均值,作为上述待校正像素点的像素值,得到上述第二待处理图像。

若图像处理装置在计算像素点邻域中像素值的均值时,不仅考虑背景像素点的像素值,还考虑待校正像素点的均值,并将均值作为待校正像素点的像素值,可能会使待校正像素点的语义信息与背景相差较大。

例如(例1),假设像素点a为待校正像素点,像素点a的像素点邻域包括像素点a、像素点b、像素点c、像素点d、像素点e和像素点f。其中,像素点b为待校正像素点,像素点c、像素点d、像素点e和像素点f均为背景像素点,像素点a的像素值为180,像素点b的像素值为200,像素点c的像素值为15,像素点d的像素值为20,像素点e的像素值为10,像素点f的像素值为18。

若计算像素点邻域中所有像素值的均值,那么均值=(180+200+15+20+10+18)/6=73.8。显然,均值的大小更接近待校正像素点的像素值,而与背景像素点的像素值差距较大。若将均值作为待校正像素点的像素值,待校正像素点的语义信息与待校正像素点的语义信息更接近,即待校正像素点的语义信息更接近前景。这显然会降低背景虚化效果。

若在计算像素点邻域中像素值的均值时,将像素点邻域中的待校正像素点的像素值取为较小的正数,则可能会导致均值非常小,进而在将均值作为待校正像素点的像素值后,可能出现黑边。

例如(例2),假设像素点a为背景像素点,像素点b的像素点邻域包括像素点a、像素点b、像素点c、像素点d、像素点e、像素点f、像素点g、像素点h、像素点i和像素点j。其中,像素点b、像素点c、像素点d、像素点e、像素点f、像素点g、像素点h、像素点i和像素点j均为待校正像素点,像素点a的像素值为90。

若在计算像素点邻域中像素值的均值时,将待校正像素点的像素值取为0,那么像素点b的像素点邻域中像素值的均值为:90/10=9。由于均值比较小,若将均值作为像素点b的像素值,会使像素点b为黑色。这样,图像处理装置在将待处理图像中的待校正像素点的像素值更新后,第二待处理图像中可能会出现黑边。

在本步骤中,图像处理装置在计算像素点邻域中像素值的均值时,只考虑背景像素点的像素值,而不会考虑待校正像素点的像素值。这样,可降低待校正像素点的像素值对均值的影响。进而在将均值作为待校正像素点的像素值,可提高待校正像素点的语义信息为背景的概率,且可降低因更新待校正像素点的像素值出现黑边的概率。

例如,在例1中,若在计算像素点邻域的像素值均值时,不考虑待校正像素点的像素值,那么均值=(15+20+10+18)/4=15.75。显然,均值的大小更接近背景像素点的像素值,若将均值作为待校正像素点的像素值,待校正像素点的语义信息与背景像素点的语义信息更接近,即待校正像素点的语义信息更接近背景。有利于提升背景虚化效果。

再例如,在例2中,若在计算像素点邻域的像素值均值时,不考虑待校正像素点的像素值,那么均值=90/1=90。这样再将均值作为待校正像素点的像素值,既可将待校正像素点的语义信息转变为背景,还可降低第二待处理图像中出现黑边的概率。

作为一种可选的实施方式,图像处理装置在执行步骤104的过程中执行以下步骤:

10、获取模糊核。

本申请实施例中的模糊核可以是包含至少两个参数(即元素)的二维矩阵。例如,图5所示为尺寸为3*3的模糊核,其中,A、B、C、D、E、F、G、H、I均为模糊核的元素。

使用模糊核对像素点邻域进行处理,可将该像素点邻域中的像素值进行加权平均,从而使像素点模糊,其中,像素值的权重为模糊核中与该像素值对应的元素。为表述方便,下文将被模糊核处理的像素点邻域称为被虚化像素点邻域。

例如,使用图6a所示的模糊核对图6b所示的被虚化像素点邻域中的像素点E进行虚化处理,得到的像素点E的像素值(下文将称为虚化后的像素值E)满足下式:虚化后的像素值E=(元素a×像素点A的像素值+元素b×像素点B的像素值+元素c×像素点C的像素值+元素d×像素点D的像素值+元素e×像素点E的像素值+元素f×像素点F的像素值+元素g×像素点G的像素值+元素h×像素点H的像素值+元素i×像素点I的像素值)/9。

又例如,图7a所示的被虚化像素点邻域为基于像素点D构建的像素点邻域,使用图7b所示的模糊核对图7a所示的被虚化像素点邻域中的像素点D进行虚化处理后得到的像素点D的像素值(下文将称为虚化后的像素值D)满足下式:虚化后的像素值D=(元素a×像素点A的像素值+元素b×像素点B的像素值+元素c×像素点C的像素值+元素d×像素点D的像素值)/4。

在一种获取模糊核的实现方式中,图像处理装置接收用户通过输入组件输入的模糊核。

在另一种获取模糊核的实现方式中,图像处理装置接收终端发送的模糊核。

11、从上述第二待处理图像中截取上述背景区域,得到待虚化区域。

应理解,本步骤中的背景区域包括背景像素点和更新像素值后的待校正像素点。

12、使用上述模糊核在上述待虚化区域上滑动,并计算与上述模糊核中的元素对应的像素值的均值,得到上述虚化后的背景区域。

图像处理装置使用模糊核在待虚化区域上滑动,可完成对待虚化区域的虚化处理,得到虚化后的背景区域。但在使用模糊核对待虚化区域进行虚化处理的过程中,图像处理装置只会计算与模糊核中元素对应的像素点的像素值的加权平均值,这样,可取得步骤9所取得的效果。

例如,在图像处理装置使用图6a所示的模糊核对图8所示的待虚化区域进行虚化处理的过程中,模糊核在对处于像素点A进行虚化处理时,模糊核中的元素e与像素点A对应、模糊核中的元素f与像素点B对应、模糊核中的元素h与像素点E对应、模糊核中的元素i与像素点F对应。此时,对像素点A进行虚化处理得到的像素值为:(元素e×像素点A的像素值+元素f×像素点B的像素值+元素h×像素点C的像素值+元素i×像素点D的像素值)/4。

13、使用上述虚化后的背景区域替换上述第二待处理图像中的背景区域,得到上述虚化后的图像。

作为一种可选的实施方式,上述模糊核的边长大于上述阈值。在该种实施方式中,若模糊核的形状不是正方形,上述模糊的边长为模糊和中的最小边长。例如,假设模糊核的尺寸为4*5,那么模糊核的最小边长为4。

作为一种可选的实施方式,前景区域为人像区域,图像处理装置在执行步骤2之前,还执行以下步骤:

14、对上述第一待处理图像进行人像分割处理,得到上述界线。

在该种实施方式中,前景区域为人像区域,即图像处理通过对待处理图像进行虚化处理,突出待处理图像中的人像。

在该步骤中,图像处理装置在获取到第一待处理图像后,通过对第一待处理图像进行人像分割处理,确定前景区域和背景区域,从而得到界线。

基于本申请实施例提供的技术方案,本申请实施例还提供了一种可能的应用场景。用户在外出旅游时通过手机拍摄得到一张风景图像,但由于在拍摄图像时恰巧有游客入镜,因此该风景图像中包含了游客。手机使用本申请实施例提供的技术方案对该风景图像进行背景虚化处理,可突出用户,且可提升背景虚化效果。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。

请参阅图9,图9为本申请实施例提供的一种图像处理装置的结构示意图,该装置1包括:获取单元11、第一处理单元12、第二处理单元13、虚化处理单元14。可选的,该装置1还包括:分割处理单元15。其中:

获取单元11,用于获取第一待处理图像;所述第一待处理图像包括前景区域和背景区域;

第一处理单元12,用于确定背景像素点和待校正像素点,所述待校正像素点为所述背景区域中与所述前景区域的最小距离小于阈值的像素点,所述背景像素点为所述背景区域中非所述待校正像素点的像素点;

第二处理单元13,用于依据所述背景像素点的像素值,更新所述待校正像素点的像素值,得到第二待处理图像;

虚化处理单元14,用于对所述第二待处理图像中的所述背景区域进行虚化处理,得到虚化后的图像。

结合本申请任一实施方式,所述第一处理单元12具体用于:

确定所述待校正像素点,所述待校正像素点为所述背景区域中与所述前景区域的最小距离小于阈值的像素点;

从所述背景区域中确定与界线的距离大于或等于所述阈值的像素点,作为背景像素点;所述界线为所述前景区域和所述背景区域的分界线。

结合本申请任一实施方式,所述第一处理单元12具体用于:

依据所述前景区域内的像素值,更新所述背景区域中与所述界线的距离小于所述阈值的像素点的像素值,得到更新后的像素点;

将所述前景区域和所述更新后的像素点,作为膨胀后的前景区域;

从缩小后的背景区域中选取像素点作为所述背景像素点;所述缩小后的背景区域为所述第一待处理图像中除所述膨胀后的前景区域之外的像素点区域。

结合本申请任一实施方式,所述第二处理单元13具体用于:

构建所述待校正像素点的像素点邻域,其中,所述像素点邻域包含所述背景像素点;

依据所述像素点邻域中的像素值,更新所述待校正像素点的像素值,得到所述第二待处理图像。

结合本申请任一实施方式,所述第二处理单元13具体用于:

计算所述像素点邻域中像素值的均值,作为所述待校正像素点的像素值,得到所述第二待处理图像。

结合本申请任一实施方式,所述第二处理单元13具体用于:

计算所述像素点邻域中的所述背景像素点的像素值的均值,作为所述待校正像素点的像素值,得到所述第二待处理图像。

结合本申请任一实施方式,所述虚化处理单元14具体用于:

获取模糊核;

从所述第二待处理图像中截取所述背景区域,得到待虚化区域;

使用所述模糊核在所述待虚化区域上滑动,并计算与所述模糊核中的元素对应的像素值的均值,得到所述虚化后的背景区域;

使用所述虚化后的背景区域替换所述第二待处理图像中的背景区域,得到所述虚化后的图像。

结合本申请任一实施方式,所述前景区域为人像区域;

所述图像处理装置还包括:分割处理单元15,用于在所述从所述背景区域中确定与界线的距离大于或等于所述阈值的像素点,作为背景像素点之前,对所述第一待处理图像进行人像分割处理,得到所述界线。

本实施例中,第一获取单元11可以是相同的数据接口,第一处理单元12、第二处理单元13、虚化处理单元14和分割处理单元15均可以是图形处理器。

在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。

图10为本申请实施例提供的一种图像处理装置的硬件结构示意图。该图像处理装置2包括处理器21,存储器22,输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。

处理器21可以是一个或多个图形处理器(graphics processing unit,GPU),在处理器21是一个GPU的情况下,该GPU可以是单核GPU,也可以是多核GPU。可选的,处理器21可以是多个GPU构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。

存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。

输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件,也可以是一个整体的器件。

可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关数据,如该存储器22可用于存储通过输入装置23获取的第一待处理图像,又或者该存储器22还可用于存储通过处理器21得到的虚化后的图像等等,本申请实施例对于该存储器中具体所存储的数据不作限定。

可以理解的是,图10仅仅示出了一种图像处理装置的简化设计。在实际应用中,图像处理装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的图像处理装置都在本申请的保护范围之内。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。

相关技术
  • 图像处理方法、图像处理装置、电子设备和计算机可读存储介质
  • 图像处理方法、图像处理装置、电子设备和计算机可读存储介质
技术分类

06120112808786