掌桥专利:专业的专利平台
掌桥专利
首页

图像处理方法及装置、电子设备及计算机可读存储介质

文献发布时间:2024-04-18 20:00:50


图像处理方法及装置、电子设备及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及装置、电子设备及计算机可读存储介质。

背景技术

随着图像处理技术的发展,图像处理的应用场景越来越多,其中就包括改变图像的颜色,例如,将草地的颜色变为绿色,让草地更好看。因此,如何改变图像的颜色具有非常重要的意义。

发明内容

本申请提供一种图像处理方法及装置、电子设备及计算机可读存储介质。

第一方面,提供了一种图像处理方法,该图像处理方法包括:

获取待处理图像;

通过对所述待处理图像进行语义分割,从所述待处理图像中确定目标区域;

通过更改所述待处理图像的色相,将所述待处理图像的颜色更改为目标颜色,得到第一颜色图像,所述第一颜色图像包括与所述目标图像对应的参考区域;

将所述参考区域与所述待处理图像中的所述目标区域进行融合,得到目标图像。

在该方面中,图像处理装置通过对待处理图像进行语义分割,从待处理图像中确定目标区域,然后通过更改待处理图像的色相,将待处理图像的颜色更改为目标颜色,得到第一颜色图像。最后通过将参考区域与待处理图像中的目标区域进行融合,可在不改变待处理图像中非目标区域的颜色的情况下,改变待处理图像中的目标区域的颜色,得到目标图像。

结合本申请任一实施方式,所述通过更改所述待处理图像的色相,将所述待处理图像的颜色更改为目标颜色,得到第一颜色图像,包括:

将所述待处理图像从RGB颜色空间转换至目标颜色空间,得到第二颜色图像,所述目标颜色空间包括色相;

将所述第二颜色图像的像素的色相更改为目标色相,得到第三颜色图像,所述目标色相为与所述目标颜色对应的色相;

将所述第三颜色图像从所述目标颜色空间转换至所述RGB颜色空间,得到所述第一颜色图像。

在该种实施方式中,图像处理装置先将待处理图像从RGB颜色空间转换至包括色相的目标颜色空间,得到第二颜色图像,进而可通过将第二颜色图像的色相更改为目标色相,得到颜色为目标颜色的第三颜色图像。最后通过将第三颜色图像从目标颜色空间转换至RGB颜色空间,可得到第一颜色图像。

结合本申请任一实施方式,所述目标颜色属于目标色系;在得到所述第二颜色图像之后,在所述将所述参考区域与所述待处理图像中的所述目标区域进行融合,得到目标图像之前,所述方法还包括:

以所述第二颜色图像的色相为依据,从所述目标区域中确定属于所述目标色系目标像素,以及不属于所述目标色系的非目标像素;

确定所述目标像素的第一权重和所述非目标像素的第二权重,所述第一权重小于所述第二权重;

所述将所述参考区域与所述待处理图像中的所述目标区域进行融合,得到目标图像,包括:

根据所述第一权重和所述第二权重,对所述参考区域与所述待处理图像中的所述目标区域进行加权融合,得到所述目标图像。

由于参考区域为改变颜色后的区域,目标区域我未改变颜色的区域,在对参考区域与待处理图像中的目标区域进行融合时,目标区域的权重越小,参考区域对目标区域的颜色的改变越明显。例如,目标颜色为蓝色,那么参考区域相当于对目标区域加了蓝色滤镜后的区域,此时在将参考区域与目标区域融合时,目标区域的权重越小,通过融合使目标区域变得越蓝。

在该种实施方式中,图像处理装置以色相为依据,从目标区域中确定属于目标色系目标像素,以及不属于目标色系的非目标像素,然后确定目标像素的第一权重比非目标像素的第二权重小,再根据第一权重确定第三权重,根据第二权重确定第四权重,可使第三权重比第四权重大。这样,根据第一权重和第三权重对目标像素和参考像素进行加权融合,并根据第二权重和第四权重对非目标像素和非参考像素进行加权融合,可使目标像素的颜色改变比非目标像素的颜色改变更多。

而由于参考区域的颜色与目标像素的颜色属于同一色系,而参考区域的颜色与非目标像素的颜色属于不同色系,在目标像素的颜色改变比非目标像素的颜色改变更明显的情况下,可在将目标像素的颜色改为目标颜色的同时,尽可能的减少参考区域的颜色对非目标像素的颜色的改变,从而使融合得到的目标图像更真实。

结合本申请任一实施方式,所述确定所述目标像素的第一权重,包括:

根据所述目标像素的色相,确定所述目标像素的所述第一权重,所述第一权重与所述目标像素的色相或者呈负相关。

基于该种实施方式,确定目标像素的第一权重,可使不同色相的目标像素具有不同的第一权重,进而可保留待处理图像中的目标像素的颜色差异和颜色层次感,具体而言,可保留浅蓝色和深蓝色。

结合本申请任一实施方式,在所述参考区域中,与所述目标像素对应的像素为参考像素,与所述非目标像素对应的像素为非参考像素;

所述根据所述第一权重和所述第二权重,对所述参考区域与所述待处理图像中的所述目标区域进行加权融合,得到所述目标图像,包括:

根据所述第一权重,确定所述参考像素的第三权重;

根据所述第二权重,确定所述非参考像素的第四权重;

将所述第一权重作为所述目标像素的权重、所述第三权重作为所述参考像素的权重,对所述目标像素与所述参考像素融合,并将所述第二权重作为所述非目标像素的权重、所述第四权重作为所述非参考像素的权重,对所述非目标像素与所述非参考像素融合,得到所述目标图像。

结合本申请任一实施方式,所述目标色系所对应的色相处于目标区间;

所述以所述第二颜色图像的色相为依据,从所述目标区域中确定属于所述目标色系目标像素,以及不属于所述目标色系的非目标像素,包括:

以所述第二颜色图像的色相为依据,从所述目标区域中确定色相处于所述目标区间内的像素,作为所述目标像素;

以所述第二颜色图像的色相为依据,从所述目标区域中确定色相处于所述目标区间外的像素,作为所述非目标像素。

结合本申请任一实施方式,所述目标区域为天空,所述目标颜色为蓝色。

结合本申请任一实施方式,所述获取待处理图像,包括:

在接收到针对待处理视频中的所述目标区域进行颜色处理的请求的情况下,从所述待处理视频中获取一帧图像,作为所述待处理图像,所述颜色处理为改变颜色的图像处理。

第二方面,提供了一种图像处理装置,所述图像处理装置包括:

获取单元,用于获取待处理图像;

分割单元,用于通过对所述待处理图像进行语义分割,从所述待处理图像中确定目标区域;

处理单元,用于通过更改所述待处理图像的色相,将所述待处理图像的颜色更改为目标颜色,得到第一颜色图像,所述第一颜色图像包括与所述目标图像对应的参考区域;

融合单元,用于将所述参考区域与所述待处理图像中的所述目标区域进行融合,得到目标图像。

结合本申请任一实施方式,所述处理单元,具体用于:

将所述待处理图像从RGB颜色空间转换至目标颜色空间,得到第二颜色图像,所述目标颜色空间包括色相;

将所述第二颜色图像的像素的色相更改为目标色相,得到第三颜色图像,所述目标色相为与所述目标颜色对应的色相;

将所述第三颜色图像从所述目标颜色空间转换至所述RGB颜色空间,得到所述第一颜色图像。

结合本申请任一实施方式,所述处理单元,还用于:

以所述第二颜色图像的色相为依据,从所述目标区域中确定属于所述目标色系目标像素,以及不属于所述目标色系的非目标像素;

确定所述目标像素的第一权重和所述非目标像素的第二权重,所述第一权重小于所述第二权重;

所述融合单元,具体用于:

根据所述第一权重和所述第二权重,对所述参考区域与所述待处理图像中的所述目标区域进行加权融合,得到所述目标图像。

结合本申请任一实施方式,所述处理单元,具体用于:

根据所述目标像素的色相,确定所述目标像素的所述第一权重,所述第一权重与所述目标像素的色相或者呈负相关。

结合本申请任一实施方式,在所述参考区域中,与所述目标像素对应的像素为参考像素,与所述非目标像素对应的像素为非参考像素;

所述融合单元,具体用于:

根据所述第一权重,确定所述参考像素的第三权重;

根据所述第二权重,确定所述非参考像素的第四权重;

将所述第一权重作为所述目标像素的权重、所述第三权重作为所述参考像素的权重,对所述目标像素与所述参考像素融合,并将所述第二权重作为所述非目标像素的权重、所述第四权重作为所述非参考像素的权重,对所述非目标像素与所述非参考像素融合,得到所述目标图像。

结合本申请任一实施方式,所述目标色系所对应的色相处于目标区间;

所述处理单元,具体用于:

以所述第二颜色图像的色相为依据,从所述目标区域中确定色相处于所述目标区间内的像素,作为所述目标像素;

以所述第二颜色图像的色相为依据,从所述目标区域中确定色相处于所述目标区间外的像素,作为所述非目标像素。

结合本申请任一实施方式,所述目标区域为天空,所述目标颜色为蓝色。

结合本申请任一实施方式,所述获取待处理图像,包括:

在接收到针对待处理视频中的所述目标区域进行颜色处理的请求的情况下,从所述待处理视频中获取一帧图像,作为所述待处理图像,所述颜色处理为改变颜色的图像处理。

第三方面,提供了一种电子设备,其特征在于,包括:处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。

第四方面,提供了另一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。

第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。

第六方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。

图1为本申请实施例提供的一种图像处理方法的流程示意图;

图2为本申请实施例提供的一种蓝色示意图;

图3为本申请实施例提供的一种待处理图像的示意图;

图4为本申请实施例提供的一种第一颜色图像的示意图;

图5为本申请实施例提供的一种掩码示意图;

图6为本申请实施例提供的一种目标图像的示意图;

图7为本申请实施例提供的另一种待处理图像的示意图;

图8为本申请实施例提供的另一种目标图像的示意图;

图9为本申请实施例提供的一种图像处理装置的结构示意图;

图10为本申请实施例提供的一种电子设备的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上,“至少两个(项)”是指两个或三个及三个以上,“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”可表示前后关联对象是一种“或”的关系,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。字符“/”还可表示数学运算中的除号,例如,a/b=a除以b;6/3=2。“以下至少一项(个)”或其类似表达。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

随着图像处理技术的发展,图像处理的应用场景越来越多,其中就包括对图像进行滤镜处理。所谓滤镜处理即为个改变图像的颜色的图像处理。目前的技术通常是对图像的所有区域进行滤镜处理,这样在只需要对特定区域进行滤镜处理时,会导致不需要进行滤镜处理的区域的颜色发生改变。基于此,本申请实施例提供了一种图像处理方法,以改变特定区域的颜色。

本申请实施例的执行主体为图像处理装置,其中,图像处理装置可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备。可选的,图像处理装置可以是以下中的一种:手机、计算机、平板电脑、可穿戴智能设备。

应理解,本申请方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图1,图1是本申请实施例提供的一种图像处理方法的流程示意图。

101、获取待处理图像。

本申请实施例中,待处理图像可以是任意图像。例如,待处理图像可以包含人物,又例如,待处理图像可以包含天空,再例如,待处理图像既包括人物又包括天空。本申请对待处理图像所包含的内容不做限定。

在一种获取待处理图像的实现方式中,图像处理装置接收用户通过输入组件输入的待处理图像获取待处理图像。上述输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器。

在另一种获取待处理图像的实现方式中,图像处理装置接收终端发送的待处理图像获取待处理图像。可选的,终端可以是以下任意一种:手机、计算机、平板电脑、服务器、可穿戴设备。

在又一种获取待处理图像的实现方式中,图像处理装置装载有摄像组件,可选的,摄像组件包括摄像头。图像处理装置通过使用摄像组件采集待处理图像。

102、通过对上述待处理图像进行语义分割,从上述待处理图像中确定目标区域。

本申请实施例中,目标区域为任意区域,例如,目标区域为天空,又例如,目标区域为草地,再例如,目标区域为花圃。

若将目标区域内的像素的语义称为目标语义,通过对待处理图像进行语义分割,可确定待处理图像中语义未目标语义的像素。例如,目标区域为天空,那么目标语义为天空,通过对待处理图像进行语义分割,可确定待处理图像中语义为天空的像素。又例如,目标区域为草地,那么目标语义为草地,通过对待处理图像进行语义分割,可确定待处理图像中语义为草地的像素。再例如,目标区域为花圃,那么目标语义为花圃,通过对待处理图像进行语义分割,可确定待处理图像中语义为花圃的像素。

图像处理装置通过对待处理图像进行语义分割,可确定语义为目标语义的像素,进而将包括语义为目标语义的像素的区域,作为目标区域。例如,目标语义为天空,通过对待处理图像进行语义分割,确定像素a的语义、像素b的语义、像素c的语义均为天空,进而确定目标区域为包括像素a、像素b、像素c的区域。

在一种可能实现的方式中,图像处理装置通过神经网络对待处理图像进行语义分割,从待处理图像中确定目标区域。该神经网络为已训练的神经网络,该神经网络的训练过程包括:利用神经网路对训练图像进行语义分割,预测目标区域在训练图像中的位置。根据该预测得到的位置与目标区域在训练图像中的真实位置的差异,得到训练损失。根据训练损失,更新神经网络的参数,直至训练损失收敛完成训练。

103、通过更改上述待处理图像的色相,将上述待处理图像的颜色更改为目标颜色,得到第一颜色图像。

本申请实施例中,色相是区别各种不同色彩的标准,具体的,基于色相可区分同一色系的不同颜色。例如,深蓝色和浅蓝色均属于蓝色色系,但深蓝色所对应的色相为s1,浅蓝色所对应的色相为s2,其中,s1与s2不同。

因此,通过改变待处理图像的色相,可改变待处理图像的颜色。在一种可能实现的方式中,图像处理装置通过将待处理图像的色相更改为目标颜色对应的色相,将待处理图像的颜色更改为目标颜色。例如,目标颜色为图2所示的蓝色,与该蓝色对应的目标色相为100,那么通过将待处理图像的色相更改为100,可将待处理图像的颜色更改为图2所示的蓝色。具体的,通过将图3所示的待处理图像的色相更改为100,可得到图4所示的第一颜色图像。

本申请实施例中,第一颜色图像包括与目标图像对应的参考区域,具体而言,参考区域在第一颜色图像中的位置与目标区域在待处理图像中的位置相同。例如,目标区域为天空区域,参考区域为第一颜色图像中的天空区域。

104、将上述参考区域与上述待处理图像中的上述目标区域进行融合,得到目标图像。

在一种可能实现的方式中,图像处理装置将参考区域与待处理图像中的目标区域进行加权融合,得到目标图像。

在另一种可能实现的方式中,图像处理装置将参考区域与待处理图像中的目标区域进行叠加,得到目标图像。

在又一种可能实现的方式中,图像处理装置在步骤102中,通过对待处理图像进行语义分割,得到目标区域的掩码(mask)。例如,在目标区域为天空的情况下,对图3所示的待处理图像进行语义分割,可得到图5所示的掩码。在图5中,白色区域表示天空区域,黑色区域表示非天空区域。

图像处理装置以目标区域的掩码为依据,对待处理图像和第一颜色图像进行融合,得到目标图像,具体的,该融合过程可通过下式表达:

其中,

例如,在目标区域为天空的情况下,天空的掩码表示为

即通过公式(2)可将待处理图像和第一颜色图像进行融合,得到目标图像,其中,目标图像相较于待处理图像,天空区域的颜色发生了改变。例如,基于步骤101至步骤104所提供的技术方案,对图3所示的待处理图像进行处理,可得到图6所示的目标图像。

本申请实施例中,图像处理装置通过对待处理图像进行语义分割,从待处理图像中确定目标区域,然后通过更改待处理图像的色相,将待处理图像的颜色更改为目标颜色,得到第一颜色图像。最后通过将参考区域与待处理图像中的目标区域进行融合,可在不改变待处理图像中非目标区域的颜色的情况下,改变待处理图像中的目标区域的颜色,得到目标图像。

作为一种可选的实施方式,图像处理装置在执行步骤103的过程中执行以下步骤:

201、将上述待处理图像从RGB颜色空间转换至目标颜色空间,得到第二颜色图像。

本申请实施例中,RGB中的R标识红色颜色通道,G表示绿色颜色通道,B表示蓝色颜色通道。目标颜色空间包括色相,即目标颜色空间包括色相这一维度的信息。可选的,目标颜色空间为HLS颜色空间,其中,H表示色相,L表示亮度、S表示饱和度。

图像处理装置通过将待处理图像从RGB颜色空间转换至目标颜色空间,可得到第二颜色图像,即第二颜色图像为目标颜色空间下的图像,也即第二颜色图像携带色相信息,具体而言,第二颜色图像携带待处理图像中的像素的色相信息。

在一种可能实现的方式中,将图像从RGB颜色空间转换到HLS颜色空间的转换算法记为f

[_h、img_l、img_s]=f

其中,img表示待处理图像。

202、将上述第二颜色图像的像素的色相更改为目标色相,得到第三颜色图像。

本申请实施例中,目标色相值为与目标颜色对应的色相,例如,与图2所示的蓝色对应的色相为100,那么在目标颜色为图2所示的蓝色的情况下,目标色相为100。图像处理装置通过将第二颜色图像的像素的色相更改为目标色相,得到第三颜色图像,可使第三颜色图像中的像素的颜色均为目标颜色。

203、将上述第三颜色图像从上述目标颜色空间转换至上述RGB颜色空间,得到上述第一颜色图像。

由于第三颜色图像中的像素的颜色均为目标颜色,图像处理装置通过执行步骤203得到的第一颜色图像中的像素的颜色也均为目标颜色,且第一颜色图像为RGB图像。

在一种可能实现的方式中,将图像从HLS颜色空间转换到RGB颜色空间的转换算法记为f

img

其中,img

在该种实施方式中,图像处理装置先将待处理图像从RGB颜色空间转换至包括色相的目标颜色空间,得到第二颜色图像,进而可通过将第二颜色图像的色相更改为目标色相,得到颜色为目标颜色的第三颜色图像。最后通过将第三颜色图像从目标颜色空间转换至RGB颜色空间,可得到第一颜色图像。

作为一种可选的实施方式,目标颜色属于目标色系,例如,目标颜色为图2所示的蓝色,而蓝色属于蓝色色系,那么目标色系为蓝色色系。在该种实施方式中,图像处理装置在得到第二颜色图像之后,在将参考区域与待处理图像中的目标区域进行融合之前,还执行以下步骤:

301、以上述第二颜色图像的色相为依据,从上述目标区域中确定属于上述目标色系的目标像素,以及不属于上述目标色系的非目标像素。

如步骤201所述,第二颜色图像携带待处理图像中的像素的色相信息,因此,图像处理装置可以第二颜色图像的色相为依据,确定目标区域中的像素的色相,进而可从目标区域中确定属于目标色系的像素作为目标像素,并可从目标区域中确定不属于目标色系的像素作为非目标像素。例如,目标色系为蓝色色系,那么图像处理装置通过执行步骤301可从目标区域中确定属于蓝色色系的目标像素,以及不属于蓝色色系的非目标像素。

302、确定上述目标像素的第一权重和上述非目标像素的第二权重。

本申请实施例中,第一权重为目标像素与参考区域融合时的融合权重,第二权重为非目标像素与参考区域融合时的融合权重,第一权重小于第二权重。在一种可能实现的方式中,第一权重和第二权重均为预设值。例如,目标像素的权重为0.6,非目标像素的权重为0.4,那么第一权重为0.6,第二权重为0.4。图像处理装置的存储介质中存储有目标像素的权重和非目标像素的权重,图像处理装置通过从存储介质中读取目标像素的权重和非目标像素的权重,确定第一权重和第二权重。

在得到第一权重和第二权重的情况下,图像处理装置在执行步骤104的过程中执行以下步骤:

303、根据上述第一权重和上述第二权重,对上述参考区域与上述待处理图像中的上述目标区域进行加权融合,得到上述目标图像。

在确定第一权重的情况下,图像处理装置可根据第一权重,确定参考区域中与目标像素进行加权融合的像素的权重,例如,目标像素包括像素a,像素a的第一权重为0.7,参考区域中与像素a进行加权融合的像素为像素b,那么像素b的权重为1-0.7=0.3。同理,在确定第二权重的情况下,图像处理装置可根据第二权重,确定参考区域中与非目标像素进行加权融合的像素的权重。

在确定第一权重、第二权重、参考区域中与目标像素进行加权融合的像素的权重、参考区域中与非目标像素进行加权融合的像素的权重后,图像处理装置进而可利用这些权重对参考区域与目标区域进行加权融合,得到目标图像。

在一种可能实现的方式中,在参考区域中,与目标像素对应的像素为参考像素,即参考像素在第一颜色图像中的位置与目标像素在待处理图像中的位置相同。在参考区域中,与非目标像素对应的像素为非参考像素,即非参考像素在第一颜色图像中的位置与非目标像素在待处理图像中的位置相同。

图像处理装置根据第一权重,确定参考像素的第三权重,例如,目标像素包括像素a,像素a的第一权重为0.7,参考区域中与像素a对应的参考像素为像素b,那么像素b的权重为1-0.7=0.3。同理,图像处理装置根据第二权重,确定非参考像素的第四权重。

图像处理装置将第一权重作为目标像素的权重、第三权重作为参考像素的权重,对目标像素与参考像素融合,并将第二权重作为非目标像素的权重、第四权重作为非参考像素的权重,对非目标像素与非参考像素融合,得到目标图像。

例如,参考区域包括像素a、像素b、像素c、像素d,目标区域包括像素e、像素f、像素g、像素h,其中,像素a和像素b均为参考像素,像素c和像素d均为参考像素,像素e和像素f均为目标像素,像素g和像素h均为非目标像素。像素a在第一颜色图像中的位置与像素e在待处理图像中的位置相同,像素b在第一颜色图像中的位置与像素f在待处理图像中的位置相同,像素c在第一颜色图像中的位置与像素g在待处理图像中的位置相同,像素d在第一颜色图像中的位置与像素h在待处理图像中的位置相同。

图像处理装置在对参考区域和待处理图像中的目标区域进行加权融合的过程中,将第一权重作为像素e的权重、将第三权重作为像素a的权重,对像素a和像素e进行融合得到像素j,将第一权重作为像素f的权重、将第三权重作为像素b的权重,对像素b和像素f进行融合得到像素k,将第二权重作为像素g的权重、将第四权重作为像素c的权重,对像素c和像素g进行融合得到像素l,将第二权重作为像素h的权重、将第四权重作为像素d的权重,对像素d和像素h行融合得到像素m。

此时,目标图像包括像素j、像素k、像素l、像素m,包括像素j、像素k、像素l和像素m的区域即为与目标区域对应的区域。具体而言,像素j在目标图像中的位置与像素e在待处理图像中的位置相同,像素k在目标图像中的位置与像素f在待处理图像中的位置相同,像素l在目标图像中的位置与像素g在待处理图像中的位置相同,像素m在目标图像中的位置与像素h在待处理图像中的位置相同。

由于参考区域为改变颜色后的区域,目标区域我未改变颜色的区域,在对参考区域与待处理图像中的目标区域进行融合时,目标区域的权重越小,参考区域对目标区域的颜色的改变越明显。例如,目标颜色为蓝色,那么参考区域相当于对目标区域加了蓝色滤镜后的区域,此时在将参考区域与目标区域融合时,目标区域的权重越小,通过融合使目标区域变得越蓝。

在该种实施方式中,图像处理装置以色相为依据,从目标区域中确定属于目标色系目标像素,以及不属于目标色系的非目标像素,然后确定目标像素的第一权重比非目标像素的第二权重小,再根据第一权重确定第三权重,根据第二权重确定第四权重,可使第三权重比第四权重大。这样,根据第一权重和第三权重对目标像素和参考像素进行加权融合,并根据第二权重和第四权重对非目标像素和非参考像素进行加权融合,可使目标像素的颜色改变比非目标像素的颜色改变更多。

而由于参考区域的颜色与目标像素的颜色属于同一色系,而参考区域的颜色与非目标像素的颜色属于不同色系,在目标像素的颜色改变比非目标像素的颜色改变更明显的情况下,可在将目标像素的颜色改为目标颜色的同时,尽可能的减少参考区域的颜色对非目标像素的颜色的改变,从而使融合得到的目标图像更真实。

在一个可能实现的场景中,目标区域为天空,目标颜色为蓝色,即需要将天空变为蓝色,此时目标色系为蓝色色系。若天空中有白云,那么白云所对应的像素的颜色为白色,而白色所属的色系为白色色系,即白云所对应的像素不属于目标色系。此时,若直接将天空中颜色变为蓝色,会使白云也变为蓝色,这样显然会使图像失真,即待处理图像中有白云,但目标图像中没有白云。

但基于该种实施方式,确定目标区域中属于蓝色色系的像素为目标像素,不属于蓝色色系的像素为非目标像素,这样,天空区域中颜色为蓝色的像素均为目标像素,而天空区域中颜色不是蓝色的像素均为非目标像素,例如白云所对应的像素为非目标像素。再通过使目标像素的第一权重比非目标像素的第二权重小,可在对参考区域与目标区域进行加权融合后,使目标像素相较于非目标像素变得更蓝,也就是说,可使天空区域中颜色不是蓝色的像素的变蓝的程度小,进而使白云的失真度更小,从而使目标图像更真实。

可选的,第二权重为1,此时第四权重为0,即在参考区域与目标区域加权融合的过程中,非目标像素的颜色完全不受非参考像素的颜色的影响,进而可减小非目标像素的失真度,使目标图像的更真实。例如,在上述场景中,可使白云完全不受蓝色的影响,即目标图像中的白云与待处理图像中的白云完全相同。

作为一种可选的实施方式,图像处理装置通过执行以下步骤确定目标像素的第一权重:

401、根据上述目标像素的色相,确定上述目标像素的上述第一权重。

本申请实施例中,第一权重与目标像素的色相或者呈负相关,例如,目标像素包括像素a和像素b,其中,像素a的色相为80,像素b的色相为90,由于像素a的色相比像素b的色相小,像素a的第一权重比像素b的第一权重大。

又由于第一权重与第三权重呈负相关,第三权重与目标像素的色相呈负相关。而第三权重越大目标像素的颜色改变越多,因此目标像素的色相越大颜色改变越多。这样,通过对参考区域和目标区域进行加权融合得到目标图像,可使目标图像中的目标像素在颜色上保留差异和层次感。

例如,目标像素包括浅蓝色像素和深蓝色像素,而目标颜色为蓝色,若将目标像素变为统一的蓝色,那么在目标图像中,目标像素的颜色均是同一种蓝色,即待处理图像中的目标像素的颜色差异和颜色层次感已被丢失。但若基于该种实施方式,确定目标像素的第一权重,可使不同色相的目标像素具有不同的第一权重,进而可保留待处理图像中的目标像素的颜色差异和颜色层次感,具体而言,可保留浅蓝色和深蓝色。

作为一种可选的实施方式,目标色系所对应的色相处于目标区间,例如,目标色系为蓝色色系,目标区域为80至120,即在色相处于80至120之间的情况下,色相所对应的颜色均属于蓝色色系。

在该种实施方式中,图像处理装置在执行步骤301的过程中执行以下步骤:

501、以上述第二颜色图像的色相为依据,从上述目标区域中确定色相处于上述目标区间内的像素,作为上述目标像素。

502、以上述第二颜色图像的色相为依据,从上述目标区域中确定色相处于上述目标区间外的像素,作为上述非目标像素。

在该种实施方式中,图像处理装置以目标区间和色相为依据,可从目标区域中确定目标像素和非目标像素。

作为一种可选的实施方式,图像处理装置在执行步骤101的过程中执行以下步骤:

601、在接收到针对待处理视频中的上述目标区域进行颜色处理的请求的情况下,从上述待处理视频中获取一帧图像,作为上述待处理图像。

本申请实施例中,待处理视频可以是包括任意内容的视频流。例如,待处理视频可以是电影片段。又例如,待处理视频可以是手机拍摄的视频。再例如,待处理视频可以是通过视频制作软件制作得到的视频。再例如,待处理视频为视频通话过程中所产生的视频。

可选的,图像处理装置在执行步骤601之前,获取待处理视频。在一种获取待处理视频的实现方式中,图像处理装置接收用户通过输入组件输入的待处理视频获取待处理视频。

在另一种获取待处理视频的实现方式中,图像处理装置接收终端发送的待处理视频获取待处理视频。

在又一种获取待处理视频的实现方式中,图像处理装置装载有摄像组件,可选的,摄像组件包括摄像头。图像处理装置通过该摄像组件采集得到待处理视频流。

本申请实施例中,颜色处理为改变颜色的图像处理,可选的,颜色处理为滤镜处理。针对目标区域的滤镜处理,即为需要改变目标区域的颜色的图像处理。而针对待处理视频中的目标区域进行滤镜处理的请求,即需要改变待处理视频中的每一帧图像中的目标区域的颜色。

图像处理装置在接收到针对待处理视频中的目标区域进行颜色处理的请求的情况下,对待处理视频中的每一帧图像分别进行颜色处理,此时,图像处理装置将待处理视频中的任意一帧图像作为上述待处理图像,并基于前文所提供的技术方案,对待处理图像进行处理,以改变目标区域的颜色。

可选的,该请求包括目标颜色,即该请求指示将目标区域的颜色更改为目标颜色。例如,目标区域为天空区域,目标颜色为蓝色,那么针对待处理视频中的目标区域进行颜色处理的请求,即为将待处理视频中的天空区域的颜色更改为蓝色。例如,图7所示的待处理图像为待处理视频中的一帧图像,基于前文所提供的技术方案对图7所示的待处理图像进行处理,可得到图8所示的目标图像。

在该种实施方式中,图像处理装置在接收到针对待处理视频中的目标区域进行颜色处理的请求的情况下,可基于前文所提供的技术方案,对待处理视频中的任意一帧图像进行处理,进而改变任意一帧图像中的目标区域的颜色,从而提高改变待处理视频中的目标区域的颜色的效率。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

若本申请技术方案涉及个人信息,应用本申请技术方案的产品在处理个人信息前,已明确告知个人信息处理规则,并取得个人自主同意。若本申请技术方案涉及敏感个人信息,应用本申请技术方案的产品在处理敏感个人信息前,已取得个人单独同意,并且同时满足“明示同意”的要求。例如,在摄像头等个人信息采集装置处,设置明确显著的标识告知已进入个人信息采集范围,将会对个人信息进行采集,若个人自愿进入采集范围即视为同意对其个人信息进行采集;或者在个人信息处理的装置上,利用明显的标识/信息告知个人信息处理规则的情况下,通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权;其中,个人信息处理可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。

上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。

请参阅图9,图9为本申请实施例提供的一种图像处理装置的结构示意图,该图像处理装置1包括:获取单元11、分割单元12、处理单元13、融合单元14。具体的:

获取单元11,用于获取待处理图像;

分割单元12,用于通过对所述待处理图像进行语义分割,从所述待处理图像中确定目标区域;

处理单元13,用于通过更改所述待处理图像的色相,将所述待处理图像的颜色更改为目标颜色,得到第一颜色图像,所述第一颜色图像包括与所述目标图像对应的参考区域;

融合单元14,用于将所述参考区域与所述待处理图像中的所述目标区域进行融合,得到目标图像。

结合本申请任一实施方式,所述处理单元13,具体用于:

将所述待处理图像从RGB颜色空间转换至目标颜色空间,得到第二颜色图像,所述目标颜色空间包括色相;

将所述第二颜色图像的像素的色相更改为目标色相,得到第三颜色图像,所述目标色相为与所述目标颜色对应的色相;

将所述第三颜色图像从所述目标颜色空间转换至所述RGB颜色空间,得到所述第一颜色图像。

结合本申请任一实施方式,所述处理单元13,还用于:

以所述第二颜色图像的色相为依据,从所述目标区域中确定属于所述目标色系目标像素,以及不属于所述目标色系的非目标像素;

确定所述目标像素的第一权重和所述非目标像素的第二权重,所述第一权重小于所述第二权重;

所述融合单元14,具体用于:

根据所述第一权重和所述第二权重,对所述参考区域与所述待处理图像中的所述目标区域进行加权融合,得到所述目标图像。

结合本申请任一实施方式,所述处理单元13,具体用于:

根据所述目标像素的色相,确定所述目标像素的所述第一权重,所述第一权重与所述目标像素的色相或者呈负相关。

结合本申请任一实施方式,在所述参考区域中,与所述目标像素对应的像素为参考像素,与所述非目标像素对应的像素为非参考像素;

所述融合单元14,具体用于:

根据所述第一权重,确定所述参考像素的第三权重;

根据所述第二权重,确定所述非参考像素的第四权重;

将所述第一权重作为所述目标像素的权重、所述第三权重作为所述参考像素的权重,对所述目标像素与所述参考像素融合,并将所述第二权重作为所述非目标像素的权重、所述第四权重作为所述非参考像素的权重,对所述非目标像素与所述非参考像素融合,得到所述目标图像。

结合本申请任一实施方式,所述目标色系所对应的色相处于目标区间;

所述处理单元13,具体用于:

以所述第二颜色图像的色相为依据,从所述目标区域中确定色相处于所述目标区间内的像素,作为所述目标像素;

以所述第二颜色图像的色相为依据,从所述目标区域中确定色相处于所述目标区间外的像素,作为所述非目标像素。

结合本申请任一实施方式,所述目标区域为天空,所述目标颜色为蓝色。

结合本申请任一实施方式,所述获取待处理图像,包括:

在接收到针对待处理视频中的所述目标区域进行颜色处理的请求的情况下,从所述待处理视频中获取一帧图像,作为所述待处理图像,所述颜色处理为改变颜色的图像处理。

本申请实施例中,图像处理装置通过对待处理图像进行语义分割,从待处理图像中确定目标区域,然后通过更改待处理图像的色相,将待处理图像的颜色更改为目标颜色,得到第一颜色图像。最后通过将参考区域与待处理图像中的目标区域进行融合,可在不改变待处理图像中非目标区域的颜色的情况下,改变待处理图像中的目标区域的颜色,得到目标图像。

在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。

图10为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备2包括处理器21,存储器22。可选的,该电子设备2还包括输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。

处理器21可以包括是一个或多个处理器,例如包括一个或多个中央处理器(central processing unit,CPU),在处理器是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。可选的,处理器21可以是多个CPU构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。

存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。

输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件,也可以是一个整体的器件。

可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关数据,如该存储器22可用于存储通过输入装置23获取的待处理图像,又或者该存储器22还可用于存储通过处理器21得到的目标图像等等,本申请实施例对于该存储器中具体所存储的数据不作限定。

可以理解的是,图10仅仅示出了一种电子设备的简化设计。在实际应用中,电子设备还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的电子设备都在本申请的保护范围之内。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。

相关技术
  • 一种用于中子散射谱仪的导管切换装置
  • 用于自旋回波准弹中子散射谱仪的极化中子自旋翻转装置
  • 一种用于自旋回波准弹中子散射谱仪的中子共振型翻转器
技术分类

06120116539119