掌桥专利:专业的专利平台
掌桥专利
首页

图像处理方法和图像处理装置

文献发布时间:2023-06-19 11:22:42


图像处理方法和图像处理装置

技术领域

本公开涉及图像处理领域,尤其涉及一种用于色调变换的图像处理方法和图像处理装置。

背景技术

用户可通过改变图像或视频的色调来改变当前图像或视频的风格。目前,对于图像或视频的色调变换,一般是对图像或视频的整体进行色调变换。例如,可在一段预先设定的时间(诸如15秒或60秒)内对视频中的所有区域进行色彩的渐变,单调循环不同的色调。此外,在画面有人的情况下,可维持整个人体区域不变,只对图像或视频中的其他场景进行色调变换。

发明内容

本公开提供一种图像处理方法和图像处理装置,以至少解决相关技术中色调变换的形式单一的问题。本公开的技术方案如下:

根据本公开实施例的第一方面,提供一种图像处理方法,可包括以下步骤:获得待编辑图像;确定所述待编辑图像的至少一种色调;从所述待编辑图像中获取与所述至少一种色调相应的区域;以及对获取的区域进行色调变换。

可选地,所述至少一种色调包括待编辑图像的主色调、指定色调和全部色调中的至少一个。

可选地,确定所述待编辑图像的至少一种色调的步骤可包括:将所述待编辑图像转换为HSV图像;根据预先定义的第一色调空间对所述HSV图像中的像素进行色调分类;基于每种色调所包括的像素数来确定所述至少一种色调。

可选地,从所述待编辑图像中获取与所述至少一种色调相应的区域的步骤可包括:根据预先定义的第二色调空间从所述待编辑图像中提取与所述至少一种色调相应的区域。

可选地,第一色调空间和第二色调空间可基于HSV色彩空间被定义,其中,第一色调空间和第二色调空间可分别包括多种色调的取值范围以及与每种色调相应的饱和度和亮度的取值范围。

可选地,与每种色调相应的饱和度和亮度的取值范围可基于超参数被设置,其中,第一色调空间和第二色调空间中的超参数可被不同地设置。

可选地,基于每种色调所包括的像素数来确定所述至少一种色调的步骤可包括:按照每种色调所包括的像素数从大到小的顺序进行色调排序,将色调排序中的前至少一种色调确定为所述至少一种色调;或者根据每种色调所包括的像素数分别与所述待编辑图像的全部像素数的比值以及与每种色调相应的饱和度值来确定所述至少一种色调。

可选地,确定所述待编辑图像的至少一种色调的步骤可包括:对所述待编辑图像的RGB像素进行聚类处理;按照每种类别所包括的像素数从大到小的顺序对每种类别进行排序;将所述排序中的前至少一种类别的聚类中心点的RGB值转换为HSV值;基于预先定义的第一色调空间和转换的HSV值确定所述至少一种色调。

可选地,所述图像处理方法还可包括:接收用户输入;根据所述用户输入对获取的区域进行色调变换。

可选地,所述用户输入可包括第一用户输入和第二用户输入中的至少一个,其中,第一用户输入可用于设置目标色调,第二用户输入可用于设置色调变换程度,其中,所述色调变换程度表示所述待编辑图像中将进行色调变换的区域百分比。

可选地,根据所述用户输入对获取的区域进行色调变换的步骤可包括:基于所述色调变换程度确定获取的区域中将被进行色调变换的区域;和/或将确定的将被进行色调变换的区域的色调变换为所述目标色调。

可选地,在获取的区域中包括人体的情况下,对获取的区域进行色调变换的步骤可包括:利用皮肤检测算法提取该区域中的人体裸露皮肤区域;对所述人体裸露皮肤区域保留原始色调。

可选地,基于所述色调变换程度确定获取的区域中将被进行色调变换的区域的步骤可包括:根据所述色调变换程度来确定包括在获取的区域中的多个色调区域中将进行色调变换的色调区域的数量N,其中,N大于或等于1;按照所述多个色调区域中的每个色调区域所包括的像素数从大到小的顺序进行色调排序;将与色调排序中前N个色调区域确定为所述将被进行色调变换的区域。

可选地,根据所述色调变换程度来确定多个色调区域中将进行色调变换的色调区域的数量N的步骤可包括:在所述色调变换程度小于或等于第一值的情况下,将数量N确定为1;在所述色调变换程度大于或等于第二值的情况下,将数量N确定为全部色调区域的数量;在所述色调变换程度大于第一值并且小于第二值的情况下,将数量N确定为以下值:按照色调排序从前开始依次计算每个色调区域所包括的像素数分别与所述待编辑图像中的有效像素数的比例,直至所述比例之和大于或等于所述色调变换程度的色调区域数量。

可选地,在所述待编辑图像不包括人体的情况下,所述有效像素包括所述待编辑图像中的全部像素;在所述待编辑图像包括人体的情况下,所述有效像素包括所述待编辑图像中的除人体裸露皮肤区域的像素之外的像素。

根据本公开实施例的第二方面,提供一种图像处理装置,可包括:获取模块,被配置为获得待编辑图像;以及处理模块,被配置为:确定所述待编辑图像的至少一种色调;从所述待编辑图像中获取与所述至少一种色调相应的区域;以及对获取的区域进行色调变换。

可选地,处理模块可被配置为将所述待编辑图像转换为HSV图像;根据预先定义的第一色调空间对所述HSV图像中的像素进行色调分类;基于每种色调所包括的像素数来确定所述至少一种色调。

可选地,处理模块可被配置为根据预先定义的第二色调空间从所述待编辑图像中提取与所述至少一种色调相应的区域。

可选地,第一色调空间和第二色调空间可基于HSV色彩空间被定义,其中,第一色调空间和第二色调空间可分别包括多种色调的取值范围以及与每种色调相应的饱和度和亮度的取值范围。

可选地,与每种色调相应的饱和度和亮度的取值范围可基于超参数被设置,其中,第一色调空间和第二色调空间中的超参数可被不同地设置。

可选地,处理模块可被配置为按照每种色调所包括的像素数从大到小的顺序进行色调排序,将色调排序中的前至少一种色调确定为所述至少一种色调;或者根据每种色调所包括的像素数分别与所述待编辑图像的全部像素数的比值以及与每种色调相应的饱和度值来确定所述至少一种色调。

可选地,处理模块可被配置为:对所述待编辑图像的RGB像素进行聚类处理;按照每种类别所包括的像素数从大到小的顺序对每种类别进行排序;将所述排序中的前至少一种类别的聚类中心点的RGB值转换为HSV值;基于预先定义的第一色调空间和转换的HSV值确定所述至少一种色调。

可选地,所述图像处理装置还可包括用户输入模块,被配置为接收用户输入,其中,处理模块被配置为根据所述用户输入对获取的区域进行色调变换。

可选地,所述用户输入可包括第一用户输入和第二用户输入中的至少一个,其中,第一用户输入用于设置目标色调,第二用户输入用于设置色调变换程度,其中,所述色调变换程度表示所述待编辑图像中将进行色调变换的区域百分比。

可选地,处理模块可被配置为:基于所述色调变换程度确定获取的区域中将被进行色调变换的区域;和/或将确定的将被进行色调变换的区域的色调变换为所述目标色调。

可选地,在获取的区域中包括人体的情况下,处理模块可被配置为利用皮肤检测算法提取该区域中的人体裸露皮肤区域;对所述人体裸露皮肤区域保留原始色调。

可选地,处理模块可被配置为:根据所述色调变换程度来确定包括在获取的区域中的多个色调区域中将进行色调变换的色调区域的数量N,其中,N大于或等于1;按照所述多个色调区域中的每个色调区域所包括的像素数从大到小的顺序进行色调排序;将与色调排序中前N个色调区域确定为所述将被进行色调变换的区域。

可选地,处理模块可被配置为:在所述色调变换程度小于或等于第一值的情况下,将数量N确定为1;在所述色调变换程度大于或等于第二值的情况下,将数量N确定为全部色调区域的数量;在所述色调变换程度大于第一值并且小于第二值的情况下,将数量N确定为以下值:按照色调排序从前开始依次计算每个色调区域所包括的像素数分别与所述待编辑图像中的有效像素数的比例,直至所述比例之和大于或等于所述色调变换程度的色调区域数量。

可选地,在所述待编辑图像不包括人体的情况下,所述有效像素包括所述待编辑图像中的全部像素;在所述待编辑图像包括人体的情况下,所述有效像素包括所述待编辑图像中的除人体裸露皮肤区域的像素之外的像素。

根据本公开实施例的第三方面,提供一种电子设备,所述电子设备可包括:至少一个处理器;至少一个存储计算机可执行指令的存储器,其中,所述计算机可执行指令在被所述至少一个处理器运行时,促使所述至少一个处理器执行如上所述的图像处理方法。

根据本公开实施例的第四方面,提供一种存储指令的计算机可读存储介质,当所述指令被至少一个处理器运行时,促使所述至少一个处理器执行如上所述的图像处理方法。

根据本公开实施例的第五方面,提供一种计算机程序产品,所述计算机程序产品中的指令被电子装置中的至少一个处理器运行以执行如上所述的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果:

本公开提供的图像处理方案既可以智能地分析出图像中的主色调区域或交互的指定特定区域,然后将这些区域变换到指定的色调;也可以将图像整体归一变换到指定的色调;同时在有人场景下,可对人体的皮肤区域进行保护并且对人体上的诸如衣服、背包等区域进行色调变换。此外,还提供了用户交互功能,用户可设置期望的色调进行变换,极大地改善了用户体验。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像处理方法的流程图。

图2是根据另一示例性实施例示出的一种图像处理方法的流程图。

图3是根据另一示例性实施例示出的一种图像处理方法的流程图。

图4是根据另一示例性实施例示出的一种图像处理方法的流程图。

图5是根据一示例性实施例示出的一种图像处理方法的流程示意图。

图6是根据一示例性实施例示出的一种图像处理装置的框图。

图7是根据一示例性实施例示出的一种图像处理设备的结构示意图。

图8是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。

提供参照附图的以下描述以帮助对由权利要求及其等同物限定的本公开的实施例的全面理解。包括各种特定细节以帮助理解,但这些细节仅被视为是示例性的。因此,本领域的普通技术人员将认识到在不脱离本公开的范围和精神的情况下,可对描述于此的实施例进行各种改变和修改。此外,为了清楚和简洁,省略对公知的功能和结构的描述。

以下描述和权利要求中使用的术语和词语不限于书面含义,而仅由发明人用来实现本公开的清楚且一致的理解。因此,本领域的技术人员应清楚,本公开的各种实施例的以下描述仅被提供用于说明目的而不用于限制由权利要求及其等同物限定的本公开的目的。

需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

虽然相关技术实现了对图像的色彩变化效果,但是其只会对图像中所有的色彩区域(除去人的部分)进行预先设置的色调变化,而不能实现对图像中具有特定色调的区域(诸如图像中的主色调区域)单独进行色调的变化,也不能指定期望变化的色调;同时也不能将图像中所有的区域变换到指定的色调。此外,虽然相关技术对图像中的所有的人体区域的色调进行了保留,只对不包含人体的区域进行色调的变化,但是其限制了对诸如人体衣服、背包等区域的色调的变化等。

基于上述情况,本公开应运而生,通过综合运用图像处理、统计分析和机器学习等手段,提供了一种用于图像或视频的色调变换的方案。该方案可针对多场景(诸如有人或无人),完成单帧图像中的主色调提取、主色调变换和色调归一变换功能。主色调变换是指智能分析图像中显著的一种或多种色调,然后仅将具有这种色调的区域变换到某一指定的色调,无明显突兀的伪影。色调归一变换是指智能分析图像,将图像中多种色调的区域变换为某一指定色调,无明显突兀的伪影。

本公开既可以分析出图像中的主色调区域或交互的指定特定区域,然后将这些区域的色调变换到指定的色调,也可以将图像整体归一变换到指定的色调上;同时可对人体的皮肤进行保护(即将图像中的皮肤部分保留原图像效果),而对人体上的诸如衣服、背包等色调进行变换,从而提供多种不同的色调变换特效,灵活多变。

在下文中,根据本公开的各种实施例,将参照附图对本公开的方法、装置以及设备进行详细描述。

图1是根据一示例性实施例示出的一种图像处理方法的流程图,如图1所示,图像处理方法可用于对图像或视频的色调变换。图1所示的方法可由任意具有图像处理功能的电子设备执行。电子设备可以是包括如下中的至少一个:例如,智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器(e-book reader)、桌上型PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、相机和可穿戴装置等。

参照图1,在步骤S11中,获得待编辑图像。这里,待编辑图像可以是一张照片或者是从视频中提取的单帧图像。

在步骤S12中,确定待编辑图像的至少一种色调。至少一种色调可以是图像中的主色调,或者可包括主色调以及其他种类的显著色调。或者,确定的至少一种色调可以是用户指定的色调,或者包括上述提及的色调种类的任意组合。上述示例仅是示例性的,本公开不限于此。

主色调可指在待编辑图像中显著的色调。在一幅图像中可能存在一种显著的色调或者存在多种显著的色调。此外,也可根据用户输入来设置关于色调的数量。

在确定待编辑图像中的至少一种色调时,可将待编辑图像转换为HSV图像,根据预先定义的第一色调空间对HSV图像中的像素进行色调分类,然后基于每种色调所包括的像素数来确定至少一种色调。第一色调空间可被预先定义以用于显著性色调分析。第一色调空间可基于HSV色彩空间进行定义。例如,第一色调空间可包括多种色调、每种色调的取值范围以及与每种色调相应的饱和度和亮度的取值范围。

与每种色调相应的饱和度和亮度的取值范围可分别设置有超参数,这样可以忽略一些饱和度和亮度地的区域,使得后续色调变换后的图像或视频过度更加自然。

可根据每种色调的取值范围以及相应的饱和度和亮度的取值范围将待编辑图像中的像素进行分类,按照每种色调所包括的像素数从大到小的顺序进行色调排序,将色调排序中的前至少一种色调确定所述至少一种色调。例如,可将色调排序中的第一种色调确定为所述至少一种色调。例如,可将色调排序中的前若干中色调确定为所述至少一种色调。

作为另一示例,在对待编辑图像中的像素进行分类后,可根据每种色调所包括的像素数分别与待编辑图像的全部像素数的比值以及与每种色调相应的饱和度值来确定至少一种色调。例如,可分别计算每种色调所包括的像素数与待编辑图像的全部像素数的比值,然后分别计算每种色调的相应区域的平均饱和度值,将每种色调的比值与该色调的平均饱和度值相乘,相乘结果越大,表示色调越显著,或者将每种色调的比值与该色调的平均饱和度值相加,相加结果越大,表示色调越显著。因此,可根据上述相乘结果或相加结果来确定至少一种色调。

可选地,在确定待编辑图像中的至少一种色调时,可对待编辑图像的RGB像素进行聚类处理,按照每种类别所包括的像素数从大到小的顺序对每种类别进行排序,将该排序中的前至少一种类别的聚类中心点的RGB值转换为HSV值,基于预先定义的第一色调空间和转换的HSV值确定至少一种色调。

例如,可将Q个最显著类别的聚类中心点标记为[R

在步骤S13中,从待编辑图像中获取与至少一种色调相应的区域。可根据预先定义的第二色调空间从待编辑图像中提取与至少一种色调相应的区域。在确定色调后,可基于不同于第一色调空间的第二色调空间中的每种色调的取值范围来提取待编辑图像中的对应区域。

在步骤S14中,对获取的区域进行色调变换。在进行色调变换时,可根据用户输入来指定将被变换成的色调。通过接收用于设置目标色调的用户输入,可将获取的区域的色调变换为用户期望的目标色调。

此外,在待编辑图像中包括人体的情况下,可保留图像中人体裸露皮肤区域的色调,而对其他区域进行色调变换。例如,可利用皮肤检测算法提取待编辑图像中的人体裸露皮肤区域,对提取的人体裸露皮肤区域保留原始色调,而对人体上的诸如衣服或背包等区域的色调进行变换。

本公开可实现将图像或视频中的色调显著性区域变换到指定的色调,或将整个图像变换到指定的色调,或将图像中的指定区域变换到指定的色调。

图2是根据另一示例性实施例示出的一种图像处理方法的流程图。

参照图2,在步骤S21中,获得待编辑图像。当获取视频时,可提取视频的每个帧图像。

在步骤S22中,将待编辑图像转换为HSV图像。可利用HSV转换算法将待编辑的图像转换为HSV图像。在经过HSV转换之后,HSV图像的每个像素可由色调H、饱和度S、亮度V表示。

在步骤S23中,根据预先定义的色调空间对HSV图像中的像素进行色调分类。

根据本公开的实施例,可基于HSV色彩空间来定义色调空间。所述色调空间可包括多种色调的取值范围以及与每种色调相应的饱和度和亮度的取值范围。此外,与每种色调相应的饱和度和亮度的取值范围分别设置有超参数。对于超参数的设置可在一定程度上使色调变换后的图像更加自然。

作为示例,色调空间中可包括10中色调,诸如黑、灰、白、红、橙、黄、绿、青、蓝和紫色调,每种色调设置相应的取值范围以进行区别。例如,色调空间可由如下表1表示。

表1

在表1中,kBlack、kGrray、kWhite、kRed、kOrange、kYellow、kGreen、kCyan、kBlue、kPurple依次代表黑、灰、白、红、橙、黄、绿、青、蓝和紫色调。[Hmin,Hmax]代表色调的取值范围(Hmin>=0;Hmin<=Hmax;Hmax<=180),[Smin,Smax]代表饱和度的取值范围(Smin>=0;Smin<=Smax;Smax<=255),[Vmin,Vmax]代表亮度的取值范围(Vmin>=0;Vmin<=Smax;Vmax<=255);Ks和Kv是超参数,可根据实际情况来进行设置(-211<=Ks<=44,-208<=Kv<=47),Ks和Kv可忽略一些饱和度和亮度地的像素,例如,可将Ks设置为33,Kv设置为1。然而,上述示例仅是示例性的,本公开不限于此。

可根据色调空间中的每种色调的取值范围将HSV图像的像素进行分类。例如,按照上述表1的色调空间,可将待编辑图像的像素分为10种类别。

在步骤S24中,确定待编辑图像的主色调。这里,主色调可意为该色调在图像中更加显著。在进行像素分类后,可分别计算每种色调所包括的像素数,然后可按照分类后的每种色调所包括的像素数从大到小的顺序进行色调排序,并且将色调排序中的第一种色调确定主色调。

作为示例,在利用表1获得10中色调后,可分别计算10中色调各自占据的像素数,像素数越多,则该色调区域更显著,可选取前G个最显著类别的像素点(在这种情况下G<=10)作为主色调。可选地,在进行显著性色调分析时,可剔除kBlack、kGrray、kWhite三个色调,即在其余的七种色调中进行显著性色调排序,此时G<=7。

作为另一示例,可根据每种色调所包括的像素数分别与待编辑图像的全部像素数的比值以及与每种色调相应的饱和度值来确定主色调。例如,结合每种色调的像素数的占比和与该色调相应的平均饱和度值来选取主色调,诸如将色调的像素数的占比和平均饱和度相乘,值越大,代表该色调越显著;或将色调的像素数的占比和平均饱和度相加,值越大,代表该色调越显著。然而,上述示例仅是示例性,本公开不限于此。

此外,也可利用先验知识、算法处理和统计分析等方式来确定主色调。

在步骤S25中,从待编辑图像中获取与确定的主色调相应的区域。可使用户预先定义的第二色调空间从待编辑图像中提取与确定的主色调相应的区域。

在确定主色调后,可基于不同于第一色调空间的第二色调空间中的每种色调的取值范围来提取待编辑图像中的对应区域。

作为示例,在进行色调区域分割时,可利用表2中的每种色调的取值范围来提取待编辑图像中的对应区域。表2相比较于表1,去掉了kBlack、kGrray、kWhite三种色调,从色调的角度进行区域的划分(换句话说,表2相当于令Ks=44且Kv=47的表1),这样,可避免明显的边界过度不自然现象。

表2

在步骤S26中,对获取的区域进行色调变换。可通过用户输入目标色调值将相应的区域变换为目标色调。或者,可将获取的区域变换为预先设定的色调。

在步骤S27,可对色调变换后的图像进行后处理。根据本公开的实施例,为了平滑图像中变换后的边缘过渡部分,使其看来更自然,可对色调变换后的图像进行滤波处理。此外,为了增加色调变换的多样性,可针对一些特殊的区域,保留原始像素值,如人体肤色部分等。

作为示例,因此为了平滑边缘,可将待编辑的原图作为参考图像,对色调变换后的图像进行导向滤波操作,以保持边缘平滑。在待编辑图像中有人的情况下,可保护人体肤色,这里,肤色检测方法可采用基于椭圆色彩空间的皮肤分割方法或者基于深度学习的皮肤分割算法等实现。此外,还可以利用双边滤波等平滑算法对图像进行滤波处理。

图3是根据另一示例性实施例示出的一种图像处理方法的流程图。

参照图3,在步骤S31中,获得待编辑图像。

在步骤S32中,对待编辑图像的RGB像素进行聚类处理。

作为示例,可以以M为聚类中心个数,将RGB像素值进行聚类。例如,可使用K均值Kmeans、Kmeans++等聚类算法,将待编辑图像中的所有像素点划分为M类。

在步骤S33中,按照每种类别所包括的像素数从大到小的顺序对每种类别进行排序。

在步骤S34中,将排序中的第一种类别的聚类中心点的RGB值转换为HSV值。

在步骤S35中,根据预先定义的第一色调空间和转换的HSV值来确定主色调。类别中像素点个数越多,则可表示该类别越显著,可提取排序中第一个最显著类别的像素点。

在步骤S36中,从待编辑图像中获取与主色调相应的区域。可利用预先定义的第二色调空间从待编辑图像中提取与主色调相应的区域。例如,可按照上述表2来提取主色调的相应区域。例如,在kPurple色调为主色调后,表2中所有在kPurple色调的像素值可被提取并标记为Region

在步骤S37中,对获取的区域进行色调变换。可通过用户输入目标色调值将相应的区域变换为目标色调。或者,可将获取的区域变换为预先设定的色调。

在步骤S38中,可对色调变换后的图像进行后处理。根据本公开的实施例,为了平滑图像中变换后的边缘过渡部分,使其看来更自然,可对色调变换后的图像进行滤波处理。此外,为了增加色调变换的多样性,可针对一些特殊的区域,保留原始像素值,如人体肤色部分等。

图4是根据另一示例性实施例示出的一种图像处理方法的流程图。

参照图4,在步骤S41中,获得待编辑图像。

在步骤S42中,确定待编辑图像的至少一种色调。这里,所述至少一种色调可包括主色调以及除主色调之外的其他色调。或者,所述至少一种色调可以包括待编辑图像中的全部色调。

可利用预先定义的第一色调空间来确定待编辑图像中的至少一种色调。例如,可利用表1所述的第一色调空间确定出10种色调。

在步骤S43中,从待编辑图像中获取与至少一种色调相应的区域。可利用预先定义的第二色调空间确定与步骤S42中确定的至少一种色调相应的区域。例如,可利用表2所示的第二色调空间对待编辑图像进行区域分割。

在步骤S44中,接收用于用户输入。根据本公开的实施例,用户输入可包括第一用户输入和第二用户输入中的至少一个。这里,第一用户输入可用于设置目标色调,第二用户输入可用于设置色调变换程度,其中,所述色调变换程度表示所述待编辑图像中将进行色调变换的区域百分比。

作为示例,色调变换程度的取值范围可以是[0%,100%],记为T%,这表示待编辑图像中至少有百分之T的部分将被变换到目标色度。

在步骤S45中,基于用户输入对获取的区域进行色调变换。在用户输入为第一用户输入的情况下,可将获取的区域的色调变换为输入的目标色调。在用户输入为第二用户输入的情况下,基于色调变换程度确定获取的区域中将被进行色调变换的区域,然后将确定的区域的色调变换为指定的色调。在用户输入包括第一用户输入和第二用户输入的情况下,可基于色调变换程度确定获取的区域中将被进行色调变换的区域,然后将确定的区域的色调变换为输入的目标色调。上述示例仅是示例性的,本公开不限于此。

在根据第二用户输入确定将被进行色调变换的区域的情况下,首先根据色调变换程度来确定包括在获取的区域中的多个色调区域中将进行色调变换的色调区域的数量N(其中,N大于或等于1),按照多个色调区域中的每个色调区域所包括的像素数从大到小的顺序进行色调排序,将与色调排序中前N个色调区域确定为所述将被进行色调变换的区域。

根据本公开的实施例,可采用以下方式确定数量N。在色调变换程度小于或等于第一值的情况下,将数量N确定为1;在色调变换程度大于或等于第二值的情况下,将数量N确定为全部色调区域的数量;在色调变换程度大于第一值并且小于第二值的情况下,将数量N确定为以下值:按照色调排序从前开始依次计算每个色调区域所包括的像素数分别与待编辑图像中的有效像素数的比例,直至所述比例之和大于或等于色调变换程度的色调区域数量。

在待编辑图像不包括人体的情况下,所述有效像素包括待编辑图像中的全部像素。在所述待编辑图像包括人体的情况下,所述有效像素包括待编辑图像中的除人体裸露皮肤区域的像素之外的像素。

例如,在色调变换程度T

在T>t

当t

Ratio(Region

依次计算前n个色调的像素比例,直至满足以下等式(2)

此时,可取N=n,代表将这n种色调区域都变换到指定色调或目标色调。变换方式可以是将[Region

此外,当t

通过在色调变换中设置色调变换程度,既可以通过设置t

作为一种可选的实施方式,可对色调变换后的图像进行后处理。根据本公开的实施例,为了平滑图像中变换后的边缘过渡部分,使其看来更自然,可对色调变换后的图像进行滤波处理。此外,为了增加色调变换的多样性,可针对一些特殊的区域,保留原始像素值,如人体肤色部分等。

作为示例,因此为了平滑边缘,可将待编辑的原图作为参考图像,对色调变换后的图像进行导向滤波操作,以保持边缘平滑。在待编辑图像中有人的情况下,可保护人体肤色,这里,肤色检测方法可采用基于椭圆色彩空间的皮肤分割方法或者基于深度学习的皮肤分割算法等实现。

图5是根据一示例性实施例示出的一种图像处理方法的流程示意图。

参照图5,获取待编辑的图像或视频。在获取视频的情况下,提取单帧图像,对每一帧图像逐帧处理。

对获取的图像或视频进行色调显著性分析。可利用第一色调空间进行色调显著性分析。例如,基于HSV色彩空间将色调空间预定义为10种色调,分别是kBlack、kGrray、kWhite、kRed、kOrange、kYellow、kGreen、kCyan、kBlue、kPurple,依次代表黑、灰、白、红、橙、黄、绿、青、蓝和紫色调。可通过先验知识、算法处理和统计分析等方式,获得图像或视频中的前G种主(或显著)色调,标记为[Color

可选地,可利用基于HSV色彩空间的色调空间来确定至少一种色调。例如,根据上述表1中10种色调的取值范围,将HSV图像中的像素划分为10种类别,即10块区域。然后分别计算10块区域的各自占据的像素个数,像素个数越多,则该色调区域更显著,取前G个最显著类别的像素点(在这种情况下G<=10),或者可结合像素个数的占比和该区域的平均饱和度值来选取。或者,在进行显著性色调分析时,可去除表1中的kBlack、kGrray、kWhite三个色彩,即在其余的7种色调中进行显著性色调空间区域排序,所以G<=7。

接下来,根据确定的至少一种色调对待编辑图像进行色调区域分割。可利用第二色调空间进行色调区域的分割。例如,可根据分析出的前G种显著性色调,按照表2中的范围依次提取图像中的对应区域,可标记为[Region

如果在显著性色调分析中采取的是基于RGB色彩空间的聚类算法,则将G个最显著类别的聚类中心点,标记为[R

如果利用表1中预定义的色调空间进行的显著性色调分析,则可按照表2提取对应的色调的区域[Region

在进行色调变换时,可根据用户输入对上述分割的区域进行色调变换。在用户输入为第一用户输入的情况下,可将获取的区域的色调变换为输入的目标色调。在用户输入为第二用户输入的情况下,基于色调变换程度确定上述分割区域中将被进行色调变换的区域,然后将确定的区域的色调变换为指定的色调。在用户输入包括第一用户输入和第二用户输入的情况下,可基于色调变换程度确定上述分割区域中将被进行色调变换的区域,然后将确定的区域的色调变换为输入的目标色调。上述示例仅是示例性的,本公开不限于此。

通过设置用户输入,可实现主色调变换效果和色调归一变换效果,极大地改善了用户体验。

在色调变换后,对变换后的图像进行后处理。例如,为了平滑图像中变换后的边缘过渡部分,使其看来更自然,可对色调变换后的图像进行滤波处理。此外,为了增加色调变换的多样性,可针对一些特殊的区域,保留原始像素值,如人体肤色部分等。

在后处理后,可获得最终的目标图像。

图6是根据一示例性实施例示出的一种图像处理装置的框图。参照图6,图像处理装置600可包括获取模块601和处理模块602。此外,图像处理装置600还可包括用户输入模块603。图像处理装置600中的每个模块可由一个或多个模块来实现,并且对应模块的名称可根据模块的类型而变化。在各种实施例中,可省略图像处理装置600中的一些模块,或者还可包括另外的模块。此外,根据本公开的各种实施例的模块/元件可被组合以形成单个实体,并且因此可等效地执行相应模块/元件在组合之前的功能。

获取模块601可获得待编辑图像。

处理模块602可确定待编辑图像的至少一种色调。这里,所述至少一种色调可以是主色调、指定色调或其他色调。

处理模块602可从待编辑图像中获取与确定的至少一种色调相应的区域,并且对获取的区域进行色调变换。

处理模块602可将待编辑图像转换为HSV图像,根据预先定义的第一色调空间对HSV图像中的像素进行色调分类,基于每种色调所包括的像素数来确定至少一种色调。

处理模块602可根据预先定义的第二色调空间从待编辑图像中提取与所述至少一种色调相应的区域。

第一色调空间和第二色调空间可基于HSV色彩空间可被预先定义,其中,第一色调空间和第二色调空间可分别包括多种色调的取值范围以及与每种色调相应的饱和度和亮度的取值范围。与每种色调相应的饱和度和亮度的取值范围可基于超参数被设置,其中,第一色调空间和第二色调空间中的超参数可被不同地设置。例如,第一色调空间可如上述表1所示,第二色调空间可如上述表2所示。

处理模块602可按照每种色调所包括的像素数从大到小的顺序进行色调排序,将色调排序中的前至少一种色调确定为所述至少一种色调;或者根据每种色调所包括的像素数分别与所述待编辑图像的全部像素数的比值以及与每种色调相应的饱和度值来确定所述至少一种色调。

处理模块602可对待编辑图像的RGB像素进行聚类处理;按照每种类别所包括的像素数从大到小的顺序对每种类别进行排序,将所述排序中的前至少一种类别的聚类中心点的RGB值转换为HSV值;基于预先定义的第一色调空间和转换的HSV值确定所述至少一种色调。

用户输入模块603可接收用户输入。

处理模块602可根据接收的用户输入对获取的区域进行色调变换。根据本公开的实施例,用户输入可包括第一用户输入和第二用户输入中的至少一个,其中,第一用户输入用于设置目标色调,第二用户输入用于设置色调变换程度,其中,所述色调变换程度表示所述待编辑图像中将进行色调变换的区域百分比。

处理模块602可基于色调变换程度确定获取的区域中将被进行色调变换的区域。

处理模块602可将确定的将被进行色调变换的区域的色调变换为目标色调。

在获取的区域中包括人体的情况下,处理模块602可利用皮肤检测算法提取该区域中的人体裸露皮肤区域,并且对人体裸露皮肤区域保留原始色调。

处理模块602可根据色调变换程度来确定包括在获取的区域中的多个色调区域中将进行色调变换的色调区域的数量N,其中,N大于或等于1,按照多个色调区域中的每个色调区域所包括的像素数从大到小的顺序进行色调排序,将与色调排序中前N个色调区域确定为将被进行色调变换的区域。

在色调变换程度小于或等于第一值的情况下,处理模块602可将数量N确定为1。

在色调变换程度大于或等于第二值的情况下,处理模块602可将数量N确定为全部色调区域的数量。

在色调变换程度大于第一值并且小于第二值的情况下,处理模块602可将数量N确定为以下值:按照色调排序从前开始依次计算每个色调区域所包括的像素数分别与待编辑图像中的有效像素数的比例,直至所述比例之和大于或等于色调变换程度的色调区域数量。这里,在待编辑图像不包括人体的情况下,有效像素包括待编辑图像中的全部像素。在待编辑图像包括人体的情况下,有效像素包括待编辑图像中的除人体裸露皮肤区域的像素之外的像素。例如,参照上述等式(2)来计算数量N。

图7是根据一示例性实施例示出的一种图像处理设备的结构示意图。

如图7所示,图像处理设备700可包括:处理组件701、通信总线702、网络接口703、输入输出接口704、存储器705以及电源组件706。其中,通信总线702用于实现这些组件之间的连接通信。输入输出接口704可以包括视频显示器(诸如,液晶显示器)、麦克风和扬声器以及用户交互接口(诸如,键盘、鼠标、触摸输入装置等),可选地,输入输出接口704还可包括标准的有线接口、无线接口。网络接口703可选的可包括标准的有线接口、无线接口(如无线保真接口)。存储器705可以是高速的随机存取存储器,也可以是稳定的非易失性存储器。存储器705可选的还可以是独立于前述处理组件701的存储装置。

本领域技术人员可以理解,图7中示出的结构并不构成对图像处理设备700的限定,可包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

如图7所示,作为一种存储介质的存储器705中可包括操作系统、数据存储模块、网络通信模块、用户接口模块、图像处理程序以及数据库。

在图7所示的图像处理设备700中,网络接口703主要用于与外部设备/终端进行数据通信;输入输出接口704主要用于与用户进行数据交互;图像处理设备700中的处理组件701、存储器705可被设置在图像处理设备700中,图像处理设备700通过处理组件701调用存储器705中存储的图像处理程序以及由操作系统提供的各种API,执行本公开实施例提供的图像处理方法。

处理组件701可以包括至少一个处理器,存储器705中存储有计算机可以执行指令集合,当计算机可以执行指令集合被至少一个处理器执行时,执行根据本公开实施例的图像处理方法。此外,处理组件701可执行编码操作和解码操作等。然而,上述示例仅是示例性的,本公开不限于此。

处理组件701可获得待编辑图像,确定待编辑图像的至少一种色调,从待编辑图像中获取与至少一种色调相应的区域,并且对获取的区域进行色调变换。可选地,可根据用户输入对获取的区域进行色调变换。

图像处理设备700可经由输入输出接口704接收或输出图像和/或视频。例如,用户可经由输入输出接口704输出处理后的图像或视频以分享给其他用户。

作为示例,图像处理设备700可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里,图像处理设备700并非必须是单个的电子设备,还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。图像处理设备700还可以是集成控制系统或系统管理器的一部分,或者可以被配置为与本地或远程(例如,经由无线传输)以接口互联的便携式电子设备。

在图像处理设备700中,处理组件701可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制,处理组件701还可以包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

处理组件701可运行存储在存储器中的指令或代码,其中,存储器705还可以存储数据。指令和数据还可以经由网络接口703而通过网络被发送和接收,其中,网络接口703可以采用任何已知的传输协议。

存储器705可以与处理器集成为一体,例如,将RAM或闪存布置在集成电路微处理器等之内。此外,存储器705可包括独立的装置,诸如,外部盘驱动、存储阵列或任何数据库系统可以使用的其他存储装置。存储器和处理器可以在操作上进行耦合,或者可以例如通过I/O端口、网络连接等互相通信,使得处理器能够读取存储在存储器中的文件。

根据本公开的实施例,可提供一种电子设备。图8是根据本公开实施例的电子设备的框图,该电子设备800可包括至少一个存储器802和至少一个处理器801,所述至少一个存储器802存储有计算机可执行指令集合,当计算机可执行指令集合被至少一个处理器801执行时,执行根据本公开各种实施例的图像处理方法。

处理器801可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制,处理器801还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。

作为一种存储介质的存储器802可包括操作系统、数据存储模块、网络通信模块、用户接口模块、图像处理程序以及数据库。

存储器802可与处理器801集成为一体,例如,可将RAM或闪存布置在集成电路微处理器等之内。此外,存储器802可包括独立的装置,诸如,外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器802和处理器801可在操作上进行耦合,或者可例如通过I/O端口、网络连接等互相通信,使得处理器801能够读取存储在存储器802中的文件。

此外,电子设备800还可包括视频显示器(诸如,液晶显示器)和用户交互接口(诸如,键盘、鼠标、触摸输入装置等)。电子设备800的所有组件可经由总线和/或网络而彼此连接。

作为示例,电子设备800可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里,电子设备800并非必须是单个的电子设备,还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备800还可以是集成控制系统或系统管理器的一部分,或者可被配置为与本地或远程(例如,经由无线传输)以接口互联的便携式电子设备。

本领域技术人员可理解,图8中示出的结构并不构成对的限定,可包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

根据本公开的实施例,还可提供一种存储指令的计算机可读存储介质,其中,当指令被至少一个处理器运行时,促使至少一个处理器执行根据本公开的图像处理方法。这里的计算机可读存储介质的示例包括:只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如,多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置,所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行,此外,在一个示例中,计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上,使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。

根据本公开的实施例中,还可提供一种计算机程序产品,该计算机程序产品中的指令可由计算机设备的处理器执行以完成上述图像处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。

应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

相关技术
  • 图像处理装置和图像处理方法、图像处理方法的程序、以及具有记录在其上的图像处理方法的程序的记录介质
  • 图像处理设备、图像处理方法、用于图像处理方法的程序、以及记录有用于图像处理方法的程序的记录介质
技术分类

06120112899161