图像颜色迁移方法、装置、存储介质与电子设备
文献发布时间:2023-06-19 11:29:13
技术领域
本公开涉及图像处理技术领域,尤其涉及图像颜色迁移方法、视觉定位装置、计算机可读存储介质与电子设备。
背景技术
颜色迁移是指基于图像A的颜色对图像B进行颜色调整,使调整后的图像B具有图像A的颜色风格。相关技术中,对于不同图像通常采用较为固定的方式进行颜色迁移,这样容易影响迁移后图像的视觉效果。
发明内容
本公开提供了图像颜色迁移方法、图像颜色迁移装置、计算机可读存储介质与电子设备,进而至少在一定程度上改善颜色迁移后图像的视觉效果。
根据本公开的第一方面,提供一种图像颜色迁移方法,包括:获取待处理图像与参考图像;当根据所述待处理图像的亮度值与所述参考图像的亮度值判断满足亮度预设条件时,采用第一迁移策略将所述待处理图像向所述参考图像进行颜色迁移;当根据所述待处理图像的亮度值与所述参考图像的亮度值判断不满足所述亮度预设条件时,采用第二迁移策略将所述待处理图像向所述参考图像进行颜色迁移。
根据本公开的第二方面,提供一种图像颜色迁移方法,包括:获取待处理图像与参考图像;根据所述待处理图像与所述参考图像的各个图像通道的数值,在所述各个图像通道中确定第一类图像通道与第二类图像通道;对所述待处理图像的全部第一类图像通道向所述参考图像进行统一的数值调整;对所述待处理图像的每个第二类图像通道分别向所述参考图像进行单独的数值调整。
根据本公开的第三方面,提供一种图像颜色迁移装置,包括:图像获取模块,被配置为获取待处理图像与参考图像;第一颜色迁移模块,被配置为当根据所述待处理图像的亮度值与所述参考图像的亮度值判断满足亮度预设条件时,采用第一迁移策略将所述待处理图像向所述参考图像进行颜色迁移;第二颜色迁移模块,被配置为当根据所述待处理图像的亮度值与所述参考图像的亮度值判断不满足所述亮度预设条件时,采用第二迁移策略将所述待处理图像进向所述参考图像行颜色迁移。
根据本公开的第四方面,提供一种图像颜色迁移装置,包括:图像获取模块,被配置为获取待处理图像与参考图像;图像通道分类模块,被配置为根据所述待处理图像与所述参考图像的各个图像通道的数值,在所述各个图像通道中确定第一类图像通道与第二类图像通道;第一颜色迁移模块,被配置为对所述待处理图像的全部第一类图像通道向所述参考图像进行统一的数值调整;第二颜色迁移模块,被配置为对所述待处理图像的每个第二类图像通道分别向所述参考图像进行单独的数值调整。
根据本公开的第五方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一或第二方面的图像颜色迁移方法及其可能的实现方式。
根据本公开的第六方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述第一或第二方面的图像颜色迁移方法及其可能的实现方式。
本公开的技术方案具有以下有益效果:
在一种方案中,针对待处理图像与参考图像的亮度值满足亮度预设条件与不满足亮度预设条件这两种情况,分别采用第一迁移策略与第二迁移策略对待处理图像进行颜色迁移,使得所采用的迁移策略与图像的亮度差异状况相适应,提高了图像颜色迁移的灵活性,有利于改善颜色迁移后图像的视觉效果。
在另一种方案中,针对待处理图像与参考图像的每个图像通道的数值差异状况,将图像通道划分为第一类图像通道与第二类图像通道,并分别采取统一的颜色迁移与单独的颜色迁移进行处理。由此提高了不同图像通道中的颜色迁移针对性,能够实现充分的颜色迁移,并一定程度地保留待处理图像中不同通道的数值分布特征,以呈现较为丰富的色阶,同样有利于改善颜色迁移后图像的视觉效果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
图1示出本示例性实施方式中一种图像颜色迁移方法的流程图;
图2示出本示例性实施方式中判断是否满足预设条件的流程图;
图3示出本示例性实施方式中进行三个图像通道调整的流程图;
图4示出本示例性实施方式中进行非亮度通道调整的流程图;
图5示出本示例性实施方式中进行亮度通道调整的流程图;
图6示出本示例性实施方式中一种图像颜色迁移方法的示意性流程图;
图7示出本示例性实施方式中另一种图像颜色迁移方法的流程图;
图8示出本示例性实施方式中一种图像颜色迁移装置的结构示意图;
图9示出本示例性实施方式中另一种图像颜色迁移装置的结构示意图;
图10示出本示例性实施方式中一种电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的步骤。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
相关技术中,无论图像A与图像B的颜色或亮度差别大小如何,均采用固定的方式进行颜色迁移。当两张图像的亮度差别过大时,颜色迁移后容易损失图像B原有的色阶,导致图像B的视觉表现力下降。
鉴于上述问题,本公开的示例性实施方式提供一种图像颜色迁移方法,可以由终端设备或服务器执行。该图像颜色迁移方法的应用场景包括但不限于:在终端设备的图像处理软件中提供颜色迁移的功能,当用户输入待处理图像与参考图像后,可以由终端设备执行本示例性实施方式的图像颜色迁移方法,对待处理图像进行颜色迁移,并输出迁移后的图像;或者当用户输入待处理图像与参考图像后,可以由终端设备将待处理图像与参考图像发送至服务器,由服务器执行本示例性实施方式的图像颜色迁移方法,对待处理图像进行颜色迁移,并反馈迁移后的图像。
下面结合图1对本示例性实施方式的图像颜色迁移方法进行说明,图1示出了图像颜色迁移方法的示例性流程,可以包括:
步骤S110,获取待处理图像与参考图像;
步骤S120,当根据待处理图像的亮度值与参考图像的亮度值判断满足亮度预设条件时,采用第一迁移策略将待处理图像向参考图像进行颜色迁移;
步骤S130,当根据待处理图像的亮度值与参考图像的亮度值判断不满足亮度预设条件时,采用第二迁移策略将待处理图像向参考图像进行颜色迁移。
通过上述方法,针对待处理图像与参考图像的亮度值满足亮度预设条件与不满足亮度预设条件这两种情况,分别采用第一迁移策略与第二迁移策略对待处理图像进行颜色迁移,使得所采用的迁移策略与图像的亮度差异状况相适应,提高了图像颜色迁移的灵活性,有利于改善迁移后图像的视觉效果。
下面分别对图1中的每个步骤进行具体说明。
参考图1,在步骤S110中,获取待处理图像与参考图像。
其中,待处理图像是需要进行颜色迁移的图像,参考图像是用于颜色迁移参照的图像,即待处理图像进行颜色迁移后,颜色风格应当与参考图像相近。待处理图像与参考图像可以由用户选取或输入。本公开对于待处理图像或参考图像的数量不做限定,例如待处理图像的数量可以是多张,本示例性实施方式对多张待处理图像进行批量的颜色迁移处理。参考图像的数量也可以是多张,这样可以综合多张参考图像的颜色特征进行颜色迁移处理。例如,可以将多张参考图像合称为一张参考图像,使待处理图像向合成后的参考图像进行颜色迁移,或者分别将待处理图像向每张参考图像进行颜色迁移,得到多张迁移后的图像。
在一种实施方式中,为了便于后续在步骤S120或S130中对待处理图像的亮度值与参考图像的亮度值进行判断,可以将待处理图像与参考图像转换为包含亮度通道的颜色模式。例如,初始输入的待处理图像与参考图像为RGB(RGB分别为红、绿、蓝颜色通道)颜色模式,可以将待处理图像与参考图像从RGB转换为Lab(L为亮度通道,a和b为两个颜色通道)颜色模式或者HSL(H为色相通道,S为饱和度通道,L为亮度通道)颜色模式。
继续参考图1,在步骤S120中,当根据待处理图像的亮度值与参考图像的亮度值判断满足亮度预设条件时,采用第一迁移策略将待处理图像向参考图像进行颜色迁移。
亮度预设条件是衡量从待处理图像到参考图像的亮度差异状况是否达到一定标准的条件,例如亮度预设条件可用于衡量从待处理图像到参考图像的亮度值变化是否过大。本示例性实施方式中,可以设置满足亮度预设条件表示亮度值变化不大,采用第一迁移策略,不满足亮度预设条件表示亮度值变化过大,采用第二迁移策略。当然也可以设置为相反的情况,即满足亮度预设条件表示亮度值变化过大,不满足亮度预设条件表示亮度值变化不大。本示例性实施方式以满足亮度预设条件表示亮度值变化不大为例进行后续说明。
待处理图像与参考图像的亮度值包括图像中每个像素点的亮度值,本示例性实施方式可以基于不同像素点的亮度值进行统计,并通过比较待处理图像与参考图像的亮度值统计结果,判断是否满足亮度预设条件。
在一种实施方式中,参考图2所示,上述根据待处理图像的亮度通道值与参考图像的亮度通道值判断满足亮度预设条件,可以包括:
步骤S210,获取对待处理图像中不同像素点的亮度值进行统计所得到的第一亮度统计值,以及对参考图像中不同像素点的亮度值进行统计所得到的第二亮度统计值;
步骤S220,判断第一亮度统计值与第二亮度统计值之差小于亮度预设阈值。
其中,亮度统计值用于反映图像的整体亮度水平,可以是亮度平均值、亮度中位值、亮度众数值,或者反映图像亮度分布状况的亮度方差、亮度标准差等。第一亮度统计值与第二亮度统计值可以是相同的统计指标。例如第一亮度统计值可以是待处理图像中不同像素点的亮度平均值,相应的,第二亮度统计值可以是参考图像中不同像素点的亮度平均值;进而,可以判断两亮度平均值之差是否小于亮度预设阈值,以确定亮度值变化是否过大。亮度预设阈值可以是衡量亮度统计值之差是否过大的标准,可以根据经验确定,也可以针对不同的图像场景进行适应性调整,本公开对此不做限定。
在一种实施方式中,第一亮度统计值可以包括第一亮度平均值与第一亮度方差,第二亮度统计值可以包括第二亮度平均值与第二亮度方差。步骤S220可以包括:判断第一亮度平均值与第二亮度平均值之差小于第一亮度预设阈值,以及第一亮度方差与第二亮度方差之差小于第二亮度预设阈值。即,待处理图像与参考图像的亮度平均值差别不大,且亮度值波动幅度差别也不大时,判断满足亮度预设条件。第一亮度预设阈值与第二亮度预设阈值分别是针对亮度平均值之差与亮度方差之差的标准,可以根据经验、图像场景等确定。
在一种实施方式中,对于第一亮度统计值与第二亮度统计值之差等于亮度预设阈值的情况,可作为满足亮度预设条件的特殊情况,也可作为不满足亮度预设条件的特殊情况,本公开对此不做限定。
当满足亮度预设条件时,采用第一迁移策略。第一迁移策略可以是将参考图像的颜色风格完全替代待处理图像的颜色风格,包括完全采用参考图像的亮度特征。
在一种实施方式中,第一迁移策略可以是:将待处理图像中各个图像通道向参考图像进行统一的数值调整,例如可以对待处理图像中各个图像通道的数值进行统一的线性变换。
在一种实施方式中,参考图3所示,上述采用第一迁移策略将待处理图像向参考图像进行颜色迁移,可以包括:
步骤S310,对待处理图像与参考图像分别确定三个图像通道间的三元协方差矩阵;
步骤S320,基于待处理图像的三元协方差矩阵与参考图像的三元协方差矩阵,确定待处理图像与参考图像间的第一转换参数;
步骤S330,利用第一转换参数与参考图像对待处理图像的三个图像通道的数值进行调整。
其中,三个图像通道可以是在任意颜色模式下的图像通道,例如在Lab颜色模式下,三个图像通道为L通道、a通道与b通道。在待处理图像中,每个像素点包括三个图像通道的数值,由此可以对任意两个图像通道计算协方差,得到三元协方差矩阵。三元协方差矩阵是指对三组变量两两计算协方差所得到的矩阵,一般为3*3的矩阵。以Lab颜色模式为例,待处理图像的三元协方差矩阵如下所示:
其中,下标u表示待处理图像。cov()表示两个变量的协方差,当括号中的两个变量相同时,协方差为方差,如cov(L,L)表示L的方差。同理可得参考图像的三元协方差矩阵Σ
分别对待处理图像的三元协方差矩阵与参考图像的三元协方差矩阵进行特征值分解,进而根据特征值与特征向量计算第一转换参数T1如下:
其中,T1为矩阵,D表示特征值组成的对角矩阵,P表示特征向量组成的正交矩阵。
利用第一转换参数T1,可以将待处理图像的每个图像通道的数值向参考图像进行迁移调整,参考如下公式:
img
其中,img
基于图3的方法进行颜色迁移,可以保留待处理图像中较为丰富的颜色信息,改善颜色迁移效果。
继续参考图1,在步骤S130中,当根据待处理图像的亮度值与参考图像的亮度值判断不满足亮度预设条件时,采用第二迁移策略将待处理图像向参考图像进行颜色迁移。
与步骤S120相反的,当不满足亮度预设条件表示时,采用第二迁移策略。第二迁移策略可以是将参考图像的颜色风格部分替代待处理图像的颜色风格,保留待处理图像的部分亮度特征。
在一种实施方式中,第二迁移策略可以是将待处理图像中非亮度通道向参考图像进行统一的数值调整,将亮度通道向参考图像进行单独的数值调整。
在一种实施方式中,参考图4所示,上述采用第二迁移策略将待处理图像向参考图像进行颜色迁移,可以包括:
步骤S410,对待处理图像与参考图像分别确定两个非亮度通道间的二元协方差矩阵;
步骤S420,基于待处理图像的二元协方差矩阵与参考图像的二元协方差矩阵,确定待处理图像与参考图像间的第二转换参数;
步骤S430,利用第二转换参数与参考图像分别对待处理图像的两个非亮度通道的数值进行调整。
其中,非亮度通道指除亮度通道以外的其他图像通道,在Lab颜色模式下,两个非亮度通道为a通道与b通道。对两个非亮度通道计算协方差,得到二元协方差矩阵,一般为2*2的矩阵。以Lab颜色模式为例,待处理图像的二元协方差矩阵如下所示:
分别对待处理图像的二元协方差矩阵与参考图像的二元协方差矩阵进行特征值分解,进而根据特征值与特征向量计算第二转换参数T2。T2也是矩阵的形式,与上述T1相比,区别在于矩阵的维度不同。
利用第二转换参数T2,可以将待处理图像的两个非亮度通道的数值向参考图像进行迁移调整,可以参考上述公式(5)。
基于图4的方法进行颜色迁移,同样可以保留待处理图像中较为丰富的颜色特征,同时不影响亮度特征。
在一种实施方式中,参考图5所示,上述采用第二迁移策略对所述待处理图像进行颜色迁移,还可以包括:
步骤S510,基于参考图像的亮度值与待处理图像的亮度值之比,确定亮度调整参数;
步骤S520,利用亮度调整参数对待处理图像的亮度通道的数值进行调整。
其中,亮度调整参数用于表示调整的幅度。当参考图像的亮度值与待处理图像的亮度值之比大于1时,说明参考图像的亮度值更高,可以对待处理图像的亮度通道的数值向上调整,反之可以向下调整。本公开对于具体的调整方式不做限定,例如可以采用非线性变换方式进行调整。
需要说明的是,图5所示为对亮度通道的数值进行单独调整的方法,其与图4所示的方法相互独立,因此本公开对于图4与图5之间的先后顺序不做限定。
通过对亮度通道进行单独调整,即使从待处理图像到参考图像的亮度值变化较大,也可以针对性调整到合适的亮度值,以实现有效的颜色迁移。
在一种实施方式中,步骤S510可以通过以下方式实现:
获取对待处理图像中不同像素点的亮度值进行统计所得到的第三亮度统计值,以及对参考图像中不同像素点的亮度值进行统计所得到的第四亮度统计值;
当第三亮度统计值大于第四亮度统计值时,根据第四亮度统计值与第三亮度统计值之比以及第一补偿值,确定亮度调整参数;
当第三亮度统计值小于第四亮度统计值时,根据第四亮度统计值与第三亮度统计值之比以及第二补偿值,确定亮度调整参数。
其中,第三亮度统计值与上述第一亮度统计值可以采用相同的统计方式,也可以采用不同的统计方式,例如第三亮度统计值与上述第一亮度统计值均是待处理图像中不同像素点的亮度平均值。第四亮度统计值与第三亮度统计值可以是相同的统计指标。
第三亮度统计值大于第四亮度统计值,与第三亮度统计值小于第四亮度统计值,分别表示待处理图像与参考图像的两种亮度差异状况,第一补偿值是在前一种状况下对对第四亮度统计值与第三亮度统计值之比进行补偿的数值,第二补偿值是在后一种状况下对第四亮度统计值与第三亮度统计值之比进行补偿的数值。其中,第一补偿值可用于增大(或减小)亮度调整的幅度,第二补偿值与第一补偿值的效果相反,可用于减小(或增大)亮度调整的幅度。第一补偿值或第二补偿值可以通过加法、乘法、指数等形式对第四亮度统计值与第三亮度统计值之比进行补偿,本公开对此不做限定。
在一种实施方式中,第一补偿值与第二补偿值可视为同一系数在上述两种状况下的两种数值。
第一补偿值与第二补偿值的关系,以及具体的数值设置,与所采用的调整方式相关。举例来说,采用亮度调整参数对待处理图像的亮度通道的数值进行线性调整。第三亮度统计值与第四亮度统计值均为亮度方差,如果第三亮度统计值大于第四亮度统计值,说明待处理图像的亮度分布更加离散,在向参考图像进行线性调整时,为了保留亮度分布的离散性,可以设置较大的第一补偿值,以提高亮度通道的数值与亮度调整参数进行加乘后的数值离散性;如果第三亮度统计值小于第四亮度统计值,说明待处理图像的亮度分布更加集中,在向参考图像进行线性调整时,为了保留亮度分布的集中性,可以设置较小的第二补偿值,以降低亮度通道的数值与亮度调整参数进行加乘后的数值离散性。
可见,通过为参考图像的亮度值与待处理图像的亮度值之比补偿不同的数值,可以针对不同状况进行更加精细的调整。
在一种实施方式中,步骤S520可以通过以下方式实现:
以亮度调整参数为指数,通过幂函数关系对待处理图像的亮度通道的数值进行调整。
一般的,将待处理图像的亮度通道数值进行归一化后,可以通过幂函数关系进行整体的向上或向下调整。在调整过程中,可以一定程度上保留待处理图像的亮度分布特征,即可以一定程度保留待处理图像亮度分布的离散性或集中性。
通过以下公式(7)举例说明:
其中,L
通过公式(7)的方式进行亮度通道的数值调整,在向参考图像进行整体的亮度迁移同时,还能够较好地保留待处理图像中的亮度分布特征,以呈现更加丰富的色阶,进一步改善图像颜色迁移的效果。
本公开对于幂函数关系中的指数不做限定,例如公式(7)中作为亮度调整参数的指数部分
在一种实施方式中,当第三亮度统计值等于第四亮度统计值时,说明待处理图像与参考图像的亮度非常相近,可以不对待处理图像的亮度通道的数值进行调整。
图6示出了图像颜色迁移方法的示意性流程图。参考图6所示,该方法流程包括:
S610,输入待处理图像与参考图像;
S620,将待处理图像与参考图像从RGB颜色模式转换为Lab颜色模式;
S630,计算待处理图像的L通道平均值与参考图像的L通道平均值,判断两L通道平均值之差是否小于亮度预设阈值,若是,则执行步骤S640,若否,则执行步骤S650;
S640,对Lab三个图像通道的数值进行统一的线性颜色迁移,输出颜色迁移后的图像;
S650,对ab两个图像通道的数值进行统一的线性颜色迁移,并继续执行步骤S660;
S660,对L通道的数值进行单独调整,输出颜色迁移后的图像。
本公开的示例性实施方式还提供另一种图像颜色迁移方法。参考图7所示,该方法可以包括以下步骤S710至S740:
步骤S710,获取待处理图像与参考图像。
待处理图像与参考图像的获取可以参考步骤S110,在此不再赘述。
步骤S720,根据待处理图像与参考图像的各个图像通道的数值,在各个图像通道中确定第一类图像通道与第二类图像通道。
本示例性实施方式中,根据待处理图像与参考图像在每个图像通道的数值差异状况,对图像通道进行分类。一般的,将数值差异状况分为两类,对应的,数值差异状况属于第一类的图像通道为第一类图像通道,数值差异状况属于第二类的图像通道为第二类图像通道。
在一种实施方式中,可以通过衡量待处理图像与参考图像在每个图像通道的数值之差,以将数值差异状况分类。具体地,步骤S720可以包括:
获取对待处理图像中不同像素点在任一图像通道的数值进行统计所得到的该图像通道的第一统计值,以及对参考图像中不同像素点在该图像通道的数值进行统计所得到的该图像通道的第二统计值;
当上述图像通道的第一统计值与第二统计值之差小于该图像通道对应的预设阈值时,将该图像通道确定为第一类图像通道;
当上述图像通道的第一统计值与第二统计值之差大于该图像通道对应的预设阈值时,将该图像通道确定为第二类图像通道。
其中,第一统计值与第二统计值可以是相同的统计指标,如平均值、中位值、众数值、方差、标准差等。对于每个图像通道,均可以在待处理图像与参考图像中进行统计,得到该图像通道的第一统计值与第二统计值。进而将第一统计值与第二统计值之差,与该图像通道对应的预设阈值进行比较,以对该图像通道进行分类。
每个图像通道对应的预设阈值,是衡量从待处理图像到参考图像该图像通道的数值变化是否过大的标准,可以根据经验与图像场景来确定。不同图像通道对应的预设阈值可以相同,也可以不同。
当图像通道的第一统计值与第二统计值之差小于该图像通道对应的预设阈值时,说明该图像通道的数值变化不大,将该图像通道确定为第一类图像通道。当图像通道的第一统计值与第二统计值之差大于该图像通道对应的预设阈值时,说明该图像通道的数值变化过大,将该图像通道确定为第二类图像通道。
在一种实施方式中,当图像通道的第一统计值与第二统计值之差等于该图像通道对应的预设阈值时,可以将该图像通道确定为第一类图像通道,也可以将该图像通道确定为第二类图像通道,本公开对此不做限定。
需要说明的是,上述各个图像通道可以是在任意颜色模式下的图像通道,即本示例性实施方式对于待处理图像与参考图像的颜色模式不做限定。例如待处理图像与参考图像均为RGB颜色模式,R、G通道的第一统计值与第二统计值之差小于各自通道对应的预设阈值,B通道的第一统计值与第二统计值之差大于B通道对应的预设阈值,则R、G通道为第一类图像通道,B通道为第二类图像通道。
步骤S730,对待处理图像的全部第一类图像通道向参考图像进行统一的数值调整。
其中,对全部第一类图像通道进行统一的数值调整,是指采用相同的方式或参数进行调整,不对某个第一类图像通道做特别区分。
在一种实施方式中,步骤S730可以包括:
对待处理图像与参考图像分别确定第一类图像通道间的m元协方差矩阵,m为第一类图像通道的数量;
基于待处理图像的m元协方差矩阵与参考图像的m元协方差矩阵,确定待处理图像与参考图像间的统一转换参数;
利用统一转换参数与参考图像对待处理图像的全部第一类图像通道的数值进行调整。
举例来说,待处理图像或参考图像的图像通道总数一般为3,其中有两个图像通道为第一类图像通道,即m=2,则分别得到待处理图像二元协方差矩阵与参考图像的二元协方差矩阵。进而可以参考上述公式(2)~(5)部分的内容,得到待处理图像与参考图像间的统一转换参数(参考上述第一转换参数T1或第二转换参数T2),进而实现统一的数值调整。
应当理解,此处的统一转换参数针对于全部第一类图像通道,与亮度通道/非亮度通道的划分无关。当亮度通道属于第一类图像通道时,也可以通过统一转换参数进行亮度通道的数值调整。
步骤S740,对待处理图像的每个第二类图像通道分别向参考图像进行单独的数值调整。
其中,对每个第二类图像通道进行单独的数值调整,是指针对不同的第二类图像通道采用不同的方式或参数进行调整。
在一种实施方式中,步骤S740可以包括:
基于参考图像与待处理图像在每个第二类图像通道的数值之比,确定每个第二类图像通道的调整参数;
分别利用每个第二类图像通道的调整参数对待处理图像的每个第二类图像通道的数值进行调整。
其中,调整参数是针对于每个第二类图像通道,即不同的第二类图像通道的调整参数一般也不同。
每个第二类图像通道的调整参数的确定以及具体的调整方式,可以参考上述图5部分的内容,与亮度调整参数的确定以及亮度通道的数值调整方式相似。
举例来说,待处理图像与参考图像均为RGB颜色模式,R、G通道为第一类图像通道,B通道为第二类图像通道。对待处理图像统计不同像素点的B通道平均值,记为μ
其中,B
基于图7所示的方法,针对待处理图像与参考图像的每个图像通道的数值差异状况,将图像通道划分为第一类图像通道与第二类图像通道,并分别采取统一的颜色迁移与单独的颜色迁移进行处理。由此提高了不同图像通道中的颜色迁移针对性,在实现充分的颜色迁移同时,一定程度地保留待处理图像中不同通道的数值分布特征,以呈现较为丰富的色阶,改善图像颜色迁移的效果。
本公开的示例性实施方式还提供一种图像颜色迁移装置。参考图8所示,该图像颜色迁移装置800可以包括:
图像获取模块810,被配置为获取待处理图像与参考图像;
第一颜色迁移模块820,被配置为当根据待处理图像的亮度值与参考图像的亮度值判断满足亮度预设条件时,采用第一迁移策略将待处理图像向参考图像进行颜色迁移;
第二颜色迁移模块830,被配置为当根据待处理图像的亮度值与参考图像的亮度值判断不满足亮度预设条件时,采用第二迁移策略将待处理图像向参考图像进行颜色迁移。
在一种实施方式中,上述根据待处理图像的亮度通道值与参考图像的亮度通道值判断满足亮度预设条件,包括:
获取对待处理图像中不同像素点的亮度值进行统计所得到的第一亮度统计值,以及对参考图像中不同像素点的亮度值进行统计所得到的第二亮度统计值;
判断第一亮度统计值与第二亮度统计值之差小于亮度预设阈值。
在一种实施方式中,第一颜色迁移模块820,被配置为:
对待处理图像与参考图像分别确定三个图像通道间的三元协方差矩阵;
基于待处理图像的三元协方差矩阵与参考图像的三元协方差矩阵,确定待处理图像与参考图像间的第一转换参数;
利用第一转换参数与参考图像对待处理图像的三个图像通道的数值进行调整。
在一种实施方式中,第二颜色迁移模块830包括非亮度通道调整单元,被配置为:
对待处理图像与参考图像分别确定两个非亮度通道间的二元协方差矩阵;
基于待处理图像的二元协方差矩阵与参考图像的二元协方差矩阵,确定待处理图像与参考图像间的第二转换参数;
利用第二转换参数与参考图像分别对待处理图像的两个非亮度通道的数值进行调整。
在一种实施方式中,第二颜色迁移模块830还包括亮度通道调整单元,被配置为:
基于参考图像的亮度值与待处理图像的亮度值之比,确定亮度调整参数;
利用亮度调整参数对待处理图像的亮度通道的数值进行调整。
在一种实施方式中,亮度通道调整单元,被配置为:
获取对所述待处理图像中不同像素点的亮度值进行统计所得到的第三亮度统计值,以及对所述参考图像中不同像素点的亮度值进行统计所得到的第四亮度统计值;
当所述第三亮度统计值大于所述第四亮度统计值时,根据所述第四亮度统计值与所述第三亮度统计值之比以及第一补偿值,确定所述亮度调整参数;
当所述第三亮度统计值小于所述第四亮度统计值时,根据所述第四亮度统计值与所述第三亮度统计值之比以及第二补偿值,确定所述亮度调整参数。
在一种实施方式中,亮度通道调整单元,被配置为:
以亮度调整参数为指数,通过幂函数关系对待处理图像的亮度通道的数值进行调整。
本公开的示例性实施方式还提供一种图像颜色迁移装置。参考图9所示,该图像颜色迁移装置900可以包括:
图像获取模块910,被配置为获取待处理图像与参考图像;
图像通道分类模块920,被配置为根据待处理图像与参考图像的各个图像通道的数值,在各个图像通道中确定第一类图像通道与第二类图像通道;
第一颜色迁移模块930,被配置为对待处理图像的全部第一类图像通道向参考图像进行统一的数值调整;
第二颜色迁移模块940,被配置为述待处理图像的每个第二类图像通道分别向参考图像进行单独的数值调整
在一种实施方式中,图像通道分类模块920,被配置为:
获取对待处理图像中不同像素点在任一图像通道的数值进行统计所得到的任一图像通道的第一统计值,以及对参考图像中不同像素点在任一图像通道的数值进行统计所得到的任一图像通道的第二统计值;
当任一图像通道的第一统计值与第二统计值之差小于任一图像通道对应的预设阈值时,将任一图像通道确定为第一类图像通道;
当任一图像通道的第一统计值与第二统计值之差大于任一图像通道对应的预设阈值时,将任一图像通道确定为第二类图像通道。
在一种实施方式中,第一颜色迁移模块930,被配置为:
对待处理图像与参考图像分别确定第一类图像通道间的m元协方差矩阵,m为第一类图像通道的数量;
基于待处理图像的m元协方差矩阵与参考图像的m元协方差矩阵,确定待处理图像与参考图像间的统一转换参数;
利用统一转换参数与参考图像对待处理图像的全部第一类图像通道的数值进行调整。
在一种实施方式中,第二颜色迁移模块940,被配置为:
基于参考图像与待处理图像在每个第二类图像通道的数值之比,确定每个第二类图像通道的调整参数;
分别利用每个第二类图像通道的调整参数对待处理图像的每个第二类图像通道的数值进行调整。
上述装置800与装置900中各部分的细节在方法部分实施方式中已经详细说明,因而不再赘述。
本公开的示例性实施方式还提供了一种计算机可读存储介质,可以实现为一种程序产品的形式,其包括程序代码,当程序产品在电子设备上运行时,程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。在一种实施方式中,该程序产品可以实现为便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在电子设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本公开的示例性实施方式还提供了一种电子设备,可以是用于执行图像颜色迁移处理的终端设备或服务器。下面参考图10对该电子设备进行说明。应当理解,图10显示的电子设备1000仅仅是一个示例,不应对本本公开实施方式的功能和使用范围带来任何限制。
如图10所示,电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于:至少一个处理单元1010、至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030。
其中,存储单元存储有程序代码,程序代码可以被处理单元1010执行,使得处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如,处理单元1010可以执行如图1所示的方法步骤等。
存储单元1020可以包括易失性存储单元,例如随机存取存储单元(RAM)1021和/或高速缓存存储单元1022,还可以进一步包括只读存储单元(ROM)1023。
存储单元1020还可以包括具有一组(至少一个)程序模块1025的程序/实用工具1024,这样的程序模块1025包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1030可以包括数据总线、地址总线和控制总线。
电子设备1000也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信,这种通信可以通过输入/输出(I/O)接口1040进行。电子设备1000还可以通过网络适配器1050与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1050通过总线1030与电子设备1000的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1000使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的示例性实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。
- 图像颜色迁移方法、装置、存储介质与电子设备
- 图像颜色迁移方法、装置、计算机设备和存储介质