掌桥专利:专业的专利平台
掌桥专利
首页

图像处理模型的训练方法和装置、白平衡处理方法和装置

文献发布时间:2023-06-19 11:11:32


图像处理模型的训练方法和装置、白平衡处理方法和装置

技术领域

本申请属于图像处理技术领域,具体涉及一种图像处理模型的训练方法和装置、白平衡处理方法和装置。

背景技术

在相关技术中,对于相机等图像获取设备,由于硬件传感器的局限,传感器输出的图像与人眼观看的图像会存在一定的差别,导致拍摄图像中物体颜色与人眼识别的被摄物体的实际颜色不同。

一般来说,需要对拍摄的照片源片进行白平衡处理,目前基于深度神经网络的白平衡方法基于监督和半监督方法,而该方法在模型训练过程中,需要大量包含真实光源注释的训练集数据,而真实光源注释需要消耗大量的时间,造成训练集获取困难,最终降低训练所得模型的准确性。

因此,目前亟需一种能够不依赖真实光源注释的训练集数据的训练方法。

发明内容

本申请实施例的目的是提供一种图像处理模型的训练方法和装置、图像的白平衡处理方法和装置,能够不依赖真实光源注释的训练集数据来对图像处理模型进行高效训练。

为了解决上述技术问题,本申请是这样实现的:

第一方面,本申请实施例提供了一种图像处理模型的训练方法,包括:

获取第一训练集图像;

对第一训练集图像进行偏色处理,得到偏色后的第二训练集图像;

通过第一训练集图像和第二训练集图像对待训练神经网络进行训练,得到用于白平衡处理的图像处理模型。

第二方面,本申请实施例提供了一种图像处理模型的训练装置,包括:

第一获取单元,用于获取第一训练集图像;

第一处理单元,用于对第一训练集图像进行偏色处理,得到偏色后的第二训练集图像;

训练单元,通过第一训练集图像和第二训练集图像对待训练神经网络进行训练,得到用于白平衡处理的图像处理模型。

第三方面,本申请实施例提供了一种图像的白平衡处理方法,包括:

获取根据第一方面中提供的图像处理模型的训练方法训练得到的图像处理模型;

通过图像处理模型对待处理图像进行白平衡处理,得到白平衡处理后的目标图像。

第四方面,本申请实施例提供了一种图像的白平衡处理装置,包括:

第二获取单元,用于获取根据第一方面中提供的图像处理模型的训练方法训练得到的图像处理模型;

第二处理单元,用于通过图像处理模型对待处理图像进行白平衡处理,得到白平衡处理后的目标图像。

第五方面,本申请实施例提供了一种电子设备,包括处理器,存储器及存储在存储器上并可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面中提供的图像处理模型的训练方法;和/或

如第三方面中提供的图像的白平衡处理方法。

第六方面,本申请实施例提供了一种可读存储介质,可读存储介质上存储程序或指令,程序或指令被处理器执行时实现如第一方面中提供的图像处理模型的训练方法;和/或

如第三方面中提供的图像的白平衡处理方法。

在本申请实施例中,在对图像处理模型进行训练的过程中,首先获取第一训练集图像,其中,第一训练集图像为原始图像,该原始图像不需要真实光源的注释信息,因此大部分计算机视觉领域内的标准数据集均符合训练要求,如CIFAR-10、PASCALVOC2007、PASCALVOC2012数据集等。

进一步地,对第一训练集图像进行偏色处理,在该步骤中,可以通过人为的在第一训练集图像中的原始图像上添加随机偏色,使得原始图像产生偏色,进而生成用于训练的偏色后的第二训练集图像。具体地,可以在编码器编码后得到的特征图像上叠加随机的偏色信息,或对原始图像上进行色彩转移等方式,对第一训练集图像进行偏色处理,并输出与第一训练集图像中每一张原始图像一一对应的偏色图像,并形成为第二训练集图像。

在得到第二训练集图像之后,使第一训练集图像作为第二训练集图像(也即偏色图像)的监督标签,形成最终的训练数据,并通过第一训练集和第二训练集的训练数据对待训练神经网络进行训练,在训练过程中,通过损失函数计算神经网络基于第二训练集图像中的偏色图像还原出的输出图像,与第一训练集图像中的原始图像之间的损失值,当损失函数收敛,损失值符合要求时,完成对神经网络的训练,最终得到符合要求的、能够准确完成对原始照片白平衡调节的神经网络模型,即上述图像处理模型。

本申请实施例中提供的图像处理模型的训练方法中,应用的训练数据无需进行真实光源的注释,因此可以节约大量的注释时间,同时由于训练过程不需要真实光源的注释信息,因此可以采用现存的海量数据集对神经网络进行训练,在极大的增加了可选连数据集的同时,降低了训练难度,实现了不依赖真实光源注释的高效训练。

附图说明

图1示出了根据本申请实施例的图像处理模型的训练方法的流程图之一;

图2示出了根据本申请实施例的图像处理模型的训练方法的流程图之二;

图3示出了根据本申请实施例的图像处理模型的结构示意图;

图4示出了根据本申请实施例的图像处理模型的训练方法的流程图之三;

图5示出了根据本申请实施例的图像处理模型的训练装置的结构框图;

图6示出了根据本申请实施例的图像的白平衡处理方法的流程图之一;

图7示出了根据本申请实施例的图像的白平衡处理方法的流程图之二;

图8示出了根据本申请实施例的图像的白平衡处理装置的结构框图;

图9示出了根据本申请实施例的电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。

下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理模型的训练方法和装置、白平衡处理方法和装置进行详细地说明。

在本申请的一些实施例中,提供了一种图像处理模型的训练方法,图1示出了根据本申请实施例的图像处理模型的训练方法的流程图之一,如图1所示,该训练方法包括:

步骤102,获取第一训练集图像;

步骤104,对第一训练集图像进行偏色处理,得到偏色后的第二训练集图像;

步骤106,通过第一训练集图像和第二训练集图像对待训练神经网络进行训练,得到用于白平衡处理的图像处理模型。

在本申请实施例中,在对图像处理模型进行训练的过程中,首先获取第一训练集图像,其中,第一训练集图像为原始图像,该原始图像不需要真实光源的注释信息,因此大部分计算机视觉领域内的标准数据集均符合训练要求,如CIFAR-10数据集、PASCALVOC2007数据集、PASCALVOC2012数据集等。

进一步地,对第一训练集图像进行偏色处理,在该步骤中,可以通过人为的在第一训练集图像中的原始图像上添加随机偏色,使得原始图像产生偏色,进而生成用于训练的偏色后的第二训练集图像。具体地,可以在编码器编码后得到的特征图像上叠加随机的偏色信息,或对原始图像上进行色彩转移等方式,对第一训练集图像进行偏色处理,并输出与第一训练集图像中每一张原始图像一一对应的偏色图像,并形成为第二训练集图像。

在得到第二训练集图像之后,使第一训练集图像作为第二训练集图像(也即偏色图像)的监督标签,形成最终的训练数据,并通过第一训练集和第二训练集的训练数据对待训练神经网络进行训练,在训练过程中,通过损失函数计算神经网络基于第二训练集图像中的偏色图像还原出的输出图像,与第一训练集图像中的原始图像之间的损失值,当损失函数收敛,损失值符合要求时,完成对神经网络的训练,最终得到符合要求的、能够准确完成对原始照片白平衡调节的神经网络模型,即上述图像处理模型。

本申请实施例中提供的图像处理模型的训练方法中,应用的训练数据无需进行真实光源的注释,因此可以节约大量的注释时间,同时由于训练过程不需要真实光源的注释信息,因此可以采用现存的海量数据集对神经网络进行训练,在极大的增加了可选连数据集的同时,降低了训练难度,实现了不依赖真实光源注释的高效训练。

在本申请的一些实施例中,待训练神经网络包括编码器网络,图2示出了根据本申请实施例的图像处理模型的训练方法的流程图之二,如图2所示,对第一训练集图像进行偏色处理,得到第二训练集图像,包括:

步骤202,通过编码器网络对第一训练集图像进行卷积处理,得到第一特征图数据;

步骤204,获取预设的偏色数据和激活函数;

步骤206,通过激活函数将偏色数据添加至第一特征图数据中,得到偏色的第二特征图数据;

步骤208,根据第二特征图数据生成第二训练集图像。

在本申请实施例中,待训练模型,以及目标的图像处理模型,均包括编码器网络,其中,编码器网络可续选用5层的AlexNet结构,对应的,可以设置与其对称的5层解码器网络,图3示出了根据本申请实施例的图像处理模型的结构示意图,如图3所示,自编码结构共包含10层网络。

具体地,将第一训练集图像中的原始图像输入至编码器中,其中原始图像可以选用尺寸为227×227的三通道彩色图像。将原始图像输入至编码器网络后,经过编码器网络的5层卷积进行特征提取,编码器网络输出尺寸为6×6×256的第一特征图数据。

进一步地,获取预设的偏色数据,该偏色数据可以是随机选取的偏色数据,具体为6×6的特征图的偏色数据,通过激活函数将偏色数据添加至第一特征图数据中,具体可以将6×6的偏色数据与6×6×256的第一特征图数据进行按位相乘,经过激活函数,得到对应的输出即为偏色的第二特征图数据。将得到的第二特征图数据合并后,生成最终的第二训练集图像。

在该过程中,第二训练集图像是经过第一训练集图像处理得到,因此第一特征图数据不需要进行真实光源的注释,因此可以节约大量的注释时间,同时由于训练过程不需要真实光源的注释信息,因此可以采用现存的海量数据集对神经网络进行训练,在极大的增加了可选连数据集的同时,降低了训练难度。

在本申请的一些实施例中,待训练神经网络包括解码器网络,图4示出了根据本申请实施例的图像处理模型的训练方法的流程图之三,如图4所示,通过第一训练集图像和第二训练集图像对待训练神经网络进行训练,包括:

步骤402,通过解码器网络对第二训练集图像进行反卷积处理,得到输出图像;

步骤404,获取预设的损失函数,将输出图像和第一训练集图像输入至损失函数;

步骤406,获取损失函数输出的当前损失值,以目标损失值范围为目标持续训练待训练神经网络,直至当前损失值落入目标损失值范围内。

在本申请实施例中,在对待训练神经网络,也即上述图像处理模型进行训练的过程中,将第二训练集图像,也即通过在第一训练集图像中的原始图像上添加噪音得到的偏色图像输入至解码器网络,其中,在编码器网络续选用5层的AlexNet结构的情况下,解码器网络可选择与其对称的5层解码器网络。通过解码器网络,将第二训练集图像进行反卷积处理,输出“还原”的、调节白平衡之后的输出图像。

进一步地,将第一训练集图像中的原始图像,和经解码器网络还原白平衡之后的输出图像一通输入值损失函数中,通过损失函数计算出输出图像相较于原始图像的损失值,该损失值能够反应输出图像与原始图像之间的差距。在训练过程中,以目标损失值范围为目标,持续对待训练神经网络进行训练,在该过程中,持续通过海量的第一训练集图像和经处理后得到的第二训练集图像来训练待训练神经网络,使得待训练神经网络在训练过程中不断迭代进化,解码器网络输出的输出图像不断“接近”原始图像,在该过程中,损失函数计算出的损失值不断靠近目标损失值范围。

当损失值落入目标损失值范围内时,认为损失函数收敛,此时待训练神经网络的输出图像已经非常接近原始图像,可以认定训练后的神经网络,也即上述图像处理模型能够准确的对“偏色”照片进行自动的白平衡调整,此时判断训练完成。在该过程中,训练采用反向传播的方式进行,能够加快网络收敛,提高训练效率。

在一些实施方式中,在对待训练神经网络进行训练的过程中,还可以采用Adam优化器辅助训练,一方面避免训练结果陷入“局部最优”的情况,另一方面能够进一步地加快网络收敛,提高训练效率。

能够理解的是,上述目标损失值范围可以根据训练需求和应用迭代需求进行调整,当得到一个符合当前需求的“图像处理模型”之后,可以在投入使用的过程中,继续对当前版本的“图像处理模型”进行训练,从而得到精度更高、白平衡调整更加准确的“图像处理模型V2.0”。

在本申请的一些实施例中,激活函数为线性整流函数,损失函数为基于Wasserstein距离的损失函数。

在本申请实施例中,激活函数具体为线性整流函数(Rectified Linear Unit,ReLU),线性整流函数是一种非线性激活函数,通过非线性激活函数ReLU对编码器根据第一训练集图像得到的第一特征图数据,和随机选取的偏色数据的乘积进行处理,能够有效增加网络稀疏性,避免过拟合,提高图像处理模型的精度和效果。

进一步地,损失函数选择基于Wasserstein距离的损失函数,能够在训练过程中,拉近输出图像与原始图像之间的分布,进一步提高对待训练网络的训练效果和训练效率。

在本申请的一些实施例中,损失函数为:

其中,X为输入变量,Z为编码数据,Obj

在本申请实施例中,在训练过程中使用的损失函数具体如上述公式,其中,在训练过程中,编码器不需要增加任何约束,进而能够得到相对确定的输入-输出的映射函数,进而提高训练效率。具体地,在上述损失函数中,其首项

在本申请的一些实施例中,在通过第一训练集图像和第二训练集图像对待训练神经网络进行训练之后,训练方法还包括:固定第二特征图数据对应的偏色权重值。

在本申请实施例中,由于在训练过程中,没有对编码器增加约束,因此得到的输入-输出的映射函数较为确定,本申请实施例进一步增加权重约束项,即上述偏色权重值,能够避免过拟合,增加偏色对应的隐藏层的稀疏项,进而提高编码的区分型,有利于提高训练效果。

在本申请的一些实施例中,图5示出了根据本申请实施例的图像处理模型的训练装置的结构框图,如图5所示,图像处理模型的训练装置500包括:

第一获取单元502,用于获取第一训练集图像;

第一处理单元504,用于对第一训练集图像进行偏色处理,得到偏色后的第二训练集图像;

训练单元506,通过第一训练集图像和第二训练集图像对待训练神经网络进行训练,得到用于白平衡处理的图像处理模型。

在本申请实施例中,在对图像处理模型进行训练的过程中,首先获取第一训练集图像,其中,第一训练集图像为原始图像,该原始图像不需要真实光源的注释信息,因此大部分计算机视觉领域内的标准数据集均符合训练要求,如CIFAR-10、PASCALVOC2007、PASCALVOC2012数据集等。

进一步地,对第一训练集图像进行偏色处理,在该步骤中,可以通过人为的在第一训练集图像中的原始图像上添加随机偏色,使得原始图像产生偏色,进而生成用于训练的偏色后的第二训练集图像。具体地,可以在编码器编码后得到的特征图像上叠加随机的偏色信息,或对原始图像上进行色彩转移等方式,对第一训练集图像进行偏色处理,并输出与第一训练集图像中每一张原始图像一一对应的偏色图像,并形成为第二训练集图像。

在得到第二训练集图像之后,使第一训练集图像作为第二训练集图像(也即偏色图像)的监督标签,形成最终的训练数据,并通过第一训练集和第二训练集的训练数据对待训练神经网络进行训练,在训练过程中,通过损失函数计算神经网络基于第二训练集图像中的偏色图像还原出的输出图像,与第一训练集图像中的原始图像之间的损失值,当损失函数收敛,损失值符合要求时,完成对神经网络的训练,最终得到符合要求的、能够准确完成对原始照片白平衡调节的神经网络模型,即上述图像处理模型。

本申请实施例中提供的图像处理模型的训练方法中,应用的训练数据无需进行真实光源的注释,因此可以节约大量的注释时间,同时由于训练过程不需要真实光源的注释信息,因此可以采用现存的海量数据集对神经网络进行训练,在极大的增加了可选连数据集的同时,降低了训练难度,实现了不依赖真实光源注释的高效训练。

在本申请的一些实施例中,第一处理单元504还用于通过编码器网络对第一训练集图像进行卷积处理,得到第一特征图数据;

第一获取单元502还用于获取预设的偏色数据和激活函数;

第一处理单元504还用于通过激活函数将偏色数据添加至第一特征图数据中,得到偏色的第二特征图数据;根据第二特征图数据生成第二训练集图像。

在本申请实施例中,待训练模型,以及目标的图像处理模型,均包括编码器网络,其中,编码器网络可续选用5层的AlexNet结构,对应的,可以设置与其对称的5层解码器网络,图3示出了根据本申请实施例的图像处理模型的结构示意图,如图3所示,自编码结构共包含10层网络。

具体地,将第一训练集图像中的原始图像输入至编码器中,其中原始图像可以选用尺寸为227×227的三通道彩色图像。将原始图像输入至编码器网络后,经过编码器网络的5层卷积进行特征提取,编码器网络输出尺寸为6×6×256的第一特征图数据。

进一步地,获取预设的偏色数据,该偏色数据可以是随机选取的偏色数据,具体为6×6的特征图的偏色数据,通过激活函数将偏色数据添加至第一特征图数据中,具体可以将6×6的偏色数据与6×6×256的第一特征图数据进行按位相乘,经过激活函数,得到对应的输出即为偏色的第二特征图数据。将得到的第二特征图数据合并后,生成最终的第二训练集图像。

在该过程中,第二训练集图像是经过第一训练集图像处理得到,因此第一特征图数据不需要进行真实光源的注释,因此可以节约大量的注释时间,同时由于训练过程不需要真实光源的注释信息,因此可以采用现存的海量数据集对神经网络进行训练,在极大的增加了可选连数据集的同时,降低了训练难度。

在本申请的一些实施例中,待训练神经网络包括解码器网络,第一处理单元504还用于通过解码器网络对第二训练集图像进行反卷积处理,得到输出图像;

第一获取单元502还用于获取预设的损失函数,将输出图像和第一训练集图像输入至损失函数;

训练单元506还用于获取损失函数输出的当前损失值,以目标损失值范围为目标持续训练待训练神经网络,直至当前损失值落入目标损失值范围内。

在本申请实施例中,在对待训练神经网络,也即上述图像处理模型进行训练的过程中,将第二训练集图像,也即通过在第一训练集图像中的原始图像上添加噪音得到的偏色图像输入至解码器网络,其中,在编码器网络续选用5层的AlexNet结构的情况下,解码器网络可选择与其对称的5层解码器网络。通过解码器网络,将第二训练集图像进行反卷积处理,输出“还原”的、调节白平衡之后的输出图像。

进一步地,将第一训练集图像中的原始图像,和经解码器网络还原白平衡之后的输出图像一通输入值损失函数中,通过损失函数计算出输出图像相较于原始图像的损失值,该损失值能够反应输出图像与原始图像之间的差距。在训练过程中,以目标损失值范围为目标,持续对待训练神经网络进行训练,在该过程中,持续通过海量的第一训练集图像和经处理后得到的第二训练集图像来训练待训练神经网络,使得待训练神经网络在训练过程中不断迭代进化,解码器网络输出的输出图像不断“接近”原始图像,在该过程中,损失函数计算出的损失值不断靠近目标损失值范围。

当损失值落入目标损失值范围内时,认为损失函数收敛,此时待训练神经网络的输出图像已经非常接近原始图像,可以认定训练后的神经网络,也即上述图像处理模型能够准确的对“偏色”照片进行自动的白平衡调整,此时判断训练完成。在该过程中,训练采用反向传播的方式进行,能够加快网络收敛,提高训练效率。

在一些实施方式中,在对待训练神经网络进行训练的过程中,还可以采用Adam优化器辅助训练,一方面避免训练结果陷入“局部最优”的情况,另一方面能够进一步地加快网络收敛,提高训练效率。

能够理解的是,上述目标损失值范围可以根据训练需求和应用迭代需求进行调整,当得到一个符合当前需求的“图像处理模型”之后,可以在投入使用的过程中,继续对当前版本的“图像处理模型”进行训练,从而得到精度更高、白平衡调整更加准确的“图像处理模型V2.0”。

在本申请的一些实施例中,激活函数为线性整流函数,损失函数为基于Wasserstein距离的损失函数。

在本申请实施例中,激活函数具体为线性整流函数(Rectified Linear Unit,ReLU),线性整流函数是一种非线性激活函数,通过非线性激活函数ReLU对编码器根据第一训练集图像得到的第一特征图数据,和随机选取的偏色数据的乘积进行处理,能够有效增加网络稀疏性,避免过拟合,提高图像处理模型的精度和效果。

进一步地,损失函数选择基于Wasserstein距离的损失函数,能够在训练过程中,拉近输出图像与原始图像之间的分布,进一步提高对待训练网络的训练效果和训练效率。

在本申请的一些实施例中,损失函数为:

其中,X为输入变量,Z为编码数据,Obj

在本申请实施例中,在训练过程中使用的损失函数具体如上述公式,其中,在训练过程中,编码器不需要增加任何约束,进而能够得到相对确定的输入-输出的映射函数,进而提高训练效率。具体地,在上述损失函数中,其首项

在本申请的一些实施例中,在通过第一训练集图像和第二训练集图像对待训练神经网络进行训练之后,训练方法还包括:固定第二特征图数据对应的偏色权重值。

在本申请实施例中,由于在训练过程中,没有对编码器增加约束,因此得到的输入-输出的映射函数较为确定,本申请实施例进一步增加权重约束项,即上述偏色权重值,能够避免过拟合,增加偏色对应的隐藏层的稀疏项,进而提高编码的区分型,有利于提高训练效果。

在本申请的一些实施例中,提供了一种图像的白平衡处理方法,图6示出了根据本申请实施例的图像的白平衡处理方法的流程图之一,如图6所示,该图像的白平衡处理方法包括:

步骤602,获取图像处理模型;

在步骤602中,图像处理模型具体为根据上述任一实施例中提供的图像处理模型的训练方法训练得到的图像处理模型。

步骤604,通过图像处理模型对待处理图像进行白平衡处理,得到白平衡处理后的目标图像。

在本申请实施例中,通过根据上述像处理模型的训练方法的实施例中,提供的像处理模型的训练方法训练得到的图像处理模型,对待处理图像进行处理,其中,待处理图像即原始的偏色照片,将原始的偏色照片输入至图像处理模型后,图像处理模型自动对偏色照片的白平衡进行调整,得到调整后的,色彩更加接近实际人眼观测的颜色信息的图片,从而避免了因传感器输出的图像与人眼观看的图像存在差别,导致拍摄图像中物体颜色与人眼识别的被摄物体的实际颜色不同的情况,提高了拍摄照片的色彩准确度,提高了用户体验。

其中,本申请实施例中提供的图像处理模型的训练方法中,应用的训练数据无需进行真实光源的注释,因此可以节约大量的注释时间,同时由于训练过程不需要真实光源的注释信息,因此可以采用现存的海量数据集对神经网络进行训练,在极大的增加了可选连数据集的同时,降低了训练难度,实现了不依赖真实光源注释的高效训练。

在本申请的一些实施例中,图像处理模型包括编码器网络和解码器网络,图7示出了根据本申请实施例的图像的白平衡处理方法的流程图之二,如图7所示,通过图像处理模型对待处理图像进行处理,包括:

步骤702,获取偏色权重值;

步骤704,通过编码器网络对待处理图像进行卷积处理,得到待处理图像对应的第三特征图数据;

步骤706,通过偏色权重值对第三特征图数据进行加权操作,得到第四特征图数据;

步骤708,通过解码器网络对第四特征图数据进行反卷积处理,得到白平衡处理后的目标图像。

在本申请实施例中,在对图像处理模型进行训练的过程中,由于没有对编码器增加约束,因此得到的输入-输出的映射函数较为确定,因此在训练结束后,固定输入的偏色数据的权重,即上述偏色权重值,在通过图像处理模型对待处理图像进行白平衡调整的过程中,通过编码器网络对待处理图像进行卷积,得到第三特征图数据,并通过偏色权重值对第三特征图数据进行加权,从而得到第四特征图数据,再通过解码器网络对第四特征图数据进行反卷积,得到的调整白平衡之后的目标图像,能够更加符合人眼识别的被摄物体的实际颜色,提高了拍摄照片的色彩准确度,提高了用户体验。

在本申请的一些实施例中,提供了一种图像的白平衡处理装置,图8示出了根据本申请实施例的图像的白平衡处理装置的结构框图,如图8所示,图像的白平衡处理装置800包括:

第二获取单元802,用于获取图像处理模型,其中,图像处理模型为图像处理模型;

第二处理单元804,用于通过图像处理模型对待处理图像进行白平衡处理,得到白平衡处理后的目标图像。

在本申请实施例中,通过根据上述像处理模型的训练方法的实施例中,提供的像处理模型的训练方法训练得到的图像处理模型,对待处理图像进行处理,其中,待处理图像即原始的偏色照片,将原始的偏色照片输入至图像处理模型后,图像处理模型自动对偏色照片的白平衡进行调整,得到调整后的,色彩更加接近实际人眼观测的颜色信息的图片,从而避免了因传感器输出的图像与人眼观看的图像存在差别,导致拍摄图像中物体颜色与人眼识别的被摄物体的实际颜色不同的情况,提高了拍摄照片的色彩准确度,提高了用户体验。

其中,本申请实施例中提供的图像处理模型的训练方法中,应用的训练数据无需进行真实光源的注释,因此可以节约大量的注释时间,同时由于训练过程不需要真实光源的注释信息,因此可以采用现存的海量数据集对神经网络进行训练,在极大的增加了可选连数据集的同时,降低了训练难度,实现了不依赖真实光源注释的高效训练。

在本申请的一些实施例中,图像处理模型包括编码器网络和解码器网络,第二获取单元802还用于获取偏色权重值;

第二处理单元804还用于通过编码器网络对待处理图像进行卷积处理,得到待处理图像对应的第一特征图数据;通过偏色权重值对第三特征图数据进行加权操作,得到第四特征图数据;通过解码器网络对第四特征图数据进行反卷积处理,得到目标图像。

在本申请实施例中,在对图像处理模型进行训练的过程中,由于没有对编码器增加约束,因此得到的输入-输出的映射函数较为确定,因此在训练结束后,固定输入的偏色数据的权重,即上述偏色权重值,在通过图像处理模型对待处理图像进行白平衡调整的过程中,通过编码器网络对待处理图像进行卷积,得到第三特征图数据,并通过偏色权重值对第三特征图数据进行加权,从而得到第四特征图数据,再通过解码器网络对第四特征图数据进行反卷积,得到的调整白平衡之后的目标图像,能够更加符合人眼识别的被摄物体的实际颜色,提高了拍摄照片的色彩准确度,提高了用户体验。

本申请实施例中的图像处理模型的训练装置和图像的白平衡处理装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。

本申请实施例中的图像处理模型的训练装置和图像的白平衡处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。

可选的,本申请实施例还提供一种电子设备1900,包括处理器1910,存储器1909,存储在存储器1909上并可在所述处理器1910上运行的程序或指令,该程序或指令被处理器1910执行时实现上述图像处理模型的训练方法和图像的白平衡处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图9示出了根据本申请实施例的电子设备的硬件结构示意图。

该电子设备1900包括但不限于:射频单元1901、网络模块1902、音频输出单元1903、输入单元1904、传感器1905、显示单元1906、用户输入单元1907、接口单元1908、存储器1909、以及处理器1910等部件。

本领域技术人员可以理解,电子设备1900还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1910逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。

应理解的是,本申请实施例中,射频单元1901可用于收发信息或收发通话过程中的信号,具体的,接收基站的下行数据或向基站发送上行数据。射频单元1901包括但不限于天线、至少一个放大器、收发信机、耦合器、低偏色放大器、双工器等。

网络模块1902为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元1903可以将射频单元1901或网络模块1902接收的或者在存储器1909中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元1903还可以提供与电子设备1900执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元1903包括扬声器、蜂鸣器以及受话器等。

输入单元1904用于接收音频或视频信号。输入单元1904可以包括图像处理器(Graphics Processing Unit,GPU)5082和麦克风5084,图形处理器5082对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元1906上,或者存储在存储器1909(或其它存储介质)中,或者经由射频单元1901或网络模块1902发送。麦克风5084可以接收声音,并且能够将声音处理为音频数据,处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元1901发送到移动通信基站的格式输出。

电子设备1900还包括至少一种传感器1905,比如指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器以及其他传感器。

显示单元1906用于显示由用户输入的信息或提供给用户的信息。显示单元1906可包括显示面板5122,可以采用液晶显示器、有机发光二极管等形式来配置显示面板5122。

用户输入单元1907可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元1907包括触控面板5142以及其他输入设备5144。触控面板5142也称为触摸屏,可收集用户在其上或附近的触摸操作。触控面板5142可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1910,接收处理器1910发来的命令并加以执行。其他输入设备5144可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。

进一步的,触控面板5142可覆盖在显示面板5122上,当触控面板5142检测到在其上或附近的触摸操作后,传送给处理器1910以确定触摸事件的类型,随后处理器1910根据触摸事件的类型在显示面板5122上提供相应的视觉输出。触控面板5142与显示面板5122可作为两个独立的部件,也可以集成为一个部件。

接口单元1908为外部装置与电子设备1900连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/0)端口、视频I/0端口、耳机端口等等。接口单元1908可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备1900内的一个或多个元件或者可以用于在电子设备1900和外部装置之间传输数据。

存储器1909可用于存储软件程序以及各种数据。存储器1909可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据移动终端的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1909可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1910通过运行或执行存储在存储器1909内的软件程序和/或模块,以及调用存储在存储器1909内的数据,执行电子设备1900的各种功能和处理数据,从而对电子设备1900进行整体监控。处理器1910可包括一个或多个处理单元;优选的,处理器1910可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。

电子设备1900还可以包括给各个部件供电的电源1911,优选的,电源1911可以通过电源管理系统与处理器1910逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

本申请实施例还提供一种可读存储介质,可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理模型的训练方法和图像的白平衡处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

其中,处理器为上述实施例中的电子设备中的处理器。可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理模型的训练方法和图像的白平衡处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

相关技术
  • 图像处理模型的训练方法和装置、白平衡处理方法和装置
  • 图像处理模型训练方法、图像处理方法及图像处理装置
技术分类

06120112835550