模型训练以及图像处理方法、装置和电子设备

技术领域

本申请属于图像处理技术领域，具体涉及一种模型训练以及图像处理方法、装置和电子设备。

背景技术

在图像信号处理(Image Signal Processing，ISP)通路中，自动白平衡(AutoWhite Balance，AWB)模块是校正图像色彩的一个重要模块。其中，AWB模块可以将不同光照下物体的颜色校正成人眼认同的颜色。

相关技术方案中，自动白平衡的算法主要分为传统自动白平衡算法和基于神经网络的自动白平衡算法。

对于传统自动白平衡算法来说，需要根据原始图像文件中统计数据(stats)落点的位置以及人工设置的一些超参数约束计算出最终的白平衡值，在进行计算时，为了平衡一些场景的自动白平衡值的准确性，超参数在设置时会牺牲掉一些非重要场景的参数，并且仅根据落点判别最终结果，使得图像特征信息没有充分利用，最终输出的白平衡值存在偏差。

而对于基于神经网络的自动白平衡算法，其输出结果一致性比较差、稳定性欠佳。

发明内容

本申请实施例的目的是提供一种模型训练以及图像处理方法、装置和电子设备，能够得到准确且一致性好的白平衡数据。

第一方面，本申请实施例提供了一种模型训练方法，包括：获取第一训练数据集和第二训练数据集；其中，第一训练数据集包括人脸图像数据、初始色温数据和初始肤色数据，第二训练数据集包括原始图像数据和初始白平衡增益数据，人脸图像数据是基于原始图像数据得到的；基于第一训练数据集对第一网络模型进行训练，得到第二网络模型，第二网络模型用于输出肤色特征图；基于第二训练数据集对第三网络模型进行训练，得到第四网络模型，第四网络模型用于输出第一全局特征图；基于肤色特征图和第一全局特征图，得到第二全局特征图，第二全局特征图用于得到第一白平衡增益数据；基于第一白平衡增益数据和第二白平衡增益数据，得到第三白平衡增益数据，其中，第二白平衡增益数据是基于肤色特征图和非神经网络白平衡算法得到的。

第二方面，本申请实施例提供了一种图像处理方法，包括：获取待处理图像；对待处理图像进行人像分割，得到包含人像的第一图像；采用第二网络模型对第一图像进行处理，得到肤色特征图；采用第四网络模型对待处理图像进行处理，得到第一全局特征图；根据肤色特征图和第一全局特征图，得到第二全局特征图；基于第二全局特征图得到第一白平衡增益数据，基于肤色特征图和非神经网络白平衡算法得到第二白平衡增益数据；基于第一白平衡增益数据和第二白平衡增益数据，得到第三白平衡增益数据；基于第三白平衡增益数据对待处理图像进行处理，得到第二图像。

第三方面，本申请实施例提供了一种模型训练装置，包括：第一获取模块，用于获取第一训练数据集和第二训练数据集；其中，第一训练数据集包括人脸图像数据、初始色温数据和初始肤色数据，第二训练数据集包括原始图像数据和初始白平衡增益数据，人脸图像数据是基于原始图像数据得到的；第一训练模块，用于基于第一训练数据集对第一网络模型进行训练，得到第二网络模型，第二网络模型用于输出肤色特征图；第二训练模块，用于基于第二训练数据集对第三网络模型进行训练，得到第四网络模型，第四网络模型用于输出第一全局特征图；第一融合模块，用于基于肤色特征图和第一全局特征图，得到第二全局特征图，第二全局特征图用于得到第一白平衡增益数据；第一处理模块，用于基于第一白平衡增益数据和第二白平衡增益数据，得到第三白平衡增益数据，其中，第二白平衡增益数据是基于肤色特征图和非神经网络白平衡算法得到的。

第四方面，本申请实施例提供了一种图像处理装置，包括：第二获取模块，用于获取待处理图像；分割模块，用于对待处理图像进行人像分割，得到包含人像的第一图像；第二处理模块，用于采用第二网络模型对第一图像进行处理，得到肤色特征图；第三处理模块，用于采用第四网络模型对待处理图像进行处理，得到第一全局特征图；第二融合模块，用于根据肤色特征图和第一全局特征图，得到第二全局特征图；第四处理模块，用于基于第二全局特征图得到第一白平衡增益数据，基于肤色特征图和非神经网络白平衡算法得到第二白平衡增益数据；第四处理模块，还用于基于第一白平衡增益数据和第二白平衡增益数据，得到第三白平衡增益数据；调整模块，用于基于第三白平衡增益数据对待处理图像进行处理，得到第二图像。

第五方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面或第二方面的方法的步骤。

第六方面，本申请实施例提供了一种可读存储介质，可读存储介质上存储程序或指令，程序或指令被处理器执行时实现如第一方面或第二方面的方法的步骤。

第七方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面或第二方面的方法。

第八方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面或第二方面的方法。

在本申请实施例中，利用获取得到的第一训练数据集和第二训练数据集训练第一网络模型和第三网络模型，进而得到第二网络模型和第四网络模型，其中，第二网络模型能够输出肤色特征图，第四网络模型能够输出第一全局特征图，在获取得到上述信息之后，基于肤色特征图和第一全局特征图来得到用于得到第一白平衡增益数据的第二全局特征图。

在上述实施例中，基于肤色特征图和非神经网络白平衡算法所得到的第二白平衡增益数据能够与上文得到的第一白平衡增益数据进行结合，得到第三白平衡增益数据，以便根据第三白平衡增益数据来对图像进行处理。

相较于相关技术方案，本申请实施例能够根据确定的第三白平衡增益数据来进行数据处理，克服了采用非神经网络白平衡算法计算得到白平衡增益数据对图像进行处理所存在的偏色，以及图像特征信息没有充分利用的问题。同时，也克服了相关技术方案中，基于神经网络的自动白平衡算法，其输出结果一致性比较差、稳定性欠佳的问题。

具体地，本申请实施例中，能够将肤色特征图作为非神经网络白平衡算法的参数，以此降低非神经网络白平衡算法所输出的第二白平衡增益数据的偏色，从而提高了图像调整后的颜色的准确性，同时，也能够充分利用图像特征信息。

此外，第三白平衡增益数据的确定参考了第二白平衡增益数据，因此，可以利用第二白平衡增益数据来对第一白平衡增益数据进行修正，使其一致性和稳定性能够得到改善。

相较于相关技术方案，本申请实施例所确定的第三白平衡增益数据更加准确，且具有较佳的一致性。在采用第三白平衡增益数据对第一图像进行处理的情况下，能够提升图像的色彩处理效果，使得处理得到的第二图像更符合人眼看到的真实色彩。

附图说明

图1是本申请实施例中的模型训练方法的流程示意图；

图2是本申请实施例中的肤色特征图确定过程的示意图；

图3是本申请实施例中的处理人像图像数据的流程示意图；

图4是本申请实施例中的分解的示意图；

图5是本申请实施例中的降采样的示意图；

图6是本申请实施例中的进行特征提取的示意图；

图7是本申请实施例中的融合操作的示意图；

图8是本申请实施例中的输出第二全局特征图的示意图；

图9是本申请实施例中的整体框架的示意图；

图10是本申请实施例中的模型训练装置的示意框图；

图11是本申请实施例中的图像处理方法的流程示意图；

图12是本申请实施例中的图像处理装置的示意框图；

图13是本申请实施例中的电子设备的示意框图；

图14是本申请实施例中的电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的实施例进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的模型训练以及图像处理方法、装置和电子设备进行详细地说明。

在其中一些实施例中，如图1所示，提出了一种模型训练方法，包括：

步骤102，获取第一训练数据集和第二训练数据集。

其中，第一训练数据集包括人脸图像数据、初始色温数据和初始肤色数据，第二训练数据集包括原始图像数据和初始白平衡增益数据，人脸图像数据是基于原始图像数据得到的。

本申请实施例中，人脸图像数据是通过对原始图像数据进行分割得到的。

步骤104，基于第一训练数据集对第一网络模型进行训练，得到第二网络模型，第二网络模型用于输出肤色特征图。

步骤106，基于第二训练数据集对第三网络模型进行训练，得到第四网络模型，第四网络模型用于输出第一全局特征图。

步骤108，基于肤色特征图和第一全局特征图，得到第二全局特征图，第二全局特征图用于得到第一白平衡增益数据。

步骤110，基于第一白平衡增益数据和第二白平衡增益数据，得到第三白平衡增益数据。

其中，第二白平衡增益数据是基于肤色特征图和非神经网络白平衡算法得到的。

在本申请实施例中，利用获取得到的第一训练数据集和第二训练数据集训练第一网络模型和第三网络模型，进而得到第二网络模型和第四网络模型，其中，第二网络模型能够输出肤色特征图，第四网络模型能够输出第一全局特征图，在获取得到上述信息之后，基于肤色特征图和第一全局特征图来得到用于得到第一白平衡增益数据的第二全局特征图。

在上述实施例中，基于肤色特征图和非神经网络白平衡算法所得到的第二白平衡增益数据能够与上文得到的第一白平衡增益数据进行结合，得到第三白平衡增益数据，以便根据第三白平衡增益数据来对图像进行处理。

相较于相关技术方案，本申请实施例能够根据确定的第三白平衡增益数据来进行数据处理，克服了采用非神经网络白平衡算法计算得到白平衡增益数据对图像进行处理所存在的偏色，以及图像特征信息没有充分利用的问题。同时，也克服了相关技术方案中，基于神经网络的自动白平衡算法，其输出结果一致性比较差、稳定性欠佳的问题。

具体地，在上述实施例中，能够将肤色特征图作为非神经网络白平衡算法的参数，以此降低非神经网络白平衡算法所输出的第二白平衡增益数据的偏色，从而提高了图像调整后的颜色的准确性，同时，也能够充分利用图像特征信息。

此外，第三白平衡增益数据的确定参考了第二白平衡增益数据，因此，可以利用第二白平衡增益数据来对第一白平衡增益数据进行修正，使其一致性和稳定性能够得到改善。

在本申请中的一些实施例中，非神经网络白平衡算法是根据原始图像文件中统计数据(stats)落点的位置以及人工设置的一些超参数约束计算出最终的白平衡增益数据。

其中，非神经网络白平衡算法基于如灰色世界假设预测场景光源，对一张图进行统计，得到每个像素点的R、G、B值，让最终的R

其中，灰色世界是假设大自然各个颜色的平均值接近灰色，G为整张图G的平均值，B为整张图B的平均值，R为整张图R的平均值。

在一些非神经网络白平衡算法中，是对上述非神经网络白平衡算法进行了升级，其还是基于整张图统计出的RGB点信息，根据人工经验剔掉误导色点。其中，误导色点可以是非灰白黑点。然后基于高级灰世界算法对白平衡进行计算。此时，高级灰世界算法不只简单统计整张图信息，而是设定一个灰区，落在灰区内的点才参与最终的计算。

在本申请中的一些实施例中，预先获取原始人像自拍raw图、其对应的目标白平衡值、人像自拍jpg图。

将人像自拍raw图通过人像分割算法，将人像raw图分割出只带有人脸的长方形raw图，不一样大小的头像对应不一样大小的人像分割raw图，并且通过光谱仪采集每张图片色温信息，并一一对应记录。

根据人像自拍jpg图，用图像处理工具量出人脸肤色的r、g、b像素值，并计算出(r/g、b/g)的数值作为肤色目标值，图像处理工具可以是图像处理软件，例如Photoshop。本申请实施例中，人脸肤色的r、g、b像素值可以是人脸区域的像素均值。

同时选取5种常用色温以及8种主流肤色。其中，5种常用色温包括7k、6k、5k、4k和3k。8种主流肤色，包括白肤色、偏白肤色、偏黄白肤色、偏黄肤色、深棕肤色、偏黄黑肤色、偏黑肤色和黑肤色，肤色的种类可以自行选取，例如也可以选取3种肤色做训练。

获取8类主流肤色在5种色温下的图片，一共40组图，并将色温(correlatedcolour temperature，CCT)、肤色像素值与40组肤色图组成数据对。

其中，将人像分割raw图与色温、肤色目标值组成第一组数据对，也即第一训练数据集中的训练样本。

将整张人像自拍raw图与对应的白平衡值组成第二组数据对，也即第二训练数据集中的训练样本。

在本申请中的一些实施例中，第一网络模型包括第一子网络和第二子网络，基于第一训练数据集对第一网络模型进行训练，得到第二网络模型，包括：将人脸图像数据输入至第一子网络，得到肤色特征图；采用第二子网络对肤色特征图进行处理，得到第一色温数据和第一肤色数据；根据初始色温数据、初始色温数据对应的第一色温数据、初始肤色数据、初始肤色数据对应的第一肤色数据，更新第一子网络和第二子网络的参数，得到第二网络模型。

在该实施例中，在对第一网络模型进行训练时，对第一网络模型进行分解，得到其所包含的第一子网络和第二子网络。

其中，第一子网络能够以人脸图像数据作为输入，以肤色特征图作为输出，第二子网络能够以肤色特征图作为输入，以第一色温数据和第一肤色数据作为输出，基于此，在对第一网络模型的训练实际上是对第一子网络和第二子网络的训练，通过将第一训练数据集中的人脸图像数据、初始色温数据与初始色温数据对应的第一色温数据、初始肤色数据以及与初始肤色数据对应的第一肤色数据作为训练样本，对第一子网络和第二子网络进行连接，进而得到第二网络模型。

具体地，在将人脸图像数据输入到第一子网络后，第一子网络对其进行处理，得到与之对应的第一肤色特征图，并将第一肤色特征图输入到第二子网络，以供第二子网络对其进行处理，从而得到第一色温数据和第一肤色数据。此时，将初始色温数据与第一色温数据进行比较，得到第一差异，将初始肤色数据与第一肤色数据进行比较得到第二差异，根据第一差异和第二差异对第一子网络和第二子网络的参数进行更新，从而实现模型的训练。

在上述实施例中，随着对第一子网络和第二子网络的不断训练，在其输出的第一色温数据和第一肤色数据与对应的初始色温数据、初始肤色数据之间的差异小于预先设定的值之后，认为第一网络模型训练结束，得到第二网络模型。

在上述实施例中，将第一子网络和第二子网络一起训练，在减少训练次数、降低训练成本的同时，可以使得第一子网络和第二子网络之间的参数可以相互调整。例如，在需要增大第一子网络中的第一参数的情况下，将第一子网络中的第一参数和第二子网络的第二参数同步增大，在此情况下，可以减小第一参数所需要增大的程度，从而提高模型的准确性。

具体地，使用反向传播方法计算网络中各参数的梯度，并利用随机梯度下降方法更新第一子网络和第二子网络的参数，直到第一网络模型的目标损失函数数值收敛结束，保存网络参数，结束整个网络的训练过程。

具体地，第一网络模型的目标损失函数为角度误差函数，其表达如下：

其中，L代表目标的cct、肤色像素值[cct，r，b]，l代表预测的[cct，ri，bi]中的某个值，i为1、2、3…的整数，L

在本申请中的一些实施例中，将人脸图像数据输入至第一子网络，得到肤色特征图，包括：将人脸图像数据输入至第一子网络中的平均池化层，得到第一特征数据；将第一特征数据输入至第一子网络中的第一卷积层，得到第二特征数据；将第二特征数据输入至第一子网络中的第一激活函数层，得到第三特征数据；将第三特征数据输入至第一子网络中的第二卷积层，得到第四特征数据；将第四特征数据输入至第一子网络中的第二激活函数层，得到第五特征数据；将第五特征数据输入至第一子网络中的第三卷积层，得到肤色特征图。

在该实施例中，如图2所示，第一子网路主要包括平均池化层、第一卷积层、第一激活函数层、第二卷积层、第二激活函数层以及第三卷积层。其中，通过设置平均池化层，以便平均肤色信息、进行降噪处理，方便后面更好的提取特征信息。

在本申请中的一些实施例中，平均池化层的尺寸大小为5×5，步长为1。得到输出尺寸大小为20×20×4的特征数据a1。其中，特征数据a1，也即第一特征数据。

在上述实施例中，通过设置第一卷积层和第一激活函数层，以便实现提取数据的特征信息，而第二卷积层、第二激活函数层以及第三卷积层的设置，也即二层卷积和三层卷积，以便通过卷积层更好地提取数据的特征信息。

在本申请中的一些实施例中，第一卷积层的尺寸1×1×4，步长为1，卷积核数为30。

在本申请中的一些实施例中，第三特征数据的表达如下：

其中，y为经过第一激活函数层处理后的第三特征数据，x为第二特征数据。

在本申请中的一些实施例中，第二卷积层的卷积核大小为5×5×30，步长为1，卷积核数为60，对应输出的第五特征数据的大小为16×16×60。

在本申请中的一些实施例中，第三卷积层的卷积核大小为7×7×60，步长为1，卷积核数为60，得到的肤色特征图的尺寸为10×10×60。

在上述实施例中，第一卷积层、第一激活函数层、第二卷积层、第二激活函数层以及第三卷积层设置，使得第一子网路的结构与VGGNet(一种神经网络结构)的网络结构相近，进而减少了网络层数，添加肤色特征层、以及最后的分类输出层。

在本申请中的一些实施例中，将人脸图像数据输入至平均池化层之前，还包括：对人脸图像数据进行预处理，其中，预处理包括：调整人脸图像数据的尺寸为目标尺寸。具体地，目标尺寸可以根据实际使用需要进行选取，如选取24×24×4大小。

其中，如图3和图4所示，人脸图像数据作为原始图像文件，其预处理的过程包括：

人脸图像数据以64×64大小的分割好的raw图为例，由于是原始raw图，所以先将其对应r、gb、gr、b部分分别分出来，得到32×32大小的4张图，然后把32×32×4大小的数据通过肤色检测算法将判别为肤色部分的数据不动，非肤色部分的数据设置为0。

具体算法为，在32×32尺寸的图片上，对应长宽位置有4个数据，分别是r、gb、gr、b，遍历32×32图片每个点，并且通道对应的4个数据组成一个数据对，给每个数据对乘以上一帧的白平衡值，得到首次预测的数据值。其中，r通道乘r

如图5所示，通过多尺度降采样的方式上一步像素为0的部分筛除掉。

具体地，首先遍历每行，如果每行的所有数据都为0，则删除掉该行，再遍历每列，删除全部为0的列，得到大小不一致的初步处理数据，然后对数据与我们需要得到的(24×24×4)做比较，如果尺寸大于24×24，则做对应的平均降采样操作使最终获得的数据尺寸为24，如果尺寸小于24×24，则做四周补0操作。

在本申请中的一些实施例中，采用第二子网络对肤色特征图进行处理，得到第一色温数据和第一肤色数据，包括：将肤色特征图输入至第二子网络的第四卷积层，得到第六特征数据；将第六特征数据输入至第二子网络的第三激活函数层，得到第七特征数据；将第七特征数据输入至第二子网络的最大池化层，得到第八特征数据；将第八特征数据输入至第二子网络的第一全连接层后，将第一全连接层的输出结果输入至第二子网络的第二全连接层，得到第九特征数据；基于第九特征数据确定第一色温数据和第一肤色数据。

在该实施例中，如图6所示，通过设置第四卷积层，以便从肤色特征图中再次提取特征信息，在此过程中，可以学习得到更适合提取肤色、色温信息的特征，以便提高得到的设定参数的准确性。

在上述实施例中，通过设置最大池化层，以便利用最大池化层对特征数据进行降维处理，防止网络过拟合。

在上述实施例中，通过设置第一全连接层和第二全连接层，以便利用第一全连接层和第二全连接层在第一特征卷积网络所起到分类器的作用，进而将学习到的分布式特征映射到样本标记空间，进而对第八特征数据进行识别和分类。

通过设置第一全连接层和第二全连接层这两个全连接层，以便输出的第九特征数据中的特征数据的个数与本实施例中设定参数的选取相对应，以便输出的第九特征数据与当前使用场景相适配。

具体地，第四卷积层中卷积核大小为1×1×60，步长为1，卷积核数为40。

在本申请中的一些实施例中，最大池化层的尺寸大小为6×6，步长为1。得到输出尺寸大小为5×5×40，也即第八特征数据的尺寸大小为5×5×40。

在本申请中的一些实施例中，第一全连接层的输出结果的尺寸为1×1×80。

在本申请中的一些实施例中，第九特征数据的尺寸为1×1×40。

其中，第九特征数据的尺寸为1×1×40，也即，数据的数量为40，与上文中的40组图一一对应，也即，对应上文中的8种主流肤色在5种色温下的种类，其中，第九特征数据中的每个数代表第几色温第几种主流肤色出现的概率。

具体地，第九特征数据中数据的数量为40，可以理解为40分不同的权重，40个权重对应我们提前预设的肤色值(也即40组图)第一个数的大小为第一种肤色、色温对应的权重。按顺序设置好肤色、色温对应值，然后得到40个权重后，首先进行归一化处理，让40个值在0-1之间。

具体地，第二全连接层输出的结果中第一个数值是0，代表色温7k，第一种主流肤色的概率是0；第二个数值0代表当前环境下色温7k，第二种主流肤色的概率是0；直到第四个数值0.1，代表色温7k，第四种主流肤色的概率是0.1；第五个数值0.9，代表色温7k，第五种主流肤色的概率为0.9；即当前人像的肤色大概率是第五种主流肤色、当前环境色温大概率是7k。

为了更准确获得肤色与色温信息，把第三组、第四组对应的色温、肤色进行插值，插值权重为全脸层最终得到的数值，最终输出色温、以及肤色的r值、b值。

当4、5个权重有值时，最终得到的色温与肤色像素值，为第4组、第5组对应权重与色温、肤色像素值的插值，最终输出色温、以及肤色的r值、b值。

其中，色温分5为类(7k、6k、5k、4k、3k)，第m种代表第m个色温。肤色分8种，第n种代表第n种肤色。第二全连接层输出的是当前环境与40种环境的匹配概率，数值越大，代表某一种环境概率越大。如果全连接层第4、5层有数值，而其他层没有数值，代表环境、肤色在这两层之间的概率较大。

为了进一步获得肤色数值、色温数值，所以需要进行插值操作。

具体地，最终色温值：CCTf＝0.1×x4+0.9×x5；肤色数值：Skinf＝0.1×y4+0.9×y5。

其中，40类环境分别有各自的：[xm，Yn]对应。

具体地，X对应色温，比如x1对应7k，x2对应6k。Y对应肤色，Y1对应[r1，b1，g1]，第一种肤色对应在RGB空间中的r、b、g数值大小；肤色对应插值时，采用矩阵乘法、加法的操作。

在本申请中的一些实施例中，对应r进行加权插值操作，对应b进行加权插值操作。

在本申请中的一些实施例中，如图7所示，基于第二训练数据集对第三网络模型进行训练，得到第四网络模型，包括：将原始图像数据输入至第三网络模型中的分解层，得到分解后的数据；将分解后的数据进行采样，得到第十特征数据；对第十特征数据输入至第三网络模型中的平均池化层，得到第十一特征数据；对第十一特征数据进行卷积、激活处理，得到第一全局特征图；将第一全局特征图与肤色特征图进行融合操作，得到第二全局特征图；将第二全局特征图输入至第三网络模型中的池化层，得到第十二特征数据；将第十二特征数据输入至第三网络模型中的第三全连接层后，将第三全连接层的输出结果输入至第三网络模型中的第四全连接层，得到第一白平衡增益数据；基于初始白平衡增益数据和第一白平衡增益数据，更新第三网络模型的参数，得到第四网络模型。

在该实施例中，通过设置分解层，以便利用分解层做肤色数据的分解，从而得到大小一致的肤色数据，也即，分解后的数据。

通过对分解后的数据进行采样，以便调整输出数据的尺寸大小，以便在平均池化层对其进行处理。

在本申请中的一些实施例中，在待处理图像的尺寸为1024×1024×1的情况下，通过分解层处理后，得到分解后的数据的尺寸为512×512×4。

通过对分解后的数据进行采样后，得到的第十特征数据的尺寸为256×256×4。

在上述实施例中，平均池化层的尺寸大小为2×2，步长为2。得到输出尺寸大小为128×128×4的特征数据，也即第十一特征数据。

其中，对第十一特征数据进行卷积、激活处理过程中，经历的第一个卷积层和激活函数层的尺寸为2×2×4，步长为2，卷积核数为10，得到的特征数据的尺寸为64×64×10。

经历的第二个卷积层和激活函数层的尺寸为2×2×10，步长为2，卷积核数为30，得到的特征数据的尺寸为32×32×30。

经历的第三个卷积层的尺寸为2×2×30，步长为2，卷积核数为60，得到16×16×60的数据，也即第一全局特征图。

在本申请中的一些实施例中，第二全局特征图的大小为16×16×120。

在本申请中的一些实施例中，肤色特征图可以利用第一子网络提取得到，因此，第二网络模型和第四网络模型可以共用第一子网络，因此，在节省了模型训练所花费的时间的同时，提升数据的利用率。

其中，第三网络模型的目标损失函数为角度误差函数，其表达如下：

其中，L代表第一白平衡增益数据、[r，b]，L

在本申请中的一些实施例中，如图8所示，将第一全局特征图与肤色特征图进行融合操作，得到第二全局特征图，包括：对肤色特征图进行补零处理，得到第十三特征数据；将第一全局特征图与第十三特征数据对应通道相加，得到第十四特征数据；对第十四特征数据与第一全局特征图进行拼合，得到第二全局特征图。

在该实施例中，第十三特征数据的尺寸为16×16×60。

在本申请中的一些实施例中，如图9所示，第一网络模型包括network1+network2+SkinMap1。

如图9所示，第三网络模型的结构包括network3+Map2+SkinMap1+FC。

其中，network1也即第一子网络，network2也即第二子网络，network3也即第三网络模型中的网络，SkinMap1为肤色特征图，Map2为第一全局特征图，FC为第三全连接层和第四全连接层，CCT Skin_i为色温、人脸肤色的R值和人脸肤色的G值。

本申请实施例提供的模型训练方法，执行主体可以为模型训练装置。本申请实施例中以模型训练装置执行模型训练方法为例，说明本申请实施例提供的模型训练装置。

在其中一些实施例中，如图10所示，提供了一种模型训练装置1000，包括：第一获取模块1002，用于获取第一训练数据集和第二训练数据集；其中，第一训练数据集包括人脸图像数据、初始色温数据和初始肤色数据，第二训练数据集包括原始图像数据和初始白平衡增益数据，人脸图像数据是基于原始图像数据得到的；第一训练模块1004，用于基于第一训练数据集对第一网络模型进行训练，得到第二网络模型，第二网络模型用于输出肤色特征图；第二训练模块1006，用于基于第二训练数据集对第三网络模型进行训练，得到第四网络模型，第四网络模型用于输出第一全局特征图；第一融合模块1008，用于基于肤色特征图和第一全局特征图，得到第二全局特征图，第二全局特征图用于得到第一白平衡增益数据；第一处理模块1010，用于基于第一白平衡增益数据和第二白平衡增益数据，得到第三白平衡增益数据，其中，第二白平衡增益数据是基于肤色特征图和非神经网络白平衡算法得到的。

在本申请实施例中，利用获取得到的第一训练数据集和第二训练数据集训练第一网络模型和第三网络模型，进而得到第二网络模型和第四网络模型，其中，第二网络模型能够输出肤色特征图，第四网络模型能够输出第一全局特征图，在获取得到上述信息之后，基于肤色特征图和第一全局特征图来得到用于得到第一白平衡增益数据的第二全局特征图。

在上述实施例中，基于肤色特征图和非神经网络白平衡算法所得到的第二白平衡增益数据能够与上文得到的第一白平衡增益数据进行结合，得到第三白平衡增益数据，以便根据第三白平衡增益数据来对图像进行处理。

相较于相关技术方案，本申请实施例能够根据确定的第三白平衡增益数据来进行数据处理，克服了采用非神经网络白平衡算法计算得到白平衡增益数据对图像进行处理所存在的偏色，以及图像特征信息没有充分利用的问题，同时，也克服了相关技术方案中，基于神经网络的自动白平衡算法，其输出结果一致性比较差、稳定性欠佳的问题。

具体地，在上述实施例中，能够将肤色特征图作为非神经网络白平衡算法的参数，以此降低非神经网络白平衡算法所输出的第二白平衡增益数据的偏色，从而提高了图像调整后的颜色的准确性，同时，也能够充分利用图像特征信息。

此外，第三白平衡增益数据的确定参考了第二白平衡增益数据，因此，可以利用第二白平衡增益数据来对第一白平衡增益数据进行修正，使其一致性和稳定性能够得到改善。

在本申请中的一些实施例中，第一网络模型包括第一子网络和第二子网络，第一训练模块1004，用于将人脸图像数据输入至第一子网络，得到肤色特征图；采用第二子网络对肤色特征图进行处理，得到第一色温数据和第一肤色数据；根据初始色温数据、初始色温数据对应的第一色温数据、初始肤色数据、初始肤色数据对应的第一肤色数据，更新第一子网络和第二子网络的参数，得到第二网络模型。

在本申请中的一些实施例中，第一训练模块1004，用于将人脸图像数据输入至第一子网络中的平均池化层，得到第一特征数据；将第一特征数据输入至第一子网络中的第一卷积层，得到第二特征数据；将第二特征数据输入至第一子网络中的第一激活函数层，得到第三特征数据；将第三特征数据中的数据输入至第一子网络中的第二卷积层，得到第四特征数据；将第四特征数据输入至第一子网络中的第二激活函数层，得到第五特征数据；将第五特征数据输入至第一子网络中的第三卷积层，得到肤色特征图。

在本申请中的一些实施例中，第一训练模块1004，用于将肤色特征图输入至第二子网络的第四卷积层，得到第六特征数据；将第六特征数据输入至第二子网络的第三激活函数层，得到第七特征数据；将第七特征数据输入至第二子网络的最大池化层，得到第八特征数据；将第八特征数据输入至第二子网络的第一全连接层后，将第一全连接层的输出结果输入至第二子网络的第二全连接层，得到第九特征数据；基于第九特征数据确定第一色温数据和第一肤色数据。

在本申请中的一些实施例中，第二训练模块1006，用于将原始图像数据输入至第三网络模型中的分解层，得到分解后的数据；将分解后的数据进行采样，得到第十特征数据；对第十特征数据输入至第三网络模型中的平均池化层，得到第十一特征数据；对第十一特征数据进行卷积、激活处理，得到第一全局特征图；将第一全局特征图与肤色特征图进行融合操作，得到第二全局特征图；将第二全局特征图输入至第三网络模型中的池化层，得到第十二特征数据；将第十二特征数据输入至第三网络模型中的第三全连接层后，将第三全连接层的输出结果输入至第三网络模型中的第四全连接层，得到第一白平衡增益数据；基于初始白平衡增益数据和第一白平衡增益数据，更新第三网络模型的参数，得到第四网络模型。

在本申请中的一些实施例中，第二训练模块1006，用于对肤色特征图进行补零处理，得到第十三特征数据；将第一全局特征图与第十三特征数据对应通道相加，得到第十四特征数据；对第十四特征数据与第一全局特征图进行拼合，得到第二全局特征图。

在其中一些实施例中，如图11所示，提供了一种图像处理方法，包括：

步骤1102，获取待处理图像；

步骤1104，对待处理图像进行人像分割，得到包含人像的第一图像；

步骤1106，采用第二网络模型对第一图像进行处理，得到肤色特征图；

步骤1108，采用第四网络模型对待处理图像进行处理，得到第一全局特征图；

步骤1110，根据肤色特征图和第一全局特征图，得到第二全局特征图；

步骤1112，基于第二全局特征图得到第一白平衡增益数据，基于肤色特征图和非神经网络白平衡算法得到第二白平衡增益数据；

步骤1114，基于第一白平衡增益数据和第二白平衡增益数据，得到第三白平衡增益数据；

步骤1116，基于第三白平衡增益数据对待处理图像进行处理，得到第二图像。

在本申请实施例中，相较于相关技术方案，本申请实施例所确定的第三白平衡增益数据更加准确，且具有较佳的一致性。在采用第三白平衡增益数据对第一图像进行处理的情况下，能够提升图像的色彩处理效果，使得处理得到的第二图像更符合人眼看到的真实色彩。

本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。

在其中一些实施例中，如图12所示，提供了一种图像处理装置1200，包括：第二获取模块1202，用于获取待处理图像；分割模块1204，用于对待处理图像进行人像分割，得到包含人像的第一图像；第二处理模块1206，用于采用第二网络模型对第一图像进行处理，得到肤色特征图；第三处理模块1208，用于采用第四网络模型对待处理图像进行处理，得到第一全局特征图；第二融合模块1210，用于根据肤色特征图和第一全局特征图，得到第二全局特征图；第四处理模块1212，用于基于第二全局特征图得到第一白平衡增益数据，基于肤色特征图和非神经网络白平衡算法得到第二白平衡增益数据；第四处理模块1212，还用于基于第一白平衡增益数据和第二白平衡增益数据，得到第三白平衡增益数据；调整模块1214，用于基于第三白平衡增益数据对待处理图像进行处理，得到第二图像。

在本申请实施例中，相较于相关技术方案，本申请实施例所确定的第三白平衡增益数据更加准确，且具有较佳的一致性。在采用第三白平衡增益数据对第一图像进行处理的情况下，能够提升图像的色彩处理效果，使得处理得到的第二图像更符合人眼看到的真实色彩。

本申请实施例中的模型训练装置1000、图像处理装置1200可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digitalassistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的模型训练装置和图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的模型训练装置1000能够实现图1的模型训练方法实施例实现的各个过程，图像处理装置1200能够实现图11的图像处理方法实施例实现的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

如图13所示，本申请实施例还提供一种电子设备1300，包括处理器1302和存储器1304，存储器1304上存储有可在处理器1302上运行的程序或指令，该程序或指令被处理器1302执行时实现上述模型训练方法或图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图14为实现本申请实施例的一种电子设备的硬件结构示意图。

如图14所示，该电子设备1400包括但不限于：射频单元1401、网络模块1402、音频输出单元1403、输入单元1404、传感器1405、显示单元1406、用户输入单元1407、接口单元1408、存储器1409、以及处理器1410等部件。

本领域技术人员可以理解，电子设备1400还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图14中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

在其中一些实施例中，处理器1410，用于：获取第一训练数据集和第二训练数据集；其中，第一训练数据集包括人脸图像数据、初始色温数据和初始肤色数据，第二训练数据集包括原始图像数据和初始白平衡增益数据，人脸图像数据是基于原始图像数据得到的；基于第一训练数据集对第一网络模型进行训练，得到第二网络模型，第二网络模型用于输出肤色特征图；基于第二训练数据集对第三网络模型进行训练，得到第四网络模型，第四网络模型用于输出第一全局特征图；基于肤色特征图和第一全局特征图，得到第二全局特征图，第二全局特征图用于得到第一白平衡增益数据；基于第一白平衡增益数据和第二白平衡增益数据，得到第三白平衡增益数据，其中，第二白平衡增益数据是基于肤色特征图和非神经网络白平衡算法得到的。

在其中一些实施例中，第一网络模型包括第一子网络和第二子网络，处理器1410，用于：将人脸图像数据输入至第一子网络，得到肤色特征图；采用第二子网络对肤色特征图进行处理，得到第一色温数据和第一肤色数据；根据初始色温数据、初始色温数据对应的第一色温数据、初始肤色数据、初始肤色数据对应的第一肤色数据，更新第一子网络和第二子网络的参数，得到第二网络模型。

在其中一些实施例中，处理器1410，用于：将人脸图像数据输入至第一子网络中的平均池化层，得到第一特征数据；将第一特征数据输入至第一子网络中的第一卷积层，得到第二特征数据；将第二特征数据输入至第一子网络中的第一激活函数层，得到第三特征数据；将第三特征数据输入至第一子网络中的第二卷积层，得到第四特征数据；将第四特征数据输入至第一子网络中的第二激活函数层，得到第五特征数据；将第五特征数据输入至第一子网络中的第三卷积层，得到肤色特征图。

在其中一些实施例中，处理器1410，用于：将肤色特征图输入至第二子网络的第四卷积层，得到第六特征数据；将第六特征数据输入至第二子网络的第三激活函数层，得到第七特征数据；将第七特征数据输入至第二子网络的最大池化层，得到第八特征数据；将第八特征数据输入至第二子网络的第一全连接层后，将第一全连接层的输出结果输入至第二子网络的第二全连接层，得到第九特征数据；基于第九特征数据确定第一色温数据和第一肤色数据。

在其中一些实施例中，处理器1410，用于：将原始图像数据输入至第三网络模型中的分解层，得到分解后的数据；将分解后的数据进行采样，得到第十特征数据；对第十特征数据输入至第三网络模型中的平均池化层，得到第十一特征数据；对第十一特征数据进行卷积、激活处理，得到第一全局特征图；将第一全局特征图与肤色特征图进行融合操作，得到第二全局特征图；将第二全局特征图输入至第三网络模型中的池化层，得到第十二特征数据；将第十二特征数据输入至第三网络模型中的第三全连接层后，将第三全连接层的输出结果输入至第三网络模型中的第四全连接层，得到第一白平衡增益数据；基于初始白平衡增益数据和第一白平衡增益数据，更新第三网络模型的参数，得到第四网络模型。

在其中一些实施例中，处理器1410，用于：对肤色特征图进行补零处理，得到第十三特征数据；将第一全局特征图与第十三特征数据对应通道相加，得到第十四特征数据；对第十四特征数据与第一全局特征图进行拼合，得到第二全局特征图。

在其中一些实施例中，处理器1410，用于：获取待处理图像；对待处理图像进行人像分割，得到包含人像的第一图像；采用第二网络模型对第一图像进行处理，得到肤色特征图；采用第四网络模型对待处理图像进行处理，得到第一全局特征图；根据肤色特征图和第一全局特征图，得到第二全局特征图；基于第二全局特征图得到第一白平衡增益数据，基于肤色特征图和非神经网络白平衡算法得到第二白平衡增益数据；基于第一白平衡增益数据和第二白平衡增益数据，得到第三白平衡增益数据；基于第三白平衡增益数据对待处理图像进行处理，得到第二图像。

在本申请实施例中，利用获取得到的第一训练数据集和第二训练数据集训练第一网络模型和第三网络模型，进而得到第二网络模型和第四网络模型，其中，第二网络模型能够输出肤色特征图，第四网络模型能够输出第一全局特征图，在获取得到上述信息之后，基于肤色特征图和第一全局特征图来得到用于得到第一白平衡增益数据的第二全局特征图。

在上述实施例中，基于肤色特征图和非神经网络白平衡算法所得到的第二白平衡增益数据能够与上文得到的第一白平衡增益数据进行结合，得到第三白平衡增益数据，以便根据第三白平衡增益数据来对图像进行处理。

相较于相关技术方案，本申请实施例能够根据确定的第三白平衡增益数据来进行数据处理，克服了采用非神经网络白平衡算法计算得到白平衡增益数据对图像进行处理所存在的偏色，以及图像特征信息没有充分利用的问题，同时，也克服了相关技术方案中，基于神经网络的自动白平衡算法，其输出结果一致性比较差、稳定性欠佳的问题。

具体地，在上述实施例中，能够将肤色特征图作为非神经网络白平衡算法的参数，以此降低非神经网络白平衡算法所输出的第二白平衡增益数据的偏色，从而提高了图像调整后的颜色的准确性，同时，也能够充分利用图像特征信息。

此外，第三白平衡增益数据的确定参考了第二白平衡增益数据，因此，可以利用第二白平衡增益数据来对第一白平衡增益数据进行修正，使其一致性和稳定性能够得到改善。

相较于相关技术方案，本申请实施例所确定的第三白平衡增益数据更加准确，且具有较佳的一致性。在采用第三白平衡增益数据对第一图像进行处理的情况下，能够提升图像的色彩处理效果，使得处理得到的第二图像更符合人眼看到的真实色彩。

应理解的是，本申请实施例中，输入单元1404可以包括图形处理器(GraphicsProcessing Unit，GPU)14041和麦克风14042，图形处理器14041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1406可包括显示面板14061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板14061。用户输入单元1407包括触控面板14071以及其他输入设备14072中的至少一种。触控面板14071，也称为触摸屏。触控面板14071可包括触摸检测装置和触摸控制器两个部分。其他输入设备14072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器1409可用于存储软件程序以及各种数据。存储器1409可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1409可以包括易失性存储器或非易失性存储器，或者，存储器1409可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1409包括但不限于这些和任意其它适合类型的存储器。

处理器1410可包括一个或多个处理单元；可选地，处理器1410集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1410中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述模型训练方法或图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述模型训练方法或图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述模型训练方法或图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的实施例本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。