图像色彩迁移方法及装置、计算机可读介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体涉及一种图像色彩迁移方法、图像色彩迁移装置、计算机可读介质和电子设备。

背景技术

伴随着人们生活水平的不断提高，图像处理技术(Image processing)越来越得到人们的关注。其中，色彩迁移是数字图像处理中的一个重要研究方向，色彩迁移就是两幅图像色彩之间的颜色转移，通俗来说，就是一个图像作为色彩的来源，一个作为待处理图像，然后通过算法使待处理图像在保留自身结构形状信息的情况下，拥有来源图像的色彩信息。

目前，相关的色彩迁移方案中，要么是直接套用风格迁移的任务目标实现图像的色彩迁移，要么通过生成式对抗网络(Generative Adversarial Networks，GAN)直接实现图像的调色。但是，这两种技术方案与色彩迁移的任务目标均不匹配，导致得到的处理后的图像要么没有保持原有的形状结构信息，要么处理后的图像噪声多，图像质量差，没有较好的实现色彩迁移任务。

发明内容

本公开的目的在于提供一种图像色彩迁移方法、图像色彩迁移装置、计算机可读介质和电子设备，进而至少在一定程度上提高色彩迁移处理后的目标内容图像的图像质量，使其更加符合参考图像的色彩分布。

根据本公开的第一方面，提供一种图像色彩迁移方法，包括：

获取内容图像以及参考图像；

将所述内容图像和所述参考图像进行参数化处理，得到所述内容图像对应的第一统计特征和所述参考图像的第二统计特征；

对所述第一统计特征和所述第二统计特征进行迭代优化，得到所述内容图像和所述参考图像之间的色彩映射关系；

根据所述色彩映射关系对所述内容图像进行色彩迁移处理，得到与所述参考图像具有相似色彩分布特征的目标内容图像。

根据本公开的第二方面，提供一种图像色彩迁移装置，包括：

图像获取模块，用于获取内容图像以及参考图像；

图像参数化模块，用于将所述内容图像和所述参考图像进行参数化处理，得到所述内容图像对应的第一统计特征和所述参考图像的第二统计特征；

优化拟合模块，用于对所述第一统计特征和所述第二统计特征进行迭代优化，得到所述内容图像和所述参考图像之间的色彩映射关系；

图像色彩迁移模块，用于根据所述色彩映射关系对所述内容图像进行色彩迁移处理，得到与所述参考图像具有相似色彩分布特征的目标内容图像。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

本公开的一种实施例所提供的图像色彩迁移方法，将获取的内容图像和参考图像进行参数化处理，得到内容图像对应的第一统计特征和参考图像的第二统计特征；然后对第一统计特征和第二统计特征进行迭代优化，得到内容图像和所述参考图像之间的色彩映射关系，进而可以根据色彩映射关系对内容图像进行色彩迁移处理，得到与参考图像具有相似色彩分布特征的目标内容图像。一方面，通过计算内容图像和参考图像的统计特征，然后对统计特征进行迭代优化得到色彩映射关系，进而根据色彩映射关系实现色彩迁移任务，相比于通过基于迁移学习任务的风格迁移模型进行风格迁移处理或者基于对抗生成网络进行调色任务，不仅能够使色彩迁移处理后的目标内容图像的噪声更少、实现更精确的纹理细节，提高目标内容图像的图像质量；另一方面，相比于基于风格迁移或者对抗生成网络的色彩迁移，通过迭代拟合得到的色彩映射关系进行色彩迁移处理，使目标内容图像的色彩分布更加贴合参考图像的色彩分布特征，不会改变内容图像的图像纹理，仅实现色彩的迁移，更加符合色彩迁移任务的目标，提升色彩迁移后的目标内容图像的图像质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；

图2示出了可以应用本公开实施例的一种电子设备的示意图；

图3示意性示出本公开示例性实施例中一种图像色彩迁移方法的流程图；

图4示意性示出本公开示例性实施例中一种拟合得到内容图像与参考图像之间的色彩映射关系的流程图；

图5示意性示出本公开示例性实施例中一种通过色彩映射关系生成目标内容图像的流程图；

图6示意性示出本公开示例性实施例中一种实现内容图像与参考图像之间色彩迁移的流程图；

图7示意性示出本公开示例性实施例中一种训练色彩迁移模型的流程图；

图8示意性示出本公开示例性实施例中图像色彩迁移装置的组成示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种图像色彩迁移方法及装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本公开实施例所提供的图像色彩迁移方法一般由终端设备101、102、103中执行，相应地，图像色彩迁移装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是，本公开实施例所提供的图像色彩迁移方法也可以由服务器105执行，相应的，图像色彩迁移装置也可以设置于服务器105中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103获取内容图像以及参考图像，然后将内容图像以及参考图像上传至服务器105，服务器通过本公开实施例所提供的图像色彩迁移方法生成目标内容图像后，将目标内容图像传输给终端设备101、102、103等。

本公开的示例性实施方式提供一种用于实现图像色彩迁移方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行图像色彩迁移方法。

下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

NPU为神经网络(Neural-Network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现移动终端200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。

充电管理模块240用于从充电器接收充电输入。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。

移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。其中，天线1和天线2用于发射和接收电磁波信号；移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案；调制解调处理器可以包括调制器和解调器；无线通信模块260可以提供应用在移动终端200上的包括无线局域网(Wireless Local Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)等无线通信的解决方案。在一些实施例中，移动终端200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得移动终端200可以通过无线通信技术与网络以及其他设备通信。

移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。其中，ISP用于处理摄像模组291反馈的数据；摄像模组291用于捕获静态图像或视频；数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号；视频编解码器用于对数字视频压缩或解压缩，移动终端200还可以支持一种或多种视频编解码器。

外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(Universal Flash Storage，UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。

移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。

深度传感器2801用于获取景物的深度信息。在一些实施例中，深度传感器可以设置于摄像模组291。

压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。

陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中，可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖、导航、体感游戏场景等。

此外，还可以根据实际需要在传感器模块280中设置其他功能的传感器，例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。

移动终端200中还可包括其它提供辅助功能的设备。例如，按键294包括开机键，音量键等，用户可以通过按键输入，产生与移动终端200的用户设置以及功能控制有关的键信号输入。再如，指示器292、马达293、SIM卡接口295等。

在相关技术中，为了能够实现图像之间的色彩迁移，要么直接采用风格迁移任务的训练方式，例如，采用视觉几何神经网络(Visual Geometry Group Network，VGG)来构建内容损失和风格损失，但是，由于风格迁移任务与颜色迁移任务的优化目标并不相同，导致在色彩迁移过程中破坏了内容图像中的形状结构信息，改变了图像纹理信息，输出的图像比较模糊、噪声较多；在另一种方案中，是直接使用训练好的生成式对抗网络直接生成经过调色后的图像，但是使用生成式对抗网络的颜色迁移只能处理单一色彩分布特征，并且需要收集大量该色彩分布特征的数据，输出的图像中的色彩分布特征也不能很好的趋近参考图像的色彩分布，导致色彩迁移的效果较差。

基于发现的一个或者多个问题，本公开首先提出一种图像色彩迁移方法，下面对本公开示例性实施方式的图像色彩迁移方法进行具体说明。

图3示出了本示例性实施方式中一种图像色彩迁移方法的流程，包括以下步骤S310至步骤S340：

在步骤S310中，获取内容图像以及参考图像。

在一示例性实施例中，内容图像是指用于色彩迁移处理的目的图像，例如，内容图像可以是用图像采集设备拍摄的风景图像、人物图像等，也可以是绘制的带有颜色或者没有颜色的线条图，本示例实施例对此不做特殊限定。参考图像是指用于色彩迁移处理的源图像，例如，参考图像可以是用图像采集设备拍摄的风景图像、人物图像等，也可以是由设计人员预先绘制的、具有特定颜色搭配方案的图像，本示例实施例对此不做特殊限定。

举例而言，假设色彩迁移是基于图像A和图像B，合成一幅新的图像C，使其同时具有B的色彩分布和A的结构分布等信息，即图像A在不改变其自身所表达的形状信息的情况下，学习了图像B的整体颜色基调，其中图像A可以称为内容图像，也叫形状图像或者目的图像，而图像B可以称为参考图像，也叫颜色图像或者源图像。

可以获取图像采集单元采集的图像作为内容图像或者参考图像，也可以通过预设的接口获取用户输入的内容图像或者参考图像，当然，还可以是从云端或者数据库获取用户选择的图像作为内容图像或者参考图像，本示例实施例对此不做特殊限定。

在步骤S320中，将所述内容图像和所述参考图像进行参数化处理，得到所述内容图像对应的第一统计特征和所述参考图像的第二统计特征。

在一示例性实施例中，参数化处理是指将内容图像或者参考图像中颜色分布特征具化为统计数据的处理过程，例如，参数化处理可以是通过高斯混合模型拟合得到图像的色彩概率分布的处理过程，也可以是通过对图像进行直方图采样得到采样信息的处理过程，本示例实施例对此不做特殊限定。

第一统计特征是指将内容图像中的色彩分布特征进行参数化处理得到的数据，例如，第一统计特征可以是内容图像对应的概率分布，也可以是内容图像对应的直方图采样信息，本示例实施例不以此为限。第二统计特征是指将参考图像中的色彩分布特征进行参数化处理得到的数据，第二统计特征与第一统计特征是经过相同的参数化处理得到的统计特征，此处不再赘述。

在步骤S330中，对所述第一统计特征和所述第二统计特征进行迭代优化，得到所述内容图像和所述参考图像之间的色彩映射关系。

在一示例性实施例中，色彩映射关系是指经过迭代拟合得到的、内容图像的色彩分布与参考图像的色彩分布之间的映射关系，通过色彩映射关系能够实现将参考图像中的颜色分布迁移到内容图像中。

在步骤S340中，根据所述色彩映射关系对所述内容图像进行色彩迁移处理，得到与所述参考图像具有相似色彩分布特征的目标内容图像。

在一示例性实施例中，目标内容图像是指将内容图像中的色彩分布转化为与参考图像的色彩分布相适应的图像，即经过色彩迁移处理后的内容图像。

在得到内容图像和参考图像之间的色彩映射关系之后，通过该色彩映射关系实现内容图像的色彩调整，以使内容图像的色彩分布与参考图像的色彩分布相同或者相似，实现将参考图像中的色彩分布迁移到内容图像中，得到目标内容图像。

下面对步骤S310至步骤S340进行详细解释说明。

目前，在色彩迁移任务中使用深度学习方法的尝试越来越常见，但相对于较为老旧的传统算法，在呈现的结果上并未有明显提升，主要的原因是由于现有方案都未有认真的分析颜色迁移任务的目标，未建立颜色迁移的数学模型，而是简单的套用了近年来高速发展的风格迁移方法，使得大量使用风格迁移的损失loss来训练颜色迁移的方案被提出，但是由于错误的损失loss使得色彩迁移方案并不能得到预期的结果。

申请人研究发现，颜色迁移任务的目标可以被关系式(1)较好的描述：

∫

其中，f(x)可以表示内容图像中色彩分布的概率密度函数，g(x)可以表示参考图像中色彩分布的概率密度函数，u可以表示内容图像中任一像素值，t(u)可以表示像素值u的调色结果，t(.)可以表示色彩映射关系(即调色函数)。

举例而言，假设任意像素值u为(0.5，0.5，0.5)表示0～1之间的rgb值，∫

对关系式(1)求导，可以得到f(u)＝|t'(u)|g(t(u))，其中|t'(u)|可以表示t在u处的导数的行列式，即表示概率分布f(u)和概率分布p(u)＝|t'(u)|g(t(u))相同，因此可以得到结论，在实现色彩迁移目标时可以将KL散度(Kullback–Leiblerdivergence，KLD，又被称为相对熵)作为损失loss，即关系式(2)：

其中，u可以表示内容图像中任一像素值，f(.)可以表示内容图像中色彩分布的概率分布，p(u)＝|t'(u)|g(t(u))，|t'(u)|可以表示t(.)在u处的导数的行列式，g(.)可以表示参考图像中色彩分布的概率分布。

在一示例性实施例中，统计特征可以包括图像的概率分布，具体可以基于高斯混合模型对内容图像进行混合高斯拟合，得到内容图像的第一概率分布；以及基于高斯混合模型对参考图像进行混合高斯拟合，得到参考图像的第二概率分布。

其中，高斯混合模型(Gaussian Mixture Model，GMM)是指用高斯概率密度函数(正态分布曲线)精确地量化事物，将事物分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型。由于KL散度要求概率分布处处大于0，因此可以通过GMM(高斯混合模型)将图像中的色彩分布参数化，对内容图像进行GMM拟合后得到概率分布，即f(u)，对参考图像进行GMM拟合后得到概率分布，即g(u)。

在一示例性实施例中，可以通过图4中的步骤实现对第一统计特征和第二统计特征进行迭代优化，得到内容图像和参考图像之间的色彩映射关系，参考图4所示，具体可以包括：

步骤S410，构建分布拟合模型，所述分布拟合模型为卷积神经网络模型，所述分布拟合模型的损失函数为相对熵损失函数；

步骤S420，基于所述分布拟合模型对所述第一统计特征和所述第二统计特征进行非线性优化，以最小化所述相对熵损失函数，得到所述内容图像和所述参考图像之间的色彩映射关系。

其中，分布拟合模型是指用于根据第一统计特征和第二统计特征拟合得到内容图像和参考图像之间的色彩映射关系的神经网络模型，例如分布拟合模型可以是卷积神经网络模型(Convolutional Neural Networks,CNN)，CNN网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(Deep Learning)的代表算法之一，卷积神经网络模型具有表征学习(representation learning)能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks,SIANN)。

对于KL散度即相对熵损失函数的关系式(1)，由于在GMM拟合步骤中，已经得到了函数f(u)和g(u)，只有函数t(.)未知。因此可以通过一个神经网络模型如来CNN网络拟合函数t(.)，并通过使用非线性优化方法以最小化关系式(1)，即可求得函数t(.)，函数t(.)就是内容图像和参考图像之间的色彩映射关系。

举例而言，函数t(.)对应的分布拟合模型的模型结构可以表示为关系式(3)：

t(u)＝A’*tanh(A*u+b1)+b2 (3)

其中，A、b1、b2为模型参数，A可以表示32*3矩阵，A’可以表示是矩阵A的转置矩阵，可以理解为，分布拟合模型的模型结构可以包括两个1*1卷积核，两个卷积核互为转置，其中一个卷积核1的权重为A，偏置为b1，另一个卷积核2权重为A’，转置偏置为b2，tanh为激活函数。

在一示例性实施例中，在拟合得到内容图像和参考图像之间的色彩映射关系t(.)之后，可以根据色彩映射关系t(.)对内容图像进行色彩迁移处理，得到与参考图像具有相似色彩分布特征的目标内容图像，参考图5所示，具体可以包括：

步骤S510，根据所述色彩映射关系将所述内容图像中的原始像素值转化为目标像素值；

步骤S520，通过所述目标像素值生成与所述参考图像具有相似色彩分布特征的目标内容图像。

其中，原始像素值是指内容图像中的未色彩迁移处理前的像素值，目标像素值是指经过色彩迁移处理后的像素值，在拟合得到色彩映射关系即函数t(.)之后，对于内容图像中的原始像素值u，计算v＝t(u)，其中新的像素值v即原始像素值u经过色彩迁移处理后得到的目标像素值。

图6示意性示出本公开示例性实施例中一种实现内容图像与参考图像之间色彩迁移的流程图。

参考图6所示，步骤S610，基于高斯混合模型将内容图像601进行拟合，计算得到内容图像对应的第一统计特征(即第一概率密度分布函数f(u))；

步骤S620，基于高斯混合模型将参考图像602进行拟合，计算得到参考图像对应的第二统计特征(即第二概率密度分布函数g(u))；

步骤S630，通过以相对熵损失函数(KL散度)作为损失函数的分布拟合模型对第一概率密度分布函数f(u)和第二概率密度分布函数g(u)进行迭代拟合，以最小化相对熵损失函数，得到内容图像601和参考图像602之间的色彩映射关系(即函数t(u))；

步骤S640，根据拟合得到的色彩映射关系t(u)转换内容图像601中的原始像素值得到目标像素值，目标像素值即经过色彩迁移处理后的调色结果，并根据目标像素值生成目标内容图像603。

在另一示例性实施例中，在色彩迁移任务中，如果对每一对内容图像以及参考图像均分别进行GMM拟合以及优化KL散度这整个过程实现色彩迁移，可能导致色彩迁移处理的效率低下、工作量大。因此，可以基于图6中的色彩迁移方法，通过GMM拟合、优化KL散度以及调色三个步骤得到多组{内容图像，参考图像，目标内容图像}的样本数据，从而可以通过生成的样本数据进行深度学习模型的训练，以通过训练完成的深度学习模型实现快速、高效的色彩迁移任务。可以通过图7中的实现色彩迁移模型的训练，具体可以包括：

步骤S710，将所述内容图像、所述参考图像和所述目标内容图像作为样本图像集合；

步骤S720，基于所述样本图像集合对预构建的色彩迁移模型进行有监督训练，得到训练完成的色彩迁移模型。

其中，样本图像集合是指由参考图像、内容图像以及基于GMM拟合、优化KL散度以及调色三个步骤色彩迁移处理后得到的目标内容图像构成的样本图像对，用于训练色彩迁移模型。

在训练色彩迁移模型时，可以将样本图像集合{内容图像，参考图像，目标内容图像}中的内容图像和参考图像作为输入样本输入到色彩迁移模型，并将目标内容图像作为样本标签有监督训练色彩迁移模型，直到色彩迁移模型的损失函数收敛，得到训练完成的色彩迁移模型。在使用时，可以将真实内容图像以及真实参考图像输入到训练完成的色彩迁移模型中，可以快速的、高效生成真实内容图像对应的目标内容图像，实现将真实参考图像中的色彩分布迁移到真实内容图像中。

申请人研究发现，在色彩迁移任务中可以将调色问题描述为r'，g'，b'＝f(r，g，b)，即输出的rgb像素值为输入r'g'b'像素值的函数，同样的rgb值会得到同样的r'g'b'值。因此，色彩迁移任务实质上只需要关注当前像素值和全局统计值，而不需要像素的区域信息。在此基础上，色彩迁移任务可以只需要1*1的感受域，而对感受域的要求降低也导致调色任务的模型结构不需要降采样，因此如果在色彩迁移模型中采用1*1的卷积核处理图像中的色彩分布特征，能够有效保持图像细节，使色彩迁移处理后的图像的质量更高，并且由于模型的结构更加简单，能够提高模型的处理效率。

具体的，本示例实施例中的色彩迁移模型可以包括至少两个卷积层，其中一个卷积层可以用于提取输入的真实内容图像或者真实参考图像的色彩分布特征，另一个卷积层可以用于最后的输出，至少两个卷积层可以包括1*1卷积核。可以将内容图像和参考图像输入到预构建的色彩迁移模型中，以通过卷积层中的1*1卷积核分别提取内容图像中第一图像特征的和参考图像中的第二图像特征。

进一步的，色彩迁移模型还可以包括自适应实例归一化模块(AdaIN)，自适应实例归一化模块的作用是：计算内容图像(content)以及参考图像(style)的图像特征(featuremap)的均值和方差，通过内容图像的图像特征减去内容图像的方差除以内容图像的均值，然后乘以参考图像的方差加上内容图像的均值。通过自适应实例归一化模块可以使得内容图像对应的图像特征的均值和方差，与参考图像对应的图像特征的均值和方差保持一致，从而实现捕捉整个参考图像的统计信息。即，可以通过自适应示例归一化模块将第一图像特征的均值和方差对齐到第二图像特征的均值和方差，以实现将参考图像中的色彩分布特征迁移到内容图像中。

综上所述，本示例性实施方式中，一方面，通过计算内容图像和参考图像的统计特征，然后对统计特征进行迭代优化得到色彩映射关系，进而根据色彩映射关系实现色彩迁移任务，相比于通过基于迁移学习任务的风格迁移模型进行风格迁移处理或者基于对抗生成网络进行调色任务，不仅能够使色彩迁移处理后的目标内容图像的噪声更少、实现更精确的纹理细节，提高目标内容图像的图像质量；另一方面，相比于基于风格迁移或者对抗生成网络的色彩迁移，通过迭代拟合得到的色彩映射关系进行色彩迁移处理，使目标内容图像的色彩分布更加贴合参考图像的色彩分布特征，不会改变内容图像的图像纹理，仅实现色彩的迁移，更加符合色彩迁移任务的目标，提升色彩迁移后的目标内容图像的图像质量。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图8所示，本示例的实施方式中还提供一种图像色彩迁移装置800，可以包括图像获取模块810、图像参数化模块820、优化拟合模块830和图像色彩迁移模块840。其中：

图像获取模块810用于获取内容图像以及参考图像；

图像参数化模块820用于将所述内容图像和所述参考图像进行参数化处理，得到所述内容图像对应的第一统计特征和所述参考图像的第二统计特征；

优化拟合模块830用于对所述第一统计特征和所述第二统计特征进行迭代优化，得到所述内容图像和所述参考图像之间的色彩映射关系；

图像色彩迁移模块840用于根据所述色彩映射关系对所述内容图像进行色彩迁移处理，得到与所述参考图像具有相似色彩分布特征的目标内容图像。

在一示例性实施例中，图像参数化模块820可以用于：

基于高斯混合模型对所述内容图像进行混合高斯拟合，得到所述内容图像的第一概率分布；以及

基于高斯混合模型对所述参考图像进行混合高斯拟合，得到所述参考图像的第二概率分布。

在一示例性实施例中，优化拟合模块830可以用于：

构建分布拟合模型，所述分布拟合模型为卷积神经网络模型，所述分布拟合模型的损失函数为相对熵损失函数；

基于所述分布拟合模型对所述第一统计特征和所述第二统计特征进行非线性优化，以最小化所述相对熵损失函数，得到所述内容图像和所述参考图像之间的色彩映射关系。

在一示例性实施例中，图像色彩迁移模块840可以用于：

根据所述色彩映射关系将所述内容图像中的原始像素值转化为目标像素值；

通过所述目标像素值生成与所述参考图像具有相似色彩分布特征的目标内容图像。

在一示例性实施例中，图像色彩迁移装置800还包括色彩迁移模型训练模块，色彩迁移模型训练模块可以用于：

将所述内容图像、所述参考图像和所述目标内容图像作为样本图像集合；

基于所述样本图像集合对预构建的色彩迁移模型进行有监督训练，得到训练完成的色彩迁移模型。

在一示例性实施例中，色彩迁移模型可以包括卷积层，该卷积层可以包括1*1卷积核；色彩迁移模型训练模块还可以用于：

将所述内容图像和所述参考图像输入到所述预构建的色彩迁移模型中，以通过所述1*1卷积核分别提取所述内容图像中第一图像特征的和所述参考图像中的第二图像特征。

在一示例性实施例中，色彩迁移模型可以包括自适应示例归一化模块；色彩迁移模型训练模块还可以用于：

通过所述自适应示例归一化模块将所述第一图像特征的均值和方差对齐到所述第二图像特征的均值和方差，以实现将所述参考图像中的色彩分布特征迁移到所述内容图像中。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3至图7中任意一个或多个步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。