一种基于参考图和语义内容的黑白人像上色方法及终端

技术领域

本发明涉及图像处理技术领域，特别涉及一种基于参考图和语义内容的黑白人像上色方法及终端。

背景技术

现阶段人物图像上色有两种主流方案。一是使用传统的人工上色，该方法能够最大程度的还原真实场景，二则是使用一些算法技术，通过计算机强大的计算能力来恢复所需要的颜色信息。

计算机上色中，现有技术较为常用的是采用生成对抗网络(Generativeadversarial networks:GAN)进行计算机上色。一个生成对抗网络中包含了两个神经网络，即生成器和判别器，它们的对抗学习使自己变得日臻完善，从而得到逼近于真实数据的颜色效果。

该方法主要是通过大量的图片数据，学习待上色的黑白图像与真实彩色图像之间的颜色映射关系，之后输入黑白图片则能够自动恢复所需要的填充的颜色信息。在采用原始GAN训练的时候容易出现训练不收敛或者训练崩溃的问题，需要通过不断尝试才能获得比较稳定的训练结果，此外，由于学习黑白图像到彩色图像的映射关系是让网络完全自己学习，缺少人为控制，容易造成最终上色结果不尽如人意。

发明内容

本发明所要解决的技术问题是：提供一种基于参考图和语义内容的黑白人像上色方法法及终端，使得生成对抗网络具有更好的上色效果。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于参考图和语义内容的黑白人像上色方法，包括步骤：

S1、获取待上色人像图和参考图；

S2、将待上色人像图和参考图输入语义提取网络得到待上色人像图的语义图和参考图的语义图，将待上色人像图和参考图输入特征提取网络得到待上色人像图特征和参考图特征；

S3、将待上色人像图特征、参考图特征、待上色人像图的语义图和参考图的语义图输入自注意力模块得到待上色人像图和参考图的相似性矩阵，并根据相似性矩阵和参考图得到颜色匹配结果；

S4、将相似度矩阵和颜色匹配结果输入生成器生成结果图。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种基于参考图和语义内容的黑白人像上色终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。

本发明的有益效果在于：一种基于参考图和语义内容的黑白人像上色方法及终端，使用语义图作为辅助信息，使得模型不仅仅只通过图像对学习映射关系，通过语义图这种更加简单明了的对应关系的学习，有效控制了模型训练的可解释性，减少了之前模型训练存在的不确定性的问题，从而使得之前部分模型学习不好的上色区域能够更加准确的上到合适的颜色。

附图说明

图1为本发明实施例的一种基于参考图和语义内容的黑白人像上色方法的流程示意图；

图2为本发明实施例的一种基于参考图和语义内容的黑白人像上色终端的结构示意图。

标号说明：

1、一种基于参考图和语义内容的黑白人像上色终端；2、处理器；3、存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，一种基于参考图和语义内容的黑白人像上色方法，包括步骤：

S1、获取待上色人像图和参考图；

S2、将待上色人像图和参考图输入语义提取网络得到待上色人像图的语义图和参考图的语义图，将待上色人像图和参考图输入特征提取网络得到待上色人像图特征和参考图特征；

S3、将待上色人像图特征、参考图特征、待上色人像图的语义图和参考图的语义图输入自注意力模块得到待上色人像图和参考图的相似性矩阵，并根据相似性矩阵和参考图得到颜色匹配结果；

S4、将相似度矩阵和颜色匹配结果输入生成器生成结果图。

由上述描述可知，本发明的有益效果在于：一种基于参考图和语义内容的黑白人像上色方法及终端，使用语义图作为辅助信息，使得模型不仅仅只通过图像对学习映射关系，通过语义图这种更加简单明了的对应关系的学习，有效控制了模型训练的可解释性，减少了之前模型训练存在的不确定性的问题，从而使得之前部分模型学习不好的上色区域能够更加准确的上到合适的颜色。

进一步地，所述语义提取网络包括依次连接的四个卷积模块，每个卷积模块包括三个卷积层、一个批正则化层和一个R

F＝BN{{W

式中，g表示非线性激活函数，W

由上述给出了语义网络模块的具体实现方法，实现了语义提取。

特征提取网络采用预训练的vgg19模型，该部分参数固定不做训练调整。

进一步地，所述自注意力模块具体实现步骤：

S31、将待上色人像图特征和参考图特征进行外积运算，得到特征相似度矩阵，其计算公式为：

V

V

将待上色人像图的语义图和参考图的语义图张成张量：

V

V

将待上色人像图的语义图和参考图的语义图同语义的部分标记为1，其余部分标记为0，得到语义相似度矩阵，其计算公式为：

S32、将特征相似度矩阵和语义相似度矩阵依次进行拼接、恢复原始大小和归一化操作，得到相似性矩阵，其计算公式为：

S′＝normal(Recover(concat(S

S33、对相似度矩阵和参考图进行矩阵乘法得到颜色匹配结果，其计算公式为：

I′＝S′*I

式中，W

由上述描述可知，实现了相似性矩阵计算和颜色匹配。

进一步地，所述生成器包括Z+1个依次连接的卷积模块，每个卷积模块包括一个卷积层，一个批正则化层和一个ReLU激活函数，所述卷积模块中，前Z/2+1个卷积模块作为编码部分，后Z/2个卷积模块作为解码部分，第一个卷积模块为进行特征提取的卷积模块，所述Z≥10。

由上述描述可知，给出了生成对抗网络中，生成器的具体结构。

进一步地，对方法里所涉及网络训练时实现以下步骤：

A1、获取训练数据集，训练数据集包括多个训练数据，每个训练数据包括彩色人像图像、彩色人像语义分割图、参考图和参考图语义分割图；

A2、以训练数据的彩色人像图片退化为黑白人像图像作为输入，以彩色人像语义分割图作为目标训练语义提取网络至语义提取网络学习收敛；

A3、以语义提取网络和特征提取网络的输出作为输入，训练生成对抗网络；

若一个子训练周期后生成的结果图与彩色人像图像比较时没有获得预先设定的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再重新执行步骤A3直到生成的结果图与彩色人像图像比较时获得预先设定的重建效果或抵达预设训练次数。

由上述描述可知，训练采用多个子周期训练的方案，由于GAN训练存在不稳定的问题，通过设定较少的训练次数，可以有效减少后期训练崩溃的情况，同时通过更多的训练轮次，来逐渐优化训练的效果，这样可以让在训练的初期保证模型的稳定性，在训练的后期，提高上色的精度，减少因卷积网络判断错误导致的上色不合理的效果。用户可根据实际需要设定不同的训练次数。

进一步地，所述语义提取网络所使用的损失函数为交叉熵损失函数，其公式为：

式中，y

由上述描述可知，给出了语义提取网络的损失函数。

进一步地，所述生成对抗网络的判别器包括n个卷积层和一个ReLU激活函数，判别器的公式为：

I′

式中，W

由上述描述可知，给出了判别器的具体实现方式，实现了判别器与生成器的对抗。

进一步地，所述生成器的损失函数公式为：

式中，j表示损失函数的损失网络的第j层，C

由上述描述可知，给出了生成器的损失函数。

进一步地，所述生成对抗网络的损失函数为：

式中，G(z)表示生成器的输出，D(x，y)表示判定器的正确概率，

由上述描述可知，给出了生成器函数的损失函数。

一种基于参考图和语义内容的黑白人像上色终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法。

本发明用于黑白人像上色。

请参照图1，本发明的实施例一为：

一种基于参考图和语义内容的黑白人像上色方法，包括以下步骤：

S1、获取待上色人像图和参考图。

获取待上色人像图I

S2、对待上色人像图和参考图进行语义提取得到待上色人像图的语义图和参考图的语义图，将待上色人像图和参考图输入特征提取网络得到待上色人像图特征和参考图特征。

语义提取部分。将待上色人像图I

具体而言，语义提取网络由四大块卷积模块组成，每个卷积模块包括三个卷积层，一个批正则化层和一个ReLU激活函数，其中一个大卷积模块的计算公式是：

F＝BN{{W

其中g表示非线性激活函数，W

其中，特征提取网络采用预训练的vgg19模型，该部分参数固定不做训练调整，通过网络学习和先验信息来获得参考图和原图的颜色匹配信息。

S3、将待上色人像图特征、参考图特征、待上色人像图的语义图和参考图的语义图输入自注意力模块得到待上色人像图和参考图的相似性矩阵，并根据相似度矩阵和参考图得到颜色匹配结果。

颜色匹配部分。该部分主要由自定义的自注意力块组成。在自定义自注意力块中，待上色人像图特征F

即，所述自注意力模块具体实现步骤：

S31、将待上色人像图特征和参考图特征进行外积运算，得到特征相似度矩阵，其计算公式为：

V

V

将待上色人像图的语义图和参考图的语义图张成张量：

V

V

将待上色人像图的语义图和参考图的语义图同语义的部分标记为1，其余部分标记为0，得到语义相似度矩阵，其计算公式为：

S32、将特征相似度矩阵和语义相似度矩阵依次进行拼接、恢复原始大小和归一化操作，得到相似性矩阵，其计算公式为：

S＝normal(Recover(concat(S

S33、对相似度矩阵和参考图进行矩阵乘法得到颜色匹配结果，其计算公式为：

I′＝S′*I

式中，W

S4、将相似度矩阵和颜色匹配结果输入生成器生成结果图。

生成器部分。其旨在将上一步得到的相似性矩阵和颜色匹配结果作为输入，通过网络更好的学习上色效果。该部分由11个卷积模块组成，每个卷积模块包括一个卷积层，一个批正则化层和一个ReLU激活函数，其中一个大卷积模块的计算公式是：

F＝ReLU{BN{W

W

对上述黑白人像上色方法进行训练时包括步骤：

A1、获取训练数据集，训练数据集包括多个训练数据，每个训练数据包括彩色人像图像、彩色人像语义分割图、参考图和参考图语义分割图。

为了训练人像图片上色模型，选取大量的彩色全身半身人像图像，之后退化为黑白图像作为待上色图像I

A2、以训练数据退化的黑白人像图像作为输入，以彩色人像语义分割图作为目标训练语义提取网络至语义提取网络学习收敛。

其中，语义提取网络所使用的损失函数是交叉熵损失，该公式为：

y

A3、以语义提取网络和特征提取网络的输出作为输入，训练生成对抗网络。

若一个子训练周期后生成的结果图与彩色人像图像比较时没有获得预先设定的重建效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再重新执行步骤A3直到生成的结果图与彩色人像图像比较时获得预先设定的重建效果或抵达预设训练次数。

其中，生成对抗网络判别器部分。判别器网络的输入生成器的结果图和对应的彩色人像图像的拼接矩阵。判别器网络主要还是以卷积和ReLU激活函数为主，其公式为：

I′

其中W

生成器部分的损失函数计算。利用生成器得到的结果图与所对应的彩色人像图像进行比较，计算Perceptual Loss(感知损失)损失函数。该损失函数可以表示为：

其中，j表示网络的第j层，C

同时，我们使用基于HingeLoss损失函数作为生成对抗网络的优化损失，损失函数为：

式中，G(z)表示生成器的输出，D(x，y)表示判定器的正确概率，

请参照图2，本发明的实施例二为：

一种基于参考图和语义内容的黑白人像上色终端1，包括存储器3、处理器2及存储在存储器3上并可在处理器2上运行的计算机程序，处理器2执行计算机程序时实现上述实施例一的方法。

综上所述，本发明提供的一种基于参考图和语义内容的黑白人像上色方法及终端，使用语义图作为辅助信息，使得模型不仅仅只通过图像对学习映射关系，通过语义图这种更加简单明了的对应关系的学习，有效控制了模型训练的可解释性，减少了之前模型训练存在的不确定性的问题，从而使得之前部分模型学习不好的上色区域能够更加准确的上到合适的颜色。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。