一种图像修复方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理技术领域，特别是涉及一种图像修复方法、装置、电子设备及存储介质。

背景技术

由于年代久远、传输媒介老化等原因，影片会出现噪点、模糊、失真等各种问题，为了改善影片观感，可以采用数字修复技术对影片进行修复。人脸是影片中最为重要的元素之一，其对于影片的故事情节、角色性格等方面都起着至关重要的作用，因此，人脸修复是一个非常重要的环节。

现有技术中，通常采用预先训练得到的人脸修复模型对影片进行处理，通过对人脸的面部特征进行分析识别，还原出影片中人脸的原始面部特征，得到修复后的人脸图像。

但是，有些情况下会出现人脸上存在文字遮挡的情况，此时，人脸修复模型可能无法准确预测被遮挡区域的原始面部特征，因此，修复后的人脸图像可能会出现面部特征失真的问题，导致人脸修复的效果不好，降低修复结果的可用性和可信度。

发明内容

为解决上述技术问题，本申请示出了一种图像修复方法、装置、电子设备及存储介质，以至少解决相关技术中人脸上存在文字遮挡的情况下，修复后的人脸图像出现面部特征失真，导致人脸修复的效果不好，降低修复结果的可用性和可信度的问题。本公开的技术方案如下：

第一方面，本申请示出了一种图像修复方法，所述方法包括：

获取待修复人脸图像；

识别所述待修复人脸图像中的文字区域；

基于所述待修复人脸图像中除所述文字区域之外的其他区域，对所述文字区域进行修复处理，得到去文字人脸图像；

将所述去文字人脸图像输入至预先训练得到的人脸修复模型中，对所述去文字人脸图像进行人脸修复，得到修复人脸图像；所述人脸修复模型通过对训练数据进行训练得到，所述训练数据包括有文字遮挡的样本人脸图像及所述样本人脸图像对应的无文字遮挡人脸图像。

可选地，所述识别所述待修复人脸图像中的文字区域，包括：

识别所述待修复人脸图像中的人脸区域；

确定所述人脸区域及所述文字区域之间的重叠区域；

所述基于所述待修复人脸图像中除所述文字区域之外的其他区域，对所述文字区域进行修复处理，得到去文字人脸图像，包括：

基于所述待修复人脸图像中除所述重叠区域之外的其他区域，对所述重叠区域进行修复处理，得到去文字人脸图像。

可选地，在所述人脸区域及所述文字区域之间不存在重叠区域的情况下，所述方法还包括：

将所述待修复人脸图像输入至原始人脸修复模型中，对所述待修复人脸图像进行人脸修复，得到修复人脸图像。

可选地，所述基于所述待修复人脸图像中除所述文字区域之外的其他区域，对所述文字区域进行修复处理，得到去文字人脸图像，包括：

移除所述待修复人脸图像中的文字区域；

调用inpaint修补函数或利用生成对抗网络，基于所述待修复人脸图像中除所述文字区域之外的其他区域，填充移除所述文字区域后的空白区域。

可选地，所述将所述去文字人脸图像输入至预先训练得到的人脸修复模型中，对所述去文字人脸图像进行人脸修复，得到修复人脸图像之前，包括：

获取训练数据；所述训练数据包括有文字遮挡的样本人脸图像及所述样本人脸图像对应的无文字遮挡人脸图像；

识别所述有文字遮挡的样本人脸图像中的样本文字区域；

基于所述有文字遮挡的样本人脸图像中除所述样本文字区域之外的其他区域，对所述样本文字区域进行修复处理，得到去文字样本人脸图像；

将所述去文字样本人脸图像输入至预设卷积神经网络中，对所述去文字样本人脸图像进行人脸修复，得到预测修复人脸图像；

确定所述预测修复人脸图像及所述样本人脸图像对应的无文字遮挡人脸图像之间的损失值；

基于所述损失值，对所述预设卷积神经网络的模型参数进行迭代调整，直至所述损失值满足预设训练条件，将参数调整后的预设卷积神经网络作为人脸修复模型。

可选地，所述将所述去文字人脸图像输入至预先训练得到的人脸修复模型中，对所述去文字人脸图像进行人脸修复，得到修复人脸图像之后，还包括：

融合所述修复人脸图像及所述待修复人脸图像中的文字区域，得到融合图像。

可选地，所述识别所述待修复人脸图像中的文字区域之后，包括：

生成所述文字区域对应的掩码图；

所述融合所述修复人脸图像及所述待修复人脸图像中的文字区域，得到融合图像，包括：

根据所述掩码图，对所述修复人脸图像及所述文字区域进行融合，得到融合图像。

第二方面，本发明实施例提供了一种图像修复装置，包括：

提取模块，用于获取待修复人脸图像；

识别模块，用于识别所述待修复人脸图像中的文字区域；

去文字模块，用于基于所述待修复人脸图像中除所述文字区域之外的其他区域，对所述文字区域进行修复处理，得到去文字人脸图像；

修复模块，用于将所述去文字人脸图像输入至预先训练得到的人脸修复模型中，对所述去文字人脸图像进行人脸修复，得到修复人脸图像；所述人脸修复模型通过对训练数据进行训练得到，所述训练数据包括有文字遮挡的样本人脸图像及所述样本人脸图像对应的无文字遮挡人脸图像。

可选地，所述识别模块，具体用于：

识别所述待修复人脸图像中的人脸区域；

确定所述人脸区域及所述文字区域之间的重叠区域；

所述去文字模块，具体用于：

基于所述待修复人脸图像中除所述重叠区域之外的其他区域，对所述重叠区域进行修复处理，得到去文字人脸图像。

可选地，所述修复模块，还用于：

在所述人脸区域及所述文字区域之间不存在重叠区域的情况下，将所述待修复人脸图像输入至原始人脸修复模型中，对所述待修复人脸图像进行人脸修复，得到修复人脸图像。

可选地，所述去文字模块，具体用于：

移除所述待修复人脸图像中的文字区域；

调用inpaint修补函数或或利用生成对抗网络，基于所述待修复人脸图像中除所述文字区域之外的其他区域，填充移除所述文字区域后的空白区域。

可选地，所述装置还包括训练模块，用于：

获取训练数据；所述训练数据包括有文字遮挡的样本人脸图像及所述样本人脸图像对应的无文字遮挡人脸图像；

识别所述有文字遮挡的样本人脸图像中的样本文字区域；

基于所述有文字遮挡的样本人脸图像中除所述样本文字区域之外的其他区域，对所述样本文字区域进行修复处理，得到去文字样本人脸图像；

将所述去文字样本人脸图像输入至预设卷积神经网络中，对所述去文字样本人脸图像进行人脸修复，得到预测修复人脸图像；

确定所述预测修复人脸图像及所述样本人脸图像对应的无文字遮挡人脸图像之间的损失值；

基于所述损失值，对所述预设卷积神经网络的模型参数进行迭代调整，直至所述损失值满足预设训练条件，将参数调整后的预设卷积神经网络作为人脸修复模型。

可选地，所述装置还包括融合模块，用于：

融合所述修复人脸图像及所述待修复人脸图像中的文字区域，得到融合图像。

可选地，所述识别模块，还用于：

生成所述文字区域对应的掩码图；

所述融合模块，具体用于：

根据所述掩码图，对所述修复人脸图像及所述文字区域进行融合，得到融合图像。

第三方面，本发明实施例提供了一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现上述任一项所述的图像修复方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由人脸修复电子设备的处理器执行时，使得人脸修复电子设备能够执行上述任一项所述的图像修复方法。

与现有技术相比，本申请包括以下优点：

获取待修复人脸图像；识别待修复人脸图像中的文字区域；基于待修复人脸图像中除文字区域之外的其他区域，对文字区域进行修复处理，得到去文字人脸图像；将去文字人脸图像输入至预先训练得到的人脸修复模型中，对去文字人脸图像进行人脸修复，得到修复人脸图像；人脸修复模型通过对训练数据进行训练得到，训练数据包括有文字遮挡的样本人脸图像及无文字遮挡的样本人脸图像。

这样，通过识别待修复人脸图像中的文字区域，可以定位人脸可能被文字遮挡的部位，进而，对文字区域进行修复处理，并将去文字人脸图像输入至预先训练得到的人脸修复模型中进行修复，由于人脸修复模型是针对有文字遮挡的样本人脸图像及无文字遮挡的样本人脸图像进行训练和的，因此，能够更好地处理去文字人脸图像，提高修复效果的自然度和真实感，提高人脸修复的可靠性和稳定性。

附图说明

图1是本申请的一种图像修复方法的步骤流程图；

图2是本申请相关技术中的一种人脸修复对比图；

图3是本申请的一种图像修复方法的人脸修复对比图；

图4是本申请的一种图像修复方法的逻辑示意图；

图5是本申请的一种图像修复装置的结构框图；

图6是本申请的一种电子设备的示意图；

图7是本申请的一种用于图像修复的装置的框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

参照图1，示出了本申请的一种图像修复方法的步骤流程图，具体可以包括如下步骤：

在步骤S11中，获取待修复人脸图像。

为了改善影片中出现的噪点、模糊、失真等各种问题，可以采用数字修复技术对影片进行修复，其中，人脸修复是一个非常重要的环节。相关技术中，如图2所示，如果人脸上存在文字遮挡，修复后的人脸图像可能会出现面部特征失真的问题，人脸修复的效果并不好，修复结果的可用性和可信度都比较差。本申请提出的图像修复方法可以对存在文字遮挡的人脸图像进行修复，得到较好的修复效果。

在本步骤中，首先获取待修复人脸图像，待修复人脸图像可以是影片中的某个视频帧，也可以是某张单独拍摄的图像，可以是任意数据格式的图像数据，本实施例对此不做限定。

具体地，本申请可以应用于终端。比如，待修复人脸图像可以存储在终端本地，终端从本地数据库获取待修复人脸图像并进行后续的人脸修复步骤；或者，待修复人脸图像可以存储在与终端通过通信网络连接的服务器中，终端从服务器获取待修复人脸图像并进行后续的人脸修复步骤，具体不做限定。

上述终端可以是手机、平板电脑、台式电脑、便携式笔记本电脑等多种形式的终端设备，本申请实施例对此不加以限定。

本申请也可以应用于服务器。比如，服务器可以从本地或网络中的其他服务器中获取待修复人脸图像并进行后续的人脸修复步骤，并对修复后的人脸图像进行存储；或者，服务器也可以从终端处获取待修复人脸图像并进行后续的人脸修复步骤，然后将修复后的人脸图像返回至终端，等等，具体不做限定。

上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

其中，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

在一些实施例中，上述服务器还可以实现为区块链系统中的节点。区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

在步骤S12中，识别待修复人脸图像中的文字区域。

在本步骤中，获取待修复人脸图像之后，可以使用文本检测算法对待修复人脸图像进行检测，识别出待修复人脸图像中的文字区域，文字区域可以对应于待修复人脸图像中的字幕、弹幕或水印等。

其中，文本检测算法包括高效场景文本检测算法(An Efficient and AccurateScene Text Detector，EAST)或自然场景文本检测算法(Character Region AwarenessFor Text Detection，CRAFT)，等等，具体不做限定。

修复人脸图像中存在文字时，人脸的某些特征区域可能被遮挡，预测这些区域的原始面部特征的难度较大，容易出现面部特征失真、细节缺失、颜色不一致等问题，导致修复后的人脸图像的视觉质量受到影响，看起来不真实或不自然。

而且，在处理文字遮挡的人脸时，通常需要花费更长的时间来尝试从待修复人脸图像中提取有用的信息，导致模型训练和推理时间的增加，网络性能也会受到限制。

因此，在本步骤中，通过识别待修复人脸图像中的文字区域，可以精确地定位待修复人脸图像中人脸被文字遮挡的部分，便于后续步骤中更为准确地对遮挡部分的人脸进行修复处理，从而提高人脸修复效果。

在步骤S13中，基于待修复人脸图像中除文字区域之外的其他区域，对文字区域进行修复处理，得到去文字人脸图像。

在本步骤中，可以基于待修复人脸图像中除文字区域之外的其他区域，即待修复人脸图像中未被文字遮挡的部分，对文字区域进行修复处理，以从待修复人脸图像中去除文字，得到去文字人脸图像。去文字人脸图像中不存在缺失的部分，也不存在文字，是具有完整的未被文字遮挡的人脸的图像。

具体来说，基于待修复人脸图像中除文字区域之外的其他区域，对文字区域进行修复处理，得到去文字人脸图像，包括：

移除待修复人脸图像中的文字区域；调用inpaint修补函数或利用生成对抗网络，基于待修复人脸图像中除文字区域之外的其他区域，填充移除文字区域后的空白区域。

也就是说，首先将文字区域从待修复人脸图像中移除，得到文字区域缺失的待修复人脸图像，然后，基于文字区域之外的其他区域，对待修复人脸图像中缺失的部分进行修复，实现对待修复人脸图像的重建，从而得到完整的不存在缺失部分的去文字人脸图像。这样，去文字人脸图像中的人脸不会被文字遮挡，便于后续步骤中更为准确地对人脸进行修复处理，得到更好的修复效果。

其中，对待修复人脸图像中缺失的部分进行修复可以使用OpenCV(跨平台计算机视觉库)中提供的inpaint修补函数，inpaint修补函数基于待修复人脸图像的局部性，通过对缺失的文字区域周围的像素进行分析和重建，将待修复人脸图像中缺失的文字区域进行补全，使待修复人脸图像变得连贯和完整，得到去文字人脸图像。

或者，也可以使用基于生成对抗网络(Generative Adversarial Network，GAN)的图像修复技术，生成对抗网络是一种基于博弈论对抗思想的生成式模型，由生成网络和判别网络构成，生成网络在判别网络的监督下，不断优化学习无文字遮挡的人脸图像的概率分布，判别网络也同时不断优化对待修复人脸图像中文字区域的修复处理结果的真伪判别，最终生成网络可生成判别网络无法判别真伪的去文字人脸图像。那么，将文字区域缺失的待修复人脸图像输入至生成网络，即可生成修补后的去文字人脸图像。

另外，还可以使用基于补丁的图像修复算法或者基于稀疏表示的图像修复算法，等等，具体不做限定。

需要注意的是，一些情况下，待修复人脸图像中虽然存在文字区域，但文字并未对人脸进行遮挡，或者，仅有部分文字对人脸进行了遮挡，那么，一种实现方式中，识别待修复人脸图像中的文字区域，包括：

识别待修复人脸图像中的人脸区域；确定人脸区域及文字区域之间的重叠区域；

基于待修复人脸图像中除文字区域之外的其他区域，对文字区域进行修复处理，得到去文字人脸图像，包括：

基于待修复人脸图像中除重叠区域之外的其他区域，对重叠区域进行修复处理，得到去文字人脸图像。

也就是说，在识别待修复人脸图像中的文字区域之后，可以进一步识别待修复人脸图像中的人脸区域，然后，确定人脸区域及文字区域之间的重叠部分，即与人脸有重叠的文字所在的区域，作为重叠区域，进而对重叠区域进行修复处理，得到去文字人脸图像。

举例而言，一种情况下，人脸区域及文字区域分别具有对应的标注框，那么，可以根据人脸区域及文字区域的标注框，判断标注框之间是否重叠，若标注框重叠，则将标注框的重叠部分作为重叠区域。或者，一种情况下，可以分别确定人脸区域及文字区域所包括的区域坐标，进而根据是否包括相同的区域坐标，判断人脸区域及文字区域是否重叠，将相同的区域坐标对应的区域作为重叠区域。另外，也可以根据人脸区域及文字区域的其中一个创建掩码图，比如可以创建文字区域对应的掩码图，掩码图中文字区域对应取值设置为1，文字区域之外的部分取值设置为0，然后，利用掩码图对人脸区域进行筛选，若存在相乘后不为0的区域，则该区域为重叠区域。

这样，可以更精确地定位待修复人脸图像中人脸被文字遮挡的部分，修复处理需要修复的区域越小，则图像修复的效果越好，去文字人脸图像的失真、模糊情况越少，便于后续步骤中更为准确地对去文字人脸图像进行人脸修复，提高人脸修复效果。

其中，可以采用多任务卷积神经网络(Multi-task Cascaded ConvolutionalNetworks，MTCNN)或Dlib等算法，对待修复人脸图像进行人脸检测，确定待修复人脸图像中的人脸区域，具体不做限定。

MTCNN是一种多任务人脸检测模型，该模型使用3个卷积神经网络(ConvolutionalNeural Network，CNN)级联算法结构，首先，按照不同的缩放因子将待修复人脸图像缩放成不同尺寸，形成待修复人脸图像的特征金字塔，然后，通过浅CNN，即候选网络(ProposalNetwork，P-Net)，快速生成候选窗口，再通过更复杂的CNN，即优化网络(RefinementNetwork，R-Net)来过滤候选窗口中的大量非人脸窗口，进而通过更强大的CNN，即输出网络(Output Network，O-Net)再次优化结果，并输出待修复人脸图像中的人脸区域。

Dlib是一个机器学习库，包含许多常用机器学习算法，其中，所提供的高精度人脸识别算法基于34层结构的深度残差网络(Deep residual network，ResNet)实现。

另外，还可以采用其他的人脸识别或人脸检测算法，如支持向量机算法或皮肤纹理分析算法等等，本申请对此不做限定。

另外，如果人脸区域及文字区域之间不存在重叠区域，表示待修复人脸图像中虽然存在文字，但并未对人脸造成遮挡，也不会影响后续人脸修复的效果，那么，在这种情况下，本申请的另一实施例中，还可以：

将待修复人脸图像输入至原始人脸修复模型中，对待修复人脸图像进行人脸修复，得到修复人脸图像。

也就是说，可以将待修复人脸图像输入至原始人脸修复模型中，直接对待修复人脸图像进行人脸修复，而无需对待修复人脸图像中的文字进行处理，其中，原始人脸修复模型即为相关技术中采用的未经过的人脸修复模型，本申请实施例对此不做限定。

这样，可以减少对待修复人脸图像不必要的处理步骤，以提高本申请图像修复方法的修复效率。

在步骤S14中，将去文字人脸图像输入至预先训练得到的人脸修复模型中，对去文字人脸图像进行人脸修复，得到修复人脸图像；人脸修复模型通过对训练数据进行训练得到，训练数据包括有文字遮挡的样本人脸图像及样本人脸图像对应的无文字遮挡人脸图像。

本步骤中，在得到去文字人脸图像后，可以将文字人脸图像输入至预先训练得到的人脸修复模型中进行处理。由于人脸修复模型是基于有文字遮挡的样本人脸图像进行训练得到的，对于有遮挡、不完整的人脸图像具有更好的人脸修复效果，而且，去文字人脸图像虽然对待修复人脸图像中的文字区域进行了修复，但修复效果可能并不理想，仍然可以将去文字人脸图像作为有遮挡、不完整的人脸图像。因此，由人脸修复模型对去文字人脸图像进行人脸修复，可以得到修复效果更好的修复人脸图像。

一种实现方式中，将去文字人脸图像输入至预先训练得到的人脸修复模型中，对去文字人脸图像进行人脸修复，得到修复人脸图像之前，可以基于预设卷积神经网络训练得到人脸修复模型，具体步骤包括：

获取训练数据；训练数据包括有文字遮挡的样本人脸图像及样本人脸图像对应的无文字遮挡人脸图像；识别有文字遮挡的样本人脸图像中的样本文字区域；基于有文字遮挡的样本人脸图像中除样本文字区域之外的其他区域，对样本文字区域进行修复处理，得到去文字样本人脸图像；将去文字样本人脸图像输入至预设卷积神经网络中，对去文字样本人脸图像进行人脸修复，得到预测修复人脸图像；确定预测修复人脸图像及样本人脸图像对应的无文字遮挡人脸图像之间的损失值；基于损失值，对预设卷积神经网络的模型参数进行迭代调整，直至损失值满足预设训练条件，将参数调整后的预设卷积神经网络作为人脸修复模型。

也就是说，先修复有文字遮挡的样本人脸图像中的文字区域，得到对应的去文字样本人脸图像，然后，将去文字样本人脸图像输入至预设卷积神经网络中进行人脸修复，得到预测修复人脸图像，进而，基于预测修复人脸图像及样本人脸图像对应的无文字遮挡人脸图像之间的损失值，对预设卷积神经网络的模型参数进行迭代调整，得到人脸修复模型。

这样，可以训练出一个专门针对从有文字遮挡的人脸图像中识别出的去除了文字部分的人脸进行修复的网络，也就是人脸修复模型，人脸修复模型能够有效处理去除文字区域并进行修复后的人脸区域，以实现更好的人脸修复效果。

其中，预设卷积神经网络可选择U-Net(U型图像分割网络)、视觉几何图形组(Visual Geometry Group，VGG)等网络结构，针对有文字遮挡的样本人脸图像进行训练和优化，以得到人脸修复模型，或者，也可以将相关技术中已经训练好的原始人脸修复模型作为预设卷积神经网络，实现模型训练的热启动，提高人脸修复模型的训练效率。

在本申请中，将去文字人脸图像输入至预先训练得到的人脸修复模型中，对去文字人脸图像进行人脸修复，得到修复人脸图像之后，还包括：

融合修复人脸图像及待修复人脸图像中的文字区域，得到融合图像。

也就是说，将修复后的修复人脸图像与原始的待修复人脸图像针对文字区域进行融合，以在修复后的修复人脸图像中保持原始的待修复人脸图像中的文字信息，比如，可以通过逐像素融合、图层混合、区域融合等技术，实现图像融合。

如图3所示，采用本申请提供的图像修复方法，对待修复人脸图像进行修复，并针对文字区域进行融合后，得到的融合图像具有较好的人脸修复效果，而且文字信息也得以保存，修复结果的可用性和可信度都得到改善，并从高修复效果的自然度和真实感。

具体来说，可以采用如下方式融合修复人脸图像及待修复人脸图像中的文字区域，得到融合图像：

首先，在识别待修复人脸图像中的文字区域之后，生成文字区域对应的掩码图；然后，根据掩码图，对修复人脸图像及文字区域进行融合，得到融合图像。

也就是说，识别出待修复人脸图像中的文字区域之后，生成文字区域的掩码图，掩码图可以视为一个小于或等于待修复人脸图像尺寸的单通道矩阵，其中，文字区域对应的取值为非0，除文字区域之外的其他区域取值为0。在得到修复人脸图像之后，基于掩码图，从原始的待修复人脸图像中提取出文字区域，与修复人脸图像进行融合，即可在修复人脸图像的相同位置叠加与待修复人脸图像中相同的文字，得到融合图像。

这样，通过文字区域的融合，既保留了原始的待修复人脸图像的文字信息，也达到了修复人脸的目的，同时可以提高修复效果的自然度和真实感，提高了视觉效果，使得修复人脸图像更易于观看和理解。

如图4所示，为本申请的逻辑示意图，首先，对待修复人脸图像进行人脸检测和文字检测，并通过人脸区域和文字区域的交集，精确地定位待修复人脸图像中人脸区域被文字遮挡的部分；如果两者之间不存在交集，则待修复人脸图像中人脸区域并未被文字遮挡，那么，可以直接将待修复人脸图像输入至原始人脸修复模型中，对待修复人脸图像进行人脸修复，得到修复人脸图像；如果两者之间存在交集，则交集部分的重叠区域即为人脸区域被文字遮挡的区域，那么，可以基于重叠区域生成掩码图，然后，根据掩码图对重叠区域进行修复处理，得到去文字人脸图像，进而，将去文字人脸图像输入至人脸修复模型中进行修复，得到修复人脸图像，同时，还可以根据掩码图，将修复人脸图像与待修复人脸图像中的文字区域进行图像融合，得到保留了文字信息的融合图像。本申请提供的图像修复方法，能够更为准确地对人脸图像中被文字遮挡的部分进行修复处理，从而提高修复效果，并在保持文字信息同时，提高修复效果的自然度和真实感，提高修复后的人脸图像的视觉效果，使得修复后的人脸图像更易于观看和理解。

由以上可见，本公开的实施例提供的技术方案，通过识别待修复人脸图像中的文字区域，可以定位人脸可能被文字遮挡的部位，进而，对文字区域进行修复处理，并将去文字人脸图像输入至预先训练得到的人脸修复模型中进行修复，由于人脸修复模型是针对有文字遮挡的样本人脸图像及无文字遮挡的样本人脸图像进行训练和的，因此，能够更好地处理去文字人脸图像，提高修复效果的自然度和真实感，提高人脸修复的可靠性和稳定性。

参照图5，示出了本申请的一种图像修复装置的结构示意图，具体可以包括：

提取模块201，用于获取待修复人脸图像；

识别模块202，用于识别所述待修复人脸图像中的文字区域；

去文字模块203，用于基于所述待修复人脸图像中除所述文字区域之外的其他区域，对所述文字区域进行修复处理，得到去文字人脸图像；

修复模块204，用于将所述去文字人脸图像输入至预先训练得到的人脸修复模型中，对所述去文字人脸图像进行人脸修复，得到修复人脸图像；所述人脸修复模型通过对训练数据进行训练得到，所述训练数据包括有文字遮挡的样本人脸图像及所述样本人脸图像对应的无文字遮挡人脸图像。

一种实现方式中，所述识别模块202，具体用于：

识别所述待修复人脸图像中的人脸区域；

确定所述人脸区域及所述文字区域之间的重叠区域；

所述去文字模块203，具体用于：

基于所述待修复人脸图像中除所述重叠区域之外的其他区域，对所述重叠区域进行修复处理，得到去文字人脸图像。

一种实现方式中，所述修复模块204，还用于：

在所述人脸区域及所述文字区域之间不存在重叠区域的情况下，将所述待修复人脸图像输入至原始人脸修复模型中，对所述待修复人脸图像进行人脸修复，得到修复人脸图像。

一种实现方式中，所述去文字模块203，具体用于：

移除所述待修复人脸图像中的文字区域；

调用inpaint修补函数或或利用生成对抗网络，基于所述待修复人脸图像中除所述文字区域之外的其他区域，填充移除所述文字区域后的空白区域。

一种实现方式中，所述装置还包括训练模块，用于：

获取训练数据；所述训练数据包括有文字遮挡的样本人脸图像及所述样本人脸图像对应的无文字遮挡人脸图像；

识别所述有文字遮挡的样本人脸图像中的样本文字区域；

基于所述有文字遮挡的样本人脸图像中除所述样本文字区域之外的其他区域，对所述样本文字区域进行修复处理，得到去文字样本人脸图像；

将所述去文字样本人脸图像输入至预设卷积神经网络中，对所述去文字样本人脸图像进行人脸修复，得到预测修复人脸图像；

确定所述预测修复人脸图像及所述样本人脸图像对应的无文字遮挡人脸图像之间的损失值；

基于所述损失值，对所述预设卷积神经网络的模型参数进行迭代调整，直至所述损失值满足预设训练条件，将参数调整后的预设卷积神经网络作为人脸修复模型。

一种实现方式中，所述装置还包括融合模块，用于：

融合所述修复人脸图像及所述待修复人脸图像中的文字区域，得到融合图像。

一种实现方式中，所述识别模块202，还用于：

生成所述文字区域对应的掩码图；

所述融合模块，具体用于：

根据所述掩码图，对所述修复人脸图像及所述文字区域进行融合，得到融合图像。

由以上可见，本公开的实施例提供的技术方案，通过识别待修复人脸图像中的文字区域，可以定位人脸可能被文字遮挡的部位，进而，对文字区域进行修复处理，并将去文字人脸图像输入至预先训练得到的人脸修复模型中进行修复，由于人脸修复模型是针对有文字遮挡的样本人脸图像及无文字遮挡的样本人脸图像进行训练和的，因此，能够更好地处理去文字人脸图像，提高修复效果的自然度和真实感，提高人脸修复的可靠性和稳定性。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

图6是根据一示例性实施例示出的一种用于人脸修复的电子设备的框图，包括处理器和存储器，其中，存储器用于存放计算机程序；处理器用于执行存储器上所存放的程序。

存储器可以包括随机存取存储器(RanDOM Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备的处理器执行以完成上述方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，当其在计算机上运行时，使得计算机实现上述评论人脸修复的方法。

由以上可见，本发明实施例的实施例提供的技术方案，通过识别待修复人脸图像中的文字区域，可以定位人脸可能被文字遮挡的部位，进而，对文字区域进行修复处理，并将去文字人脸图像输入至预先训练得到的人脸修复模型中进行修复，由于人脸修复模型是针对有文字遮挡的样本人脸图像及无文字遮挡的样本人脸图像进行训练和的，因此，能够更好地处理去文字人脸图像，提高修复效果的自然度和真实感，提高人脸修复的可靠性和稳定性。

图7是根据一示例性实施例示出的一种用于人脸修复的装置800的框图。

例如，装置800可以是移动电话，计算机，数字广播电子设备，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图7，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件807为装置800的各种组件提供电力。电源组件807可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的待处理多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行第一方面所述的方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述方法。可选地，例如，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性非临时性计算机可读存储介质计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的图像修复方法。

由以上可见，本发明实施例的实施例提供的技术方案，通过识别待修复人脸图像中的文字区域，可以定位人脸可能被文字遮挡的部位，进而，对文字区域进行修复处理，并将去文字人脸图像输入至预先训练得到的人脸修复模型中进行修复，由于人脸修复模型是针对有文字遮挡的样本人脸图像及无文字遮挡的样本人脸图像进行训练和的，因此，能够更好地处理去文字人脸图像，提高修复效果的自然度和真实感，提高人脸修复的可靠性和稳定性。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明实施例的其它实施方案。本发明实施例旨在涵盖本发明实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明实施例的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利要求来限制。