基于递进学习策略的图像修复方法、系统、介质及设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于递进学习策略的图像修复方法、系统、计算机可读存储介质及终端设备。

背景技术

图像修复是图像复原的一个重要组成部分，是指对图像上信息缺损区域进行信息填充，并在最大程度上进行真实的还原，使得被修复后的图像在视觉上与语义上具有真实性。其目的是利用图像现有的信息来修复丢失的信息。然而，现有的图像修复方法多数从数学和物理的角度对图像进行生成，而没有考虑到图像的语义信息，因此只能够对破损面积较小的图像进行修复；对大面积破损的图像进行修复时，存在修复效果较差、修复过程中可能造成语义信息的丢失，且难以对不规则区域及高频图像的细节进行修复的问题。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于递进学习策略的图像修复方法、系统、计算机可读存储介质及终端设备，能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果。

为了解决上述技术问题，本发明实施例提供了一种基于递进学习策略的图像修复方法，所述方法包括：

将待修复图像输入粗生成模型，以得到粗生成结果；

提取所述粗生成结果的特征图，以得到前景特征图；

将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。

进一步地，在将待修复图像输入粗生成模型以得到粗生成结果之前，所述方法还包括：

获取训练样本图像；

向所述训练样本图像中心区域附加一破损区域大小的掩模，以作为粗生成网络的输入。

进一步地，所述粗生成网络的生成训练方法，具体为：

将粗生成从内到外划分为四个阶段，将每个阶段通过编解码架构生成外层区域内容，并使用生成对抗网络对生成结果进行鉴别；

通过单层LSTM网络建立各个阶段之间的任务连接，以形成粗生成网络；

将训练样本图像输入粗生成网络中进行训练，以得到粗生成模型。

进一步地，所述粗生成模型包括重建损失函数、全变分损失函数以及光谱标准化的PatchGAN：

所述重建损失函数为，

其中，x

所述全变分损失函数为，

其中，m、n为像素的坐标；

所述光谱标准化的PatchGAN为，

其中，D

进一步地，提取所述粗生成结果的特征图，以得到前景特征图，具体为：

将所述粗生成结果输入第一编码器以通过扩张卷积层扩大对纹理特征的感受野；

将所述粗生成结果输入第二编码器通过普通卷积层得到前景特征图。

进一步地，将所述前景特征图与背景特征图进行匹配，具体为：

分别获取所述前景特征图及背景特征图的前景样本块及背景样本块；

计算所述前景样本块与背景样本块的相似度，通过softmax层来对样本块之间的相关性进行评估。

进一步地，所述前景特征图与背景特征图之间的相似度为：

其中，f

为了解决上述技术问题，本发明实施例还提供了一种基于递进学习策略的图像修复系统，所述系统包括：

结构生成模块，用于将待修复图像输入粗生成模型，以得到粗生成结果；

特征提取模块，用于提取所述粗生成结果的特征图，以得到前景特征图；

图像重构模块，用于将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行以下步骤：

将待修复图像输入粗生成模型，以得到粗生成结果；

提取所述粗生成结果的特征图，以得到前景特征图；

将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。

本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：

将待修复图像输入粗生成模型，以得到粗生成结果；

提取所述粗生成结果的特征图，以得到前景特征图；

将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。

与现有技术相比，本发明实施例提供了一种基于递进学习策略的图像修复方法、系统、计算机可读存储介质及终端设备，首先将待修复图像输入粗生成模型，以得到粗生成结果；提取所述粗生成结果的特征图，以得到前景特征图；将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。相比现有技术，本发明能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果，从而提升了用户图像修复体验。

附图说明

图1为本发明提供的一种基于递进学习策略的图像修复方法的应用环境图；

图2为本发明提供的一种基于递进学习策略的图像修复方法中粗生成阶段网络架构图；

图3为本发明提供的一种基于递进学习策略的图像修复方法中细化阶段网络架构图；

图4为本发明提供的一种基于递进学习策略的图像修复方法中的修复效果图；

图5是本发明实施例提供的一种基于递进学习策略的图像修复系统的结构框图；

图6是本发明提供的一种终端设备的的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的服务器执行，且下文均以服务器作为执行主体为例进行说明。

如图1至图4所示，本发明实施例提供的一种基于递进学习策略的图像修复方法，所述方法包括步骤S11至步骤S13：

步骤S11，将待修复图像输入粗生成模型，以得到粗生成结果。

其中，在将待修复图像输入粗生成模型以得到粗生成结果之前，所述方法还包括：获取训练样本图像；向所述训练样本图像中心区域附加一破损区域大小的掩模，以作为粗生成网络的输入。

具体的，读取已有的训练样本图像，对所述训练样本图像进行随机变换，如反转、旋转后；将所有的训练样本图像统一放缩至256*256，并为每幅图像中心区域附加破损区域大小为128*128的掩模(mask)，作为粗生成网络的输入。

进一步地，所述粗生成网络的生成训练包括将粗生成从内到外划分为四个阶段，将每个阶段通过编解码架构生成外层区域内容，并使用生成对抗网络对生成结果进行鉴别；通过单层LSTM网络建立各个阶段之间的任务连接，以形成粗生成网络；将训练样本图像输入粗生成网络中进行训练，以得到粗生成模型。

具体的，将粗生成的过程划分为从外到内的四个阶段，每个阶段均使用编码器-解码器架构，生成当前最外层区域的内容，并使用生成对抗网络对生成结果进行鉴别；

通过单层LSTM网络建立各个阶段之间的任务连接以实现各个阶段之间信息的传递：其中，使用c

将训练样本图像送入到粗生成网络中；

根据LSTM单元结构以及需求对LSTM参数进行初始化，如LSTM将所有c

i

f

o

g

c

h

output

feature

其中，W和b分别代表当前网络的权重和偏置；据此完成对粗生成网络进行训练。

可以理解的，通过生成对抗机制对粗生成网络参数进行有监督的调整，得到训练好的粗生成模型。

所述粗生成模型包括重建损失函数、全变分损失函数以及光谱标准化的PatchGAN：

所述重建损失函数为，

其中，x

所述全变分损失函数为，

其中，m、n为像素的坐标；

所述光谱标准化的PatchGAN为，

其中，D

步骤S12，提取所述粗生成结果的特征图，以得到前景特征图。

具体的，将所述粗生成结果输入第一编码器以通过扩张卷积层扩大对纹理特征的感受野；将所述粗生成结果输入第二编码器通过普通卷积层得到前景特征图。可以理解的，通过将粗生成结果分别送入两个编码器中对特征进行提取；第一编码器使用扩张卷积层扩大对纹理特征的感受野作为前景特征图重构的一部分；第二编码器使用普通卷积层如空洞卷积，并将其输入送入下一阶段用于完成前景背景的特征匹配。

步骤S13，将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。

具体的，将待修复的破损区域看做是前景部分，而周围的上下文区域看做是背景部分，以将前景中的前景样本块f

并按照如下公式计算前景中中心在(x,y)的前景样本块与背景中中心在(x',y')的背景样本块的相似程度s

通过softmax层来对前景样本块与背景样本块之间的相关性进行评估，对每一个像素点可得

通过得到的与前景样本块匹配程度最高的背景样本块b

可以理解的，通过将生成结果中掩模覆盖区域与已知区域联结，就以得到最终的生成结果，能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果。

在此需要说明的是，通过使用递进学习策略完成对破损区域内容的粗生成，然后引用核传播进入纹理细化阶段，对破损区域(前景)与上下文(背景)中的样本块按照相似程度进行匹配，用得到的背景中最为匹配的样本块对前景进行卷积，达到重构、细化生成结果的目的。

本发明实施例所提供的一种基于递进学习策略的图像修复方法，首先将待修复图像输入粗生成模型，以得到粗生成结果；提取所述粗生成结果的特征图，以得到前景特征图；将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。相比现有技术，本发明能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果，从而提升了用户图像修复体验。

如图5所示，是本发明提供的一种基于递进学习策略的图像修复系统的结构框图，所述系统包括：

结构生成模块21，用于将待修复图像输入粗生成模型，以得到粗生成结果。

进一步地，获取训练样本图像；向所述训练样本图像中心区域附加一破损区域大小的掩模，以作为粗生成网络的输入。

进一步地，所述粗生成网络的生成训练，具体为：

将粗生成从内到外划分为四个阶段，将每个阶段通过编解码架构生成外层区域内容，并使用生成对抗网络对生成结果进行鉴别；

通过单层LSTM网络建立各个阶段之间的任务连接，以形成粗生成网络；

将训练样本图像输入粗生成网络中进行训练，以得到粗生成模型。

具体的，所述粗生成模型包括重建损失函数、全变分损失函数以及光谱标准化的PatchGAN：

所述重建损失函数为，

其中，x

所述全变分损失函数为，

其中，m、n为像素的坐标；

所述光谱标准化的PatchGAN为，

其中，D

特征提取模块22，用于提取所述粗生成结果的特征图，以得到前景特征图。

具体的，将所述粗生成结果输入第一编码器以通过扩张卷积层扩大对纹理特征的感受野；将所述粗生成结果输入第二编码器通过普通卷积层得到前景特征图。

图像重构模块23，用于将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。

具体的，分别获取所述前景特征图及背景特征图的前景样本块及背景样本块；计算所述前景样本块与背景样本块的相似度，通过softmax层来对样本块之间的相关性进行评估。

所述前景特征图与背景特征图之间的相似度为：

其中，f

本发明实施例所提供的一种基于递进学习策略的图像修复系统，首先将待修复图像输入粗生成模型，以得到粗生成结果；提取所述粗生成结果的特征图，以得到前景特征图；将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。相比现有技术，本发明能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果，从而提升了用户图像修复体验。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行以下步骤：

将待修复图像输入粗生成模型，以得到粗生成结果；

提取所述粗生成结果的特征图，以得到前景特征图；

将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。

本发明实施例还提供了一种终端设备，参见图6所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现以下步骤：

将待修复图像输入粗生成模型，以得到粗生成结果；

提取所述粗生成结果的特征图，以得到前景特征图；

将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。

优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、······)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。

所述处理器10可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。

所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡和闪存卡(Flash Card)等，或所述存储器20也可以是其他易失性固态存储器件。

需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图6结构框图仅仅是终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

综上，本发明实施例所提供的一种基于递进学习策略的图像修复方法、系统、计算机可读存储介质及终端设备，首先将待修复图像输入粗生成模型，以得到粗生成结果；提取所述粗生成结果的特征图，以得到前景特征图；将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。相比现有技术，本发明能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果，从而提升了用户图像修复体验。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。