一种图像修复方法、装置、设备及可读存储介质

技术领域

本申请涉及图像修复技术领域，特别涉及一种图像修复方法、装置、设备及可读存储介质。

背景技术

图像修复的目的是用合理的内容来填充图像中缺失的部分，主要用于修复损坏的区域或去除照片中不想要的目标等，其具体思想是找到充分的先验信息(比如光滑程度以及自相似性)来作为填补漏洞的参考。

相关技术中，基于深度学习的修复方法引起了极大的关注，其为了更好地帮助复杂情况下的图像修复，引入结构先验的方法来指导修复任务，该结构先验有效地帮助了完整图像质量的提高。不过，在图像受损面积很大或者预期内容包含复杂的语义信息的情况下，该方法仍然会遇到有许多困难。比如，在受损面积很大时，其往往是通过猜测以合成出缺失空洞处的图像，进而导致修复处的图像与周围图像看起来存在突兀与不合理的现象，即存在修复效果差的问题。

发明内容

本申请提供一种图像修复方法、装置、设备及可读存储介质，以解决相关技术中无法有效实现受损面积大或预期内容包含复杂语义信息等图像的修复。

第一方面，提供了一种图像修复方法，包括以下步骤：

将待修复图像输入至第一编码器以及与待修复图像对应的参考图像输入至第二编码器，得到待修复图像的第一特征图和参考图像的第二特征图，并分别对第一特征图和第二特征图进行特征提取，得到待修复图像的第一纹理特征和第一结构特征以及参考图像的第二纹理特征和第二结构特征；

分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融合处理，得到融合纹理特征和融合结构特征；

对融合纹理特征和融合结构特征进行多尺度填充修复，得到填充纹理特征和填充结构特征；

对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征；

将均衡特征输入至解码器，以供解码器将均衡特征与输入至解码器中的第一特征图进行跳转连接，生成修复后的图像。

一些实施例中，所述待修复图像的第一特征图包括多张第一浅层特征图和多张第一深层特征图，所述参考图像的第二特征图包括多张第二浅层特征图和多张第二深层特征图。

一些实施例中，所述分别对第一特征图和第二特征图进行特征提取，得到待修复图像的第一纹理特征和第一结构特征以及参考图像的第二纹理特征和第二结构特征，包括：

将所述多张第一浅层特征图进行拼接得到所述待修复图像的第一纹理特征，并将所述多张第一深层特征图进行拼接得到所述待修复图像的第一结构特征；

将所述多张第二浅层特征图进行拼接得到所述参考图像的第二纹理特征，并将所述多张第二深层特征图进行拼接得到所述参考图像的第二结构特征。

一些实施例中，所述分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融合处理，得到融合纹理特征和融合结构特征，包括：

对第一纹理特征和第二纹理特征进行对齐处理，得到对齐纹理特征，并将对齐纹理特征和第一纹理特征进行融合处理，得到融合纹理特征；

对第一结构特征和第二结构特征进行对齐处理，得到对齐结构特征，并将对齐结构特征和第一结构特征进行融合处理，得到融合结构特征。

一些实施例中，所述对第一纹理特征和第二纹理特征进行对齐处理，得到对齐纹理特征，包括：

将第一纹理特征和第二纹理特征进行连接，得到连接纹理特征；

基于偏移估计器对连接纹理特征进行计算处理，得到纹理特征偏移图；

基于纹理特征偏移图对第二纹理特征进行可变形卷积处理，得到对齐纹理特征。

一些实施例中，所述对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征，包括：

基于注意力机制对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征。

一些实施例中，所述第一编码器与所述第二编码器的运行参数相同。

第二方面，提供了一种图像修复装置，包括：

特征提取单元，其用于将待修复图像输入至第一编码器以及与待修复图像对应的参考图像输入至第二编码器，得到待修复图像的第一特征图和参考图像的第二特征图，并分别对第一特征图和第二特征图进行特征提取，得到待修复图像的第一纹理特征和第一结构特征以及参考图像的第二纹理特征和第二结构特征；

对齐融合单元，其用于分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融合处理，得到融合纹理特征和融合结构特征；

特征填充单元，其用于对融合纹理特征和融合结构特征进行多尺度填充修复，得到填充纹理特征和填充结构特征；

特征均衡单元，其用于对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征；

图像重建单元，其用于将均衡特征输入至解码器，以供解码器将均衡特征与输入至解码器中的第一特征图进行跳转连接，生成修复后的图像。

第三方面，提供了一种图像修复设备，包括：存储器和处理器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行，以实现前述的图像修复方法。

第四方面，提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，当所述计算机程序被处理器执行时，以实现前述的图像修复方法。

本申请提供的技术方案带来的有益效果包括：可有效提升图像的修复效果。

本申请提供了一种图像修复方法、装置、设备及可读存储介质，包括将待修复图像输入至第一编码器以及与待修复图像对应的参考图像输入至第二编码器，得到待修复图像的第一特征图和参考图像的第二特征图，并分别对第一特征图和第二特征图进行特征提取，得到待修复图像的第一纹理特征和第一结构特征以及参考图像的第二纹理特征和第二结构特征；分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融合处理，得到融合纹理特征和融合结构特征；对融合纹理特征和融合结构特征进行多尺度填充修复，得到填充纹理特征和填充结构特征；对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征；将均衡特征输入至解码器，以供解码器将均衡特征与输入至解码器中的第一特征图进行跳转连接，生成修复后的图像。本申请通过在编码解码网络中引入参考图像，以很好的利用外部信息来推断出受损面积大或预期内容包含复杂语义信息等破损图片的结构特征与纹理特征，进而可以获得更好的修复结果；同时充分考虑待修复图像与参考图像之间存在的潜在差异性，并对二者之间的特征进行有效融合，以提高修复效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种图像修复方法的流程示意图；

图2为本申请实施例提供的图像修复数据处理示意图；

图3为本申请实施例提供的对齐融合数据处理示意图；

图4为本申请实施例提供的一种图像修复装置的结构示意图；

图5为本申请实施例提供的一种图像修复设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种图像修复方法、装置、设备及可读存储介质，其能解决相关技术中无法有效实现受损面积大或预期内容包含复杂语义信息等图像的修复。

参见图1和图2所示，本申请实施例提供了一种图像修复方法，包括以下步骤：

步骤S10：将待修复图像输入至第一编码器以及与待修复图像对应的参考图像输入至第二编码器，得到待修复图像的第一特征图和参考图像的第二特征图，并分别对第一特征图和第二特征图进行特征提取，得到待修复图像的第一纹理特征和第一结构特征以及参考图像的第二纹理特征和第二结构特征；其中，所述第一编码器与所述第二编码器的运行参数相同。

进一步的，所述待修复图像的第一特征图包括多张第一浅层特征图和多张第一深层特征图，所述参考图像的第二特征图包括多张第二浅层特征图和多张第二深层特征图。

进一步的，所述分别对第一特征图和第二特征图进行特征提取，得到待修复图像的第一纹理特征和第一结构特征以及参考图像的第二纹理特征和第二结构特征，包括：

将所述多张第一浅层特征图进行拼接得到所述待修复图像的第一纹理特征，并将所述多张第一深层特征图进行拼接得到所述待修复图像的第一结构特征；

将所述多张第二浅层特征图进行拼接得到所述参考图像的第二纹理特征，并将所述多张第二深层特征图进行拼接得到所述参考图像的第二结构特征。

示范性的，在本申请实施例中，所提供的数据集是在DPED数据集上利用SIFT(Scale-invariant feature transform，尺度不变特征变换)算法整理出的DPED10K数据集，其可提供10000张输入图像与参考图像对。本实施在该DPED10K数据集提供的图片上实现，其中，输入图像与其对应的参考图像之间存在视角、颜色等差异。

本实施例将待修复图像作为输入图像，并将待修复图像(即图2中的CorruptImage)表示为I

当待修复图像I

然后将多张第一浅层特征图进行拼接得到待修复图像的第一纹理特征f

步骤S20：分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融合处理，得到融合纹理特征和融合结构特征；

进一步的，所述分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融合处理，得到融合纹理特征和融合结构特征，包括：

对第一纹理特征和第二纹理特征进行对齐处理，得到对齐纹理特征，并将对齐纹理特征和第一纹理特征进行融合处理，得到融合纹理特征；

对第一结构特征和第二结构特征进行对齐处理，得到对齐结构特征，并将对齐结构特征和第一结构特征进行融合处理，得到融合结构特征。

进一步的，所述对第一纹理特征和第二纹理特征进行对齐处理，得到对齐纹理特征，包括：

将第一纹理特征和第二纹理特征进行连接，得到连接纹理特征；

基于偏移估计器对连接纹理特征进行计算处理，得到纹理特征偏移图；

基于纹理特征偏移图对第二纹理特征进行可变形卷积处理，得到对齐纹理特征。

示范性的，参见图2和图3所示，为了更好的让待修复图像I

然后通过偏移估计器(即Offset estimator)计算出两幅图像由近而远的潜在相似性，进而得到特征偏移图(即Offset map)。具体的，基于偏移估计器分别对连接纹理特征F

其中，对齐特征可以通过下式计算得到

最后，将对齐特征与待修复图像I

步骤S30：对融合纹理特征和融合结构特征进行多尺度填充修复，得到填充纹理特征和填充结构特征；

示范性的，针对步骤S20中得到的融合纹理特征f

步骤S40：对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征；

进一步的，所述对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征，包括：

基于注意力机制对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征。

示范性的，针对步骤S30中得到多尺度填充后的填充纹理特征f

步骤S50：将均衡特征输入至解码器，以供解码器将均衡特征与输入至解码器中的第一特征图进行跳转连接，生成修复后的图像。

示范性的，在本申请实施例中，均衡特征将与解码器中不同大小的特征层进行跳转连接(即Skip connection)，生成最后的修复图像I

此外，本申请还将通过本实施例得到的图像修复结果与其他图像修复方法(比如EC、GI和MEDFE等)得到的图像修复结果进行了比较。其中，图像修复评价指标使用PSNR(即峰值信噪比)与SSIM值(即结构相似度)；PSNR是一种评价图像的客观标准，PSNR值越高，表示产生的图像质量越高；SSIM基于样本x和y之间的亮度、对比度和结构等三个方面来衡量结构的相似度，SSIM值越高，表示产生的图像越真实。

本实施例的测试过程在不同的损失程度下(比如以10％、20％以此递增到60％)测试了DPED10K数据集上的200张图片，计算其平均PSNR值与平均SSIM值，并与EC、GI、MEDFE这三种图像修复方法得到的修复结果进行了对比(具体结果参见表1所示)。从表1的PSNR和SSIM值比较中可以发现，本实施例基于参考图像指导推理结构和纹理特征的图像修复方法对于现有图像修复算法来说：性能有明显提高。

表1测试图片受损程度在10％-60％之间修复后的PSNR/SSIM值

本实施例为了解决图像修复的不适定问题，将具有相似纹理和结构的参考图像引入到图像修复中以增加外部信息，即利用参考图像的丰富纹理细节来补偿待修复图像中丢失的细节，从而产生更详细和真实的内容。其中，考虑到图像修复时纹理特征和结构特征存在模式差异，如纹理的风格差异和结构的几何差异较大，因此，本实施例引入参考图像作为引导，分别推理纹理特征和结构特征。具体地说，待修复图像图像和参考图像首先将被编码，以产生各自的纹理特征和结构特征；然后对纹理特征和结构特征进行对齐和融合，并将融合后的纹理特征和结构特征以多尺度填充方式融合并均衡，以确保每个通道中的注意力是相同的，并且特征表示一致；最后均衡后的特征将与来自编码器的特征通过跳转连接到解码器，以生成修复后的图像。

由此可见，本申请实施例通过在编码解码网络中引入参考图像，以很好的利用外部信息来推断出受损面积大或预期内容包含复杂语义信息等破损图片的结构特征与纹理特征，进而可以获得更好的修复结果；同时充分考虑待修复图像与参考图像之间存在的潜在差异性，并对二者之间的特征进行有效融合，以提高修复效果。

参见图4所示，本申请实施例还提供了一种图像修复装置，包括：

特征提取单元，其用于将待修复图像输入至第一编码器以及与待修复图像对应的参考图像输入至第二编码器，得到待修复图像的第一特征图和参考图像的第二特征图，并分别对第一特征图和第二特征图进行特征提取，得到待修复图像的第一纹理特征和第一结构特征以及参考图像的第二纹理特征和第二结构特征；

对齐融合单元，其用于分别对第一纹理特征和第二纹理特征以及第一结构特征和第二结构特征进行对齐融合处理，得到融合纹理特征和融合结构特征；

特征填充单元，其用于对融合纹理特征和融合结构特征进行多尺度填充修复，得到填充纹理特征和填充结构特征；

特征均衡单元，其用于对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征；

图像重建单元，其用于将均衡特征输入至解码器，以供解码器将均衡特征与输入至解码器中的第一特征图进行跳转连接，生成修复后的图像。

本申请通过在编码解码网络中引入参考图像，以很好的利用外部信息来推断出受损面积大或预期内容包含复杂语义信息等破损图片的结构特征与纹理特征，进而可以获得更好的修复结果；同时充分考虑待修复图像与参考图像之间存在的潜在差异性，并对二者之间的特征进行有效融合，以提高修复效果。

进一步的，所述待修复图像的第一特征图包括多张第一浅层特征图和多张第一深层特征图，所述参考图像的第二特征图包括多张第二浅层特征图和多张第二深层特征图。

进一步的，所述特征提取单元具体用于：

将所述多张第一浅层特征图进行拼接得到所述待修复图像的第一纹理特征，并将所述多张第一深层特征图进行拼接得到所述待修复图像的第一结构特征；

将所述多张第二浅层特征图进行拼接得到所述参考图像的第二纹理特征，并将所述多张第二深层特征图进行拼接得到所述参考图像的第二结构特征。

进一步的，所述对齐融合单元具体用于：

对第一纹理特征和第二纹理特征进行对齐处理，得到对齐纹理特征，并将对齐纹理特征和第一纹理特征进行融合处理，得到融合纹理特征；

对第一结构特征和第二结构特征进行对齐处理，得到对齐结构特征，并将对齐结构特征和第一结构特征进行融合处理，得到融合结构特征。

进一步的，所述对齐融合单元具体还用于：

将第一纹理特征和第二纹理特征进行连接，得到连接纹理特征；

基于偏移估计器对连接纹理特征进行计算处理，得到纹理特征偏移图；

基于纹理特征偏移图对第二纹理特征进行可变形卷积处理，得到对齐纹理特征。

进一步的，所述特征均衡单元具体用于：

基于注意力机制对填充纹理特征和填充结构特征进行连接与卷积处理，得到均衡特征。

进一步的，所述第一编码器与所述第二编码器的运行参数相同。

需要说明的是，所属本领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各单元的具体工作过程，可以参考前述图像修复方法实施例中的对应过程，在此不再赘述。

上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的图像修复设备上运行。

本申请实施例还提供了一种图像修复设备，包括：通过系统总线连接的存储器、处理器和网络接口，存储器中存储有至少一条指令，至少一条指令由处理器加载并执行，以实现前述的图像修复方法的全部步骤或部分步骤。

其中，网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

处理器可以是CPU，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程逻辑门阵列(FieldProgrammable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件分立硬件组件等。通用处理器可以是微处理器，或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如视频播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像数据等)等。此外，存储器可以包括高速随存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(SmartMedia Card，SMC)、安全数字(Secure digital，SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现前述的图像修复方法的全部步骤或部分步骤。

本申请实施例实现前述的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Onlymemory，ROM)、随机存取存储器(RandomAccessmemory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。