一种基于排序学习和孪生神经网络的图像修复质量评价方法

技术领域

本发明属于图像处理与计算机视觉技术领域，涉及一种基于排序学习和孪生神经网络的图像修复质量评价方法。

背景技术

图像质量评价主要是通过对待评价图像进行特性的分析和研究，并利用某种算法评估出图像的质量优劣。根据待评价图像的不同，可以将图像质量评价分为保真度质量评价、美观度质量评价以及本发明所涉及的图像修复质量评价等领域。图像修复质量评价所针对的是通过不同图像修复算法进行修复出来的结果图，目前主流的评价方式主要有三种：基于相似度计算的方法、基于显著图的方法以及基于学习的方法。

基于相似度计算的方法是将修复结果图与实验环境下的原始图像进行相似度的计算，相似度越高则待评价图像的质量也就越高，常用的计算相似度的指标有SSIM和PSNR。但是这种基于相似度计算的方式有一定的局限性。一方面，在真实的图像修复任务下，我们往往获取不到原始图像，只有待修复的破损图像。另一方面，相似度计算的方式只能适用于图像修复中的区域填充任务而不适用于物体移除，因为区域填充产生的结果图与原始图像趋于一致，但物体移除则不然。

基于显著图的方法首先会使用某种算法把待评价图像的显著性图计算出来，该图代表了待评价图像中不同物体相较于其他物体的显著性程度，如果显著图中被修复区域的显著性比较强，那么我们可以理解为被修复区域相较于其他区域比较不自然，该图的质量也比较低。这种方式同样存在着局限性，显著图的产生严重依赖某种显著性图计算算法，如果该算法计算出来的显著性图比较粗糙，那么我们就无法通过这种方式准确的评估出修复结果图的质量优劣。

基于学习的方法是目前进行图像修复质量评价的一个研究趋势，也是本发明所使用的方法。该方法旨在训练一个模型，使其能自动地对待评价图像进行质量的评估，进而可以对两张或多张图像进行图像质量关系的排序。Isogawa等在2018年发表的论文《Imagequality assessment for inpainted images via learning to rank》中提出了一种基于排序学习和SVM的排序模型，并自己创建了数据集和特征提取的方式用于模型训练。但是他们创建的数据集种类和数量比较有限，不足以全面地模拟真实的图像修复结果图。另外，他们设计的特征提取方式仅关注到了被修复区域的边缘，而忽略了内部的特征。

综上所述，目前的图像修复质量评价技术存在数据集稀缺、难以准确评估被修复区域与已知区域的连贯性和一致性等问题，如何同时改善以上问题是目前的一个研究难点。

发明内容

针对上述现有技术中存在的不足，本发明提出了一种基于排序学习和孪生神经网络的图像质量排序方法，并且创建了可用于模型训练的数据集，该方法包含以下步骤：

S1：数据集创建。首先收集原始数据，并手动在原始图像中圈出待修复区域，然后应用局部退化策略对待修复区域进行修复效果模拟，并通过量化比较退化区域和原始图像获得修复效果得分和排序。最终合成的数据集是以图像对为一个基本单位的，每一对图像的标签是它们的质量排序关系。

S2：孪生网络搭建。由于本发明采用排序学习策略，需要同时输入两张图像，因此本发明采用孪生网络作为主干网络。该网络总共有两个分支，每个分支的网络结构相同且参数共享，以保证两张图像输入到网络中时能够使用相同的方式进行特征提取。

S3：被修复区域局部连贯性评估。在孪生网络的主体框架中加入了基于局部面片连贯性评估模块(PCAM，Patch-wise Coherence Assessment Module)，从特征层面去衡量被修复区域的局部结构连贯性和纹理颜色方面的一致性。

S4：网络模型训练。我们使用上述的数据集和网络结构进行模型的训练，至损失函数完全收敛时停止训练，得到训练后的模型参数，并以此参数来去对两张图像特征进行提取，进而得出这两张待评价图像的质量排序关系。

与现有技术相比，本发明具有以下优点：(1)本发明所创建的训练数据集数量多且类型丰富，能够更全面的模拟真实的图像修复结果图。(2)本发明使用卷积神经网络进行图像的特征提取，并有针对性地去衡量被修复区域的局部结构连贯性和纹理颜色方面的一致性，相比现有方法，本发明所训练的图像质量排序模型的预测精度更高。

附图说明

图1为本发明所涉及方法的流程图；

图2为本发明设计的网络结构的参数；

图3为本发明设计的基于局部面片的连贯性评估模块；

图4为本发明的预测结果与其他算法结果的量化比较图；

图5为本发明预测结果与其他算法结果的可视化比较图；

具体实施方式

为使本发明目的、技术方案和优点更加清晰可见，下文结合附图对本发明实施例的技术方案更进行详细、完整的阐述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出了一种基于孪生神经网络的图像修复质量评价技术，流程图如图1所示，具体包括以下步骤：

S1：基于学习的方式进行图像修复质量评价必须依赖相关的训练数据集，但目前并没有公开可用的数据集，因此本发明首先需要进行数据集的创建。

S1-1：基于局部区域退化的数据集创建。首先从一些公开数据集中筛选300张原始图像，并手动标注每张图像的待修复区域，然后对每张图像的待修复区域进行不同类型不同程度的退化操作(本发明中采用了高斯模糊、JPEG压缩、椒盐噪声、扭曲变型四种类型退化)，退化级别越高，所产生的图像质量越差。由此可以创建出自带排序关系标签的图像对，来模拟真实的图像修复结果图。

S1-2：基于搜索匹配的图像修复算法的数据集创建。此步骤使用的原始图像均来自于 S1-1。基于搜索匹配的图像修复算法的大体流程如下：首先沿着被修复区域的边缘圈定一个被修复区域φ

S1-3：测试数据集创建。为了检测模型在真实的图像修复结果图上的排序效果，本发明还创建了一个真实测试数据集，步骤如下：首先选取了与上述步骤不同的200张原始图像，并手动圈定了待修复区域，然后使用3种图像修复能力不同的算法对这些图像进行修复，每张原始图像都可得到3张质量不同的修复结果图，并由此组成带有排序标签的测试图像对。

S2：通过分析真实的图像修复结果图可以发现，比较低层次的特征(如纹理、线条、颜色)是影响被评价图像质量的主要因素，高层次的语义信息也会对质量有所影响。因此，本发明设计了一个5层的卷积神经网络作为主干网络的分支结构，孪生网络两个分支的结构一样且参数共享。分支网络的全连接层之前有1个全局平均池化层，目的是减少参数量，提升训练的效率，之后是3个全连接层，最后输出的是一个代表图像整体结构连贯性的单一标量。每一个卷积层的输出特征除了传到下一层，还会被送到PCAM中，用来进行局部连贯性的度量。图2是本发明设计的网络参数，第一列是网络层，包括5个卷积层、5 个激活层、3个池化层和3个全连接层。第二列展示了每一层中的卷积核大小、步长等信息，比如第一层中卷积核大小是11x11、步长是2、填充大小是5。第三列和第四列代表每一层的输入特征尺寸和输出特征尺寸，原始输入的图片尺寸是224x224，每次池化之后特征的大小会缩小为原来的一半，网络最后的输出是一个单一标量，用以代表图像的质量分数。

S3：如图3所示，本发明设计了一个能够衡量待评价图像局部结构连贯性和纹理颜色一致性的模块，该模块的工作原理如下：首先根据掩膜图像，将被修复区域的边界框计算出来，根据边界框再把每一个卷积层输出的多通道特征进行裁切，裁切后得到的特征就是我们需要度量的特征。然后将这个特征进行切块(本发明中设定的块的大小是3x3)，随后去计算每一个块与它周围8个块之间的余弦相似度，最终可以得到一个代表这个被修复区域结构连贯性和纹理颜色一致性的相似性图。将这个相似形图进行尺寸大小的调整之后，直接与两个网络分支的最后一层进行拼接。

S4：以上是训练前的准备工作，包括数据集的创建以及网络结构的设计，接下来需要进行网络的训练，直至损失函数完全收敛时停止训练，获得适用于图像质量排序任务的模型参数，用此参数进行计算最终可以得到两张图像的质量排序关系。

S4-1：在训练阶段，本实例选取的是上述步骤中创建的混合数据集，其组成既包含了基于区域退化合成的图像对，又包含了基于传统图像修复算法生成的图像对。

S4-2：训练使用的是排序损失函数：Loss

S4-3：训练过程中数据增强的手段包括将每一张图像缩放至统一大小(本实例中图像的尺寸是224x224)、归一化操作。

S4-4：本实施例网络训练过程选取Adam优化器，其中优化器参数β

使用阶段

按照前述方法准备数据训练集，构建网络结构。当训练完成后，将待排序的图片对输入已训练好的整体网络中，得到这两张图像的质量排序关系。

方法测试

本发明公开的方法在步骤S1-3中创建的验证集中进行测试，并与目前已公开方法进行对比，以此验证本发明提出的网络框架能够更好的评估待评价图像的结构连贯性和纹理颜色的一致性，同时得到的图像质量排序准确率相对更高。

定量评估的指标是排序结果预测准确率，计算的方式就是用模型预测正确的图像对的数量除以总的待评价图像对的数量。如图4所示，本发明与Isogawa等提出来的基于SVM的评价算法做了对比，结果显示本发明的预测精度最高可以比他们的方法高21.64％。同时，本发明也针对PCAM的性能做了消融实验，结果显示，在网络中加入PCAM可以使预测精准度提高5.79％。

图5是本发明实验结果与Isogawa等的结果的可视化对比。(a)表示原始待修复图像，掩膜部分是需要去除的物体，(b)和(c)代表不同图像修复算法修复出的质量不同的结果图。Isogawa等的方法对(b)和(c)这两张图的排序结果是(b)差于(c)，而本方法的结果与真实的排序结果一致，是(b)优于(c)。这是由于Isogawa等在设计特征提取方式的时候只考虑了被修复区域边缘的连贯性，如果一张被修复图像的边缘修复的比较好，而内部修复的却不好，那么使用Isogawa等人提出的方法进行图像质量关系预测时就会出现错误。本发明所提出的技术既可以对被修复区域边缘的连贯性进行评估，还可以对被修复区域内部的纹理颜色的一致性进行评估，所以预测结果相对更好。

综上所述，本发明公开了一种基于排序学习和孪生神经网络的图像修复质量评价方法，主要阐述了本技术中训练数据集的构建方法、网络模型的构成以及训练过程。数据集总共包括三个部分：基于区域退化生成的数据集、基于传统图像修复算法生成的数据集以及基于真实图像修复结果生成的数据集。整个技术框架分为两个部分：基础的孪生网络框架、局部结构连贯性和颜色纹理一致性度量模块。通过测试对现有方法，验证了本发明在对修复结果图的特征提取上比现有方法更具有针对性，在对两张待评价图像质量的排序结果上精度更高。