一种无参考图像质量评价方法及系统

技术领域

本发明涉及图像质量评价技术领域，特别涉及一种无参考图像质量评价方法及系统。

背景技术

随着互联网技术、数字媒体技术以及通信领域的快速发展，作为人眼感知重要信息源的数字图像在人们信息交流中发挥了重要作用；加之智能手机、平板电脑等电子设备的普及程度提高，为图像的采集和传播提供了极大的便利。但是，在图像的获取、压缩、处理、传输和显示等过程中，极易对图像造成不同程度的失真。失真图像不仅会影响观感，而且可能造成信息的丢失。为了衡量图像质量是否满足特定应用的要求，需要建立有效的图像质量评价机制。

图像质量评价分为主观评价和客观评价。主观评价中需要不同观察者对同一图片进行主观评分，去掉极值后取均值作为图像质量的主观分数；客观评价则分为全参考、半参考和无参考评价三种方式。无参考图像质量评价过程中，不需要失真图像的原始无损图像作为参考，相较于全参考和半参考的图像质量评价方法，有更高的实用价值。近年来无参考图像质量评价领域发展迅速，出现了很多优秀的方法：[1]评估自然图像失真程度的监督方法(BRISQUE)通过计算自然图像统计特征后使用支持向量回归方法进行模型拟合；[2]非监督的流程的方法，此方法分两步进行，第一步使用无失真图像在图像块上提取特征后利用多元高斯模型进行拟合，第二步输入失真图像且在图像块上提取第一步中相同特征，计算协方差矩阵并和步骤一中的多元高斯模型系数进行比较，最终取各块分数平均值作为图像的质量分数。

现有的无参考图像质量评价存在以下缺点：有监督的无参考评价算法需要有主观分数的失真图像进行模型训练，在单一数据库上训练的模型在其他数据库上进行测试时质量评价的准确性会降低，这类方法模型泛化能力差，应用场景较为局限；无监督的无参考图像质量评价，使用无失真的图像进行模型训练，训练数据容易获得，在不同的图像质量评价数据库进行质量评价时都有较高的准确性，模型泛化性较好。

现有的无监督的无参考图像质量评价方法为了获得更好的性能，需要提取的特征维度很高，模型复杂、算法复杂度高。

发明内容

本发明针对上述现有技术中存在的问题，提出一种无参考图像质量评价方法及系统，具有流程简单、评价结果准确、泛化性能好等优点。

为解决上述技术问题，本发明是通过如下技术方案实现的：

本发明提供一种无参考图像质量评价方法，其包括：

S11：确定训练图像的特征；

S12：采用多元高斯模型对所述S11中的训练图像的特征进行拟合，得到训练模型；

S13：确定测试图像的特征；

S14：采用多元高斯模型对所述S13中的测试图像的特征进行拟合，得到测试模型；

S15：通过对所述训练模型以及所述测试模型进行比较，确定测试图像的质量评价，并对质量评价的准确程度进行衡量。

较佳地，所述S11包括：

S111：提取所述训练图像的自然图像统计特征；

S112：提取所述训练图像的相位一致性特征；

S113：提取所述训练图像的梯度特征；

S114：提取所述训练图像的卡洛南-洛伊变换特征；

进一步地，所述S13包括：

S131：提取所述测试图像的自然图像统计特征；

S132：提取所述测试图像的相位一致性特征；

S133：提取所述测试图像的梯度特征；

S134：提取所述测试图像的卡洛南-洛伊变换特征。

较佳地，所述S111之前还包括：

S110：将所述训练图像进行多尺度分块；

进一步地，所述S131之前还包括：

S130：将所述训练图像进行多尺度分块。

较佳地，所述S111以及所述S131中的自然图像统计特征提取方法为：

计算和输入图像尺寸一致的二维自然图像统计特征系数I

其中，I表示输入图像，x和y表示图像坐标对应的图像颜色信息，μ表示图像均值，σ表示图像标准差，计算如下：

其中，w表示图像在二维圆对称高斯加权函数采样的3个标准差，得到7×7的滤波器归一化后对图像进行滤波，得到均值μ，使用零均广义高斯函数对得到的I

其中，

其中，α控制函数的扩散程度，σ为形状参数，Г为函数

再将I

其中，

其中，β

较佳地，所述S112以及S132中的相位一致性特征提取方法为：

计算时须将输入图像从RGB色彩空间变换到O

二维信号的相位一致性是由一维推广而来的，对二维信号在方向θ

以及局部能量函数：

其中，

在点x处二维相位一致性定义为：

在每一维空间上计算得到的相位一致性结果采用韦布尔分布进行拟合：

其中，x是随机变量，λ是比例参数，k是形状参数，每维数据的特征可以用λ和k两个值进行描述，在O

较佳地，所述S113以及S133中的梯度特征提取方法为：

计算输入图像的水平和竖直两个方向的梯度特征，

G

G

其中，D

采用广义高斯分布模型对G

较佳地，所述S114以及S134中的卡洛南-洛伊变换特征提取方法包括：

S71：计算变换核：

将自然图像统计特征提取中得到的I

S72：根据变换核提取图像特征：

计算卡洛南-洛伊变换核与图像块之间的乘积，

P

其中I

较佳地，所述S15进一步包括：

S151：计算所述训练模型的均值向量与所述测试模型的均值向量之间的差值，以及所述训练模型的协方差矩阵与所述测试模型的协方差矩阵之间的差值，代表测试图像的质量评价分数；

S152：采用斯皮尔曼秩相关系数对质量评价的准确程度进行衡量。

较佳地，当图像包括多个图像块时，所述S151中的差值为每个图像块的差值，并将多个图像块的差值取平均数，代表测试图像的质量评价分数。

本发明还提供一种无参考图像质量评价系统，其用于实现上述所述的无参考图像质量评价方法，其包括：训练图像的特征提取单元、训练模型拟合单元、测试图像的特征提取单元、测试模型拟合单元以及质量评价单元；其中，

所述训练图像的特征提取单元用于确定训练图像的特征；

所述训练模型拟合单元用于采用多元高斯模型对所述训练图像的特征提取单元中的训练图像的特征进行拟合，得到训练模型；

所述测试图像的特征提取单元用于确定测试图像的特征；

所述测试模型拟合单元用于采用多元高斯模型对所述测试图像的特征提取单元中的测试图像的特征进行拟合，得到测试模型；

所述质量评价单元用于通过对所述训练模型以及所述测试模型进行比较，确定测试图像的质量评价，并对质量评价的准确程度进行衡量。

相较于现有技术，本发明具有以下优点：

(1)本发明提供的无参考图像质量评价方法及系统，通过多元高斯模型进行拟合和对图像质量进行预测，有利于对于不同类别、不同程度失真图像，甚至是混合失真图像质量有着较为准确的估计，实验结果显示，模型有良好的泛化性能，并且流程简单；

(2)本发明提供的无参考图像质量评价方法及系统，通过自然图像统计特征描述图像的局部归一化对比度等自然属性、相位一致性特征和梯度特征描述图像的结构信息、卡洛南-洛伊变换特征描述在无失真图像的数据驱动下得到图像的稀疏特征，使得无参考图像的评分与人类主观评分有较强的一致性，评论结果准确；

(3)本发明提供的无参考图像质量评价方法及系统，通过自然图像统计特征、相位一致性特征、梯度特征、卡洛南-洛伊变换特征的提取，充分考虑到自然图像的统计特性、结构信息，提取多种特征进行融合并进行多维度计算，使融合的特征更加贴合人眼的视觉特征；

(4)本发明提供的无参考图像质量评价方法及系统，采用斯皮尔曼秩相关系数对质量评价的准确程度进行衡量，泛化性能更好；

(5)本发明提供的无参考图像质量评价方法及系统，通过自然图像统计特征、相位一致性特征、梯度特征、卡洛南-洛伊变换特征的提取，得到72维特征，提取的该特征维度在同类型的评价方法中维度适中，模型简单、算法简单，准确性较高，模型泛化性能较好。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

下面结合附图对本发明的实施方式作进一步说明：

图1为本发明的实施例的无参考图像质量评价方法的流程图；

图2为本发明的较佳实施例的S11的流程图；

图3为本发明的较佳实施例的S13的流程图；

图4为本发明的实施例的无参考图像质量评价系统的结构示意图。

标号说明：1-训练图像的特征提取单元，2-训练模型拟合单元，3-测试图像的特征提取单元，4-测试模型拟合单元，5-质量评价单元。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示为本发明一实施例的无参考图像质量评价方法的流程图。

请参考图1，本实施例的无参考图像质量评价方法包括：

S11：确定训练图像的特征；

S12：采用多元高斯模型对S11中的训练图像的特征进行拟合，得到训练模型；

S13：确定测试图像的特征；

S14：采用多元高斯模型对S13中的测试图像的特征进行拟合，得到测试模型；

S15：通过对训练模型以及测试模型进行比较，确定测试图像的质量评价，并对质量评价的准确程度进行衡量。

较佳实施例中，S11包括：

S111：提取训练图像的自然图像统计特征；

S112：提取训练图像的相位一致性特征；

S113：提取训练图像的梯度特征；

S114：提取训练图像的卡洛南-洛伊变换特征，如图2所示；

进一步地，S13包括：

S131：提取测试图像的自然图像统计特征；

S132：提取测试图像的相位一致性特征；

S133：提取测试图像的梯度特征；

S134：提取测试图像的卡洛南-洛伊变换特征，如图3所示。

较佳实施例中，S111之前还包括：

S110：将训练图像进行多尺度分块；

进一步地，S131之前还包括：

S130：将训练图像进行多尺度分块。

较佳实施例中，S111以及S131中的自然图像统计特征提取方法为：

计算和输入图像尺寸一致的二维自然图像统计特征系数I

其中，I表示输入图像，x和y表示图像坐标对应的图像颜色信息，μ表示图像均值，σ表示图像标准差，计算如下：

其中，w表示图像在二维圆对称高斯加权函数采样的3个标准差，得到7×7的滤波器归一化后对图像进行滤波，得到均值μ，使用零均广义高斯函数对得到的I

其中，

其中，α控制函数的扩散程度，σ为形状参数，Г为函数

再将I

其中，

其中，β

较佳实施例中，S112以及S132中的相位一致性特征提取方法为：

计算时须将输入图像从RGB色彩空间变换到O

二维信号的相位一致性是由一维推广而来的，对二维信号在方向θ

以及局部能量函数：

其中，

在点x处二维相位一致性定义为：

在每一维空间上计算得到的相位一致性结果采用韦布尔分布进行拟合：

其中，x是随机变量，λ是比例参数，k是形状参数，每维数据的特征可以用λ和k两个值进行描述，在O

较佳实施例中，S113以及S133中的梯度特征提取方法为：

计算输入图像的水平和竖直两个方向的梯度特征，

G

G

其中，D

采用广义高斯分布模型对G

较佳实施例中，S114以及S134中的卡洛南-洛伊变换特征提取方法包括：

S71：计算变换核：

将自然图像统计特征提取中得到的I

S72：根据变换核提取图像特征：

计算卡洛南-洛伊变换核与图像块之间的乘积作为输入图像的卡洛南-洛伊变换特征，

P

其中I

较佳实施例中，S15进一步包括：

S151：计算训练模型的均值向量与测试模型的均值向量之间的差值，以及训练模型的协方差矩阵与测试模型的协方差矩阵之间的差值，代表测试图像的质量评价分数；

S152：采用斯皮尔曼秩相关系数对质量评价的准确程度进行衡量。

较佳实施例中，当图像包括多个图像块时，S151中的差值为每个图像块的差值，并将多个图像块的差值取平均数，代表测试图像的质量评价分数。

较佳实施例中，在训练模型与测试模型建立时，考虑到人眼视觉系统多尺度特性，因此在图像分块的基础上对图像进行下采样，下采样后图像块的边长也缩小为原来的一半。在两个尺度上对图像进行特征提取过程，共得到72维特征向量。训练方面，使用无失真自然图像，取其中的高对比度图像块计算卡洛南-洛伊变换核并提取特征对多元高斯模型进行拟合。进一步地，高对比度图像块指的是图像块均值降序排列后，排序前25％的图像块选为高对比度图像块；在测试方面，则是选取测试图像中全部图像块进行特征提取。

下面为了说明本发明的评价方法的优越性，将本发明提出的方法在不同数据库上进行了性能对比。实验中使用L IVE[3]、CSIQ[4]、T ID2013[5]、MI CT[6]、LIVE-Cha l lenge[7](简称LIVE-C)和CI D2013[8]等六个图像质量评价中常用的数据库进行实验。不同数据库失真的类型会有差别，如表1所示，其中失真种类A代表图像中包含了至少两种类型的混合失真，为了比较的结果更为客观，选取常见的失真类型进行结果比较。L IVE数据库在图像质量评价中应用较为广泛，选取LIVE数据库中所有的失真类型；选择CS IQ数据库中jpeg、jpeg2000、白噪声和高斯模糊四种失真类型进行测试；数据库TI D2013共有24种失真类型，选取和CS IQ数据库中的选择的四种失真类型相同的失真类别；数据库MICT只有jpeg和jpeg2000两种失真类型，选取数据库全部内容；L IVE-C和CID2013数据库中图像都是混合类型的失真，所以全部选择。

表2中的结果计算了不同特征下斯皮尔曼秩相关系数的绝对值及加权平均值，其中权重按照测试图像的张数进行分配，该算法在不同的数据库上都能够获得较好的结果，说明算法的泛化性能好，且优于目前存在的大多数主流算法。

表1

表2

如图4所示为本发明的实施例的无参考图像质量评价系统的结构示意图。

请参考图4，本实施例的无参考图像质量评价系统用于实现上述实施例的无参考图像质量评价方法，其包括：训练图像的特征提取单元1、训练模型拟合单元2、测试图像的特征提取单元3、测试模型拟合单元4以及质量评价单元5；其中，

训练图像的特征提取单元1用于确定训练图像的特征；

训练模型拟合单元2用于采用多元高斯模型对训练图像的特征提取单元1中的训练图像的特征进行拟合，得到训练模型；

测试图像的特征提取单元3用于确定测试图像的特征；

测试模型拟合单元4用于采用多元高斯模型对测试图像的特征提取单元中的测试图像的特征进行拟合，得到测试模型；

质量评价单元5用于通过对训练模型以及测试模型进行比较，确定测试图像的质量评价，并对质量评价的准确程度进行衡量。

此处公开的仅为本发明的优选实施例，本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，并不是对本发明的限定。任何本领域技术人员在说明书范围内所做的修改和变化，均应落在本发明所保护的范围内。