掌桥专利:专业的专利平台
掌桥专利
首页

图像质量评估方法、装置、计算机设备及存储介质

文献发布时间:2023-06-19 09:41:38


图像质量评估方法、装置、计算机设备及存储介质

技术领域

本发明涉及图像质量评估技术领域,具体而言,涉及一种图像质量评估方法、装置、计算机设备及存储介质。

背景技术

图像质量评估(Image Quality Assessment,IQA)研究已有数十年的历史,经历了从全参考、半参考到无参考的过度,现有的图像质量评估方法中全盲图像质量评估方法是图像质量评估领域的研究热点。

全盲图像质量评估方法是通过拟合一个自然图像质量评估模型,通过计算测试图像和自然图像质量评估模型之间的高斯距离,对图像质量进行评估。

采用上述全盲图像质量评估方法对图像质量进行评估得到的结果存在较大的误差,对图像质量的评估效果不够理想。

发明内容

本发明的目的在于,针对上述现有技术中的不足,提供一种图像质量评估方法、装置、计算机设备及存储介质,以提高图像质量评估的准确度。

为实现上述目的,本申请实施例采用的技术方案如下:

第一方面,本申请实施例提供了一种图像质量评估方法,包括:

对待评估图像进行分块处理,得到多个待评估图像块;

对每个待评估图像块进行特征提取,得到所述每个待评估图像块的特征;

根据所述多个待评估图像块的特征,计算所述待评估图像的特征参数;

根据所述待评估图像的特征参数,和预先构造的自然图像模型的特征参数,计算所述待评估图像和所述自然图像模型的第一特征距离,所述自然图像模型的特征参数为基于未失真的自然图像得到的特征参数;

根据所述待评估图像的特征参数,和预先构造的失真图像模型的特征参数,计算所述待评估图像和所述失真图像模型的第二特征距离,所述失真图像模型的特征参数为基于失真图像得到的特征参数;

根据所述第一特征距离和所述第二特征距离,计算所述待评估图像的质量分值。

可选的,所述待评估图像的特征参数包括:待评估特征均值和待评估特征协方差;相应的,所述自然图像模型的特征参数包括:自然特征均值和自然特征协方差,所述失真图像模型的特征参数包括:失真特征均值和失真特征协方差;

所述根据所述多个待评估图像块的特征,计算所述待评估图像的特征参数,包括:

根据所述多个待评估图像块的特征,采用预设的多元高斯模型进行拟合,得到所述待评估特征均值和所述待评估特征协方差。

可选的,所述方法还包括:

对所述自然图像和所述失真图像分别进行特征提取,得到所述自然图像的特征集合和所述失真图像的特征集合;

采用所述多元高斯模型对所述自然图像的特征集合进行拟合,得到所述自然特征均值和所述自然特征协方差;

采用所述多元高斯模型对所述失真图像的特征集合进行拟合,得到所述失真特征均值和所述失真特征协方差。

可选的,所述对所述自然图像和所述失真图像分别进行特征提取,得到所述自然图像的特征集合和所述失真图像的特征集合,包括:

分别对所述自然图像和所述失真图像进行分块处理,得到多个自然图像块和多个失真图像块;

分别对所述多个自然图像块和所述多个失真图像块进行特征提取,得到所述自然图像的特征集合和所述失真图像的特征集合。

可选的,所述分别对所述多个自然图像块和所述多个失真图像块进行特征提取,得到所述自然图像的特征集合和所述失真图像的特征集合,包括:

分别对所述多个自然图像块中的多个第一目标图像块进行MSCN的特征提取,得到所述多个第一目标图像块的MSCN系数,以及所述多个第一目标图像块的MSCN系数在多个旋转方向的系数;其中,所述MSCN表示平均对比归一化系数;

根据每个第一目标图像块的MSCN系数,以及所述每个第一目标图像块的MSCN系数在多个旋转方向的系数,得到所述每个第一目标图像块的多维特征,所述自然图像的特征集合包括:所述多个第一目标图像块的多维特征;

分别对所述多个失真图像块中的多个第二目标图像块进行MSCN的特征提取,得到所述多个第二目标图像块的MSCN系数,以及所述多个第二目标图像块的MSCN系数在多个旋转方向的系数;

根据每个第二目标图像块的MSCN系数,以及所述每个第二目标图像块的MSCN系数在多个旋转方向的系数,得到所述每个第二目标图像块的多维特征,所述失真图像的特征集合包括:所述多个第二目标图像块的多维特征;

可选的,所述根据每个第一目标图像块的MSCN系数,以及所述每个第一目标图像块的MSCN系数在多个旋转方向的系数,得到所述每个第一目标图像块的多维特征,包括:

采用GGD拟合算法,对所述每个第一目标图像块的MSCN系数进行拟合得到所述每个第一目标图像块的方差参数和形状参数;其中,所述GGD 表示广义高斯分布;

采用AGGD拟合算法,对所述每个第一目标图像块的MSCN系数在多个旋转方向的系数进行拟合,得到所述每个第一目标图像块在所述多个旋转方向的特征参数;其中,所述AGGD用于表示非对称广义高斯分布;

所述每个第一目标图像块的多维特征包括:所述每个第一目标图像块的方差参数和形状参数,以及所述每个第一目标图像块在所述多个旋转方向的特征参数;

相应的,所述根据每个第二目标图像块的MSCN系数,以及所述每个第二目标图像块的MSCN系数在多个旋转方向的系数,得到所述每个第二目标图像块的多维特征,包括:

采用GGD拟合算法,对所述每个第二目标图像块的MSCN系数进行拟合得到所述每个第二目标图像块的方差参数和形状参数;

采用AGGD拟合算法,对所述每个第二目标图像块的MSCN系数在多个旋转方向的系数进行拟合,得到所述每个第二目标图像块在所述多个旋转方向的特征参数;所述每个第二目标图像块的多维特征包括:所述每个第二目标图像块的方差参数和形状参数,以及所述每个第二目标图像块在所述多个旋转方向的特征参数。

可选的,所述分别对所述多个自然图像块中的多个第一目标图像块进行MSCN的特征提取,得到所述多个第一目标图像块的MSCN系数,以及所述多个第一目标图像块的MSCN系数在多个旋转方向的系数之前,所述方法还包括:

从所述多个自然图像块中筛选具有内容含义的图像块为所述多个第一目标图像块;

从所述多个失真图像块中筛选具有内容含义的图像块为所述多个第二目标图像块。

第二方面,本申请实施例还提供一种图像质量评估装置,所述装置包括:

分块处理模块,用于对待评估图像进行分块处理,得到多个待评估图像块;

第一特征提取模块,用于对每个待评估图像块进行特征提取,得到所述每个待评估图像块的特征;

参数计算模块,用于根据所述多个待评估图像块的特征,计算所述待评估图像的特征参数;

第一距离计算模块,用于根据所述待评估图像的特征参数,和预先构造的自然图像模型的特征参数,计算所述待评估图像和所述自然图像模型的第一特征距离;

第二距离计算模块,用于根据所述待评估图像的特征参数,和预先构造的失真图像模型的特征参数,计算所述待评估图像和所述失真图像模型的第二特征距离;

质量分值计算模块,用于根据所述第一特征距离和所述第二特征距离,计算所述待评估图像的质量分值。

可选的,所述待评估图像的特征参数包括:待评估特征均值和待评估特征协方差;相应的,所述自然图像模型的特征参数包括:自然特征均值和自然特征协方差,所述失真图像模型的特征参数包括:失真特征均值和失真特征协方差,所述参数计算模块具体用于根据所述多个待评估图像块的特征,采用预设的多元高斯模型进行拟合,得到所述待评估特征均值和所述待评估特征协方差。

可选的,所述装置还包括:

第二特征提取模块,用于对所述自然图像和所述失真图像分别进行特征提取,得到所述自然图像的特征集合和所述失真图像的特征集合;

第一特征拟合模块,用于采用所述多元高斯模型对所述自然图像的特征集合进行拟合,得到所述自然特征均值和所述自然特征协方差;

第二特征拟合模块,用于采用所述多元高斯模型对所述失真图像的特征集合进行拟合,得到所述失真特征均值和所述失真特征协方差。

可选的,所述第二特征提取模块包括:

分块处理单元,用于分别对所述自然图像和所述失真图像进行分块处理,得到多个自然图像块和多个失真图像块;

特征提取单元,用于分别对所述多个自然图像块和所述多个失真图像块进行特征提取,得到所述自然图像的特征集合和所述失真图像的特征集合。

可选的,所述特征提取单元包括:

第一系数计算子单元,用于分别对所述多个自然图像块中的多个第一目标图像块进行MSCN的特征提取,得到所述多个第一目标图像块的 MSCN系数,以及所述多个第一目标图像块的MSCN系数在多个旋转方向的系数;其中,所述MSCN表示平均对比归一化系数;

第一多维特征计算子单元,用于根据每个第一目标图像块的MSCN系数,以及所述每个第一目标图像块的MSCN系数在多个旋转方向的系数,得到所述每个第一目标图像块的多维特征,所述自然图像的特征集合包括:所述多个第一目标图像块的多维特征;

第二系数计算子单元,用于分别对所述多个失真图像块中的多个第二目标图像块进行MSCN的特征提取,得到所述多个第二目标图像块的 MSCN系数,以及所述多个第二目标图像块的MSCN系数在多个旋转方向的系数;

第二多维特征计算子单元,用于根据每个第二目标图像块的MSCN系数,以及所述每个第二目标图像块的MSCN系数在多个旋转方向的系数,得到所述每个第二目标图像块的多维特征,所述失真图像的特征集合包括:所述多个第二目标图像块的多维特征。

可选的,第一多维特征计算子单元包括:

第一GGD拟合子单元,用于采用GGD拟合算法,对所述每个第一目标图像块的MSCN系数进行拟合得到所述每个第一目标图像块的方差参数和形状参数;其中,所述GGD表示广义高斯分布;

第一AGGD拟合子单元,用于采用AGGD拟合算法,对所述每个第一目标图像块的MSCN系数在多个旋转方向的系数进行拟合,得到所述每个第一目标图像块在所述多个旋转方向的特征参数;其中,所述AGGD用于表示非对称广义高斯分布;

第二多维特征计算子单元包括:

第二GGD拟合子单元,用于采用GGD拟合算法,对所述每个第二目标图像块的MSCN系数进行拟合得到所述每个第二目标图像块的方差参数和形状参数;

第二AGGD拟合子单元,用于采用AGGD拟合算法,对所述每个第二目标图像块的MSCN系数在多个旋转方向的系数进行拟合,得到所述每个第二目标图像块在所述多个旋转方向的特征参数;所述每个第二目标图像块的多维特征包括:所述每个第二目标图像块的方差参数和形状参数,以及所述每个第二目标图像块在所述多个旋转方向的特征参数。

可选的,在所述特征提取单元之前,所述装置还包括:

第一筛选单元,用于从所述多个自然图像块中筛选具有内容含义的图像块为所述多个第一目标图像块;

第二筛选单元,用于从所述多个失真图像块中筛选具有内容含义的图像块为所述多个第二目标图像块。

第三方面,本申请实施例还提供一种计算机设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的程序指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述程序指令,以执行时执行上述任一所述的图像质量评估方法的步骤。

第四方面,本申请实施例还提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述任一所述的图像质量评估方法的步骤。

本申请的有益效果是:

本申请提供的图像质量评估方法、装置、计算机设备及存储介质,可通过对待评估图像进行分块得到的多个待评估图像块进行特征提取,根据多个待评估图像块的特征计算待评估图像的特征参数,并根据待评估图像的特征参数和预先构造的自然图像模型的特征参数、预先构造的失真图像模型的特征参数,分别计算待评估图像和自然图像模型的第一特征距离、待评估图像和失真图像模型的第二特征距离,并基于第一特征距离和第二特征距离计算待评估图像的质量分值。通过本申请实施例提供的方案,可根据待评估图像的特征参数、预先构造的自然图像模型的特征参数、预先构造的失真图像模型的特征参数,分别计算待评估图像与自然图像模型、失真图像模型的第一特征距离和第二特征距离,基于第一特征距离和第二特征距离得到待评估图像的质量分值。本申请通过将待评估图像分别向自然图像模型和失真图像模型两个方向逼近,提高待评估图像的质量分值的准确度,提高对图像质量评估的效果。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的第一种图像质量评估方法的流程示意图;

图2为本申请实施例提供的第二种图像质量评估方法的流程示意图;

图3为本申请实施例提供的第三种图像质量评估方法的流程示意图;

图4为本申请实施例提供的第四种图像质量评估方法的流程示意图;

图5为本申请实施例提供的第五种图像质量评估方法的流程示意图;

图6为本申请实施例提供的第六种图像质量评估方法的流程示意图;

图7为本申请实施例提供的第七种图像质量评估方法的流程示意图;

图8为本申请实施例提供的第一种图像质量评估装置的结构示意图;

图9为本申请实施例提供的第二种图像质量评估装置的结构示意图;

图10为本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

为实现对图像质量的评估,提高图像质量评估的准确度,本申请实施例提供了下述多种可能的实现方式。如下结合附图对示例进行解释说明。

需要指出的是,本申请所提供图像质量评估方法,可由安装并运行有图像质量评估应用的计算机设备实现,该计算机设备可以为服务器,也可以为客户端设备,本申请对此不做限制。

图1为本申请实施例提供的第一种图像质量评估方法的流程示意图;如图1所示,该方法包括:

S10:对待评估图像进行分块处理,得到多个待评估图像块。

具体的,采用预设的分块算法,将待评估图像分割为多个待评估图像块,预设的分块算法用于按照预设尺寸将待评估图像分为多个尺寸相等的待评估图像块,或者,按照预设数量将待评估图像分为预设数量的待评估图像块。示例的,采用预设的分块算法,将待评估图像分割为N个待评估图像块。

S20:对每个待评估图像块进行特征提取,得到每个待评估图像块的特征。

具体的,采用预设的特征提取方法,对每个待评估图像块进行特征编码,编码后的每个待评估图像块具有一个特征向量,用于表征每个待评估图像块的特征,预设的特征提取方法将每个待评估图像块的特征表示为d 维的特征向量。

S30:根据多个待评估图像块的特征,计算待评估图像的特征参数。

具体的,通过上述S10得到的N个待评估图像块,和上述S20每个待评估图像块的d维特征向量,将多个待评估图像块的特征表示为N*d维的特征向量矩阵,采用预设的特征拟合模型,对该N*d维的特征向量矩阵进行拟合,得到待评估图像的特征参数(u

在一种可选实施方式中,待评估图像的特征参数包括:待评估特征均值和待评估特征协方差;相应的,自然图像模型的特征参数包括:自然特征均值和自然特征协方差,失真图像模型的特征参数包括:失真特征均值和失真特征协方差。根据多个待评估图像块的特征,计算待评估图像的特征参数包括:根据多个待评估图像块的特征,采用预设的多元高斯模型进行拟合,得到待评估特征均值和待评估特征协方差。

具体的,预设的多元高斯模型(Multivariate Gaussian Distribution,MGD) 为特征拟合模型。示例的,该多元高斯模型可以为如下公式(1)所示:

其中,d表示待评估图像块的特征向量的维度为d维,x表示待评估图像的特征向量矩阵,u为待评估特征均值,Σ为待评估特征协方差。示例的,本申请实施例的x为N个待评估图像块的d维特征向量的集合,即为N*d 维的特征向量矩阵。

S40:根据待评估图像的特征参数,和预先构造的自然图像模型的特征参数,计算待评估图像和自然图像模型的第一特征距离,自然图像模型的特征参数为基于未失真的自然图像得到的特征参数。

具体的,预先构造的自然图像模型是采用预设的特征拟合模型,对多个未失真的自然图像块进行特征拟合,得到自然图像模型,该自然图像模型的特征参数为(u

S50:根据待评估图像的特征参数,和预先构造的失真图模型的特征参数,计算待评估图像和失真图像模型的第二特征距离,失真图像模型的特征参数为基于失真图像得到的特征参数。

具体的,预先构造的失真图像模型是采用预设的特征拟合模型,对多个失真图像块进行特征拟合,得到失真图像模型,该失真图像模型的特征参数为(u

S60:根据第一特征距离和第二特征距离,计算待评估图像的质量分值。

可选的,通过上述S40,得到待评估图像与自然图像模型的第一特征距离D

本申请实施例提供的图像质量评估方法,可通过对待评估图像进行分块得到的多个待评估图像块进行特征提取,根据多个待评估图像块的特征计算待评估图像的特征参数,并根据待评估图像的特征参数和预先构造的自然图像模型的特征参数、预先构造的失真图像模型的特征参数,分别计算待评估图像和自然图像模型的第一特征距离、待评估图像和失真图像模型的第二特征距离,并基于第一特征距离和第二特征距离计算待评估图像的质量分值。通过本申请实施例提供的方案,可根据待评估图像的特征参数、预先构造的自然图像模型的特征参数、预先构造的失真图像模型的特征参数,分别计算待评估图像与自然图像模型、失真图像模型的第一特征距离和第二特征距离,基于第一特征距离和第二特征距离得到待评估图像的质量分值,本申请通过将待评估图像分别向自然图像模型和失真图像模型两个方向逼近,提高待评估图像的质量分值的准确度,提高对图像质量评估的效果。

在上述图像质量评估方法的基础上,本申请实施例还提供一种图像质量评估方法,图2为本申请实施例提供的第二种图像质量评估方法的流程示意图,如图2所示,该方法还包括:

S100:对自然图像和失真图像分别进行特征提取,得到自然图像的特征集合和失真图像的特征集合。

具体的,采用上述预设的特征提取方法,对多个自然图像进行特征编码,编码后的每个自然图像具有一个d维的特征向量,用于表征每个自然图像的特征,得到自然图像的特征集合S

在一种可选实施方式中,获取多个未失真的自然图像,用于构造自然图像模型,获取途径例如为公开的图像质量评估数据集。通过对多个未失真的自然图像进行单失真处理,得到与未失真的自然图像对应的多个失真图像。多种类型的单失真包括:高斯白噪声、高斯模糊、快速瑞丽蜕变、Jpeg 压缩、Jpeg2000压缩,针对每个自然图像,施加任意一种类型的单失真,得到对应类型的失真图像。

S200:采用多元高斯模型对自然图像的特征集合进行拟合,得到自然特征均值和自然特征协方差。

具体的,采用上述S30的多元高斯模型,对自然图像的特征集合S

S300:采用多元高斯模型对失真图像的特征集合进行拟合,得到失真特征均值和失真特征协方差。

具体的,采用上述S30的多元高斯模型,对失真图像的特征集合S

本申请实施例提供的图像质量评估方法,通过对自然图像和失真图像分别进行特征提取,通过多元高斯模型对自然图像的特征集合进行拟合得到自然特征均值和所述自然特征协方差,通过多元高斯模型对失真图像的特征集合进行拟合得到失真特征均值和所述失真特征协方差。本申请实施例提供的方案,得到预先构造的自然图像模型的特征参数和预先构造的失真图像模型的特征参数,基于该特征参数,分别计算待评估图像与自然图像模型和失真图像模型的第二特征距离和第二特征距离,从而计算待评估的质量分值,提高待评估图像的质量分值的准确度,提高对图像质量评估的效果。

在上述任一所示图像质量评估方法的基础上,本申请实施例还提供一种图像质量评估方法,图3为本申请实施例提供的第三种图像质量评估方法的流程示意图,如图3所示,上述S100包括:

S101:分别对自然图像和失真图像进行分块处理,得到多个自然图像块和多个失真图像块。

具体的,采用预设的分块算法,将自然图像分割为多个自然图像块,将失真图像分割为多个失真图像块,预设的分块算法与上述S10的分块算法相同,在此不做赘述。

S102:分别多个自然图像块和多个失真图像块进行特征提取,得到自然图像的特征集合和失真图像的特征集合。

具体的,采用预设的特征提取方法,对多个自然图像块进行特征编码,编码后的每个自然图像块具有一个特征向量,用于表征每个自然图像块的特征,得到自然图像的特征集合S

本申请实施例提供的图像质量评估方法,通过对自然图像和失真图像分别进行分块处理,并对自然图像块和失真图像块分别进行特征提取,得到自然图像的特征集合和失真图像的特征集合。本申请实施例提供的方案,通过对自然图像和失真图像分块后再进行特征提取,使得到的自然图像的特征集合和失真图像的特征集合更准确,使得构建的自然图像模型的特征参数和失真图像模型的特征参数更准确,从而使对待评估图像进行质量评估的结果准确度更高,提高图像质量评估的效果。

在上述任一所示的图像质量评估方法的基础上,本申请实施例还提供一种图像质量评估方法,图4为本申请实施例提供的第四种图像质量评估方法,如图4所示,上述S102包括:

S1021:分别对多个自然图像块中的多个第一目标图像块进行MSCN 的特征提取,得到多个第一目标图像块的MSCN系数,以及多个第一目标图像块的MSCN系数在多个旋转方向的系数。

具体的,第一目标图像块为多个自然图像块中符合预设要求的图像块,采用MSCN(Mean Subtracted Contrast Normalized,平均对比归一化系数) 对多个第一目标图像块进行特征提取,计算多个第一目标图像块的MSCN 系数。示例的,采用MSCN系数的计算方式为:

其中,(i,j)表示将每个第一目标图像块的像素点,

其中,

对每个第一目标图像块的MSCN系数在多个旋转方向进行旋转,示例的,多个旋转方向包括水平方向、垂直方向、主对角线方向和斜对角线方向,根据上述S1021得到的MSCN系数

S1022:根据每个第一目标图像块的MSCN系数,以及每个第一目标图像块的MSCN系数在多个旋转方向的系数,得到每个第一目标图像块的多维特征,自然图像的特征集合包括:多个第一目标图像块的多维特征。

具体的,采用预设的拟合方法,对每个第一目标图像块的MSCN系数进行拟合,得到a个参数,对每个第一目标图像块的MSCN系数在多个旋转方向的系数进行拟合,得到b个参数,在四个选择方向共得到4b个参数,最终得到每个第一目标图像块的多维特征的维度为a+4b维。

S1023:分别对多个失真图像块中的多个第二目标图像块进行MSCN 的特征提取,得到多个第二目标图像块的MSCN系数,以及多个第二目标图像块的MSCN系数在多个旋转方向的系数。

具体的,第二目标图像块为多个失真图像块中符合预设要求的图像块,采用MSCN对多个第二目标图像块进行特征提取的过程与S1021对多个第一目标图像块进行特征提取的过程相同,在此不做赘述。

S1024:根据每个第二目标图像块的MSCN系数,以及每个第二目标图像块的MSCN系数在多个旋转方向的系数,得到每个第二目标图像块的多维特征,失真图像的特征集合包括:多个第二目标图像块的多维特征。

具体的,对每个第二目标图像块的MSCN系数在多个旋转方向进行旋转,得到每个第二目标图像块的MSCN系数在多个旋转方向的系数的方法与上述S1022得到每个第一目标图像块的MSCN系数在多个旋转方向的系数的方法相同,在此不做赘述。

本申请实施例提供的图像质量评估方法,通过对多个自然图像块中的多个第一目标图像块进行MSCN特征提取,得到多个第一目标图像块的 MSCN系数,以及多个第一目标图像块的MSCN系数在多个旋转方向的系数,并通过对多个第一目标图像块的MSCN系数,以及多个第一目标图像块的MSCN系数在多个旋转方向的系数进行拟合,得到每个第一目标图像块的多维特征,多个失真图像块中的每个第二目标图像块的多维特征也采用该方法得到。本申请实施例提供的方案,通过对图像块进行MSCN特征提取,得到多个图像块的MSCN系数,以及多个图像块的MSCN系数在多个旋转方向的系数,使得到的图像块的多维特征的维度符合高斯分布,使得基于该多维特征得到的自然图像模型的特征参数和失真图像模型的特征参数更准确,从而使对待评估图像进行质量评估的结果准确度更高。

在上述任一所示的图像质量评估方法的基础上,本申请实施例还提供一种图像质量评估方法,图5为本申请实施例提供的第五种图像质量评估方法的流程示意图,如图5所示,上述S1022包括:

S1022a:采用GGD拟合算法,对每个第一目标图像块的MSCN系数进行拟合,得到每个第一目标图像块的方差参数和形状参数。

具体的,采用GGD(Generalized Gaussian Distribution,广义高斯分布) 拟合算法,对每个第一目标图像块的MSCN系数

S1022b:采用AGGD拟合算法,对每个第一目标图像块的MSCN系数在多个旋转方向的系数进行拟合,得到每个第一目标图像块在多个旋转方向的特征参数。

具体的,采用AGGD(Asymmetric Generalized Gaussian Distribution,非对称广义高斯分布)拟合算法,对每个第一目标图像块的MSCN系数水平方向的系数h(i,j)、垂直方向的系数v(i,j)、主对角线方向的系数g

基于GGD拟合算法和AGGD拟合算法,可得到18个参数,即每个第一目标图像块的多维特征为18维的特征,每个第一目标图像块的多维特征包括:每个第一目标图像块的方差参数和形状参数,以及每个第一目标图像块在水平方向、垂直方向、主对角线方向和斜对角线方向的左方差参数、右方差参数、左形状参数和右形状参数。

图6为本申请实施例提供的第六种图像质量评估方法的流程示意图,如图6所示,上述S1024包括:

S1024a:采用GGD拟合算法,对每个第二目标图像块的MSCN系数进行拟合得到每个第二目标图像块的方差参数和形状参数。

S1024b:采用AGGD拟合算法,对每个第二目标图像块的MSCN系数在多个旋转方向的系数进行拟合,得到每个第二目标图像块在多个旋转方向的特征参数。

每个第二目标图像块的多维特征包括:每个第二目标图像块的方差参数和形状参数,以及每个第二目标图像块在多个旋转方向的特征参数。

具体的,对每个第二目标图像的MSCN系数,以及每个第二目标图像块的MSCN系数在多个旋转方向的系数的拟合方法与上述S1022a-S1022b 的方法相同,在此不做赘述。

本申请实施例提供的图像质量评估方法,采用GGD拟合算法和AGGD 拟合算法,分别对每个第一目标图像块的MSCN系数、每个第一目标图像块的MSCN系数在多个旋转方向的系数、每个第二目标图像块的MSCN系数、每个第二目标图像块的MSCN系数在多个旋转方向的系数进行拟合,得到每个第一目标图像块和每个第二目标图像块的多维特征。本申请实施例的方案,通过采用GGD拟合算法和AGGD拟合算法,得到每个第一目标图像块和每个第二目标图像块的多维特征,使得基于该多维特征得到的自然图像模型的特征参数和失真图像模型的特征参数更准确,从而使对待评估图像进行质量评估的结果准确度更高。

在上述任一所示的图像质量评估方法的基础上,本申请实施例还提供一种图像质量评估方法,图7为本申请实施例提供的第七种图像质量评估方法的流程示意图,如图7所示,在上述S1021之前,该方法还包括:

S103:从多个自然图像块中筛选具有内容含义的图像块为多个第一目标图像块。

具体的,确定多个自然图像块中像素点的平均方差,从多个自然图像块中确定平均方差大于或等于预设阈值的图像块为具有内容含义的图像块。示例的,可采用公式(7)计算第p个自然图像块的像素点的平均方差σ(p),预设阈值T为0.75,将多个自然图像块中像素点的平均方差大于0.75的图像作为第一目标图像块。

σ(p)=∑∑

σ(i,j)通过上述公式(6)计算得到。

S104:从多个失真图像块中筛选具有内容含义的图像块为多个第二目标图像块。

具体的,第二目标图像块的选择方式与第一目标图像块的选择方式相同,在此不做赘述。

本申请实施例提供的图像质量评估方法,从多个自然图像块中筛选具有内容含义的多个第一目标图像块,从多个失真图像块中筛选具有内容含义的多个第二目标图像块,去除不具有内容含义的图像块,使自然图像模型的特征参数和失真图像模型的特征参数更准确,从而使对待评估图像进行质量评估的结果准确度更高。

在一种可选实施方式中,采用上述任一实施例的图像质量评估方法,对公开的单失真图像质量评价数据集中的单失真图像进行图像质量评估,得到质量分值,采用预设的评价标准,对质量分值进行评价。

具体的,公开的单失真图像质量评价数据集中包含多个单失真图像,该数据集中的单失真图像已经过现有的图像质量评价方法得到多个单失真图像的图像质量,预设的评价标准例如可以为SROCC(Spearman's Rank Order Correlation Coefficient,Spearman秩相关系数)、PLCC(Pearson Linear Correlation Coefficient,Pearson线性相关系数)或RMSE(Root Mean Square Erro,均方根误差),根据现有的图像质量和通过本申请实施例得到的质量分值,对本申请实施例得到的质量分值进行评价。

以下对用以执行本申请图像质量评估方法的装置、计算机设备及存储介质等进行说明,其具体的实现过程以及技术效果参见上述,下述不再赘述。

图8为本申请实施例提供的第一种图像质量评估装置的结构示意图,如图8所示,该装置包括:

分块处理模块10,用于对待评估图像进行分块处理,得到多个待评估图像块;

第一特征提取模块20,用于对每个待评估图像块进行特征提取,得到每个待评估图像块的特征;

参数计算模块30,用于根据多个待评估图像块的特征,计算待评估图像的特征参数;

第一距离计算模块40,用于根据待评估图像的特征参数,和预先构造的自然图像模型的特征参数,计算待评估图像和自然图像模型的第一特征距离;

第二距离计算模块50,用于根据待评估图像的特征参数,和预先构造的失真图像模型的特征参数,计算待评估图像和失真图像模型的第二特征距离;

质量分值计算模块60,用于根据第一特征距离和第二特征距离,计算待评估图像的质量分值。

在一种可选实施方式中,待评估图像的特征参数包括:待评估特征均值和待评估特征协方差;相应的,自然图像模型的特征参数包括:自然特征均值和自然特征协方差,失真图像模型的特征参数包括:失真特征均值和失真特征协方差,参数计算模块30具体用于根据多个待评估图像块的特征,采用预设的多元高斯模型进行拟合,得到待评估特征均值和待评估特征协方差。

图9为本申请实施例提供的第二种图像质量评估装置的结构示意图,如图9所示,该装置还包括:

第二特征提取模块100,用于对自然图像和失真图像分别进行特征提取,得到自然图像的特征集合和失真图像的特征集合;

第一特征拟合模块200,用于采用多元高斯模型对自然图像的特征集合进行拟合,得到自然特征均值和自然特征协方差;

第二特征拟合模块300,用于采用多元高斯模型对失真图像的特征集合进行拟合,得到失真特征均值和失真特征协方差。

在一种可选实施方式中,第二特征提取模块100包括:

分块处理单元,用于分别对自然图像和失真图像进行分块处理,得到多个自然图像块和多个失真图像块;

特征提取单元,用于分别对多个自然图像块和多个失真图像块进行特征提取,得到自然图像的特征集合和失真图像的特征集合。

在一种可选实施方式中,特征提取单元包括:

第一系数计算子单元,用于分别对多个自然图像块中的多个第一目标图像块进行MSCN的特征提取,得到多个第一目标图像块的MSCN系数,以及多个第一目标图像块的MSCN系数在多个旋转方向的系数;其中, MSCN表示平均对比归一化系数;

第一多维特征计算子单元,用于根据每个第一目标图像块的MSCN系数,以及每个第一目标图像块的MSCN系数在多个旋转方向的系数,得到每个第一目标图像块的多维特征,自然图像的特征集合包括:多个第一目标图像块的多维特征;

第二系数计算子单元,用于分别对多个失真图像块中的多个第二目标图像块进行MSCN的特征提取,得到多个第二目标图像块的MSCN系数,以及多个第二目标图像块的MSCN系数在多个旋转方向的系数;

第二多维特征计算子单元,用于根据每个第二目标图像块的MSCN系数,以及每个第二目标图像块的MSCN系数在多个旋转方向的系数,得到每个第二目标图像块的多维特征,失真图像的特征集合包括:多个第二目标图像块的多维特征。

在一种可选实施方式中,第一多维特征计算子单元包括:

第一GGD拟合子单元,用于采用GGD拟合算法,对每个第一目标图像块的MSCN系数进行拟合得到每个第一目标图像块的方差参数和形状参数;其中,GGD表示广义高斯分布;

第一AGGD拟合子单元,用于采用AGGD拟合算法,对每个第一目标图像块的MSCN系数在多个旋转方向的系数进行拟合,得到每个第一目标图像块在多个旋转方向的特征参数;其中,AGGD用于表示非对称广义高斯分布;

第二多维特征计算子单元包括:

第二GGD拟合子单元,用于采用GGD拟合算法,对每个第二目标图像块的MSCN系数进行拟合得到每个第二目标图像块的方差参数和形状参数;

第二AGGD拟合子单元,用于采用AGGD拟合算法,对每个第二目标图像块的MSCN系数在多个旋转方向的系数进行拟合,得到每个第二目标图像块在多个旋转方向的特征参数;每个第二目标图像块的多维特征包括:每个第二目标图像块的方差参数和形状参数,以及每个第二目标图像块在多个旋转方向的特征参数。

在一种可选实施方式中,在特征提取单元之前,该装置还包括:

第一筛选单元,用于从多个自然图像块中筛选具有内容含义的图像块为多个第一目标图像块;

第二筛选单元,用于从多个失真图像块中筛选具有内容含义的图像块为多个第二目标图像块。

上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital singnal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称 FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。

图10为本申请实施例提供的计算机设备的示意图,该计算机设备可以为安装并运行有图像质量评估应用的服务器或者客户端设备。该计算机设备400包括:处理器401、存储器402。

存储器402用于存储计算机程序,处理器401调用存储器402存储的计算机程序,以执行上述任一图像质量评估方法实施例。具体实现方式和技术效果类似,这里不再赘述。

可选地,本发明还提供一种存储介质,该存储介质上存储有计算机程序,该计算机程序被读取并执行时,实现上述任一实施例的图像质量评估方法。

在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文: Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

上仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

相关技术
  • 一种图像质量评估方法、装置、电子设备及计算机可读存储介质
  • 人脸图像质量评估方法、装置、计算机设备及存储介质
技术分类

06120112260667