一种图像质量评价方法及终端设备

技术领域

本申请涉及图像质量评价技术领域，尤其涉及一种图像质量评价方法及终端设备。

背景技术

图像质量评价旨在通过模拟人类视觉系统来自动预测图像的感知质量。在数字成像时代，图像质量评价在图像压缩、图像增强和图像恢复等领域发挥着至关重要的作用。根据从原始图像中获取的参考信息的多少，图像质量评价方法可以分为全参考图像质量评价方法、半参考图像质量评价方法和无参考图像质量评价方法。在这三个类别中，无参考图像质量评价是最具有应用前景和实用价值的研究方向，因为它能够在不知道原始图像任何信息的情况下对失真图像的感知质量进行预测。

现有的无参考图像质量评价方法主要分为基于手工特征的无参考图像质量评价方法和基于深度特征的无参考图像质量评价方法。基于手工特征的方法通常需要领域专家的参与，并且对特征的选择和设计具有一定的主观性。同时，得益于卷积神经网络等深度学习模型强大的特征提取能力，基于深度特征的无参考图像质量评价方法通常具有更高的性能。综上，针对基于深度特征的无参考图像质量评价的研究已经成为图像质量评价领域的主要趋势。

随着基于视觉Transformer模型的“自监督预训练+下游任务微调”范式在各种视觉任务中取得显著成功，许多结合这一范式的基于深度特征的无参考图像质量评价方法被提出。然而，这些评价方法在设计自监督预训练框架时并未考虑到人类视觉系统的特性，导致它们在实际应用时受到限制，存在图像质量评价的精确度低的问题。

发明内容

本申请实施例提供了一种图像质量评价方法及终端设备，可以解决图像质量评价的精确度低的问题。

第一方面，本申请实施例提供了一种图像质量评价方法，该图像质量评价方法包括：

获取多个失真图像；

分别获取每个失真图像的高频分量、中频分量和低频分量；

基于所有失真图像的高频分量、中频分量和低频分量对特征编码网络进行更新，并将更新后的特征编码网络作为失真信息感知网络；

利用失真信息感知网络获取每个失真图像的失真信息特征；

分别针对每个失真图像，获取失真图像的本质信息特征，并将本质信息特征和失真信息特征进行拼接，得到质量感知特征；本质信息特征用于描述失真图像的基础物理信息；

利用所有失真图像的质量感知特征对全连接网络进行更新，并将更新后的全连接网络作为质量评价网络；

获取待评价失真图像的质量感知特征，利用质量评价网络对待评价失真图像的质量感知特征进行评价，得到待评价失真图像的质量分数。

可选的，分别获取每个失真图像的高频分量、中频分量和低频分量，包括：

通过公式：

计算第m个失真图像的高频分量

其中，I

通过公式：

计算第m个失真图像的中频分量

其中，σ

通过公式：

计算第m个失真图像的低频分量

其中，σ

可选的，特征编码网络包括：依次连接的特征提取模块和特征映射模块；

基于所有失真图像的高频分量、中频分量和低频分量对特征编码网络进行更新，包括：

基于所有失真图像的高频分量、中频分量和低频分量，确定多个正样本对；

分别针对每个失真图像，利用特征提取模块分别对失真图像的高频分量、中频分量和低频分量进行特征提取，得到高频特征、中频特征和低频特征；

利用特征映射模块将每个失真图像的高频特征、中频特征和低频特征映射到同一个特征空间；

基于所有失真图像的高频特征、中频特征、低频特征以及所有正样本对构建失真信息损失函数；

利用失真信息损失函数对特征编码网络进行更新，以使正样本对对应的特征在特征空间中尽可能接近，负样本对对应的特征则尽可能远离。

可选的，利用失真信息损失函数对特征编码网络进行更新，包括；

判断失真信息损失函数的值是否达到失真信息损失函数预设值；

若是，则将特征编码网络作为更新后的特征编码网络；

否则，调整特征编码网络中参数的值，并返回分别针对每个失真图像，利用特征提取模块分别对失真图像的高频分量、中频分量和低频分量进行特征提取，得到高频特征、中频特征和低频特征的步骤。

可选的，每个失真图像均具有一种失真类型；

基于所有失真图像的高频分量、中频分量和低频分量，确定多个正样本对，包括：

遍历所有失真图像的高频分量、中频分量和低频分量，执行以下步骤：

将失真类型相同的两个高频分量作为一正样本对，将失真类型不同的任意两个高频分量作为一负样本对；

将失真类型相同的两个中频分量作为一正样本对，将失真类型不同的任意两个中频分量作为一负样本对；

将失真类型相同的两个低频分量作为一正样本对，将失真类型不同的任意两个低频分量作为一负样本对；

将一高频分量和一中频分量作为一负样本对；

将一高频分量和一低频分量作为一负样本对；

将一中频分量和一低频分量作为一负样本对。

可选的，失真信息损失函数为：

其中，

其中，P(m)表示包括第m个失真图像的第i种分量的正样本对的集合，|P(m)|表示P(m)中元素的数量，P(a)

其中，

可选的，利用所有失真图像的质量感知特征对全连接网络进行更新，包括：

分别针对每个失真图像，利用全连接网络对失真图像对应的质量感知特征进行评价，得到失真图像的质量分数；

基于失真图像的质量分数计算评价损失函数值，并判断评价损失函数值是否达到评价损失函数预设值；

若是，则将全连接网络作为更新后的全连接网络；

否则，调整全连接网络中的参数，并返回分别针对每个失真图像，利用全连接网络对失真图像对应的质量感知特征进行评价，得到失真图像的质量分数的步骤。

可选的，基于质量分数计算评价损失函数值，包括：

通过公式：

计算评价损失函数值L；

其中，h

可选的，获取待评价失真图像的质量感知特征，包括：

利用失真信息感知网络获取待评价失真图像的失真信息特征；

获取待评价失真图像的本质信息特征；

将待评价失真图像的本质信息特征和失真信息特征拼接，得到待评价失真图像的质量感知特征。

第二方面，本申请实施例提供了一种图像质量评价装置，包括：

获取模块，获取多个失真图像；

分量获取模块，分别获取每个失真图像的高频分量、中频分量和低频分量；

第一更新模块，基于所有失真图像的高频分量、中频分量和低频分量对特征编码网络进行更新，并将更新后的特征编码网络作为失真信息感知网络；

失真信息获取模块，利用失真信息感知网络获取每个失真图像的失真信息特征；

拼接模块，分别针对每个失真图像，获取失真图像的本质信息特征，并将本质信息特征和失真信息特征进行拼接，得到质量感知特征；本质信息特征用于描述失真图像的基础物理信息；

第二更新模块，利用所有失真图像的质量感知特征对全连接网络进行更新，并将更新后的全连接网络作为质量评价网络；

评价模块，获取待评价失真图像的质量感知特征，利用质量评价网络对待评价失真图像的质量感知特征进行评价，得到待评价失真图像的质量分数。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，该处理器执行上述计算机程序时实现上述的图像质量评价方法。

第四方面，本申请实施例提供了一种计算机可读介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述的图像质量评价方法。

本申请的上述方案有如下的有益效果：

在本申请的实施例中，通过获取多个失真图像，然后分别获取每个失真图像的高频分量、中频分量和低频分量，再基于所有失真图像的高频分量、中频分量和低频分量对特征编码网络进行更新，并将更新后的特征编码网络作为失真信息感知网络，然后利用失真信息感知网络获取每个失真图像的失真信息特征，再分别针对每个失真图像，获取失真图像的本质信息特征，并将本质信息特征和失真信息特征进行拼接，得到质量感知特征，然后利用所有失真图像的质量感知特征对全连接网络进行更新，并将更新后的全连接网络作为质量评价网络，最后获取待评价失真图像的质量感知特征，利用质量评价网络对待评价失真图像的质量感知特征进行评价，得到待评价失真图像的质量分数。其中，获取失真图像的三种不同频率的分量，考虑到了人类视觉系统对不同频率感知不同的成像特点，根据三种分量得到的失真信息特征能够准确描述失真图像的失真信息，将本质信息特征与准确性高的失真信息特征拼接得到质量感知特征，能够提高质量感知特征的精确度，经过更新得到的质量评价网络具有优质的性能，利用质量评价网络对失真图像的质量感知特征进行质量评价时，能够有效提高图像质量评价的精确度。

本申请的其它有益效果将在随后的具体实施方式部分予以详细说明。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的图像质量评价方法的流程图；

图2为本申请一实施例提供的失真感知网络的原理图；

图3为本申请一实施例提供的图像质量评价方法的具体流程框图；

图4为本申请一实施例提供的图像质量评价装置的结构示意图；

图5为本申请一实施例提供的终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

针对现有的图像质量评价的精确度低的问题，本申请实施例提供了一种图像质量评价方法，该图像质量评价方法通过获取多个失真图像，然后分别获取每个失真图像的高频分量、中频分量和低频分量，再基于所有失真图像的高频分量、中频分量和低频分量对特征编码网络进行更新，并将更新后的特征编码网络作为失真信息感知网络，然后利用失真信息感知网络获取每个失真图像的失真信息特征，再分别针对每个失真图像，获取失真图像的本质信息特征，并将本质信息特征和失真信息特征进行拼接，得到质量感知特征，然后利用所有失真图像的质量感知特征对全连接网络进行更新，并将更新后的全连接网络作为质量评价网络，最后获取待评价失真图像的质量感知特征，利用质量评价网络对待评价失真图像的质量感知特征进行评价，得到待评价失真图像的质量分数。其中，获取失真图像的三种不同频率的分量，考虑到了人类视觉系统对不同频率感知不同的成像特点，根据三种分量得到的失真信息特征能够准确描述失真图像的失真信息，将本质信息特征与准确性高的失真信息特征拼接得到质量感知特征，能够提高质量感知特征的精确度，经过更新得到的质量评价网络具有优质的性能，利用质量评价网络对失真图像的质量感知特征进行质量评价时，能够有效提高图像质量评价的精确度。

接下来对本申请提供的图像质量评价方法做示例性说明。

如图1所示，本申请提供的图像质量评价方法包括如下步骤：

步骤11，获取多个失真图像。

需要说明的是，上述失真图像为发生失真导致质量变化，且具有真实的质量分数的图像，如过度曝光、分辨率低、像素缺失等。

示例性的，本申请使用的失真图像可以是来自康斯坦茨人为扭曲图像质量集(KADIS)的合成失真图像、来自模糊(Blur)数据集、可视对象数据集(VOC，Visual ObjectClasses)、微软上下文常见图像数据集(COCO，Microsoft Common Objects in Context)和原子视觉动作数据集(AVA，Atomic visual actions)中的真实失真图像。

值得一提的是，通过获取多个失真图像，将失真图像作为研究对象，便于后续步骤的处理。

步骤12，分别获取每个失真图像的高频分量、中频分量和低频分量。

在本申请的一些实施例中，上述分别获取每个失真图像的高频分量、中频分量和低频分量的步骤具体包括：

第一步，通过公式：

计算第m个失真图像的高频分量

其中，I

第二步，通过公式：

计算第m个失真图像的中频分量

其中，σ

第三步，通过公式：

计算第m个失真图像的低频分量

其中，σ

需要说明的是，上述高频分量为失真图像中灰度值变化频率高于预设频率上限阈值的部分，如轮廓、噪声、细节部分等，上述中频分量为失真图像中灰度值变化频率低于预设频率上限阈值且高于预设频率下限阈值的部分，如边缘区域等，上述低频分量为失真图像中灰度值变化频率低于预设频率下限阈值的部分，如主体颜色区域等。通过上述三个公式分别计算高频分量、中频分量和低频分量时，其中的标准差起到了上述预设频率上限阈值和预设频率下限阈值的作用。

示例性的，可以利用MATLAB等计算机软件分别对每个失真图像进行计算，得到失真图像的高频分量、中频分量和低频分量。

值得一提的是，相比于图像中其他频率的分量，人类视觉系统对图像的高频分量感知程度更高，上述获取失真图像的三种不同频率的分量，考虑到了人类视觉系统对不同频率感知不同的成像特点。

步骤13，基于所有失真图像的高频分量、中频分量和低频分量对特征编码网络进行更新，并将更新后的特征编码网络作为失真信息感知网络。

上述特征编码网络包括：依次连接的特征提取模块和特征映射模块。

在本申请的一些实施例中，上述基于所有失真图像的高频分量、中频分量和低频分量对特征编码网络进行更新的步骤具体包括：

第一步，基于所有失真图像的高频分量、中频分量和低频分量，确定多个正样本对。

上述每个失真图像均具有一种失真类型；

具体的确定过程为，遍历所有失真图像的高频分量、中频分量和低频分量，执行以下步骤：

将失真类型相同的两个高频分量作为一正样本对，将失真类型不同的两个高频分量作为一负样本对；

将失真类型相同的两个中频分量作为一正样本对，将失真类型不同的两个中频分量作为一负样本对；

将失真类型相同的两个低频分量作为一正样本对，将失真类型不同的两个低频分量作为一负样本对；

将一高频分量和一中频分量作为一负样本对；

将一高频分量和一低频分量作为一负样本对；

将一中频分量和一低频分量作为一负样本对。

需要说明的是，对所有失真图像均进行上述的步骤，得到每个失真图像的高频分量、中频分量和低频分量所属的正样本对和负样本对，最终得到大量正样本对和负样本对。

示例性的，失真图像的失真类型可以是曝光、缺失、模糊等，选中两个高频分量，其中一个高频分量对应的失真图像的失真类型为模糊，若另一个高频分量对应的失真图像的失真类型同样为模糊，则将这两个高频分量作为一正样本对，若另一个高频分量对应的失真图像的失真类型为曝光，则将这两个高频分量作为一负样本对。若选中的两个分量其中一个为高频分量，另一个为低频分量，则将这两个分量作为一负样本对。即，两个分量属于同一种分量且对应的失真图像的失真类型相同时，将这两个分量作为一正样本对。

第二步，分别针对每个失真图像，利用特征提取模块分别对失真图像的高频分量、中频分量和低频分量进行特征提取，得到高频特征、中频特征和低频特征。

即，可利用特征提取模块对失真图像的高频分量进行特征提取，得到高频特征；利用特征提取模块对失真图像的中频分量进行特征提取，得到中频特征；利用特征提取模块对失真图像的低频分量进行特征提取，得到低频特征。

第三步，利用特征映射模块将每个失真图像的高频特征、中频特征和低频特征映射到同一个特征空间。

第四步，基于所有失真图像的高频特征、中频特征、低频特征以及所有正样本对构建失真信息损失函数。

上述失真信息损失函数为：

其中，L

其中，P(m)表示包括第m个失真图像的第i种分量的正样本对的集合，|P(m)|表示P(m)中元素的数量，P(a)

其中，

第五步，利用失真信息损失函数对特征编码网络进行更新，以使正样本对对应的特征在特征空间中尽可能接近，负样本对对应的特征则尽可能远离。

具体的更新过程为：判断失真信息损失函数的值是否达到失真信息损失函数预设值；

若是，则将特征编码网络作为更新后的特征编码网络；

否则，调整特征编码网络中参数的值，并返回分别针对每个失真图像，利用特征提取模块分别对失真图像的高频分量、中频分量和低频分量进行特征提取，得到高频特征、中频特征和低频特征的步骤。

需要说明的是，上述特征提取模块可以为卷积神经网络ResNet50，上述特征映射模块可以为全连接层、批归一化层、ReLu激活函数层、全连接层和批归一化层依次连接的多层感知机。

示例性的，失真信息损失函数的值为2，失真信息损失函数预设值为2.5，失真信息损失函数的值未达到失真信息损失函数预设值，说明此时特征编码网络的性能未达到预期，则调整特征编码网络中的参数，以对特征编码网络进行更新，并重新利用特征编码网络获取每个失真图像的高频特征、中频特征和低频特征，此时失真信息损失函数的值为2.7，达到失真信息损失函数预设值，说明此时特征编码网络的性能达到预期，则将此时的特征编码网络作为更新后的特征编码网络，进而将该更新后的特征编码网络作为失真信息感知网络。即失真信息感知网络为训练完成的特征编码网络。

值得一提的是，根据三种分量得到的失真信息特征能够准确描述失真图像的失真信息，对特征编码网络进行更新，提高获取的高频特征、中频特征和低频特征的精确性，同时使正样本对对应的特征在特征空间中尽可能接近，负样本对对应的特征则尽可能远离，从而提高了特征编码网络对正样本对的感知能力。

步骤14，利用失真信息感知网络获取每个失真图像的失真信息特征。

需要说明的是，上述失真信息特征描述了失真图像的失真信息，失真信息描述了失真图像的失真情况，如失真图像的像素缺失部分、曝光区域、失真后分辨率等。

示例性的，对于每个失真图像，利用失真信息感知网络中的特征提取模块提取失真图像的高频特征、中频特征和低频特征，然后利用失真信息感知网络中的特征映射模块将高频特征、中频特征和低频特征映射到同一个特征空间，获取失真图像的失真信息特征。

值得一提的是，利用失真信息感知网络获取的失真信息特征能够很好地描述失真图像的失真信息。

下面结合一具体实例对上述获取失真信息特征的步骤进行示例性说明。

如图2所示，图中失真图像1经过高斯差分分解得到高频分量1、中频分量1和低频分量1(即上文中分别获取每个失真图像的高频分量、中频分量和低频分量的步骤)，失真图像2经过高斯差分分解得到高频分量2、中频分量2和低频分量2，再将所有分量输入到失真信息感知网络中，得到高频特征1、中频特征1、低频特征1、高频特征2、中频特征2和低频特征2，并将所有得到的特征映射到特征空间中，在特征空间中，所有特征按照对应的分量所属的正样本对和负样本对分布。

步骤15，分别针对每个失真图像，获取失真图像的本质信息特征，并将本质信息特征和失真信息特征进行拼接，得到质量感知特征。

上述本质信息特征用于描述失真图像的基础物理信息，如像素的灰度、图像大小、分辨率等。

在本申请的一些实施例中，可以利用已经预训练完毕的自注意力机制模型(如Transformer)获取失真图像的本质信息特征。

值得一提的是，将本质信息特征与失真信息特征拼接得到的质量感知特征能够很好地描述失真图像的全面信息，且失真信息特征是基于三种分量和失真信息感知网络得到的，具有高精确度，进而提升质量感知特征中信息的精确度。

步骤16，利用所有失真图像的质量感知特征对全连接网络进行更新，并将更新后的全连接网络作为质量评价网络。

上述全连接网络可以为多层感知机。

在本申请的一些实施例，上述步骤具体包括：

第一步，分别针对每个失真图像，利用全连接网络对失真图像对应的质量感知特征进行评价，得到失真图像的质量分数。

第二步，基于失真图像的质量分数计算评价损失函数值，并判断评价损失函数值是否达到评价损失函数预设值；

若是，则将全连接网络作为更新后的全连接网络；

否则，调整全连接网络中的参数，并返回分别针对每个失真图像，利用全连接网络对失真图像对应的质量感知特征进行评价，得到失真图像的质量分数的步骤。

上述基于质量分数计算评价损失函数值，具体为：

通过公式：

计算评价损失函数值L；

其中，h

需要说明的是，上述全连接网络由两个ReLU激活函数层以及三个依次相连的全连接层构成，且两个ReLU激活函数层分别插入两个全连接层之间，以对前两个全连接层的输出进行非线性变换。

示例性的，评价损失函数值为1，评价损失函数预设值为3，评价损失函数值未达到评价损失函数预设值，说明此时全连接网络预测的质量分数精确度低，则调整全连接网络中的参数，以对全连接网络进行更新，使用更新后的全连接网络重新获取每个失真图像的质量分数，并计算评价损失函数值，若此时的评价损失函数值达到评价损失函数预设值，说明全连接网络预测的质量分数的精确度达到预期，则将此时的全连接网络作为质量评价网络。

值得一提的是，基于失真图像的真实质量分数，利用评价损失函数对全连接网络进行更新，使得到的质量评价网络具有优质的性能。

步骤17，获取待评价失真图像的质量感知特征，利用质量评价网络对待评价失真图像的质量感知特征进行评价，得到待评价失真图像的质量分数。

上述待评价失真图像为发生失真且需要进行评价并获取质量分数的图像。

在本申请的一些实施例中，上述获取待评价失真图像的质量感知特征的步骤具体为：

第一步，利用失真信息感知网络获取待评价失真图像的失真信息特征。

第二步，获取待评价失真图像的本质信息特征。

第三步，将待评价失真图像的本质信息特征和失真信息特征拼接，得到待评价失真图像的质量感知特征。

在本申请的一些实施例中，可以利用已经预训练完毕的自注意力机制模型(如Transformer)获取待评价失真图像的本质信息特征。

需要说明的是，利用失真信息感知网络获取待评价失真图像的失真信息特征时，与上述利用利用失真信息感知网络获取每个失真图像的失真信息特征的步骤相同，需要先获取待评价失真图像的高频分量、中频分量和低频分量。

值得一提的是，获取失真图像的三种不同频率的分量，考虑到了人类视觉系统对不同频率感知不同的成像特点，根据三种分量得到的失真信息特征能够准确描述失真图像的失真信息，将本质信息特征与准确性高的失真信息特征拼接得到质量感知特征，能够提高质量感知特征的精确度，经过更新得到的质量评价网络具有优质的性能，利用质量评价网络对失真图像的质量感知特征进行质量评价时，能够有效提高图像质量评价的精确度。

下面结合一具体实例对本申请的图像质量评价方法进行示例性说明。

如图3所示，待评价失真图像被分解为低频分量、中频分量和高频分量，将低频分量、中频分量和高频分量输入到失真信息感知网络中，得到失真信息特征，同时失真图像输入到视觉网络中(即上文中的已经预训练完毕的自注意力机制模型)得到本质信息特征，本质信息特征和失真信息特征进行拼接得到质量感知特征，质量感知特征输入到质量评价网络中，得到待评价失真图像的质量分数(即图中的A)。

选取8种当前具有代表性的图像质量评价方法：基于图像高阶统计聚合的无参考图像质量评价方法(HOSA，BIQAmethodbased on High Order Statistics Aggregation)、基于卷积神经网络的盲图像评估器(BIECON，Blind Image Evaluatorbased on aConvolutionalNeural Network)、无参考的加权平均深度图像质量评价方法(WaDIQaM-NR，Weighted Average Deep Image QuAlity Measure forNR-IQA)、基于排名学习的无参考图像质量评价方法(RankIQA，Image QualityAssessmentmethod learns from Rankings)、基于深度神经网络的统一无参考图像质量和不确定度评估器(UNIQUE，UnifiedNo-referenceImage Quality and Uncertainty Evaluator)、对比图像质量评估器(CONTRIQUE，CONTRastive Image QUality Evaluator)、重新思考-图像质量评价方法(Re-IQA，Rethinking-Image QualityAssessment Method)、语言-图像质量评价器(LIQE，Language-Image Quality Evaluator)以及本申请的图像质量评价方法进行比较，其中，CONTRIQUE和Re-IQA是两个结合“自监督预训练+下游任务微调”范式的基于深度特征的无参考图像质量评价方法，选取LIVE数据集、主观质量分类图像数据集(CSIQ，categorical subjectiveimage quality)和2013年度坦佩雷图像数据库(TID2013，Tampere Image Database 2013)中的图像作为输入，分别使用上述的每种图像质量评价方法进行质量评价，并分别计算每种图像质量评价方法的斯皮尔曼等级相关系数(SROCC，the Spearman rank-ordercorrelation coefficient)值和皮尔逊线性相关系数(PLCC，Pearson linearcorrelation coefficient)值，得到的结果如表1所示。

表1

由此可以看出，本申请的图像质量评价方法可以有效提高待评价失真图像的质量分数的精确度。

下面对本申请提供的图像质量评价装置进行示例性说明。

如图4所示，本申请实施例提供了一种图像质量评价装置，该图像质量评价装置400包括：

获取模块401，获取多个失真图像；

分量获取模块402，分别获取每个失真图像的高频分量、中频分量和低频分量；

第一更新模块403，基于所有失真图像的高频分量、中频分量和低频分量对特征编码网络进行更新，并将更新后的特征编码网络作为失真信息感知网络；

失真信息获取模块404，利用失真信息感知网络获取每个失真图像的失真信息特征；

拼接模块405，分别针对每个失真图像，获取失真图像的本质信息特征，并将本质信息特征和失真信息特征进行拼接，得到质量感知特征；本质信息特征用于描述失真图像的基础物理信息；

第二更新模块406，利用所有失真图像的质量感知特征对全连接网络进行更新，并将更新后的全连接网络作为质量评价网络；

评价模块407，获取待评价失真图像的质量感知特征，利用质量评价网络对待评价失真图像的质量感知特征进行评价，得到待评价失真图像的质量分数。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

如图5所示，本申请的实施例提供了一种终端设备，该实施例的终端设备D10包括：至少一个处理器D100(图5中仅示出一个处理器)、存储器D101以及存储在所述存储器D101中并可在所述至少一个处理器D100上运行的计算机程序D102，所述处理器D100执行所述计算机程序D102时实现上述任意各个方法实施例中的步骤。

具体的，所述处理器D100执行所述计算机程序D102时，通过获取多个失真图像，然后分别获取每个失真图像的高频分量、中频分量和低频分量，再基于所有失真图像的高频分量、中频分量和低频分量对特征编码网络进行更新，并将更新后的特征编码网络作为失真信息感知网络，然后利用失真信息感知网络获取每个失真图像的失真信息特征，再分别针对每个失真图像，获取失真图像的本质信息特征，并将本质信息特征和失真信息特征进行拼接，得到质量感知特征，然后利用所有失真图像的质量感知特征对全连接网络进行更新，并将更新后的全连接网络作为质量评价网络，最后获取待评价失真图像的质量感知特征，利用质量评价网络对待评价失真图像的质量感知特征进行评价，得到待评价失真图像的质量分数。其中，获取失真图像的三种不同频率的分量，考虑到了人类视觉系统对不同频率感知不同的成像特点，根据三种分量得到的失真信息特征能够准确描述失真图像的失真信息，将本质信息特征与准确性高的失真信息特征拼接得到质量感知特征，能够提高质量感知特征的精确度，经过更新得到的质量评价网络具有优质的性能，利用质量评价网络对失真图像的质量感知特征进行质量评价时，能够有效提高图像质量评价的精确度。

所称处理器D100可以是中央处理单元(CPU，CentralProcessing Unit)，该处理器D100还可以是其他通用处理器、数字信号处理器(DSP，Digital Signal Processor)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现成可编程门阵列(FPGA，Field-Programmable GateArray)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器D101在一些实施例中可以是所述终端设备D10的内部存储单元，例如终端设备D10的硬盘或内存。所述存储器D101在另一些实施例中也可以是所述终端设备D10的外部存储设备，例如所述终端设备D10上配备的插接式硬盘，智能存储卡(SMC，SmartMedia Card)，安全数字(SD，Secure Digital)卡，闪存卡(Flash Card)等。进一步地，所述存储器D101还可以既包括所述终端设备D10的内部存储单元也包括外部存储设备。所述存储器D101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器D101还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到图像质量评价方法/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。