一种基于人类视觉感官的水下图像质量评价方法

技术领域

本发明涉及水下图像质量评价技术领域，具体涉及一种基于人类视觉感官的水下图像质量评价方法。

背景技术

由于海洋、河流和湖泊等水下资源丰富,水下图像处理技术引起研究人员的广泛关注,并成为重要的研究课题。近几年，基于机器学习算法被大量用于水下图像的增强与复原，并取得了良好的效果。然而自然彩色图像质量评价指标不能有效的应用于水下图像，水下图像质量评价指标与主观评价不一致，不符合人类视觉感官系统。因此，建立一个有效的、客观的水下图像质量指标，对评价水下图像的质量以及机器学习算法的优化至关重要。图像质量评价可分为主观图像评价和客观图像评价。主观质量评价被认为是最可靠的结果，但是对于实时实现和系统集成来说，代价昂贵、耗时且不切实际。客观图像质量评价方法可以根据是否存在代表原始信号的参考图像可分成三类：全参考图像、半参考图像评价和无参考图像评价。对于无法获得参考图像的水下图像，需要一个无参考的客观图像质量评价来测量图像质量，其能够识别出测试图像与真实水下图像中的差异，并符合人类的视觉感官系统。在现有技术中，专利“基于功率谱描述的水下图像质量评价测量方法(CN21316429213)”中选择全局对比度并基于局部清晰度进行质量测量，可以有效的用于评价成像环境中目标图像对观察者的价值；另外，在专利“块平均清晰度组合无参考水下图像通用性质量检测方法(CN21316429872)”中将图像块的清晰度的平均值、对比度和平均亮度进行加权和进行质量测量，该方法对灰度图像给出了质量检测值，与主观判断一致。但现有技术中的两种方法没有考虑到水下图像色偏对图像质量的影响，因此也就无法测量具有严重色偏的水下图像。

发明内容

本发明的目的是针对现有技术提出了一种有效解决水下图像色偏问题的基于人类视觉感官的水下图像质量评价方法。

具体的，一种基于人类视觉感官的水下图像质量评价方法，其特征在于，所述水下图像质量评价方法包括以下步骤：

步骤1：对参考图像集和测试图像采用超像素分割算法对图像进行预分割为超像素图；

步骤2：将超像素图中部分前景和部分背景作标记，通过改进MSRM融合算法分离出背景图和前景图；

步骤3：将背景图分块并提取背景块中特征，所述特征包括颜色特征、饱和度特征、对比度特征；

步骤4：分别计算参考图像集和测试图像的特征拟合生成特征空间多元高斯分布的均值和协方差矩阵；

步骤5：通过参考图像集和测试图像的特征空间多元高斯分布的均值和协方差矩阵的相似性判断测试图像质量。

更进一步地，在步骤2中，还包括以下步骤：

步骤21：通过人工将超像素图像前景中部分超像素标记为红色，背景中部分超像素标记为黄色；

步骤22：提取超像素中颜色特征和Hog特征作为相似性度量指标d，并根据相似性度量指标d来合并超像素；

步骤23：利用颜色和HOG特征综合的度量指标进行相似性判断，相似性较高的超像素合并。

更进一步地，在步骤22中，还包括以下步骤：

步骤221：将RGB颜色空间中每个通道均匀量化为16级，利用巴氏系数来测量超像素间颜色特征的相似性；

步骤222：获取基于超像素的方向梯度直方图特征度量；

步骤223：在颜色特征的基础上融合了方向梯度直方图特征。

更进一步地，在步骤221中，所述超像素间颜色特征的巴氏系数定义公式为：

其中，

更进一步地，在步骤222中，所述方向梯度直方图特征的巴氏系数定义公式为：

其中，

更进一步地，在步骤223中，所述相似性度量指标的度量表达式：

d(M,N)＝ρ(M,N)+α×r(M,N)

其中，d(M,N)是颜色特征和HOG特征的综合度量指标，α∈[0,1]。

更进一步地，在步骤23中，先将与背景标记区域相邻的未标记区域中的超像素合并至背景标记区域，再将未标记区域中的超像素相互合并。

更进一步地，在步骤4中，所述参考图像集和测试图像的均值和协方差矩阵由特征空间多元高斯分布的概率密度函数表示为：

其中，q表示向量x的维度，q＝4。x

更进一步地，在步骤4中，所述多元高斯模型的均值和协方差矩阵通过最大似然估计得到：

其中，Z表示参考图像集或测试图像的背景块特征向量的总数量，x

更进一步地，在步骤5中，通过马氏距离判断所述多元高斯模型的均值和协方差矩阵的相似性，所述马氏距离度量公式为：

其中，v

本发明的优点在于：

本发明通过水下图像和参考图像相似性的方式对水下图像进行主观质量度量；在图像分隔中引入方向梯度克服水下图像中前景与背景区分度太小的问题；同时在提取特征中选取颜色、饱和度和对比度特征分析水下图像和参考图像的距离，克服水下环境中光线受到水的吸收和散射的影响，从而解决导致水下图像偏色，模糊，对比度低等问题；通过建立与客观定量评价相似性指标，进而实现符合人类视觉感官的水下图像质量评价。

主观图像质量评价相比现有技术中采用的客观图像质量评价方法相比，主观图像质量评价有较高的相关性并且性能优于UIQM、UCIQE和NIQE，与人类视觉感官系统具有更高的一致性可以更准确更符合人类视觉的评价图像的质量。

附图说明

图1是本发明实施例提供的一种基于人类视觉感官的水下图像质量评价方法的流程示意图；

图2是本发明实施例提供的一种基于人类视觉感官的水下图像质量评价方法中改进的MSRM算法与传统MSRM算法背景与前景分割示意图；

图3是本发明实施例提供的一种基于人类视觉感官的水下图像质量评价方法中UWCNN生成的TypeI、TypeII、TypeIII以及UWGAN生成TypeIV、TypeV的偏蓝图像示意图。

具体实施方式

下面结合附图对本发明的技术方案进行更详细的说明，本发明包括但不仅限于下述实施例。

如附图1所示，本发明提出一种基于人类视觉感官的水下图像质量评价方法，该方法包括以下步骤：

步骤1：采用超像素分割算法对图像进行预分割为超像素图；

步骤2：将超像素图中部分前景和部分背景作标记，通过改进MSRM融合算法分离出背景图和前景图；

步骤3：将背景图分块并提取背景块中的颜色特征，饱和度特征，对比度特征；

步骤4：分别计算参考图像集和测试图像的特征拟合生成特征空间多元高斯分布的均值和协方差矩阵；

步骤5：通过参考图像集和测试图像的特征空间多元高斯分布的均值和协方差矩阵的相似性判断测试图像质量。

其中，步骤1具体包括以下步骤：

步骤11：通过以步长S初始化聚类中心C

具体的，按照设定的超像素个数，在图像内均匀的初始化聚类中心点。假设图片总共有G个像素点，预分割为K个相同尺寸的超像素，那么每个超像素的大小为G/K，则相邻中心点的距离(步长)近似为

步骤12：以LAB颜色特征和位置特征作为距离度量D，并根据D将像素点分配到各个聚类中心；

具体的，对于每个聚类中心点C

其中，i表示2S×2S范围内的像素点，k表示第k个聚类中心点，d

步骤13：更新聚类中心的位置(x

具体的，

步骤14：如果残差E≤阈值ξ(ξ＝0.5)，结束迭代，否则转到步骤13。

如附图2所示，步骤2具体包括以下步骤：

步骤21：将预分割的超像素图像通过人工将前景中部分超像素标记为红色，背景中部分超像素标记为黄色，并根据标记颜色建立前景标记区域T

步骤22：提取超像素中颜色特征和Hog特征作为相似性度量指标d，并根据相似性度量指标d来合并超像素。

具体的，步骤22还包括以下步骤：

步骤221：通常的MSRM算法用颜色直方图来描述区域特征，首先将RGB颜色空间中每个通道均匀量化为16级，每个区域有16×16×16＝4096级颜色，利用巴氏系数来测量超像素间颜色特征的相似性，巴氏系数定义公式为：

其中，

步骤222：基于超像素的方向梯度直方图(Histogram of Oriented Gradient，HOG)特征度量如下：

计算超像素内在18个方向上的梯度，从而得到180×1归一化HOG特征，然后利用巴氏系数来测量超像素间HOG特征的相似性，巴氏系数定义为：

其中，

步骤223：在颜色特征的基础上融合了HOG特征后，超像素之间相似性度量指标的度量表达式：

d(M,N)＝ρ(M,N)+α×r(M,N)

其中，d(M,N)是颜色特征和HOG特征的综合度量指标；α∈[0,1]，当水下图像颜色单调，背景与前景模糊不清时，此时α取值接近于1，反之α取值接近于0。

步骤23：利用颜色和HOG特征综合的度量指标进行相似性判断，相似性最大的超像素合并，生成背景图。其主要分为两个阶段：第一阶段，将与背景标记区域相邻的未标记区域中的超像素合并至背景标记区域，第二阶段，将未标记区域中的超像素相互合并，此时的未标记区域包括未标记的前景和未标记的背景，两个阶段循环，若两个阶段都没有出现超像素合并，则退出两个阶段生成背景图。

第一阶段具体包括：对于任意一个背景标记区域的超像素T

第二阶段具体包括：对于任意一个未标记区域的超像素T

步骤3具体包括以下步骤：

步骤31：将背景图中除了背景标记区域T

步骤32：检测小块中是否有空白区域(空白区域的RGB三通道的值均为255)，若有空白区域则舍去，若没有空白区域(即背景块)则保留；

步骤33：如果背景块数量达到12则结束循环，若小于12，更新P’＝P-20，则把背景图分成更多的P’×P’的小块，转到步骤132；若大于12则随机选取任意的12个背景块；

步骤34：在水下环境中，由于光线受到水的吸收和散射的影响，从而导致水下图像偏色，模糊，对比度低等，为了评价水下图像质量，所以选用颜色、饱和度和对比度作为特征，而且这些特征也与人类视觉感官具有高度相关性。

具体的，步骤34还包括以下步骤：

步骤341:背景块颜色特征获取：将彩色图像的RGB转换为LAB颜色空间并提取a，b两个颜色通道作为颜色特征。

步骤342:背景块饱和度特征提取：将彩色图像的RGB转换为HSV颜色空间并提取s饱和度作为特征；

步骤343:背景块对比度特征提取：通过在强度图像上应用logAMEE度量来测量，公式如下：

Contrast＝logA MEE(Intensity)

其中，背景块被分成k

步骤4具体包括以下步骤：

选择800张对比度高、清晰、质量较高的真实的水下偏蓝图像作为参考图像集，并在每一张图像中分割出12个背景块，在每个背景块中提取4个特征，作为背景块特征向量的4个维度；将9600组特征拟生成多元高斯模型，通过最大似然估计得到均值和协方差矩阵。同时，任意选择一张水下偏蓝图像作为测试图像，并分割出12个背景块，在每个背景块中提取4个特征，作为背景块特征向量的4个维度，然后将12组特征拟生成多元高斯模型，通过最大似然估计得到均值和协方差矩阵。

本发明中运用到的多元高斯分布，其概率密度函数形式如下所示：

其中，q表示向量x的维度，q＝4。x

其中，Z表示参考图像集或测试图像的背景块特征向量的总数量，x

步骤5具体包括以下步骤：

用马氏距离来度量测试图像与参考图像集分布之间的距离，距离越小则测试图像与参考图像集越相似，马氏距离度量公式如下：

其中，v

如附图3所示，为了测试所提出的指标的性能，本文使用了来自海洋牧场的真实水下偏蓝图像作为参考图像，使用了UWCNN生成的TypeI、TypeII、TypeIII以及UWGAN生成TypeIV、TypeV的偏蓝图像作为测试图像。邀请10名学生分别对每一张生成的测试图像进行主观评价，最后计算得到了平均意见得分。为了说明所提出的客观评价指标与主观评价的相关性，采用了皮尔逊相关系数(PRCC)和Spearman的秩序相关系数(SRCC)来进行验证；其中，皮尔逊相关系数(PRCC)是用于度量两个变量X和Y之间的线性相关性，其值介于-1与1之间；秩序相关系数(SRCC)是用于度量两个变量之间单调关系强弱的相关系数，其中介于-1与1之间；皮尔逊相关系数(PRCC)和Spearman的秩序相关系数(SRCC)的越接近1相关性越强。本文将所提出的方法UGIQE与目前先进水下彩色图像评价指标UCIQE、UIQM和大大气彩色图像评价NIQE进行了对比，如下表一所示。

表一本发明提出的方法UGIQE与先进的图像评价指标比较

表二本发明所提出方法UGIQE与先进的图像质量评价指标比较

表二反映了所提出UGIQE与先进的图像质量评价指标对比，从数值中可以看出UCIQE和UIQM对TypeI、TypeII和TypeIV这3种类型的图像区分度低，无法判断哪种图像质量好坏。虽然NIQE在数值上具有一定的区分度，但无法从数值大小中判断图像质量好坏。相反，所提出的客观指标UGIQE有较好的区分度，从中可以看出TypeIV类型数值最小，与真实的水下偏蓝图像相似度较高，水下图像质量较高，并且与主观评价一致。

本发明不仅局限于上述具体实施方式，本领域一般技术人员根据实施例和附图公开内容，可以采用其它多种具体实施方式实施本发明，因此，凡是采用本发明的设计结构和思路，做一些简单的变换或更改的设计，都落入本发明保护的范围。