基于高维离散余弦变换的无参考光场图像质量评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其是涉及一种基于高维离散余弦变换的无参考光场图像质量评价方法。

背景技术

光场图像质量的定量评价是光场图像处理领域中具有挑战性的问题。与平面图像相比，光场图像同时包含了空间强度信息和方向信息，提供了更为丰富的视觉信息。近年来，随着商用光场相机的推出，光场图像在工业界和商业界逐渐普及。因此，光场图像被广泛地采集、处理、传输、储存，并显示在各类应用中。在光场图像的处理过程中，将不可避免地造成光场图像的失真，从而会降低用户对于光场图像的使用体验。为了向用户提供更为优质的服务，实时检测并准确地评估光场图像的质量是有必要的。因此，光场图像质量评价也成为了光场图像处理领域中具有挑战性的问题。

迄今为止，许多研究人员已经提出了许多较为成熟的平面图像客观质量评价方法，这些平面图像客观质量评价方法能够较为准确地预测平面图像质量。然而，光场图像不仅包含了场景的空间强度信息，而且也记录了场景的方向信息。因此，光场图像质量不单单与空间质量有关，还与光场图像的角度一致性相关。此外，光场图像还能提供场景的深度信息，故而光场图像的深度感知也是不容忽视的。简单地说，光场图像因其高维结构特性，使得平面图像客观质量评价方法并不适用于对光场图像客观质量的预测。

目前，对于光场图像客观质量评价方法的探索只是初步，现有的光场图像客观质量评价方法还很少。如：Tian等人提出的一种全参考光场图像质量评价方法(Y.Tian,H.Zeng,L.Xing,J.Chen,J.Zhu,and K.Ma,“A multi-order derivative feature-basedquality assessment model for light field image,”J.Vis.Commun.ImageRepresent.,vol.57,pp.212-217,Nov.2018.(基于多阶导数特征的光场图像质量评估模型))，该方法为MDFM方法，该方法对原始光场图像和失真光场图像的每个子孔径图像进行二阶梯度导数的相似度比较，得到失真光场图像的每个子孔径图像的结构相似度值，并平均失真光场图像的所有子孔径图像的结构相似度值作为失真光场图像的质量分数。又如：Shi等人提出的一种无参考光场图像质量评价方法(L.Shi,S.Zhao,and Z.Chen,“BELIF:Blind quality evaluator of light field image with tensor structure variationindex,”in Proc.IEEE Int.Conf.Image Process.(ICIP),Taipei,Taiwan,Sept.2019,pp.3781-3785.(BELIF:基于张量结构变化指数的光场图像盲质量评价器))，其被命名为盲光场图像质量估计器(简称为：BELIF)，该方法首先生成光场图像的独眼图阵列，然后使用张量分解获取独眼图阵列的第一切片并测量了第一切片中的自然度来衡量光场图像的空间质量，接着用第一切片与独眼图阵列中的每幅独眼图进行结构相似度比较来获取光场图像的角度一致性。再如：Shi等人进一步提出了一种无参考光场图像质量评价方法(L.Shi,W.Zhou,Z.Chen and J.Zhang,“No-Reference Light Field Image Quality AssessmentBased on Spatial-Angular Measurement,”IEEE Transactions on Circuits andSystems for Video Technology,vol.30,no.11,pp.4114-4128,Nov.2020.(基于空间-角度测量的无参考光场图像质量评估))，简称为：NR-LFQA，该方法结合了独眼图阵列和极平面图像来估计光场图像质量。再如：Zhou等人提出了一种无参考光场图像质量评价方法(W.Zhou,L.Shi,Z.Chen and J.Zhang,“Tensor oriented no-reference light fieldimage quality assessment,”IEEE Trans.Image Process.,vol.29,pp.4070-4084,2020.(张量定向无参考光场图像质量评估))，简称为Tensor-NLFQ，该方法使用张量分解去提取四个方向子孔径图像栈中的主成分，然后评估主成分中的自然度来捕获光场图像的空间质量，再用主成分与子孔径图像栈中的每个视点进行结构相似度比较来估计光场图像的角度一致性。

全参考光场图像质量评价方法需要原始光场图像的信息，在某些无法获取原始光场图像的信息的情况下，全参考光场图像质量评价方法将无法使用；无参考光场图像质量评价方法不需要原始光场图像的信息，但是更需要关注它的预测性能，上述现有的无参考光场图像质量评价方法的客观评价结果与主观感知质量的一致性还有待提高。

发明内容

本发明所要解决的技术问题是提供一种基于高维离散余弦变换的无参考光场图像质量评价方法，其无需原始光场图像的任何信息，且能够获得与主观感知质量高度相似的客观评价结果。

本发明解决上述技术问题所采用的技术方案为：一种基于高维离散余弦变换的无参考光场图像质量评价方法，其特征在于包括以下步骤：

步骤1：将待评价的4维的光场图像记为L，L的角度分辨率为U×V，L的空间分辨率为X×Y；然后将L视作为2维的子孔径图像阵列，子孔径图像阵列由U×V幅子孔径图像构成，每幅子孔径图像的分辨率为X×Y，将子孔径图像阵列中视点坐标位置为(u,v)的子孔径图像记为I

步骤2：将子孔径图像阵列中除最后一行和最后一列外的每幅子孔径图像作为待处理子孔径图像，将子孔径图像阵列中视点坐标位置为(u',v')的待处理子孔径图像记为I

步骤3：将G划分为

步骤4：计算G中的所有4D块在4D-DCT域中在相同频域坐标位置上的交流系数所对应的能量值，在

步骤5：提取出G中的所有4D块在4D-DCT域中在相同频域坐标位置上的交流系数的振幅并构成维数为1×SZ的振幅向量，在

步骤6：选取N幅用于训练的4维的无失真光场图像，按照步骤1至步骤5的过程，以相同的方式获取每幅无失真光场图像对应的能量向量和无符号系数分布特征向量；然后将N幅无失真光场图像对应的能量向量构成训练的能量矩阵，记为Z

步骤7：对E进行去中心化处理，得到去中心化处理后的能量向量，记为

步骤8：将F

步骤9：将F作为输入，结合支持向量回归技术，计算得到L的客观质量评价分数，记为Q

与现有技术相比，本发明的优点在于：

(1)本发明方法是一种无参考光场图像质量评价方法，这与全参考光场图像质量评价方法相比，本发明方法不需要原始光场图像的任何信息就可以预测失真光场图像的客观质量评价分数，因此，本发明方法可以广泛地适用于无法直接获取原始光场图像信息的情景。

(2)作为一种无参考光场图像质量评价方法，由于在没有原始光场图像信息的前提下对待评价光场图像进行质量预测，其准确性往往受到更多地关注，本发明方法与现有的无参考质量评价方法相比，本发明方法考虑了失真光场图像的失真特点和内在的高维结构性，将子孔径图像阵列转换成子孔径梯度图像阵列，然后再使用四维离散余弦变换(4D-DCT)将子孔径梯度图像阵列转换到4D-DCT域，这有效地保留了失真光场图像的高维结构信息，并捕捉了与主观感知更为相关的特征，因此最终能够获得与主观感知质量高度相似的客观评价结果。

附图说明

图1为本发明方法的总体实现框图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于高维离散余弦变换的无参考光场图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：

步骤1：将待评价的4维的光场图像记为L，L的角度分辨率为U×V，L的空间分辨率为X×Y；然后将L视作为2维的子孔径图像阵列，子孔径图像阵列由U×V幅子孔径图像(SAI)构成，每幅子孔径图像的分辨率为X×Y，将子孔径图像阵列中视点坐标位置为(u,v)的子孔径图像记为I

步骤2：将子孔径图像阵列中除最后一行和最后一列外的每幅子孔径图像作为待处理子孔径图像，将子孔径图像阵列中视点坐标位置为(u',v')的待处理子孔径图像记为I

步骤3：将G划分为

步骤4：计算G中的所有4D块在4D-DCT域中在相同频域坐标位置上的交流系数所对应的能量值，在

步骤5：提取出G中的所有4D块在4D-DCT域中在相同频域坐标位置上的交流系数的振幅并构成维数为1×SZ的振幅向量，在

步骤6：选取N幅用于训练的4维的无失真光场图像，按照步骤1至步骤5的过程，以相同的方式获取每幅无失真光场图像对应的能量向量和无符号系数分布特征向量；然后将N幅无失真光场图像对应的能量向量构成训练的能量矩阵，记为Z

步骤7：对E进行去中心化处理，得到去中心化处理后的能量向量，记为

步骤8：将F

步骤9：将F作为输入，结合支持向量回归技术，计算得到L的客观质量评价分数，记为Q

以下对本发明方法进行实验，进一步说明本发明方法的有效性与可行性。

本发明方法的有效性将在两个4D光场图像主观评价数据库上进行验证，另外，选择已被验证的、高效的平面图像和光场图像共8种图像客观质量评价方法作为对比，来体现本发明方法的优势。用于测试的两个4D光场图像主观评价数据库分别为Win5-LID数据库(L.Shi,S.Zhao,W.Zhou,and Z Chen,“Perceptual evaluation of light field image,”in Proc.the 25th IEEE Int.Conf.Image Process.(ICIP),Athens,Greece,Oct.2018,pp.41-45.(光场图像的感知评价))和NBULF1.0数据库(Z.Huang,M.Yu,G.Jiang,K.Chen,Z.Peng,and F.Chen,“Reconstruction distortion oriented light field imagedataset for visual communication,”in Int'l.Symp.Net.Comp.Commun.(ISNCC),Istanbul,Turkey,2019,pp.1-5.(用于视觉通信的重建失真定向光场图像数据集))。其中，Win5-LID数据库共包含了10幅原始光场图像，其中6幅属于自然场景，4幅属于合成场景，Win5-LID数据库中引入了6种失真类型，其中HEVC、JPEG2000、LN和NN这4种失真类型共分成5个不同的失真等级，另外还包括了两种默认参数的基于CNN的重建算法，因此，1幅原始光场图像对应22幅不同失真类型的失真光场图像，共计220幅失真光场图像；Win5-LID数据库还提供了平均主观分(Mean opinion score，MOS)。NBULF1.0数据库共包含了14幅原始光场图像，其中8幅属于自然场景，6幅属于合成场景，NBULF1.0数据库中引入了5种失真类型，分别为BI、NNI、Zhang、EPICNN和VDSR，每种失真类型分为3个不同的失真等级，因此，1幅原始光场图像对应15幅不同失真类型的失真光场图像，共计210幅失真光场图像；NBULF1.0数据库还提供了MOS值。表1给出了两个4D光场图像数据库的各项指标，包括原始光场图像的数目、失真光场图像的数目、失真类型、光场图像的空间分辨率和角度分辨率。

表1两个4D光场图像数据库的各项指标

通过比较客观质量评价方法预测得到的客观质量评价分数与MOS值是否一致来评价该客观质量评价方法的预测性能。具体而言，本发明方法所提取的失真光场图像的感知特征向量通过支持向量回归模型融合得到失真光场图像的客观质量评价分数；然后将失真光场图像的客观质量评价分数与MOS值进行非线性拟合；接着采用3个根据视频质量评价专家组提供的标准指标来对不同的客观质量评价方法的预测性能进行量化。3个标准指标分别为Spearman秩相关系数(Spearman Rank Order Correlation Coefficient，SROCC)、Pearson线性相关系数(Pearson Linear Correlation Coefficient，PLCC)和均方根误差(Root Mean Square Error，RMSE)，其中，SROCC用于测量客观质量评价方法的预测单调性，PLCC和RMSE用于测量客观质量评价方法的预测准确性，SROCC的取值范围在[-1,1]之间，PLCC的取值范围在[0,1]之间，SROCC和PLCC的绝对值越接近于1，RMSE越接近0，说明客观质量评价方法的预测性能越好。

本发明方法将与4种平面图像客观质量评价方法和4种光场图像客观质量评价方法比较。其中，包括了两种2D全参考图像质量评价方法，它们是SSIM方法(Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Image quality assessment:from errorvisibility to structural similarity,”IEEE Trans.Image Process.,vol.13,no.4,pp.600-612,Apr.2004(图像质量评估:从误差可见性到结构相似性))和VIF方法(H.R.Sheikh,and A.C.Bovik,“Image information and visual quality,”IEEETrans.Image Process.,vol.15,no.2,pp.430–444,Feb.2006(图像信息和视觉质量))；两种2D无参考图像质量评价方法，它们是BRISQUE方法(A.Mittal,A.K.Moorthy,andA.C.Bovik,“No-Reference Image Quality Assessment in the Spatial Domain,”IEEETrans.Image Process.,vol.21,no.12,pp.4695-4708,Dec.2012(空间域的无参考图像质量评价))和SSEQ方法(L.Liu,B.Liu,H.Huang,and A.C.Bovik,“No-reference imagequality assessment based on spatial and spectral entropies,”SignalProcess.Image Commun.,vol.29,no.8,pp.856-863,Sep.2014(基于空间和谱熵的无参考图像质量评价))；一种全参考光场图像质量评价方法，该方法为MDFM方法；三种无参考光场图像质量评价方法，它们是BELIF、NR-LFQA和Tensor-NLFQ。

表2给出了本发明方法与SSIM、VIF、BRISQUE、SSQE、MDFM、BELIF、NR-LFQA和Tensor-NLFQ共8种现有的客观质量评价方法在NBULF1.0和Win5-LID数据库中的预测性能指标SROCC、PLCC和RMSE的值。

表2本发明方法与SSIM、VIF、BRISQUE、SSQE、MDFM、BELIF、NR-LFQA和Tensor-NLFQ共8种现有的客观质量评价方法在NBULF1.0和Win5-LID数据库上的3个性能指标SROCC、PLCC和RMSE的结果

从表2中可以看出，在Win5-LID和NBULF1.0数据库中，本发明方法均具有最优异的预测性能。本发明方法在不同数据库中均具有较好的预测性能，这表明本发明方法具有很好的鲁棒性。值得一提的是，与全参考方法相比，本发明方法也依然占据优势。