基于脑电信号和目标显著特性的视频质量评价方法

技术领域

本发明属于视频处理技术领域，涉及一种视频质量评价方法，具体涉及一种基于脑电信号和目标显著特性的视频质量评价方法，可用于评价视频质量及对心理生理学行为进行研究。

背景技术

视频作为视觉信息的重要来源，因其丰富性和多样性，为人类的生活增添了一份多姿多彩。随着现代科学技术的不断发展以及人们生活水平的不断提高，视频的产出量日益激增。因此，在对视频的采集、处理、压缩、传输等过程中，会在不同程度上产生各种类型的失真造成视频质量下降的问题，这会对视频中视觉信息的分析、理解和应用带来了一定的困难，也影响着人们对于视频的观看体验和视频中视觉信息的感知。因此，为了获得满意的视频质量，对于视频质量评价方法的研究逐渐成为一个广泛而基本的问题。

视频质量评价方法分为主观视频质量评价方法和客观视频质量评价方法。主观视频质量评价方法通过人眼直接观看，对视频的质量进行主观打分，其评价结果因观察者的主观感受而存在差异，且具有耗时较长，成本较高等缺点。客观视频质量评价方法根据其评价过程是否参考原视频分为全参考视频质量评价方法、部分参考视频质量评价方法以及无参考视频质量评价方法。全参考视频质量评价方法参考原视频，通过对比原视频和待测失真视频的差异进行视频质量评价，部分参考视频质量评价方法只提取原视频的部分信息作为参考，通过比较提取到的原视频的部分信息与待测失真视频之间的差异进行视频质量评价，无参考视频质量评价方法不需要利用原视频的参考信息，通过提取待测失真视频中的失真特征，构建与该失真特征相对应的数学模型进行视频质量评价。客观视频质量评价方法依靠算法或数学模型进行评价，虽然具有评价效率高，评价时长短，成本低廉等优点，然而仍然存在一些争议，即由于人眼感知的复杂性，通过数学模型得到的视频质量分数是否能代表真实情况下人观看视频所得到的感知质量。因此，基于脑电信号的视频质量评价方法因运而生，通过采集受试者观看视频时的脑电信号对视频质量进行评价，相比于客观方法能够直接反应观察者的真实感受，同时也克服了主观方法耗时长、成本高等缺点。

西安电子科技大学在其申请的专利文献“基于脑电信号和时空失真的视频质量评价方法”(专利申请号：CN202010341014.5，授权公告号：CN111510710B)中公开了一种基于脑电信号和时空失真的视频质量评价方法，该方法首先生成时空失真的模拟水面波动视频，然后采集受试者观看时空失真的模拟水面波动视频的脑电信号和主观评价，并计算受试者主观评价的检测率，接着，对脑电信号进行分段并对分段后的脑电信号进行分类，计算脑电信号的分类准确率，最后通过主观评价的检测率和脑电信号的分类准确率的映射曲线评价时空失真视频的质量，但是其存在的缺陷在于，该发明仅考虑了失真视频的时空特性，没有考虑视频中的目标显著特性对视频失真感知的影响，导致该方法的评价结果不够准确。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出一种基于脑电信号和目标显著特性的视频质量评价方法，用于解决现有技术中存在的未考虑视频中的目标显著特性对视频失真的影响而导致的评价结果不够准确的技术问题。

为实现上述目的，本发明采取的技术方案包括如下步骤：

(1)采集受试者的眼动数据：

从L个不同的自然纪录片中截取包含θ个目标类别，且时长为d帧率为B的N个单一目标视频V＝{V

(2)计算所有受试者观看每个视频时的目标区域注视信息：

统计每个受试者的眼动数据

(3)获取显著目标视频和非显著目标视频，并对其进行失真处理：

选取目标区域注视信息均值集合I中数值最大的均值对应的视频V

(4)采集每位受试者重复观看显著目标失真视频和非显著目标失真视频的脑电信号：

通过脑电信号采集器，并以α为采样频率，以β为采样通道数，采集R位受试者重复S次观看每个显著目标失真视频

(5)获取每位受试者的单次脑电信号片段：

采用截止频率下限和上限分别为f

(6)获取训练样本集Z

(6a)以σ为采样点数，分别对每一个单次脑电信号片段

(6b)对每个降维后的特征矩阵

(7)对支持向量机分类器O进行迭代训练：

(7a)初始化迭代次数为

(7b)将训练样本集Z

(7c)判断

(8)获取显著目标失真视频和非显著目标失真视频的质量评价结果：

将测试样本集Z

本发明与现有技术相比，具有以下优点：

本发明所获取的训练样本集和测试样本集包含有受试者观看显著目标视频和非显著目标视频时的脑电信号，在对支持向量机分类器进行训练以及获取视频质量评价的过程中，分别对显著目标视频和非显著目标视频所诱发的脑电信号进行分类，充分考虑了人眼视觉特性，克服了现有技术中仅考虑失真视频的时空特性，没有考虑失真视频中的目标显著特性对受试者的脑电信号产生的影响，从而导致评价结果不完善不准确的问题，使得本发明在视频质量评价中具有评价结果更为准确的优点。

附图说明

图1是本发明的实现流程图；

图2是本发明的显著目标失真视频以及非显著目标失真视频所对应的脑电信号峰值与失真等级的拟合曲线图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步详细描述。

参照图1，本发明包括如下步骤：

步骤1)采集受试者的眼动数据：

从L个不同的自然纪录片中截取包含θ个目标类别，且时长为d帧率为B的N个单一目标视频V＝{V

本发明中采集受试者观看视频时的眼动数据的原因是：人眼对影像的认知是非线性和非均匀的，所以，当人眼接受外界视觉刺激时，并不能感知视频中的所有变化。当人眼的视觉注意力集中于某个目标区域时，视觉系统将分配大部分的视觉资源用于目标区域的认知与加工，从而忽略视频中其他方面的变化，例如视频质量的变化。由于视频中的目标的类别的多样性，不同类别的目标引起人眼的关注程度是不一样的，与此同时，即使对于同一类别的目标，又因为其目标个体之间的差异性，以及其在视频中运动形式的复杂性和多样性，还有该目标与其所在的背景存在着不同的结构性、色彩等差异，以及不同视频的拍摄方式和拍摄角度的差异性等，导致人眼对于同一目标类别的关注程度也是不一样的。由于人眼对外界视觉刺激的关注在其生理层面对应着人眼眼球的运动，因此本发明通过眼动仪采集受试者观看视频时的眼动数据分析视频的目标显著性。

步骤2)计算所有受试者观看每个视频时的目标区域注视信息：

统计每个受试者的眼动数据

其中，统计每个受试者的眼动数据

步骤2a)：对每个时长为d的视频V

步骤2b)：统计每幅图像

由于视频中的目标在视频中有着不同的运动形式，直接统计每个视频中的目标所在区域的注视点个数会导致统计结果不准确，故本发明先对视频进行分帧，统计每一帧图像中目标所在区域的注视点个数。由于不同目标有着不同的形状和结构，精确统计每个目标的形状结构内的注视点个数，虽然统计结果较为精确，但是只能针对单个视频帧中的目标逐一统计，无法设计出统一的方法将其实现，当视频数量很大的时候，不易施行，具有费时费力的缺点。所以本发明将每一个视频帧图像均等分割成许多的图像块，统计每个帧图像中的目标可以被完全覆盖的最少的图像块，然后再计算图像块中的注视点的个数。在统计图像块中的注视点的个数的过程中，对于在图像块内的注视点，算作一个注视点，对于在图像块边界上的注视点，算作半个注视点。

步骤3)获取显著目标视频和非显著目标视频，并对其进行失真处理：

选取目标区域注视信息均值集合I中数值最大的均值对应的视频V

其中，对t时刻以后的V

步骤3a)：以t时刻为分割点，将显著目标视频V

步骤3b)：对时长为d-t的显著目标视频段

步骤3c)：以失真等级q

步骤3d)：将图像集合G

本实例中，K＝4，q＝{19,28,33,38}，t＝2s，J＝75。

本实例中，选取每个视频所对应的目标区域注视信息均值作为视频中目标显著特性的表征，在人眼观看视频的过程中，当视频中的目标引起受试者的关注程度越高时，在该视频中的目标所覆盖的区域内注视点的个数越多，则说明该视频具有较高的目标显著特性，反之，则说明该视频的目标显著特性较低。计算所有受试者的目标区域注视信息的均值是为了降低个体因个人习惯等主观因素的影响。

本实例中，利用MATLAB的VideoWriter函数中的Quality参数对视频分帧后的图像进行压缩，然后对压缩后的图像再进行合成，从而得到失真视频。VideoWriter函数中的Quality参数的取值范围从0到100，对应着从0到100这101个视频失真等级，Quality参数的取值范围从0到100表示失真程度越来越小，代表着从0到100这101个视频失真等级所对应的失真程度也越来越小。视频失真等级设置的原则是：所设置的视频失真等级应大致均匀分布在人眼感知阈值域内。所谓人眼感知阈值所对应的视频失真等级就是指受试者恰可察觉到视频失真时所对应的视频失真等级，所谓人眼感知阈值域在人眼感知阈值下限到人眼感知阈值上限之间，人眼感知阈值下限所对应的视频失真等级是指当受试者能明显察觉到视频失真时所对应的视频失真等级，人眼感知阈值上限所对应的视频失真等级是指当受试者几乎无法察觉到视频失真时所对应的视频失真等级。

步骤4)采集每位受试者重复观看显著目标失真视频和非显著目标失真视频的脑电信号：

通过脑电信号采集器，并以α为采样频率，以β为采样通道数，采集R位受试者重复S次观看每个显著目标失真视频

步骤5)获取每位受试者的单次脑电信号片段：

采用截止频率下限和上限分别为f

步骤6)获取训练样本集Z

步骤6a)以σ为采样点数，分别对每一个单次脑电信号片段

步骤6b)对每个降维后的特征矩阵

本实例中，σ＝250，η＝10，u＝80。由于脑电信号具有高维度的特征，所以对脑电信号降维可以减少数据量，去除冗余信息和噪音信息以提高脑电数据处理速度。

步骤7)对支持向量机分类器O进行迭代训练：

步骤7a)初始化迭代次数为

步骤7b)将训练样本集Z

步骤7c)判断

本实例中，C＝2，Φ＝50。

步骤8)获取显著目标失真视频和非显著目标失真视频的质量评价结果：

将测试样本集Z

其中，计算显著目标视频V

为了得到显著目标视频V

第一步：提取每个单次脑电信号片段

第二步：以q为自变量，以每个显著目标失真视频

通过对比显著目标视频V

通过上述对比分析，综合得出视频中的目标显著特性对视频质量感知脑电信号的影响，从而在人眼视觉感知特性维度完善视频质量评价结果，提高视频质量评价结果的准确性。

下面结合仿真实验对本发明的实现过程作进一步的描述：

1.仿真实验条件：

仿真实验的硬件测试平台是：CPU为Intel(R)Core(TM)i7-8700，主频为3.2GHz，内存16GB，GPU为NVIDIA GeForce GT 710。

仿真实验的软件平台是：Windows7操作系统、专业脑电采集与分析软件Curry7、专业眼动实验设计软件Experiment Center、专业眼动数据记录软件iView X、专业眼动数据分析软件BeGaze、心理学实验操作平台E-Prime 2.0、数学软件MATLAB R2019a。

2.仿真内容以及结果分析：

本发明的仿真实验中采集15位受试者观看每个视频时的眼动数据的仿真流程是：首先从视频网站上下载10部清晰度较高的自然纪录片，依照本发明中的视频采集原则从中截取出50个单一目标的视频作为眼动实验视频，这些视频中包含18个目标类别，其分辨率均为1024×768，时长均为5s，帧率均为25帧/s。其中，10部自然纪录片分别为《Our Planet2019》、《Oceans:Our Blue Planet 2018》、《Seven Worlds One Planet》、《Earth FromSpace 2019》、《The Himalayas》、《The Planets 2019》、《The Life of Earth》、《Africa》、《The Biggest Little Farm》、《The Biggest Little Farm》。所采集的视频目标类别包括：马、小鸟、蛙、北极熊、狮子、海鸥、豹、蝴蝶、狼、燕、船、大象、飞机、蜜蜂、车、狗、企鹅、山。然后采集受试者的眼动数据。在采集每位受试者的眼动数据前，每位受试者实验前对眼动仪进行校准，然后以黑屏视频与上述50个单一目标的视频穿插的方式随机呈现给受试者，其中的黑屏视频是指黑色屏幕中间有一个白色“+”号的视频，用于分隔每个实验视频，使其互不干扰，该黑屏视频持续时间为1s，分辨率为1024×768，帧率均为25帧/s。在受试者进行眼动实验的过程中，要求实验环境安静无噪声干扰，实验室内光线充足且保持不变，要求受试者保持注意力集中，双目平视，坐姿端正。对于每位受试者来说，该眼动仿真实验持续时间约5分钟。实验结束完毕后，将每位受试者的眼动数据导出，由于眼动仪的采样率为250hz，故每4毫秒记录一次受试者的眼球运动，即每4毫秒记录一次受试者的注视点，统计每个受试者的眼动数据中人眼注视每个视频中目标所覆盖的区域内的注视点的个数，得到所有视频所对应的目标区域注视信息集合，统计并计算所有受试者观看所有视频时的目标区域注视信息均值集合，从中选取最大的均值所对应的视频为显著目标视频，从中选取最小的均值所对应的视频为非显著目标视频，本仿真实验中，“海中的小船”视频的目标区域注视信息均值最大，为849.2，“运动的车”视频的目标区域注视信息均值最小，为459.6，故选取《The Planets 2019》中截取的“海中的小船”视频作为显著目标视频，选取《The BiggestLittle Farm》中截取的“运动的车”视频作为非显著目标视频。

本发明的仿真实验中采集20位受试者重复观看显著目标失真视频和非显著目标失真视频的脑电信号的实验流程是：首先，选取显著目标视频和非显著目标视频失真等级为19，28，33，38。接着针对上述选取的4个失真等级，生成相应的4个显著目标失真视频和4个非显著目标失真视频。然后采集受试者的脑电信号。采集脑电信号的实验流程由四个电脑屏幕界面组成。第一个界面为介绍界面，界面中介绍了本发明仿真实验要求。第二个界面为黑屏界面，该界面为在黑色背景中间插入一个白色“+”号，用于分隔每个实验视频，使其互不干扰。第三个界面为视频播放界面，播放一次显著目标失真视频或非显著目标失真视频。第三个界面播放完毕后，返回第二个界面，准备下一次失真视频的播放。每个显著目标失真视频或非显著目标失真视频重复播放50次，播放顺序随机。第五个界面为结束界面，当所有显著目标失真视频或非显著目标失真视频均播放完毕后，进入结束界面。

本发明的仿真实验中对采集到的脑电信号进行分类的流程是：首先，将采集到的脑电信号进行转参考、基线校正、滤波、分段，提取出单次脑电信号片段。接着对分段后的单次脑电信号片段以250为重采样点数进行重采样，然后对重采样后的脑电信号进行PCA降维，将脑电信号转化为64通道，每个通道10个采样点组成的特征矩阵，将其输入到核函数为高斯核函数的支持向量机分类器中，利用SMO训练算法训练支持向量机模型，对脑电信号进行分类，并计算分类准确率，得到显著目标视频所对应的脑电信号的分类准确率为：57.5％，非显著目标视频所对应的脑电信号的分类准确率为：65％。根据显著目标视频和非显著目标视频所对应的脑电信号的分类准确率的差异，对比得出，视频中的目标显著特性对视频失真感知有影响，且视频中的目标越显著，观察者对于视频失真的感知越难以察觉。

本发明的仿真实验中为了得到显著目标视频所对应的脑电信号随着失真等级的变化过程，以及非显著目标视频所对应的脑电信号随着失真等级的变化过程，其仿真流程为：首先，对于显著目标视频和非显著目标视频的每一失真等级下的单次脑电信号片段，提取其波峰峰值，并计算显著目标视频和非显著目标视频的每一个失真等级下的所有受试者的单次脑电信号片段的波峰峰值的平均值。利用MATLAB中的Curve Fitting Tool组件，采取Smoothing Spline拟合公式，以失真等级为自变量，以显著目标视频中所有受试者的单次脑电信号片段的波峰的平均值为因变量拟合出映射曲线，拟合参数为：0.494；同时，以失真等级为自变量，以非显著目标视频中所有受试者的单次脑电信号片段的波峰的平均值为因变量拟合出映射曲线，拟合参数为：0.264。

图2即为显著目标失真视频以及非显著目标失真视频所对应的脑电信号峰值与失真等级的拟合曲线图。参照图2可知，人在观看视频的过程中，视频中的目标的显著性对失真感知存在影响，且其影响大小与视频失真程度有关。当视频失真程度较大时，无论是显著目标视频还是非显著目标视频，其所诱发的脑电信号的峰值均较大且接近，这说明失真均易被感知，此时视频中的目标显著特性对失真感知的影响较小；而当视频失真程度较小时，两者所诱发的脑电信号的峰值均较小，但是其诱发的脑电信号的差值逐渐变大，这说明由于被试过度关注视频中的显著目标而忽略了视频的失真，导致显著目标视频的失真更不易被感知，并说明了视频中的目标显著特性对视频失真感知影响较大。通过上述定性与定量的对比分析，综合得出视频中的目标显著特性对视频质量感知脑电信号有影响，且其影响程度随失真程度而变化。