一种视频画面抖动等级评估的方法

技术领域

本发明属于视频画面抖动评估技术领域，具体涉及一种视频画面抖动等级评估的方法。

背景技术

视频抖动检测是视频后期调整和处理的基础，研究人员在视频处理、视频稳像、计算机视觉等领域已经进行了大量基于视频分析的研究。尽管已有研究人员提出了若干种视频抖动检测方法，但是现有的检测算法准确度不高、速度较慢对于监控等需要实时检测的场景无法达到实时检测的要求。常用方法中，有的对短时间内镜头大位移强抖动的条件下拍摄的视频不敏感，有的对微小抖动不敏感，有的不适合旋转运动检测，有的不适合镜头抖动频率低的场景。

现有的方法具体如下：

1)灰度投影法：基于图像中重合相似区域灰度分布一致性原理，利用相邻视频帧的局部灰度信息来求取矢量运动关系，该算法主要由不同区域行列两个方向的灰度投影相关计算组成。

2)块匹配法：目前视频稳像系统中最常用的一种算法。该方法将当前帧分成块，块内的每个像素都具有同一运动矢量，然后对每一块都在参考帧的特定范围内搜索最佳匹配，从而估计出视频序列的全局运动矢量。

灰度投影法对只存在平移抖动的场景有效，无法估计旋转运动矢量，无法区分视频画面平稳快速运动和视频画面抖动，也无法检测出视频画面的微小抖动；

块匹配法通常需要分块，根据每块内的运动矢量估计全局运动矢量，那么检测某些特定场景视频抖动问题时效果不好，如一个画面中，画面分成4格，其中3格不动，1格中物体在运动；另外块匹配法通常需要卡尔曼滤波对计算出的运动矢量进行处理，其计算开销大，实时性不好，无法适应短时间内镜头大位移强抖动的情景；

高新兴科技集团股份有限公司与西安电子科技大学联合申请的专利文献“一种基于TSN网络的视频画面抖动检测方法”(申请日：2019.09.06，CN110602487A)，其对于大分辨率视频的检测速度太慢，无法应用于监控等需要实时检测的场景；

苏宁云计算有限公司申请的专利文献“一种视频抖动的检测方法及装置”(申请日：2019年6月21日，公开号为CN110248048A)；一方面，其准确性依赖于特征点的选取，当画面存在较多运动前景物体，特征点容易聚集在运动前景物体上，易将稳定画面判断为抖动画面，导致对画面抖动的误判。

发明内容

为了克服上述现有技术存在的不足，本发明的目的在于提供一种视频画面抖动等级评估的方法，能够提高不同抖动情形下视频抖动检测与评估的准确率和鲁棒性，尤其对于微小抖动场景或者大位移大旋转的强抖动场景、或者抖动频率较低的缓慢抖动场景，能降低稳定运动场景的误判，提高检测的处理速度，保证监控等需要实时检测的场景的抖动检测性能与速度。

为了实现上述目的，本发明采用的技术方案是：

一种视频画面抖动等级评估的方法，包括以下步骤；

步骤1：首先对待检测视频进行分帧处理，同时对每一帧的分辨率进行下采样得到帧序列(P

步骤2：将步骤1得到的帧序列中每相邻两帧输入基于深度学习的实时光流提取网络中，提取光流图；

步骤3：对于相邻帧P

步骤4：计算待检测视频的累计变换序列L；

步骤5：对步骤4中视频的累计变换序列L计算六个评估指标并进行加权运算，输出待检测视频的每一秒的抖动分数，并根据抖动程度阈值判断所述待检测视频是否发生抖动，以及抖动的程度。

所述步骤2具体为：

获取帧间光流：将相邻帧P

其中，i表示视频帧的索引，i＝1，2，…，n-1；F

所述步骤3具体为：

进行仿射变换估计，输出帧间整体的仿射变换矩阵；

步骤3.1：在P

/>

其中i表示视频帧的索引，i＝1，2，…，n-1；S

步骤3.2：在步骤2输出的光流图F

其中i表示视频帧的索引，i＝1，2，…，n-1；M

步骤3.3：计算特征点在P

步骤3.4：将S

其中i表示视频帧的索引，i＝1，2，…，n-1；T

进一步的，按步骤2-3处理待检测视频的所有帧，得到仿射变换参数序列H；

其中Δx

所述步骤4具体为：

将仿射变换参数序列H进行逐行累加，得到待检测视频的累计变换序列L；

其中Δx

所述步骤5具体为：

计算评估指标：读取待检测视频的帧率为Rfps，以R帧为一个评估单位，即一秒视频评估一次，设计六个评估指标。待检测视频第T秒的六个评估指标分别为E

其中j表示评估指标索引，j＝1，2，3；T表示待检测视频的第T秒；E

其中k表示评估指标索引，k＝4，5，6；T表示待检测视频的第T秒；E

计算待检测视频每秒的加权分数，并判断抖动的等级；

score

其中T表示待检测视频的第T秒，score

设定等级评估阈值，如果score

本发明的有益效果：

本发明使用了基于深度学习的稠密光流网络FastFlowNet提取相邻帧的运动信息，FastFlowNet网络提取光流准确率高且速度快，提高了微小抖动场景或者大位移大旋转的强抖动场景的抖动检测准确性，并实现了大分辨率视频实时检测的功能。

本发明在视频帧上均匀选择特征点，使得特征点的分布兼顾了画面前景与背景，能够更准确地估计画面整体的运动情况；

本发明设置了6个评估指标，兼顾了对水平竖直抖动、旋转抖动评估、频率高的快速抖动、频率低的缓慢抖动等多种抖动情形的抖动检测精度。

本发明设置了合理的加权系数与等级评估阈值，降低了对稳定视频的误判，并且对抖动等级进行了细分，能够更好地掌握视频抖动的程度。

附图说明

图1为本发明流程示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1所示，具体步骤如下：

步骤1：读取检测视频进行分帧处理，并对每一帧下采样至1280×720分辨率，得到帧序列P

步骤2：获取帧间光流：将相邻帧P

其中，i表示视频帧的索引，i＝1，2，…，n-1；F

步骤3：进行仿射变换估计，输出帧间整体的仿射变换矩阵；

步骤3.1：在P

其中i表示视频帧的索引，i＝1，2，…，n-1；S

步骤3.2：在步骤2输出的光流图F

其中i表示视频帧的索引，i＝1，2，…，n-1；M

步骤3.3：计算特征点在P

步骤3.4：将S

其中i表示视频帧的索引，i＝1，2，…，n-1；T

步骤4：按步骤2-3处理待检测视频的所有帧，得到仿射变换参数序列H。

其中Δx

步骤5：将仿射变换参数序列H进行逐行累加，得到待检测视频的累计变换序列L。

其中Δx

步骤6：计算评估指标：读取待检测视频的帧率为Rfps，以R帧为一个评估单位，即一秒视频评估一次。设计六个评估指标，待检测视频第T秒的六个评估指标分别为E

其中j表示评估指标索引，j＝1，2，3；T表示待检测视频的第T秒；E

其中k表示评估指标索引，k＝4，5，6；T表示待检测视频的第T秒；E

步骤7：计算待检测视频每秒的加权分数，并判断抖动的等级；

score

其中T表示待检测视频的第T秒，score

设定等级评估阈值，如果score

步骤8：逐秒执行步骤6-7，输出待检测视频每一秒的分数与抖动等级。