用视频压缩编码信息提取视频关键帧的方法

技术领城

本发明属于数字视频检索技术领域，具体涉及到用视频压缩编码信息提取视频关键帧的方法。

背景技术

随着多媒体技术和网络技术的快速发展，视频数据迅速增长，出现了规模空前的数据，如何有效地管理视频以及快速获取视频中重要的信息，成为一个研究的热点。在这种背景下，提取关键帧成为解决这一难题的有效途径，通过提取关键帧,不仅能大大减少视频的数据量，而且能很好地将原始视频的重要信息表达出来，节省了检索时间，提高了视频检索的效率。

目前，对于关键帧的提取方法，国内外学者做了大量的研究工作，根据所处理的视频数据对象，可以将这些方法分为像素域的关键帧提取和压缩域的关键帧提取。像素域的关键帧提取方法是在视频完全解压缩后进行，计算量比较大，效率低，难以满足实时要求。压缩域视频处理技术是直接面向数据量较小的压缩视频数据，在不解压或者部分解压的情况下对视频进行处理，可以大大提高视频的处理速度，因此压缩域上的关键帧提取方法研究引起了广泛关注。

Ali Reza等人提出了一种在H.265/HEVC压缩域中的关键帧提取方法，采用从H.265/HEVC编码视频中提取帧内预测模式的归一化直方图进行相似帧检测，使用模糊c均值聚类对相似帧进行分类，并提取关键帧。朱树明等人提出了一种视频编码压缩域的视频摘要关键帧提取方法，在解码端统计视频编码帧内编码PU块的亮度预测模式数目，并构建成模式特征向量，再利用融合迭代自组织数据分析算法(ISODATA)的自适应聚类算法对模式特征向量进行聚类得到候选关键帧，并通过相似度对候选关键帧进行再次筛选，剔除冗余帧，得到最终的关键帧。

上述方法的共同点是采用帧内预测模式值作为特征，且所做的实验仅针对全帧内模式，对视频帧的处理速度慢，处理时间长，不具有实用性。

发明内容

本发明所要解决的技术问题在于克服上述视频帧处理方法的缺点，提供了一种无需解码、计算量小、处理速度快、提取效率高的用视频压缩编码信息提取视频关键帧的方法。

解决上述技术问题所采用的技术方案由下述步骤组成：

(1)提取深度和帧比特数特征

按式(1)确定编码单元的率失真代价J：

其中D

按式(2)确定编码帧的深度特征向量F

F

其中n表示视频的第n个编码帧，n∈{1,2,…,N}，N为视频总帧数，N取值为有限的正整数，round()为向上取整函数，f

按式(3)确定帧比特数R

(2)镜头切换检测

统计编码帧的帧比特数R

(3)提取关键帧

按式(4)确定拉普拉斯图矩阵L：

其中F

按式(5)确定L的前K个特征值对应的特征向量y，并按式(6)构造N×K阶矩阵Y：

L×y＝β×D×y (5)

Y＝[y

对矩阵Y进行k-means聚类，并按式(7)确定聚类中心μ与该镜头中其他所有帧的距离d

d

其中m∈{1,2,…,M}，M为每个镜头片段的长度，M取值为有限的正整数，且M＜N。

将距离d

在本发明的提取深度和帧比特数特征步骤(1)中，所述的W的取值为176～7680，H的取值为144～4320，N的取值为1000～7000。

在本发明的镜头切换检测步骤(2)中，所述的K的取值为5～20。

本发明采用视频码流中的CU深度值和帧比特数压缩域特征进行镜头切换检测，得到镜头片段，并进行关键帧提取。本发明充分利用压缩域视频无需解压即可进行处理，减小了计算过程，缩短了处理时间，提高了处理速度。本发明与现有的方法经对比试验，实验结果表明，本发明方法的准确率提高了12.1％，召回率提高了5.3％，F值提高了8.4％，所提取的关键帧能很好地表达原始视频的主要内容。本发明方法具有计算量小、效率高、准确率高、处理速度快等优点，可用于对视频图像的处理。

附图说明

图1是本发明的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步详细说明，但本发明不限于这些实施例。

实施例1

以国际通用的VSUMM数据集中的视频序列A New Horizon,segment 02为例，本实施例的用视频压缩编码信息提取视频关键帧的方法步骤如下(参见图1)：

(1)提取深度和帧比特数特征

按式(1)确定编码单元的率失真代价J：

其中D

按式(2)确定编码帧的深度特征向量F

F

其中n表示视频的第n个编码帧，n∈{1,2,…,N}，N为视频总帧数，N取值为有限的正整数，本实施例的N取值为1797，round()为向上取整函数，f

按式(3)确定帧比特数R

(2)镜头切换检测

统计编码帧的帧比特数R

(3)提取关键帧

按式(4)确定拉普拉斯图矩阵L：

其中F

按式(5)确定L的前K个特征值对应的特征向量y，并按式(6)构造N×K阶矩阵Y：

L×y＝β×D×y (5)

Y＝[y

其中y

对矩阵Y进行k-means聚类，并按式(7)确定聚类中心μ与该镜头中其他所有帧的距离d

d

其中m∈{1,2,…,M}，M为每个镜头片段的长度，M取值为有限的正整数，且M＜N，M的具体取值与步骤(2)相同。

将距离d

实施例2

以视频序列Oceanfloor Legacy为例，本实施例的用视频压缩编码信息提取视频关键帧的方法步骤如下：

(1)提取深度和帧比特数特征

按式(1)确定编码单元的率失真代价J：

其中D

按式(2)确定编码帧的深度特征向量F

F

其中n表示视频的第n个编码帧，n∈{1,2,…,N}，N为视频总帧数，N取值为有限的正整数，本实施例的N取值为1000，round()为向上取整函数，f

按式(3)确定帧比特数R

(2)镜头切换检测

统计编码帧的帧比特数R

(3)提取关键帧

按式(4)确定拉普拉斯图矩阵L：

其中F

按式(5)确定L的前K个特征值对应的特征向量y，并按式(6)构造N×K阶矩阵Y：

L×y＝β×D×y (5)

Y＝[y

其中y

对矩阵Y进行k-means聚类，并按式(7)确定聚类中心μ与该镜头中其他所有帧的距离d

d

其中m∈{1,2,…,M}，M为每个镜头片段的长度，M取值为有限的正整数，且M＜N，M的具体取值与步骤(2)相同。

将距离d

实施例3

以视频序列Exotic Terrane为例，本实施例的用视频压缩编码信息提取视频关键帧的方法步骤如下：

(1)提取深度和帧比特数特征

按式(1)确定编码单元的率失真代价J：

其中D

按式(2)确定编码帧的深度特征向量F

F

其中n表示视频的第n个编码帧，n∈{1,2,…,N}，N为视频总帧数，N取值为有限的正整数，本实施例的N取值为7000，round()为向上取整函数，f

按式(3)确定帧比特数R

(2)镜头切换检测

统计编码帧的帧比特数R

(3)提取关键帧

按式(4)确定拉普拉斯图矩阵L：

其中F

按式(5)确定L的前K个特征值对应的特征向量y，并按式(6)构造N×K阶矩阵Y：

L×y＝β×D×y (5)

Y＝[y

其中y

对矩阵Y进行k-means聚类，并按式(7)确定聚类中心μ与该镜头中其他所有帧的距离d

d

其中m∈{1,2,…,M}，M为每个镜头片段的长度，M取值为有限的正整数，且M＜N，M的具体取值与步骤(2)相同。

将距离d

为了验证本发明的有益效果，发明人采用本发明实施例1的用视频压缩编码信息提取视频关键帧的方法与HEVC intra frame based compressed domain videosummarization(以下简称对比文件1)方法进行了对比实验，确定两种方法的准确率、召回率、F值作为评价视频摘要的质量好坏的综合指标，实验和计算结果如表1所示。

准确率按下式确定：

其中N

召回率按下式确定：

其中N

F值按下式确定：

表1实验结果

由表1可见，本发明方法与对比文件1方法相比，本发明方法的效果有明显提高，其中准确率提高了12.1％，召回率提高了5.3％，F值提高了8.4％。