用视频压缩编码信息提取视频关键帧的方法
文献发布时间:2023-06-19 10:52:42
技术领城
本发明属于数字视频检索技术领域,具体涉及到用视频压缩编码信息提取视频关键帧的方法。
背景技术
随着多媒体技术和网络技术的快速发展,视频数据迅速增长,出现了规模空前的数据,如何有效地管理视频以及快速获取视频中重要的信息,成为一个研究的热点。在这种背景下,提取关键帧成为解决这一难题的有效途径,通过提取关键帧,不仅能大大减少视频的数据量,而且能很好地将原始视频的重要信息表达出来,节省了检索时间,提高了视频检索的效率。
目前,对于关键帧的提取方法,国内外学者做了大量的研究工作,根据所处理的视频数据对象,可以将这些方法分为像素域的关键帧提取和压缩域的关键帧提取。像素域的关键帧提取方法是在视频完全解压缩后进行,计算量比较大,效率低,难以满足实时要求。压缩域视频处理技术是直接面向数据量较小的压缩视频数据,在不解压或者部分解压的情况下对视频进行处理,可以大大提高视频的处理速度,因此压缩域上的关键帧提取方法研究引起了广泛关注。
Ali Reza等人提出了一种在H.265/HEVC压缩域中的关键帧提取方法,采用从H.265/HEVC编码视频中提取帧内预测模式的归一化直方图进行相似帧检测,使用模糊c均值聚类对相似帧进行分类,并提取关键帧。朱树明等人提出了一种视频编码压缩域的视频摘要关键帧提取方法,在解码端统计视频编码帧内编码PU块的亮度预测模式数目,并构建成模式特征向量,再利用融合迭代自组织数据分析算法(ISODATA)的自适应聚类算法对模式特征向量进行聚类得到候选关键帧,并通过相似度对候选关键帧进行再次筛选,剔除冗余帧,得到最终的关键帧。
上述方法的共同点是采用帧内预测模式值作为特征,且所做的实验仅针对全帧内模式,对视频帧的处理速度慢,处理时间长,不具有实用性。
发明内容
本发明所要解决的技术问题在于克服上述视频帧处理方法的缺点,提供了一种无需解码、计算量小、处理速度快、提取效率高的用视频压缩编码信息提取视频关键帧的方法。
解决上述技术问题所采用的技术方案由下述步骤组成:
(1)提取深度和帧比特数特征
按式(1)确定编码单元的率失真代价J:
其中D
按式(2)确定编码帧的深度特征向量F
F
其中n表示视频的第n个编码帧,n∈{1,2,…,N},N为视频总帧数,N取值为有限的正整数,round()为向上取整函数,f
按式(3)确定帧比特数R
(2)镜头切换检测
统计编码帧的帧比特数R
(3)提取关键帧
按式(4)确定拉普拉斯图矩阵L:
其中F
按式(5)确定L的前K个特征值对应的特征向量y,并按式(6)构造N×K阶矩阵Y:
L×y=β×D×y (5)
Y=[y
对矩阵Y进行k-means聚类,并按式(7)确定聚类中心μ与该镜头中其他所有帧的距离d
d
其中m∈{1,2,…,M},M为每个镜头片段的长度,M取值为有限的正整数,且M<N。
将距离d
在本发明的提取深度和帧比特数特征步骤(1)中,所述的W的取值为176~7680,H的取值为144~4320,N的取值为1000~7000。
在本发明的镜头切换检测步骤(2)中,所述的K的取值为5~20。
本发明采用视频码流中的CU深度值和帧比特数压缩域特征进行镜头切换检测,得到镜头片段,并进行关键帧提取。本发明充分利用压缩域视频无需解压即可进行处理,减小了计算过程,缩短了处理时间,提高了处理速度。本发明与现有的方法经对比试验,实验结果表明,本发明方法的准确率提高了12.1%,召回率提高了5.3%,F值提高了8.4%,所提取的关键帧能很好地表达原始视频的主要内容。本发明方法具有计算量小、效率高、准确率高、处理速度快等优点,可用于对视频图像的处理。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合附图和实施例对本发明进一步详细说明,但本发明不限于这些实施例。
实施例1
以国际通用的VSUMM数据集中的视频序列A New Horizon,segment 02为例,本实施例的用视频压缩编码信息提取视频关键帧的方法步骤如下(参见图1):
(1)提取深度和帧比特数特征
按式(1)确定编码单元的率失真代价J:
其中D
按式(2)确定编码帧的深度特征向量F
F
其中n表示视频的第n个编码帧,n∈{1,2,…,N},N为视频总帧数,N取值为有限的正整数,本实施例的N取值为1797,round()为向上取整函数,f
按式(3)确定帧比特数R
(2)镜头切换检测
统计编码帧的帧比特数R
(3)提取关键帧
按式(4)确定拉普拉斯图矩阵L:
其中F
按式(5)确定L的前K个特征值对应的特征向量y,并按式(6)构造N×K阶矩阵Y:
L×y=β×D×y (5)
Y=[y
其中y
对矩阵Y进行k-means聚类,并按式(7)确定聚类中心μ与该镜头中其他所有帧的距离d
d
其中m∈{1,2,…,M},M为每个镜头片段的长度,M取值为有限的正整数,且M<N,M的具体取值与步骤(2)相同。
将距离d
实施例2
以视频序列Oceanfloor Legacy为例,本实施例的用视频压缩编码信息提取视频关键帧的方法步骤如下:
(1)提取深度和帧比特数特征
按式(1)确定编码单元的率失真代价J:
其中D
按式(2)确定编码帧的深度特征向量F
F
其中n表示视频的第n个编码帧,n∈{1,2,…,N},N为视频总帧数,N取值为有限的正整数,本实施例的N取值为1000,round()为向上取整函数,f
按式(3)确定帧比特数R
(2)镜头切换检测
统计编码帧的帧比特数R
(3)提取关键帧
按式(4)确定拉普拉斯图矩阵L:
其中F
按式(5)确定L的前K个特征值对应的特征向量y,并按式(6)构造N×K阶矩阵Y:
L×y=β×D×y (5)
Y=[y
其中y
对矩阵Y进行k-means聚类,并按式(7)确定聚类中心μ与该镜头中其他所有帧的距离d
d
其中m∈{1,2,…,M},M为每个镜头片段的长度,M取值为有限的正整数,且M<N,M的具体取值与步骤(2)相同。
将距离d
实施例3
以视频序列Exotic Terrane为例,本实施例的用视频压缩编码信息提取视频关键帧的方法步骤如下:
(1)提取深度和帧比特数特征
按式(1)确定编码单元的率失真代价J:
其中D
按式(2)确定编码帧的深度特征向量F
F
其中n表示视频的第n个编码帧,n∈{1,2,…,N},N为视频总帧数,N取值为有限的正整数,本实施例的N取值为7000,round()为向上取整函数,f
按式(3)确定帧比特数R
(2)镜头切换检测
统计编码帧的帧比特数R
(3)提取关键帧
按式(4)确定拉普拉斯图矩阵L:
其中F
按式(5)确定L的前K个特征值对应的特征向量y,并按式(6)构造N×K阶矩阵Y:
L×y=β×D×y (5)
Y=[y
其中y
对矩阵Y进行k-means聚类,并按式(7)确定聚类中心μ与该镜头中其他所有帧的距离d
d
其中m∈{1,2,…,M},M为每个镜头片段的长度,M取值为有限的正整数,且M<N,M的具体取值与步骤(2)相同。
将距离d
为了验证本发明的有益效果,发明人采用本发明实施例1的用视频压缩编码信息提取视频关键帧的方法与HEVC intra frame based compressed domain videosummarization(以下简称对比文件1)方法进行了对比实验,确定两种方法的准确率、召回率、F值作为评价视频摘要的质量好坏的综合指标,实验和计算结果如表1所示。
准确率按下式确定:
其中N
召回率按下式确定:
其中N
F值按下式确定:
表1实验结果
由表1可见,本发明方法与对比文件1方法相比,本发明方法的效果有明显提高,其中准确率提高了12.1%,召回率提高了5.3%,F值提高了8.4%。
- 用视频压缩编码信息提取视频关键帧的方法
- 视频监控系统及其视频压缩编码方法、联合告警追踪方法