视频关键帧提取方法、装置、电子设备及存储介质

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种视频关键帧提取方法、装置、电子设备及存储介质。

背景技术

视频的关键帧提取在信息抽取、语义转换、检索、分类等方面具有重要的意义。举例说明，在对视频文件进行内容审核时，可以利用关键帧提取技术来提高审核效率。原本的内容审核是对整个视频，即全部视频帧进行审核的，现在只需要对提取出的关键帧进行审核，能够在提高审核效率的同时，降低了无效视频帧对审核结果的干扰。

关键帧提取技术的应用场景除了视频的内容审核之外，还可以包括视频检索，视频结构化，视频摘要等。传统的关键帧提取方法是基于全局特征和基于局部特征的关键帧提取方法，然而，这种选取关键帧的方法存在误差较大，计算资源消耗大，提取的关键帧存在冗余以及关键帧的图片质量不高的问题。

发明内容

本发明实施例提供了一种视频关键帧提取方法、装置、电子设备及存储介质，以实现过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。

第一方面，本发明实施例提供了一种视频关键帧提取方法，该方法包括：

获取各初始视频帧；

确定所述各初始视频帧的目标参考参数；所述目标参考参数包括空间参考参数和/或时间参考参数；

基于所述目标参考参数对所述各初始视频帧进行过滤，确定至少一个待处理视频帧；

对所述待处理视频帧进行聚类处理，确定至少一个目标关键帧。

第二方面，本发明实施例还提供了一种视频关键帧提取装置，该装置包括：

初始视频帧获取模块，用于获取各初始视频帧；

目标参考参数确定模块，用于确定所述各初始视频帧的目标参考参数；所述目标参考参数包括空间参考参数和/或时间参考参数；

待处理视频帧确定模块，用于基于所述目标参考参数对所述各初始视频帧进行过滤，确定至少一个待处理视频帧；

目标关键帧确定模块，用于对所述待处理视频帧进行聚类处理，确定至少一个目标关键帧。

第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例任一所述的视频关键帧提取方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例任一所述的视频关键帧提取方法。

本发明实施例的技术方案，通过获取各初始视频帧，确定各初始视频帧的目标参考参数，进而，基于目标参考参数述各初始视频帧进行过滤，确定至少一个待处理视频帧，以从初始视频帧中滤除低质量视频帧和转换视频帧，对待处理视频帧进行聚类处理，确定至少一个目标关键帧，解决了提取关键帧时存在的误差较大，计算资源消耗大以及关键帧的图片质量不高的问题，实现了过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。

附图说明

为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。

图1为本发明实施例一所提供的一种视频关键帧提取方法的流程示意图；

图2为本发明实施例二所提供的一种视频关键帧提取方法的流程示意图；

图3为本发明实施例三所提供的一种视频关键帧提取方法的流程示意图；

图4为本发明实施例四所提供的一种视频关键帧提取方法的流程示意图；

图5为本发明实施例五所提供的一种视频关键帧提取方法的流程示意图；

图6为本发明实施例六所提供的一种视频关键帧提取装置的结构示意图；

图7为本发明实施例七所提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一所提供的一种视频关键帧提取方法的流程示意图，本实施例可适用于从视频的大量视频帧中提取高质量关键帧的情况，该方法可以由视频关键帧提取装置来执行，该装置可以通过软件和/或硬件的形式实现，该硬件可以是电子设备，可选的，电子设备可以是移动终端等。

如图1所述，本实施例的方法具体包括如下步骤：

S110、获取各初始视频帧。

其中，初始视频帧可以是待提取关键帧的视频中的全部视频帧。

具体的，在确定为某一视频提取关键帧时，可以将该对视频进行分解，得到全部的视频帧。例如，可以使用OpenCV(跨平台计算机视觉和机器学习软件库)分解视频，得到每一帧的视频帧。

S120、确定各初始视频帧的目标参考参数。

其中，目标参考参数包括空间参考参数和/或时间参考参数。空间参考参数可以是针对视频帧内容提取的参考参数。时间参考参数可以是通过前后视频帧的对比提取的参考参数。

具体的，可以根据视频关键帧提取的需求，从时间维度和/或空间维度确定各初始视频帧的目的参考参数。例如，可以从空间维度提取各初始视频帧的明暗度参数，对比度参数，均衡度参数等目标参考参数，还可以从时间维度提取各初始视频帧的镜头边缘变化率等目标参考参数。

S130、基于目标参考参数对各初始视频帧进行过滤，确定至少一个待处理视频帧。

其中，待处理视频帧可以是经过过滤后剩余的初始视频帧，用于后续聚类处理。

具体的，可以根据各初始视频帧的空间参考参数确定各初始视频帧是否为低质量视频帧，例如：是否过暗，是否模糊，是否不均匀等，还可以根据各初始视频帧的时间参考参数确定各初始视频帧是否为转换视频帧等。进而，可以根据目标参考参数对低质量视频帧和转换视频帧进行过滤，以确定至少一个待处理视频帧。

可选的，可以根据目标参考参数阈值确定待处理视频帧：根据目标参考参数阈值以及目标参考参数，对各初始视频帧进行过滤，确定至少一个待处理视频帧。

其中，目标参考参数阈值可以是根据对视频关键帧相关的需求设置的阈值，用于确定各初始视频帧是否适合用于聚类处理提取关键帧。

具体的，若初始视频帧的目标参考参数符合目标参考参数阈值，则可以将该初始视频帧作为待处理视频帧。若初始视频帧的目标参考参数不符合目标参考参数阈值，则可以将该初始视频帧过滤掉。

S140、对待处理视频帧进行聚类处理，确定至少一个目标关键帧。

其中，目标关键帧可以是用于代表视频的待处理视频帧。

具体的，可以是对待处理视频帧的特征进行提取，例如：待处理视频帧的颜色直方图特征等全局特征，利用VGG(Visual Geometry Group，计算机视觉组)提取的特征等。进而，根据提取的特征通过聚类算法进行聚类处理，得到至少一个目标关键帧。

示例性的，可以通过K-means(K-means clustering algorithm，均值聚类算法)对各待处理视频帧的特征进行聚类，聚类可以产生K个类，将每一个类中离聚类中心最近的帧作为该类对应的目标关键帧。

本发明实施例的技术方案，通过获取各初始视频帧，确定各初始视频帧的目标参考参数，进而，基于目标参考参数述各初始视频帧进行过滤，确定至少一个待处理视频帧，以从初始视频帧中滤除低质量视频帧和转换视频帧，对待处理视频帧进行聚类处理，确定至少一个目标关键帧，解决了提取关键帧时存在的误差较大，计算资源消耗大以及关键帧的图片质量不高的问题，实现了过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。

实施例二

图2为本发明实施例二所提供的一种视频关键帧提取方法的流程示意图，本实施例在上述各实施例的基础上，针对空间参考参数的确定方式可参见本实施例的技术方案。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

如图2所示，本实施例的方法具体包括如下步骤：

S210、获取各初始视频帧。

S220、确定各初始视频帧的空间参考参数。

具体的，可以根据各初始视频帧计算得到空间参考参数，以根据各初始视频帧的空间参考参数确定各初始视频帧是否低质量，例如：根据各初始视频帧的空间参考参数中的明暗度参数确定各初始视频帧是否过暗，根据各初始视频帧的空间参考参数中的对比度参数确定各初始视频帧是否模糊，根据各初始视频帧的空间参考参数中的均衡度参数确定各初始视频帧是否不均匀等。

可选的，可以通过下述步骤确定初始视频帧的明暗度参数：

步骤一、确定与当前初始视频帧中与各像素点对应的各通道分量。

其中，初始视频帧是由RGB(红色，绿色，蓝色)三通道组成，通道分量可以是初始视频帧中像素点的红色通道分量，绿色通道分量和蓝色通道分量。

具体的，可以将当前初始视频帧进行分通道处理，例如：使用OpenCV等分解当前初始视频帧。针对分解得到的各通道帧，可以确定各像素点对应的各通道分量。

步骤二、根据当前初始视频帧的宽度，高度以及各通道分量，确定当前初始视频帧的明暗度参数。

其中，明暗度参数可以是用于衡量视频帧亮暗的空间参考参数。

具体的，可以针对各通道赋予对应的权重，根据各通道分量和各权重可以确定当前初始视频帧的明暗图。进而，可以对明暗图中的像素点进行归一化操作并取平均值，得到当前初始视频帧的明暗度参数。

可选的，可以按照如下公式确定当前初始视频帧的明暗度参数：

其中，y

具体的，对当前初始视频帧的各像素点的各通道分量进行加权求和，并将全部像素点的和值进行累加处理，得到当前初始视频帧的明暗度参数和值。进而，将明暗度参数和值除以255得到归一化后的值，再除以m×n得到求平均后得到的平均值，以将得到的值作为当前初始视频帧的明暗度参数。

需要说明的是，通过除以255进行归一化处理和通过除以m×n进行求平均处理，均是为了便于比较不同初始视频帧的明暗度参数。在实际应用中，归一化处理和求平均处理可以全部使用，可以择一使用，也可以都不使用，具体方式可以根据实际应用需求调整。

还需要说明的是，明暗度参数的范围为[0,1]，参数值越大，当前视频帧越亮，参数值越小，当前视频帧越暗。各通道所对应的权重可以根据实际需求进行设定，例如：ω

可选的，可以通过下述步骤确定初始视频帧的对比度参数：

步骤一、将当前初始视频帧转化为当前灰度视频帧，并确定当前灰度视频帧中与各像素点对应的灰度值。

其中，灰度视频帧可以是初始视频帧用灰度表示后得到的灰度图。灰度值可以是灰度视频帧中各像素点对应的值。

具体的，可以将当前初始视频帧进行灰度处理得到当前灰度视频帧，进而可以得到当前灰度视频帧中各像素点的灰度值。

步骤二、根据各灰度值，确定与各像素点对应的梯度值。

其中，梯度值包括横向梯度和纵向梯度。

具体的，根据梯度值的计算方式可以计算各像素点在水平方向的横向梯度，和竖直方向的纵向梯度。

步骤三、根据当前初始视频帧的宽度，高度，灰度值以及梯度值确定对比度参数。

其中，对比度参数可以是用于衡量视频帧模糊与否的空间参考参数。

具体的，可以根据各像素点的梯度值和灰度值确定当前初始视频帧的对比度图。进而，可以对对比度图中的像素点取平均值，得到当前初始视频帧的对比度参数。

可选的，可以按照如下公式确定当前初始视频帧的对比度参数：

或者，

其中，y

具体的，可以将当前初始视频帧的各像素点的灰度值分别乘以该像素点的横向梯度和纵向梯度，得到横向梯度灰度值Δx

需要说明的是，通过除以m×n进行求平均处理，是为了便于比较不同初始视频帧的对比度参数。在实际应用中，求平均处理的使用与否可以根据实际应用需求调整。

还需要说明的是，对比度参数的参数值越大，当前视频帧越清晰，参数值越小，当前视频帧越模糊。

可选的，可以通过下述步骤确定初始视频帧的均衡度参数：

步骤一、对当前初始视频帧进行直方图均衡化处理，确定与各灰度级对应的灰度均衡值。

其中，灰度级可以使直方图均衡化处理后确定的不同级别。灰度均衡值可以是与各灰度级对应的频数值。

具体的，对当前初始视频帧进行直方图均衡化处理，可以增强当前初始视频帧的对比度，以使当前初始视频帧近似均匀。进而，可以确定各灰度级对应的频数为灰度均衡值。

步骤二、根据灰度均衡值以及预设均衡比例，确定均衡度参数。

其中，预设均衡比例可以是预先设置的百分比，用于对灰度均衡值进行求和。均衡度参数可以是用于衡量视频帧是否均匀的空间参考参数。

具体的，将各灰度级的灰度均衡值从大至小排列，求排在前预设均衡比例的灰度均衡值的和，作为均衡度参数。

可选的，按照如下公式确定当前初始视频帧的均衡度参数：

y

其中，y

具体的，统计前预设均衡比例的灰度均衡值，作为均衡度参数。均衡度参数越小，表示当前初始视频帧越均匀，均衡度参数越大，表示当前初始视频帧越不均匀。

需要说明的是，预设均衡比例可以是根据需求设置的值，例如：5％等。预设均衡比例内的灰度均衡值的和值越大，表明当前初始视频帧的灰度级越集中，也就表明当前初始视频帧的灰度值越不均匀。

S230、基于空间参考参数对各初始视频帧进行过滤，确定至少一个待处理视频帧。

S240、对待处理视频帧进行聚类处理，确定至少一个目标关键帧。

本发明实施例的技术方案，通过获取各初始视频帧，确定各初始视频帧的空间参考参数，进而，基于空间参考参数述各初始视频帧进行过滤，确定至少一个待处理视频帧，以从初始视频帧中滤除低质量视频帧，提高视频帧的质量，对待处理视频帧进行聚类处理，确定至少一个目标关键帧，解决了提取关键帧时存在的误差较大，计算资源消耗大以及关键帧的图片质量不高的问题，实现了过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。

实施例三

图3为本发明实施例三所提供的一种视频关键帧提取方法的流程示意图，本实施例在上述各实施例的基础上，针对时间参考参数的确定方式可参见本实施例的技术方案。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

如图3所示，本实施例的方法具体包括如下步骤：

S310、获取各初始视频帧。

S320、确定各初始视频帧的时间参考参数。

具体的，可以根据各初始视频帧计算得到时间参考参数，以根据各初始视频帧的空间参考参数确定各初始视频帧是否为转换视频帧。

需要说明的是，每个视频可以由不同的镜头组合合成，并且，在镜头转换期间可能存在一些特效，这部分视频帧属于转换视频帧，可以通过前后视频帧的对比来去除。

可选的，可以通过如下两种方式确定初始视频帧的时间参考参数：

方式一、根据当前初始视频帧和与当前初始视频帧相邻的前一初始视频帧，确定第一范数；根据当前初始视频帧和与当前初始视频帧相邻的后一初始视频帧，确定第二范数；根据当前初始视频帧的宽度，高度，第一范数和第二范数，确定当前初始视频帧的镜头边缘变化率。

具体的，通过帧间差值可以确定镜头转换期间的初始视频帧。可选的，由于镜头转换期间的帧间差值较大，因此，可以设置预设变化率比例，以确定待过滤初始视频帧的范围，为后续过滤缩小范围。

可选的，按照如下公式确定当前初始视频帧的镜头边缘变化率：

其中，y

具体的，可以将当前初始视频帧和与当前初始视频帧相邻的前一初始视频帧求差值，并将当前初始视频帧和与当前初始视频帧相邻的后一初始视频帧求差值，以得到两个帧间差值。进而，对两个帧间差值求范数处理，以确定帧间差异度。通过除以2可以确定当前初始视频帧与前后初始视频帧的平均帧间差异度，通过除以m×n可以确定当前初始视频帧的各像素点的平均帧间差异度，并将该平均帧间差异度作为当前初始视频帧的镜头边缘变化率。

方式二、对当前初始视频帧和与当前初始视频帧相邻的前一初始视频帧，确定当前边缘值和邻居边缘值；基于邻居边缘值以及当前边缘值所对应的当前膨胀边缘值，确定淡入边缘变化率；基于邻居边缘值，当前边缘值以及邻居边缘值所对应的邻居膨胀边缘值，确定淡出边缘变化率；基于淡入边缘变化率和淡出边缘变化率，确定当前初始视频帧的镜头边缘变化率。

具体的，镜头转换期间可能会出现如淡入淡出，溶解等特效。此种情况下，可以通过对当前初始视频帧和与当前初始视频帧相邻的前一初始视频帧进行边缘提取，来判断是否存在淡入淡出等特效。

示例性的，针对淡入特效来说，镜头转换期间通常是视频帧由模糊到清晰，此时可以通过对比当前初始视频帧的边缘图像做形态学上的膨胀处理，即模糊化处理。根据模糊化处理后当前膨胀边缘值与前一初始视频帧的邻居边缘值进行“与”操作后求和值，在同前一初始视频帧的邻居边缘值的和值进行点除。最后，同1求差可以得到淡入边缘变化率。同理，可知淡出边缘变化率的计算原理。

可选的，按照如下公式确定当前初始视频帧的淡入边缘变化率：

其中，y

按照如下公式确定当前初始视频帧的淡出边缘变化率：

其中，y

按照如下公式确定当前初始视频帧的镜头边缘变化率：

y

其中，y

具体的，以淡入特效为例，当前初始视频帧和与当前初始视频帧相邻的前一视频帧的画面内容基本一致，只是淡入特效会产生边缘模糊。所以，当前初始视频帧的膨胀后的边缘图像与前一初始视频帧的边缘图像重合率较大。用1.0减去后的值y

需要说明的是，用1.0减去重合率只是为了计算和比较便捷，若不进行减法计算也是符合镜头边缘变化率计算原理的。使用max(y

S330、基于时间参考参数对各初始视频帧进行过滤，确定至少一个待处理视频帧。

S340、对待处理视频帧进行聚类处理，确定至少一个目标关键帧。

本发明实施例的技术方案，通过获取各初始视频帧，确定各初始视频帧的时间参考参数，进而，基于时间参考参数述各初始视频帧进行过滤，确定至少一个待处理视频帧，以从初始视频帧中滤除镜头转换时的视频帧，提高视频帧的质量，对待处理视频帧进行聚类处理，确定至少一个目标关键帧，解决了提取关键帧时存在的误差较大，计算资源消耗大以及关键帧的图片质量不高的问题，实现了过滤镜头转换时的视频帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。

实施例四

图4为本发明实施例四所提供的一种视频关键帧提取方法的流程示意图，本实施例在上述各实施例的基础上，针对对待处理视频帧进行聚类处理的方式可参见本实施例的技术方案。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

如图4所示，本实施例的方法具体包括如下步骤：

S410、获取各初始视频帧。

S420、确定各初始视频帧的目标参考参数。

S430、基于目标参考参数对各初始视频帧进行过滤，确定至少一个待处理视频帧。

S440、根据各待处理视频帧的序号以及预设步长，确定目标镜头数量。

其中，序号可以是为每个初始视频帧按顺序分配的序号。预设步长可以是预先设置的用于判断镜头数量的序号间隔。目标镜头数量可以是当前视频中包含的镜头数量。

具体的，由于基于目标参考参数进行了低质量视频帧和转换视频帧的过滤，相邻待处理视频帧的序号可能是不连续的。若相邻待处理视频帧的序号间隔过大，则可以认为这两个待处理视频帧分属于两个镜头。也就是，可以通过相邻待处理视频帧的序号的差值与预设步长的比较，确定目标镜头数量。

可选的，可以通过下述方式确定镜头数量：若相邻两个待处理视频帧的序号差值大于或等于预设步长，则目标镜头数量加一；若相邻两个待处理视频帧的序号差值小于预设步长，则目标镜头数量不变。

示例性的，初始视频帧的序号为1-200，通过过滤得到的待处理视频帧的序号为1-25，30-36，38-45，55-70，72-75，88-97，105-120，130-150，155-169，175-199。若预设步长为3，则可以将1-25，30-45，55-75，88-97，105-120，130-150，155-169，175-199分别作为不同目标镜头中的视频帧，即目标镜头数量为8个。

S450、基于目标镜头数量以及各待处理视频帧进行聚类处理，并将各聚类中心所对应的待处理视频帧作为目标关键帧。

具体的，将目标镜头数量作为聚类中心的数量，基于该数量对各待处理视频帧进行聚类处理，在确定各聚类中心后，将每个类中最为接近聚类中心的视频帧确定为与聚类中心对应的待处理视频帧，进而，将这些待处理视频帧作为目标关键帧。

需要说明的是，通常1秒的视频包括24帧初始视频帧。一个2分钟的视频通过过滤和聚类处理可以得到7～8秒的目标关键帧。

本发明实施例的技术方案，通过获取各初始视频帧，确定各初始视频帧的目标参考参数，进而，基于目标参考参数述各初始视频帧进行过滤，确定至少一个待处理视频帧，以从初始视频帧中滤除低质量视频帧和转换视频帧，根据各待处理视频帧的序号以及预设步长，确定目标镜头数量，以确定聚类中心的数量，并且，基于目标镜头数量以及各待处理视频帧进行聚类处理，并将各聚类中心所对应的待处理视频帧作为目标关键帧解决了提取关键帧时存在的误差较大，计算资源消耗大以及关键帧的图片质量不高的问题，实现了过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。

实施例五

作为上述各实施例的可选实施方案，图5为本发明实施例五所提供的一种视频关键帧提取方法的流程示意图。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。

如图5所示，本实施例的方法具体包括如下步骤：

1、输入视频帧(初始视频帧)。

具体的，获取待选取关键帧的视频数据，使用开源工具(如：OpenCV)得到每一帧视频帧(通常1秒视频24帧左右)。

2、过滤视频帧中的低质量视频帧。

其中，低质量视频帧可以是模糊的视频帧，清晰度较差的视频帧，灰度不均匀的视频帧等。

具体的，可以过滤较暗的视频帧，即根据视频帧的明暗程度进行过滤。在确定视频帧的明暗值(明暗度参数)后，通过明暗度阈值T1(如：0.08等)，过滤掉明暗值小于等于T1的视频帧，保留明暗值大于T1的视频帧以进行后续判断。还可以过滤模糊的视频帧，即根据视频帧的模糊程度进行过滤。对于模糊的视频帧判断可以减弱颜色信息，使用灰度图片判别即可。从视频帧的图片内容来看，如果图片内容的锐度越高，说明图片内容细节对比度越高，视频帧越清晰。反之，模糊的视频帧的图片内容细节对比度较低，即锐度较低。在确定视频帧的模糊值(对比度参数)后，通过模糊度阈值T2(如：0.1等)，过滤掉模糊值小于等于T2的视频帧，保留模糊值大于T2的视频帧以进行后续判断。也可以过滤灰度级不均匀的视频帧。在确定视频帧的均衡值(均衡度参数)后，通过均衡度阈值T3(如：0.8等)，过滤掉均衡值大于等于T3的视频帧，保留均衡值小于T3的视频帧以进行后续判断。

3、过滤视频帧中的转换视频帧。

其中，转换视频帧可以是镜头转换期间存在特效的视频帧。

具体的，可以根据前后视频帧的对比来过滤视频转换帧。若是通过帧间差分值确定镜头边缘变化率，通过超参数阈值T4可以过滤掉部分转换视频帧。因为一般镜头的转换视频帧的帧间差分值较大。若是通过淡入边缘变化率和淡出边缘变化率确定镜头边缘变化率，通过超参数阈值T5可以过滤掉镜头转换特效相关的转换视频帧。

4、过滤视频帧中的冗余视频帧，确定目标关键帧。

其中，冗余视频帧可以是与目标关键帧相似度较高的视频帧。

具体的，从空间维度和时间维度过滤低质量视频帧和转换视频帧后，可以获得高质量视频帧。进而，可以通过特征聚类从高质量视频帧中过滤冗余视频帧。可以计算相邻两个视频帧的序号差值，即后一个视频帧的序号Index减去前一个视频帧的序号Index。若差值大于预设的步长Step，则可以将前后两个视频帧判断为前后两个镜头。原因在于：通过步骤2和步骤3可以过滤掉低质量视频帧和转换视频帧，此时余下的视频帧是存在间隔的，间隔过大的两个视频帧可以视为不同镜头的视频帧。在确定目标镜头数量后，将目标镜头数量作为聚类中心的数量，使用Kmeans聚类方法根据视频帧的图像内容的底层特征进行聚类，例如：颜色直方图，LBP(Local Binary Pattern，局部二值模式)特征，HOG(Histogramof Oriented Gradient，方向梯度直方图)特征等。最终，在确定各类心后，可以确定每个镜头中最为接近类心的视频帧，作为目标关键帧。

本发明实施例的技术方案，通过输入视频帧，过滤视频帧中的低质量视频帧和转换视频帧，进而，过滤视频帧中的冗余视频帧，确定目标关键帧，解决了提取关键帧时存在的误差较大，计算资源消耗大以及关键帧的图片质量不高的问题，实现了过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。

实施例六

图6为本发明实施例六所提供的一种视频关键帧提取装置的结构示意图，该装置包括：初始视频帧获取模块610，目标参考参数确定模块620，待处理视频帧确定模块630和目标关键帧确定模块640。

其中，初始视频帧获取模块610，用于获取各初始视频帧；目标参考参数确定模块620，用于确定所述各初始视频帧的目标参考参数；所述目标参考参数包括空间参考参数和/或时间参考参数；待处理视频帧确定模块630，用于基于所述目标参考参数对所述各初始视频帧进行过滤，确定至少一个待处理视频帧；目标关键帧确定模块640，用于对所述待处理视频帧进行聚类处理，确定至少一个目标关键帧。

可选的，空间参考参数包括明暗度参数，目标参考参数确定模块620，还用于确定与当前初始视频帧中与各像素点对应的各通道分量；根据当前初始视频帧的宽度，高度以及所述各通道分量，确定所述当前初始视频帧的明暗度参数。

可选的，目标参考参数确定模块620，还用于按照如下公式确定所述当前初始视频帧的明暗度参数：

其中，y

可选的，空间参考参数包括对比度参数，目标参考参数确定模块620，还用于将当前初始视频帧转化为当前灰度视频帧，并确定所述当前灰度视频帧中与各像素点对应的灰度值；根据所述各灰度值，确定与所述各像素点对应的梯度值；所述梯度值包括横向梯度和纵向梯度；根据当前初始视频帧的宽度，高度，所述灰度值以及所述梯度值确定对比度参数。

可选的，目标参考参数确定模块620，还用于按照如下公式确定所述当前初始视频帧的对比度参数：

或者，

其中，y

可选的，空间参考参数包括均衡度参数，目标参考参数确定模块620，还用于对当前初始视频帧进行直方图均衡化处理，确定与各灰度级对应的灰度均衡值；根据所述灰度均衡值以及预设均衡比例，确定均衡度参数。

可选的，目标参考参数确定模块620，还用于按照如下公式确定所述当前初始视频帧的均衡度参数：

y

其中，y

可选的，时间参考参数包括镜头边缘变化率，目标参考参数确定模块620，还用于根据当前初始视频帧和与所述当前初始视频帧相邻的前一初始视频帧，确定第一范数；根据所述当前初始视频帧和与所述当前初始视频帧相邻的后一初始视频帧，确定第二范数；根据所述当前初始视频帧的宽度，高度，所述第一范数和所述第二范数，确定所述当前初始视频帧的镜头边缘变化率。

可选的，目标参考参数确定模块620，还用于按照如下公式确定所述当前初始视频帧的镜头边缘变化率：

其中，y

可选的，时间参考参数包括镜头边缘变化率，目标参考参数确定模块620，还用于对当前初始视频帧和与所述当前初始视频帧相邻的前一初始视频帧，确定当前边缘值和邻居边缘值；基于所述邻居边缘值以及所述当前边缘值所对应的当前膨胀边缘值，确定淡入边缘变化率；基于所述邻居边缘值，所述当前边缘值以及所述邻居边缘值所对应的邻居膨胀边缘值，确定淡出边缘变化率；基于所述淡入边缘变化率和所述淡出边缘变化率，确定所述当前初始视频帧的镜头边缘变化率。

可选的，目标参考参数确定模块620，还用于按照如下公式确定所述当前初始视频帧的淡入边缘变化率：

其中，y

按照如下公式确定所述当前初始视频帧的淡出边缘变化率：

其中，y

按照如下公式确定所述当前初始视频帧的镜头边缘变化率：

y

其中，y

可选的，目标关键帧确定模块640，还用于根据各待处理视频帧的序号以及预设步长，确定目标镜头数量；基于所述目标镜头数量以及所述各待处理视频帧进行聚类处理，并将各聚类中心所对应的待处理视频帧作为目标关键帧。

可选的，目标关键帧确定模块640，还用于若相邻两个待处理视频帧的序号差值大于或等于预设步长，则目标镜头数量加一；若相邻两个待处理视频帧的序号差值小于预设步长，则目标镜头数量不变。

本发明实施例的技术方案，通过获取各初始视频帧，确定各初始视频帧的目标参考参数，进而，基于目标参考参数述各初始视频帧进行过滤，确定至少一个待处理视频帧，以从初始视频帧中滤除低质量视频帧和转换视频帧，对待处理视频帧进行聚类处理，确定至少一个目标关键帧，解决了提取关键帧时存在的误差较大，计算资源消耗大以及关键帧的图片质量不高的问题，实现了过滤低质量帧，去除冗余帧，并提高关键帧提取的速率和质量的技术效果。

本发明实施例所提供的视频关键帧提取装置可执行本发明任意实施例所提供的视频关键帧提取方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。

实施例七

图7为本发明实施例七所提供的一种电子设备的结构示意图。图7示出了适于用来实现本发明实施例实施方式的示例性电子设备70的框图。图7显示的电子设备70仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，电子设备70以通用计算设备的形式表现。电子设备70的组件可以包括但不限于：一个或者多个处理器或者处理单元701，系统存储器702，连接不同系统组件(包括系统存储器702和处理单元701)的总线703。

总线703表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备70典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备70访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器702可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)704和/或高速缓存存储器705。电子设备70可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统706可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线703相连。系统存储器702可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块707的程序/实用工具708，可以存储在例如系统存储器702中，这样的程序模块707包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块707通常执行本发明所描述的实施例中的功能和/或方法。

电子设备70也可以与一个或多个外部设备709(例如键盘、指向设备、显示器710等)通信，还可与一个或者多个使得用户能与该电子设备70交互的设备通信，和/或与使得该电子设备70能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口711进行。并且，电子设备70还可以通过网络适配器712与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器712通过总线703与电子设备70的其它模块通信。应当明白，尽管图7中未示出，可以结合电子设备70使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元701通过运行存储在系统存储器702中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的视频关键帧提取方法。

实施例八

本发明实施例八还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种视频关键帧提取方法，该方法包括：

获取各初始视频帧；

确定所述各初始视频帧的目标参考参数；所述目标参考参数包括空间参考参数和/或时间参考参数；

基于所述目标参考参数对所述各初始视频帧进行过滤，确定至少一个待处理视频帧；

对所述待处理视频帧进行聚类处理，确定至少一个目标关键帧。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。