一种基于存储空间优化的视频静态帧过滤方法及装置

技术领域

本发明涉及存储空间优化的视频静态帧过滤技术领域，具体为一种基于存储空间优化的视频静态帧过滤方法及装置。

背景技术

随着科技的进步，监控视频产生的数据量不断增加。尤其是随着高清晰度、高帧率、多角度摄像头的普及，监控视频所产生的数据呈指数增长，但是，监控视频产生大量的数据，在大多数情况下，都是没有信息的无用数据，会占用大量的存储空间，增加存储成本并降低存储效率，同时监控视频数据中无用数据的存在，会降低数据的实用价值。

现有视频静态帧过滤方法，例如公开号：CN113536913A一种三维目标检测中针对静态目标的优化方法，首先过滤缓存中时间太久和距离太远的静态目标，然后融合当前帧的三维目标检测的目标和缓存中的静态目标，再遍历缓存中的静态目标，作为当前帧三维目标检测的部分检测结果R1，遍历当前帧的检测目标，若检测目标类别为静态目标且置信度超过预设阈值S1，则将当前帧的检测目标的三维信息，输入到缓存中，并作为当前帧三维目标检测的部分检测结果R2，若检测类别是动态目标或者检测置信度小于S1，则直接作为当前帧三维目标检测的部分检测结果R3，最后将R1、R2、R3合并为R作为当前帧的三维目标检测结果。

但是缺乏针对静态帧中非关键帧和相似程度较低的关键帧的具体分析和处理，导致在存储过程中会占用大量的存储空间造成效率不高的情况，缺乏分析和处理静态帧无用信息会直接影响结果的质量，从而在实际应用中发挥的作用会受到很大的限制，同时监控视频数据中的无用数据也会对数据共享和传输产生困难，由于数据量巨大，需要消耗较长时间进行传输。

发明内容

针对现有技术的不足，本发明提供了一种基于存储空间优化的视频静态帧过滤方法及装置，解决了上述背景技术中涉及的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种基于存储空间优化的视频静态帧过滤方法，包括以下步骤：S1.将指定监控视频进行解码，获取监控视频中的图像帧序列，采集图像帧序列中图像帧的图像像素、图像帧的图像光流、图像帧的图像运动向量；S2.基于图像帧序列中图像帧的图像像素对图像帧图像像素差异指数进行分析，估算图像帧图像像素差异指数，基于图像帧序列中图像帧的图像光流对图像帧图像光流变化指数进行分析，估算图像帧图像光流变化指数，基于图像帧序列中图像帧的图像运动向量对图像帧图像运动向量动态指数进行分析，估算图像帧图像运动向量动态指数;S3.基于图像帧像素差异指数、图像帧图像光流变化指数、图像帧图像运动向量动态指数，评估图像帧移动指数；S4.基于图像帧移动指数，获取图像帧序列中的静态帧序列，采集静态帧序列中静态帧的图像像素；S5.基于静态帧序列中静态帧的图像像素对静态帧差异指数进行分析，评估静态帧差异指数，基于静态帧差异指数，获取静态帧序列的关键帧序列，筛除静态帧序列中非关键帧，采集关键帧序列中关键帧的亮度和对比度；S6.基于关键帧序列中关键帧的亮度和对比度对关键帧结构相似性指数进行分析，估算关键帧结构相似性指数，设定关键帧结构相似性指阈值，筛除相似性指数低于阈值的关键帧。

进一步地，所述图像帧的图像像素包括：图像帧灰度值、图像帧RGB值；所述图像帧的图像光流包括：图像帧在x轴上光流速度、图像帧在y轴上光流速度、图像帧在x轴上光流方向、图像帧在y轴上光流方向；所述图像帧的图像运动向量包括：图像帧在x轴上运动向量方向、图像帧在y轴上运动向量方向、图像帧在x轴上运动向量速度、图像帧在y轴上运动向量速度。

进一步地，所述基于图像帧序列中图像帧的图像像素对图像帧图像像素差异指数进行分析，估算图像帧图像像素差异指数的具体过程如下：将监控视频中的图像帧序列进行排列，依据图像帧序列中图像帧的图像像素，估算图像帧图像像素差异指数的计算公式如下：

其中

进一步地，所述基于图像帧序列中图像帧的图像光流对图像帧图像光流变化指数进行分析，估算图像帧图像光流变化指数的具体过程如下：将监控视频中的图像帧序列进行排列，依据图像帧序列中图像帧的图像光流，估算图像帧图像光流变化指数的计算公式如下：

其中

进一步地，所述基于图像帧序列中图像帧的图像运动向量对图像帧图像运动向量动态指数进行分析，估算图像帧图像运动向量动态指数的具体过程如下：将监控视频中的图像帧序列进行排列，依据图像帧序列中图像帧的图像运动向量，估算图像帧运动向量动态指数的计算公式如下：

；

其中

进一步地，所述基于图像帧像素差异指数、图像帧图像光流变化指数、图像帧图像运动向量动态指数，评估图像帧移动指数的计算公式如下：

；

其中

进一步地，所述基于图像帧移动指数，获取图像帧序列中的静态帧序列，采集静态帧序列中静态帧的图像像素，具体过程如下：基于图像帧移动指数，与图像帧移动指数阈值进行对比，若图像帧移动指数小于图像帧移动指数阈值，将该图像帧标记为静态帧，并存储在静态帧序列中；所述静态帧的图像像素包括：静态帧在x轴上像素移动方向、静态帧在y轴上像素移动方向、静态帧在x轴上像素移动速度、静态帧在y轴上像素移动速度。

进一步地，所述基于静态帧序列中静态帧的图像像素对静态帧差异指数进行分析，评估静态帧差异指数，基于静态帧差异指数，获取静态帧序列的关键帧序列，筛除静态帧序列中非关键帧，采集关键帧序列中关键帧的亮度和对比度的具体过程如下：将图像帧序列中的静态帧序列进行排列，依据静态帧序列中图像像素，估算静态帧差异指数的计算公式如下：

其中

进一步地，所述基于关键帧序列中关键帧的亮度和对比度对关键帧结构相似性指数进行分析，估算关键帧结构相似性指数，设定关键帧结构相似性指阈值，筛除相似性指数低于阈值的关键帧的具体过程如下：将静态帧序列中的关键帧序列进行排列，依据关键帧序列关键帧的亮度和对比度，估算关键帧结构相似性指数的计算公式如下：

；

其中

一种用于基于存储空间优化的视频静态帧过滤方法的装置，包括图像帧特征获取模块、图像帧特征分析模块、评估图像帧移动模块、静态帧获取模块、非关键帧筛除模块、关键帧筛除模块，其中：所述图像帧特征获取模块用于将指定监控视频进行解码，获取监控视频中的图像帧序列，采集图像帧序列中图像帧的图像像素、图像帧的图像光流、图像帧的图像运动向量；所述图像帧特征分析模块用于基于图像帧序列中图像帧的图像像素对图像帧图像像素差异指数进行分析，估算图像帧图像像素差异指数，基于图像帧序列中图像帧的图像光流对图像帧图像光流变化指数进行分析，估算图像帧图像光流变化指数，基于图像帧序列中图像帧的图像运动向量对图像帧图像运动向量动态指数进行分析，估算图像帧图像运动向量动态指数;所述评估图像帧移动模块用于基于图像帧像素差异指数、图像帧图像光流变化指数、图像帧图像运动向量动态指数，评估图像帧移动指数；所述静态帧获取模块用于基于图像帧移动指数，获取图像帧序列中的静态帧序列，采集静态帧序列中静态帧的图像像素；所述非关键帧筛除模块用于基于静态帧序列中静态帧的图像像素对静态帧差异指数进行分析，评估静态帧差异指数，基于静态帧差异指数，获取静态帧序列的关键帧序列，筛除静态帧序列的非关键帧，采集关键帧序列中关键帧的亮度和对比度；所述关键帧筛除模块用于基于关键帧序列中关键帧的亮度和对比度对关键帧结构相似性指数进行分析，估算关键帧结构相似性指数，设定关键帧结构相似性指阈值，筛除相似性指数低于阈值的关键帧。

本发明具有以下有益效果：

（1）一种基于存储空间优化的视频静态帧过滤方法，根据监控视频所解码的图像帧序列，获取静态帧的关键帧，过滤掉非关键帧和低于相似性指数低于阈值的关键帧，可以大幅减少所需的存储空间，这种方法通过只保留对视频内容重要的关键帧，有效地压缩视频数据，从而节约了存储空间的使用。

（2）一种基于存储空间优化的视频静态帧过滤方法，过滤掉无用的静态帧，视频数据的总量减少了，从而提高了数据传输的效率，在网络传输或存储介质容量有限的情况下，通过过滤来优化存储空间，可以更快地传输视频数据，同时该方法通过保留最具代表性和信息丰富度的关键帧，仍然能够保持视频的质量，这样就可以在节省存储空间的同时，尽可能地保留重要的视觉内容，使得观看体验不会受到明显的影响。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

图1为本发明一种基于存储空间优化的视频静态帧过滤方法流程图；

图2为发明一种基于存储空间优化的视频静态帧过滤装置流程图。

具体实施方式

本申请实施例通过一种基于存储空间优化的视频静态帧过滤方法及装置，实现了通过筛除静态帧中非关键帧和低于相似性指数低于阈值的关键帧，减少监控视频存储空间的问题。

本申请实施例中的问题，总体思路如下：

首先将指定监控视频进行解码，获取监控视频中的图像帧序列，采集图像帧序列中图像帧的图像像素、图像帧的图像光流、图像帧的图像运动向量，估算图像帧图像像素差异指数、图像帧图像光流变化指数、图像帧图像运动向量动态指数。

基于图像帧像素差异指数、图像帧图像光流变化指数、图像帧图像运动向量动态指数，评估图像帧移动指数，基于图像帧移动指数，获取图像帧序列中的静态帧序列。

基于静态帧序列中静态帧的图像像素对静态帧差异指数进行分析，评估静态帧差异指数，基于静态帧差异指数，获取静态帧序列的关键帧序列，筛除静态帧序列的非关键帧。

基于关键帧序列中关键帧的亮度和对比度对关键帧结构相似性指数进行分析，估算关键帧结构相似性指数，筛除相似性指数低于阈值的关键帧，从而节约了视频存储空间的使用。

请参阅图1，本发明实施例提供一种技术方案：一种基于存储空间优化的视频静态帧过滤方法，包括以下步骤：S1.将指定监控视频进行解码，获取监控视频中的图像帧序列，采集图像帧序列中图像帧的图像像素、图像帧的图像光流、图像帧的图像运动向量；S2.基于图像帧序列中图像帧的图像像素对图像帧图像像素差异指数进行分析，估算图像帧图像像素差异指数，基于图像帧序列中图像帧的图像光流对图像帧图像光流变化指数进行分析，估算图像帧图像光流变化指数，基于图像帧序列中图像帧的图像运动向量对图像帧图像运动向量动态指数进行分析，估算图像帧图像运动向量动态指数;S3.基于图像帧像素差异指数、图像帧图像光流变化指数、图像帧图像运动向量动态指数，评估图像帧移动指数；S4.基于图像帧移动指数，获取图像帧序列中的静态帧序列，采集静态帧序列中静态帧的图像像素；S5.基于静态帧序列中静态帧的图像像素对静态帧差异指数进行分析，评估静态帧差异指数，基于静态帧差异指数，获取静态帧序列的关键帧序列，筛除静态帧序列中非关键帧，采集关键帧序列中关键帧的亮度和对比度；S6.基于关键帧序列中关键帧的亮度和对比度对关键帧结构相似性指数进行分析，估算关键帧结构相似性指数，设定关键帧结构相似性指阈值，筛除相似性指数低于阈值的关键帧。

具体地，图像帧的图像像素包括：图像帧灰度值、图像帧RGB值；图像帧的图像光流包括：图像帧在x轴上光流速度、图像帧在y轴上光流速度、图像帧在x轴上光流方向、图像帧在y轴上光流方向；图像帧的图像运动向量包括：图像帧在x轴上运动向量方向、图像帧在y轴上运动向量方向、图像帧在x轴上运动向量速度、图像帧在y轴上运动向量速度。

具体地，基于图像帧序列中图像帧的图像像素对图像帧图像像素差异指数进行分析，估算图像帧图像像素差异指数的具体过程如下：将监控视频中的图像帧序列进行排列，依据图像帧序列中图像帧的图像像素，估算图像帧图像像素差异指数的计算公式如下：

；

其中

本实施方案中，通过计算图像帧之间的像素差异指数，可以将图像帧分为静态帧和动态帧两类。静态帧表示图像内容没有明显的变化，而动态帧表示图像内容发生了变动，用于后续的处理和分析图像帧序列中筛选出静态帧；同时静态帧通常占据视频序列的大部分内容，而动态帧只占据其中的一小部分通过获取静态帧，可以减少需要处理的帧数目，从而提高处理的效率，这对于处理大量的视频数据或实时视频分析非常重要，可以节省计算资源和时间成本。

具体地，基于图像帧序列中图像帧的图像光流对图像帧图像光流变化指数进行分析，估算图像帧图像光流变化指数的具体过程如下：将监控视频中的图像帧序列进行排列，依据图像帧序列中图像帧的图像光流，估算图像帧图像光流变化指数的计算公式如下：

；

其中

本实施方案中，通过计算图像帧之间的光流变化指数，可以检测出图像中的运动，当图像光流变化指数较大时，表示图像帧之间存在明显的运动，而静态帧表示图像内容没有明显的变化，用于后续的处理和分析图像帧序列中筛选出静态帧；静态帧通常占据视频序列的大部分内容，而动态帧只占其中的一小部分，通过获取静态帧，可以减少需要处理的帧数目，从而精简了数据量，这对于处理大量的视频数据、减少存储空间和提高算法处理效率都具有重要意义。

具体地，基于图像帧序列中图像帧的图像运动向量对图像帧图像运动向量动态指数进行分析，估算图像帧图像运动向量动态指数的具体过程如下：将监控视频中的图像帧序列进行排列，依据图像帧序列中图像帧的图像运动向量，估算图像帧运动向量动态指数的计算公式如下：

其中

本实施方案中，通过计算图像帧之间的图像运动向量动态指数，可以判断图像帧之间是否存在明显的运动，当图像运动向量动态指数较小时，表示图像帧内容变化较小，用于后续的处理和分析图像帧序列中筛选出静态帧；静态帧通常占据视频序列的大部分内容，而动态帧只占其中的一小部分，通过获取静态帧，可以减少需要处理的帧数目，从而减少数据量和提高处理效率。

具体地，基于图像帧像素差异指数、图像帧图像光流变化指数、图像帧图像运动向量动态指数，评估图像帧移动指数的计算公式如下：

；

其中

本实施方案中，通过综合考虑多个指标，可以更准确地识别静态帧，对于某些图像运动较小但仍存在轻微运动的情况，单独使用图像运动向量动态指数可能无法判断是否为静态帧，而该方法通过融合多个指标的权重因子，可以更全面、准确地评估静态帧；采用基于图像帧像素差异指数、图像帧图像光流变化指数和图像帧图像运动向量动态指数的评估方法，能够更准确地检测静态帧、提高图像稳定性和降低数据存储成本，对于视频监控、图像分析和处理等应用具有重要意义。

具体地，基于图像帧移动指数，获取图像帧序列中的静态帧序列，采集静态帧序列中静态帧的图像像素，具体过程如下：基于图像帧移动指数，与图像帧移动指数阈值进行对比，若图像帧移动指数小于图像帧移动指数阈值，将该图像帧标记为静态帧，并存储在静态帧序列中；静态帧的图像像素包括：静态帧在x轴上像素移动方向、静态帧在y轴上像素移动方向、静态帧在x轴上像素移动速度、静态帧在y轴上像素移动速度。

本实施方案中，通过图像帧移动指数，可以将图像帧分为静态帧和动态帧两类，静态帧表示图像内容没有明显的变化，而动态帧表示图像内容发生了变动。根据差异指数的阈值，可以从图像帧序列中筛选出静态帧，即包含重要信息或变化显著的帧，用于后续的处理和分析。

具体地，基于静态帧序列中静态帧的图像像素对静态帧差异指数进行分析，评估静态帧差异指数，基于静态帧差异指数，获取静态帧序列的关键帧序列，筛除静态帧序列中非关键帧，采集关键帧序列中关键帧的亮度和对比度的具体过程如下：将图像帧序列中的静态帧序列进行排列，依据静态帧序列中图像像素，估算静态帧差异指数的计算公式如下：

；

其中

本实施方案中，非关键帧在连续帧序列中通常表示相似或接近静止的图像内容，它们与关键帧之间的差异较小，通过计算静态帧差异指数筛除非关键帧，筛除非关键帧可以减少冗余信息，只保留关键帧，从而提高数据的紧凑性和有效性；关键帧代表了图像序列中的重要变化和关键信息，筛除非关键帧，保留关键帧能够更好地突出图像序列中的动态变化和关键事件，使得后续的分析和理解更加容易和准确；通过筛除非关键帧，可以减少需要进行的计算量和处理时间，提高图像分析的效率。

具体地，基于关键帧序列中关键帧的亮度和对比度对关键帧结构相似性指数进行分析，估算关键帧结构相似性指数，设定关键帧结构相似性指阈值，筛除相似性指数低于阈值的关键帧的具体过程如下：将静态帧序列中的关键帧序列进行排列，依据关键帧序列关键帧的亮度和对比度，估算关键帧结构相似性指数的计算公式如下：

；

其中

本实施方案中，静态帧序列中的关键帧通常包含了图像序列中的重要信息和显著变化。通过筛除相似性较低的关键帧，可以减少存储这些冗余帧所占用的空间，降低存储成本；相似性较低的关键帧在结构和内容上与其他关键帧差异较大，可能不具有足够的独特信息，通过对静态帧进行过滤，并筛除相似性指数低于阈值的关键帧，能够减少存储空间、提高处理效率，强调显著变化，并简化数据处理过程。

请参阅图2，一种用于基于存储空间优化的视频静态帧过滤方法的装置，包括图像帧特征获取模块、图像帧特征分析模块、评估图像帧移动模块、静态帧获取模块、非关键帧筛除模块、关键帧筛除模块，其中：图像帧特征获取模块用于将指定监控视频进行解码，获取监控视频中的图像帧序列，采集图像帧序列中图像帧的图像像素、图像帧的图像光流、图像帧的图像运动向量；图像帧特征分析模块用于基于图像帧序列中图像帧的图像像素对图像帧图像像素差异指数进行分析，估算图像帧图像像素差异指数，基于图像帧序列中图像帧的图像光流对图像帧图像光流变化指数进行分析，估算图像帧图像光流变化指数，基于图像帧序列中图像帧的图像运动向量对图像帧图像运动向量动态指数进行分析，估算图像帧图像运动向量动态指数;评估图像帧移动模块用于基于图像帧像素差异指数、图像帧图像光流变化指数、图像帧图像运动向量动态指数，评估图像帧移动指数；静态帧获取模块用于基于图像帧移动指数，获取图像帧序列中的静态帧序列，采集静态帧序列中静态帧的图像像素；非关键帧筛除模块用于基于静态帧序列中静态帧的图像像素对静态帧差异指数进行分析，评估静态帧差异指数，基于静态帧差异指数，获取静态帧序列的关键帧序列，筛除静态帧序列的非关键帧，采集关键帧序列中关键帧的亮度和对比度；关键帧筛除模块用于基于关键帧序列中关键帧的亮度和对比度对关键帧结构相似性指数进行分析，估算关键帧结构相似性指数，设定关键帧结构相似性指阈值，筛除相似性指数低于阈值的关键帧。

首先将指定监控视频进行解码，获取监控视频中的图像帧序列，采集图像帧序列中图像帧的图像像素、图像帧的图像光流、图像帧的图像运动向量，估算图像帧图像像素差异指数、图像帧图像光流变化指数、图像帧图像运动向量动态指数；

基于图像帧像素差异指数、图像帧图像光流变化指数、图像帧图像运动向量动态指数，评估图像帧移动指数，基于图像帧移动指数，获取图像帧序列中的静态帧序列；

基于静态帧序列中静态帧的图像像素对静态帧差异指数进行分析，评估静态帧差异指数，基于静态帧差异指数，获取静态帧序列的关键帧序列，筛除静态帧序列的非关键帧；

基于关键帧序列中关键帧的亮度和对比度对关键帧结构相似性指数进行分析，估算关键帧结构相似性指数，筛除相似性指数低于阈值的关键帧，从而节约了视频存储空间的使用。

综上，本申请至少具有以下效果：

通过监控视频所解码的图像帧序列，获取静态帧的关键帧，过滤掉非关键帧和低于相似性指数阈值的关键帧，降低监控视频产生的数据的存储成本并提高存储效率，避免了在存储过程中会占用大量的存储空间造成效率不高的情况，同时提高了监控视频数据共享过程中和数据传输过程中的效率，从而避免了在实际应用中发挥作用受到限制。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的系统、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。