基于内容的实时视频分析配置更新方法、设备及系统

技术领域

本发明属于视频分析领域，更具体地，涉及一种基于视频内容变化检测的配置更新方法、设备及系统。

背景技术

智能摄像头作为智能硬件的代表，已广泛用于安防、智能家居、智能护理等各种场景，现有的智能摄像头及边缘节点的算力资源是非有限，通常而言，一个边缘节点需要覆盖十几个摄像头，而一些视频分析任务对于准确度和延时的要求比较高。随着人工智能、深度学习等技术的快速发展，深度神经网络(Deep Neural Networks，DNN)模型被广泛应用于视频分析任务是，但是现有的DNN模型很难在资源受限的边缘节点同时实现高准确度、低时延。

影响DNN模型推理准确度和资源开销的因素有很多，比如视频分辨率、帧率、不同的DNN模型等。这些影响因素的特定组合称为视频分析系统的配置，不同的配置会带来不同的推理准确度以及开销，通过调节配置可以实现资源与准确度之间的平衡。现有的方法通常采用两种方式完成视频配置：其一，仅在视频最开始进行一次配置；其二，周期性地更新配置。但是，配置文件随着视频内容不断变化，所以仅在视频最开始进行一次配置分析得到的最佳配置并不能保证长期准确度，周期性地更新配置也不能捕捉视频内容的变化，导致长期准确度的降低，同时也会由于频繁地更新配置带来额外的计算资源开销。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于内容的实时视频分析配置更新方法、设备及系统，其目的在于，在保证视频分析任务准确度的情况下减少计算资源开销。

为实现上述目的，按照本发明的一个方面，提供了一种基于内容的实时视频分析配置更新方法，包括：

(S1)将当前配置分析窗口尾部长度为λ

(S2)根据所提取的每一帧的语义特征计算视频流的特征分布，得到当前配置分析窗口的经验特征分布

(S3)将经验特征分布

(S4)计算经验特征分布

其中，λ

进一步地，预测窗口长度λ

进一步地，本发明提供的基于内容的实时视频分析配置更新方法，还包括：在初始时刻，设置配置分析窗口长度为λ

并且，步骤(S4)还包括：若D＞ε

进一步地，检测阈值ε

根据

根据

在时隙长度为λ

其中，

进一步地，特征分布之间的分布距离通过全变差表征。

进一步地，第一关系式为：

进一步地，步骤(S4)中，从预设的配置空间中选取能够平衡资源开销与深度神经网络模型推理准确度的最佳配置，包括：

对于配置空间中的每一个配置c

选择效用函数值最高的配置作为能够平衡资源开销与深度神经网络模型推理准确度的最佳配置；

其中，视频内容X(t)为当前配置分析窗口的经验特征分布构成的集合；ω为权重系数，ω＞0。

按照本发明的另一个方面，提供了一种基于内容的实时视频分析配置更新系统，包括：

配置分析器，用于从预设的配置空间中选取能够平衡资源开销与深度神经网络模型推理准确度的最佳配置，并发送至摄像头，使摄像头进行配置更新；

语义特征提取模块，用于将当前配置分析窗口尾部长度为λ

分布估计器，用于根据语义特征提取模块提取的每一帧的语义特征计算视频流的特征分布，得到当前配置分析窗口的经验特征分布

特征分布预测模块，用于将经验特征分布

变化检测器，用于计算经验特征分布

其中，λ

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明按照配置分析窗口对视频内容进行检测分析，在每一个配置分析窗口，利用深度神经网络提取用于刻画视频动态特性的语义特征，通过计算视频状态在每个时刻的概率分布来刻画视频的内容，并预测视频内容未来的状态分布，将视频内容变化的检测问题转变为衡量两个概率分布的相似度问题，实现了对视频内容变化程度的提前感知，并仅在检测到视频内容发明明显变化时，才从配置空间中选取能够平衡资源开销与深度神经网络模型推理准确度的最佳配置对摄像头的配置进行更新，而不是周期性地更新，避免了无效的配置更新，由此能够在保证深度神经网络模型推理准确度的情况下有效减少计算资源开销。

(2)在本发明的优选方案中，本发明用历史数据获取时间序列预测模型的预测准确度与预测窗口长度的对应关系，将其中最高准确度所对应的预测窗口长度作为预测窗口长度λ

(3)本发明发现，时间序列预测模型的预测误差对于视频内容变化检测的影响主要分为两种情况：其一，视频内容发生了较大的变化，但是由于预测误差导致该变化没有被检测到，无法触发配置的更新，从而造成系统的长期准确度降低；其二，当前的视频内容没有发生变化，保持相对平稳，但是由于预测误差误检到变化发生，导致资源的浪费。基于该发现，在本发明的优选方案中，针对这两种情况分别建立不等式组以求解检测阈值ε

附图说明

图1为本发明实施例提供的特征分布预测示意图；其中，(a)为视频内容未发生较大变化的示意图，(b)为视频内容发生了较大变化的示意图；

图2为本发明实施例提供的基于视频内容变化检测的配置更新方法流程图；

图3为本发明实施例提供的基于视频内容变化检测的配置更新设备示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

为了在保证视频分析任务准确度的情况下减少计算资源开销，本发明提供了一种基于内容的实时视频分析配置更新方法、设备及系统，其整体思路在于：提供相应的机制以准确判断视频内容是否发生了较大变化，并仅在视频内容发生了较大变化时，选取能够平衡资源开销与深度神经网络模型推理准确度的最佳配置对摄像头的配置进行更新。

为了有效检测视频内容并准确判断视频内容是否发生了较大的变化，本发明提出了基于配置分析窗口进行视频内容检测和判断的机制，如图1所示，配置分析窗口的长度会根据检测结果实时调整，在一个配置分析窗口内只能选择一个最佳配置，故可以假设视频内容在一个配置窗口内是保持相对静止的，也就是说，一个配置窗口内的任意时隙的特征分布是相似的，因此，可以用一个窗口内任意时隙的特征分布来表征整个配置窗口的视频内容。为了准确刻画视频内容，对于当前配置分析窗口(例如图1中的第m个窗口)，会提取尾部长度为λ

实施例1：

一种基于内容的实时视频分析配置更新方法，如图2所示，包括：

(S1)将当前配置分析窗口尾部长度为λ

语义特征用于刻画视频的动态特性；可选地，本实施例中，所提取的视频帧的动态特征具体为每一帧中小目标物体的个数；相应地，可引入特征变量X＝{x

应当说明的是，此处关于动态特征的描述，仅为本发明可选的实施方式，不应理解为对本发明的唯一限定，在本发明其他的实施例中，每一帧中物体的密度分布、物体的运动状态等其他可用于刻画视频内容的动态特性的特征，也可用于本发明；

(S2)根据所提取的每一帧的语义特征计算视频流的特征分布，得到当前配置分析窗口的经验特征分布

本实施例中，经验特征分布

当前配置分析窗口的经验特征分布构成的集合作为当前配置分析窗口的视频内容X(t)；

(S3)将经验特征分布

可选地，本实施例中，选取的时间序列预测模型具体为长短期记忆(Long Short-Term Memory，LSTM)网络；

(S4)计算经验特征分布

作为一种可选的实施方式，本实施例中，使用全变差表征两个概率分布的分布距离，则分布距离D可表示为

本实施例中，视频分析系统的配置包括视频的帧率、分辨率、不同DNN模型等；在触发视频配置更新时，本实施例从配置空间中选取最佳配置的方式具体包括：

对于配置空间中的每一个配置c

选择效用函数值最高的配置作为能够平衡资源开销与深度神经网络模型推理准确度的最佳配置；

其中，ω为权重系数，ω＞0；权重系数ω的取值，可根据视频分析系统的实际需求确定。

总的来说，本实施例利用DNN模型提取视频帧的视频动态特征的分布作为视频内容的刻画，并选择全变差用于变化检测，使得视频内容的变化可以看作是一个非平稳随机过程，仅当检测到视频内容发生变化，才触发配置的更新，能够在保证推理准确度的基础上，有效减少计算资源的开销。

时间序列预测模型无法做到100％的准确预测，且预测误差会直接影响检测模型的准确度从而导致视频分析系统的整体性能下降，考虑到预测窗口的长度与时间序列预测模型的预测准确度密切相关，为了提高时间序列预测模型的预测准确度，作为一种优选的实施方式，本实施例中，预测窗口长度λ

利用历史数据获取深度时间序列预测模型的预测准确度与预测窗口长度的对应关系，将其中最高准确度所对应的预测窗口长度作为预测窗口长度λ

视频数据具有周期性，故通过历史视频数据即可准确确定推理准确度与预测窗口长度的对应关系；

考虑到视频流可能在一段时间内保持不变，为了进一步增加检测效率、节省计算资源，作为一种优选的实施方式，本实施例的步骤(S4)还包括：若D＞ε

本实施例对深度神经网络模型的预测误差对于视频内容变化检测的影响进行了进一步数学分析，分析发现，深度神经网络模型的预测误差对于视频内容变化检测的影响主要分为两种情况：

其一，视频内容发生了较大的变化，即

其二，当前的视频内容没有发生变化，保持相对平稳，即

其中，ε

通过上述两个不等式对检测阈值的取值进行约束，能够实现高准确度的视频内容变化检测；作为一种优选的实施方式，为了在确保检测准确度的基础上，提高检测效率，本实施例中，最终用于检测视频内容是否发生较大变化的检测阈值ε

实施例2：

一种基于视频内容变化检测的配置更新系统，如图3所示，包括：

配置分析器，用于从预设的配置空间中选取能够平衡资源开销与深度神经网络模型推理准确度的最佳配置，并发送至摄像头，使摄像头进行配置更新；

语义特征提取模块，用于将当前配置分析窗口尾部长度为λ

分布估计器，用于根据语义特征提取模块提取的每一帧的语义特征计算视频流的特征分布，得到当前配置分析窗口的经验特征分布

特征分布预测模块，用于将经验特征分布

变化检测器，用于计算经验特征分布

其中，λ

本实施例中，各模块的具体实施方式可参考上述实施例1中的描述，在此将不做复述。

实施例3：

一种智能摄像头系统，包括：摄像头和上述实施例2提供的基于视频内容变化检测的配置更新设备。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。