视频分析方法、装置、终端设备以及存储介质

技术领域

本发明涉及边缘计算领域，尤其涉及一种视频分析方法、装置、终端设备以及存储介质。

背景技术

当今世界处于一个全球性的交换环境中，每秒钟都有数以亿计的移动设备、IoT(Internet of Things，物联网)设备等从各个角落收集、处理、传输海量的信息。这些数据具有时效性、地域性、隐私性等特点，如果将这些数据传输到云端进行处理，可能会造成网络拥塞及延迟增加等问题，导致用户体验较差，且目前的视频分析系统存在场景规模较大、带宽资源变化、GPU(Graphics Processing Unit，图形处理单元)计算资源共享且有限等特点，难以满足不同视频内容和用户的需求，同时容易因资源分配不合理影响视频分析的质量及效率。

因此，有必要提出一种在确保用户体验的情况下，提高系统整体的视频分析质量及效率的解决方案。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种视频分析方法、装置、终端设备以及存储介质，旨在在确保用户体验的情况下，提高系统整体的视频分析质量及效率。

为实现上述目的，本发明提供一种视频分析方法，所述视频分析方法包括：

获取目标视频的分析需求；

基于所述目标视频的分析需求，确定所述目标视频的共享程度和切分点；

根据所述目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制；

基于所述联合深度神经网络模型的共享及切分机制，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析。

可选地，所述基于所述目标视频的分析需求，确定所述目标视频的共享程度和切分点的步骤包括：

根据所述目标视频的分析需求，区分并发的视频分析算法和独立的视频分析算法；

基于所述并发的视频分析算法和独立的视频分析算法，确定所述目标视频的共享程度和切分点。

可选地，所述基于所述目标视频的分析需求，确定所述目标视频的共享程度和切分点的步骤之后还包括：

通过离线采样器记录所述目标视频的共享程度，并将所述共享程度保存至第一数据表格；

读取所述第一数据表格，确定所述共享程度及帧采样率下对应的精度；

根据所述共享程度及帧采样率下对应的精度，构建服务精度模型。

可选地，所述根据所述目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制的步骤之后还包括：

计算所述联合深度神经网络模型上产生的时延数据；

根据所述时延数据构建服务时延模型；

其中，所述时延数据包括终端设备上的推理时延、数据传输时延，以及边缘服务器上的执行时延。

可选地，所述根据所述目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制的步骤之后还包括：

根据所述服务精度模型和服务时延模型，建立系统模型的效用函数；

根据所述效用函数确定所述目标视频的总体服务精度。

可选地，所述基于所述联合深度神经网络模型的共享及切分机制，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析的步骤包括：

根据所述联合深度神经网络模型的共享及切分机制，结合所述总体服务精度，确定视频配置参数及资源分配参数；

根据所述视频配置参数及资源分配参数，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析。

可选地，所述在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析的步骤包括：

根据所述并发的视频分析算法在若干个终端设备进行并发的视频分析；

根据所述独立的视频分析算法在边缘服务器进行独立的视频分析。

此外，为实现上述目的，本发明还提供一种视频分析装置，所述视频分析装置包括：

获取模块，用于获取目标视频的分析需求；

确定模块，用于基于所述目标视频的分析需求，确定所述目标视频的共享程度和切分点；

构建模块，用于根据所述目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制；

分析模块，用于基于所述联合深度神经网络模型的共享及切分机制，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析。

此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频分析程序，所述视频分析程序被所述处理器执行时实现如上所述的视频分析方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频分析程序，所述视频分析程序被处理器执行时实现如上所述的视频分析方法的步骤。

本发明实施例提出的一种视频分析方法、装置、终端设备以及存储介质，通过获取目标视频的分析需求；基于所述目标视频的分析需求，确定所述目标视频的共享程度和切分点；根据所述目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制；基于所述联合深度神经网络模型的共享及切分机制，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析，通过深度神经网络模型的共享及切分机制，缓解了资源竞争的问题，以减少因资源不足导致的网络拥塞及延迟等问题，通过为视频分析任务选择合适的视频分析配置及资源分配方案，在确保用户体验的情况下，提高了系统整体的视频分析质量及效率，实现了视频分析质量和资源利用率之间的平衡。

附图说明

图1为本发明视频分析装置所属终端设备的功能模块示意图；

图2为本发明视频分析方法一示例性实施例的流程示意图；

图3为本发明实施例中的多任务视频分析系统的架构示意图；

图4为本发明实施例中的模型共享示意图；

图5为本发明实施例中的模型联合共享切分示意图；

图6为本发明视频分析方法另一示例性实施例的流程示意图；

图7为本发明视频分析方法又一示例性实施例的流程示意图；

图8为本发明实施例中提供的模型求解器。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：通过获取目标视频的分析需求；基于所述目标视频的分析需求，确定所述目标视频的共享程度和切分点；根据所述目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制；基于所述联合深度神经网络模型的共享及切分机制，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析，通过深度神经网络模型的共享及切分机制，缓解了资源竞争的问题，以减少因资源不足导致的网络拥塞及延迟等问题，通过为视频分析任务选择合适的视频分析配置及资源分配方案，在确保用户体验的情况下，提高了系统整体的视频分析质量及效率，实现了视频分析质量和资源利用率之间的平衡。

由于当今世界处于一个全球性的交换环境中，每秒钟都有数以亿计的移动设备、IoT设备等从各个角落收集、处理、传输海量的信息。这些数据具有时效性、地域性、隐私性等特点，如果将这些数据传输到云端进行处理，可能会造成网络拥塞、延迟增加、隐私泄露等问题。

然而，现有技术中的方案难以解决视频分析系统部署当中的挑战，比如场景规模较大、变化的带宽资源、GPU计算资源共享且有限。具体而言，视频分析系统的挑战包括：

(1)场景规模大

一方面，实际上的场景部署的视频分析系统往往是一个系统同时需要处理多个任务，每个视频流上需要进行多个视频分析任务，例如人脸识别、行人检测、车辆识别等。不同的任务可能需要不同的分析精度和时效性。如何在一个系统中满足不同任务的分析任务和时延的需求给视频分析系统带来了巨大的挑战；另一方面，多用户场景边缘服务器往往为多个用户提供视频分析服务，每个用户有不同的视频内容和分析需求。不同的用户可能对视频分析质量和时延有不同的偏好和要求。如何满足不同视频内容和用户的需求对系统提出了更高的要求。

2.2资源变化且有限

一方面，带宽资源有限且多变，多个边缘终端设备，连接至边缘服务器上的带宽资源是动态变化的。带宽资源的变化会影响视频流的传输质量和速度，进而影响视频分析服务的性能。因此，要通过调节分析模型的共享点来调节数据的传输量适应多变的带宽环境。另一方面，计算资源有限且变化。边缘服务器上配置着有限个的GPU资源，并且被所有用户所共享。GPU资源是执行视频分析任务的主要计算资源，其数量和分配方式会影响视频分析任务的执行效率和质量。因此，要协调可用的GPU资源，将资源在不同的任务之间合理分配，获得最大的精度的收益。

因此，如何在带宽及计算资源有限且动态变化的边缘服务器场景中，优化基于深度神经网络模型实现的视频分析任务的调度和执行，为多个并发的视频分析任务及多个用户提供高质量的视频分析服务已成为亟待解决的问题。

本发明提供一种联合DNN(Deep Neural Network，深度神经网络)模型切分及共享的解决方案：该方案利用迁移学习的方法使得边缘设备上并发的视频分析任务可以共享部分模型参数，实现DNN模型计算共享，降低边缘服务器上的计算负载；同时利用模型切分的方法，将DNN模型按层或子图划分为两个或多个部分，并将这些部分部署到不同的计算节点上执行，实现设备终端和边缘服务端协同计算，降低网络传输数据量，并充分利用终端设备和边缘服务器上的计算资源。通过联合DNN模型共享及切分的方案有效降低了单个用户并发任务之间以及不同用户之间的资源竞争。

本发明还提出了联合GPU批处理及共享的方案：该方案综合利用GPU批处理以及空间共享方案来提高边缘服务器上有限GPU资源的利用效率，提高系统的吞吐率。提出了多任务多GPU下的调度器：该调度器基于凸优化算法求解，实现了终端和边缘服务器之间基于性能和资源约束条件下的任务卸载和资源分配。调度器根据系统当前的GPU资源、网络带宽、任务分析的时延要求等因素，为每个并发的视频分析任务进行配置选择和资源分配。实验结果表明，本发明提出的调度器优于基线方案，在保证用户满意度和时延要求下，最大化了系统整体的视频分析质量。

具体地，参照图1，图1为本发明视频分析装置所属终端设备的功能模块示意图。该视频分析装置可以为独立于终端设备的、能够进行视频分析的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。

在本实施例中，该视频分析装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。

存储器130中存储有操作系统以及视频分析程序，视频分析装置可以将获取的目标视频的分析需求、基于所述目标视频的分析需求，确定的所述目标视频的共享程度和切分点，以及根据所述目标视频的共享程度和切分点，构建的联合深度神经网络模型的共享及切分机制等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。

其中，存储器130中的视频分析程序被处理器执行时实现以下步骤：

获取目标视频的分析需求；

基于所述目标视频的分析需求，确定所述目标视频的共享程度和切分点；

根据所述目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制；

基于所述联合深度神经网络模型的共享及切分机制，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析。

进一步地，存储器130中的视频分析程序被处理器执行时还实现以下步骤：

根据所述目标视频的分析需求，区分并发的视频分析算法和独立的视频分析算法；

基于所述并发的视频分析算法和独立的视频分析算法，确定所述目标视频的共享程度和切分点。

进一步地，存储器130中的视频分析程序被处理器执行时还实现以下步骤：

通过离线采样器记录所述目标视频的共享程度，并将所述共享程度保存至第一数据表格；

读取所述第一数据表格，确定所述共享程度及帧采样率下对应的精度；

根据所述共享程度及帧采样率下对应的精度，构建服务精度模型。

进一步地，存储器130中的视频分析程序被处理器执行时还实现以下步骤：

计算所述联合深度神经网络模型上产生的时延数据；

根据所述时延数据构建服务时延模型；

其中，所述时延数据包括终端设备上的推理时延、数据传输时延，以及边缘服务器上的执行时延。

进一步地，存储器130中的视频分析程序被处理器执行时还实现以下步骤：

根据所述服务精度模型和服务时延模型，建立系统模型的效用函数；

根据所述效用函数确定所述目标视频的总体服务精度。

进一步地，存储器130中的视频分析程序被处理器执行时还实现以下步骤：

根据所述联合深度神经网络模型的共享及切分机制，结合所述总体服务精度，确定视频配置参数及资源分配参数；

根据所述视频配置参数及资源分配参数，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析。

进一步地，存储器130中的视频分析程序被处理器执行时还实现以下步骤：

根据所述并发的视频分析算法在若干个终端设备进行并发的视频分析；

根据所述独立的视频分析算法在边缘服务器进行独立的视频分析。

本实施例通过上述方案，具体通过获取目标视频的分析需求；基于所述目标视频的分析需求，确定所述目标视频的共享程度和切分点；根据所述目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制；基于所述联合深度神经网络模型的共享及切分机制，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析，通过深度神经网络模型的共享及切分机制，缓解了资源竞争的问题，以减少因资源不足导致的网络拥塞及延迟等问题，通过为视频分析任务选择合适的视频分析配置及资源分配方案，在确保用户体验的情况下，提高了系统整体的视频分析质量及效率，实现了视频分析质量和资源利用率之间的平衡。

基于上述终端设备架构但不限于上述架构，提出本发明方法实施例。

本实施例方法的执行主体可以为一种视频分析装置或终端设备等，本实施例以视频分析装置进行举例。

参照图2，图2为本发明视频分析方法一示例性实施例的流程示意图。所述视频分析方法包括：

步骤S10，获取目标视频的分析需求；

具体地，一个典型的视频分析算法的流程包括视频解码、预处理、图像分割、DNN模型执行和后处理等。在这些步骤中，视频解码和预处理是几乎所有的视频分析算法都需要进行的，它们主要是将视频数据转换为适合DNN模型输入的图像数据。

参照图3，图3为本发明实施例中的多任务视频分析系统的架构示意图，如图3所示，当有多个并发任务对同一个监控视频进行分析时，可以将这些任务的前面部分进行共享，从而避免重复的计算。

步骤S20，基于所述目标视频的分析需求，确定所述目标视频的共享程度和切分点；

进一步地，获取到目标视频的分析需求后，即可基于目标视频的分析需求，确定目标视频的共享程度和切分点。

可选地，所述基于所述目标视频的分析需求，确定所述目标视频的共享程度和切分点的步骤包括：

根据所述目标视频的分析需求，区分并发的视频分析算法和独立的视频分析算法；

基于所述并发的视频分析算法和独立的视频分析算法，确定所述目标视频的共享程度和切分点。

参照图4，图4为本发明实施例中的模型共享示意图，如图4所示，基于迁移学习的思想，本发明实施例中将部分层的参数冻结为不可变，从而在新的视频分析任务上训练出了模型1、2、3，这三个模型都共享了前面冻结层的参数和计算。通过修改冻结层的位置，可以控制DNN模型的共享程度，即模型中有多少层的参数是在不同的并发任务之间共享的。模型的共享程度会影响到每个任务的资源消耗和质量。一般来说，共享程度越高，意味着模型越小，训练和推理所需的资源越少，但同时也会导致模型的泛化能力下降，从而降低任务的精度。因此，在DNN模型中，共享程度与精度和系统资源之间存在权衡关系。

步骤S30，根据所述目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制；

进一步地，基于目标视频的分析需求确定目标视频的共享程度和切分点后，即可根据目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制。

可选地，DNN的模型切分是指将DNN分成两个部分，一部分运行在边缘设备端，一部分运行在服务器端。除了能同时利用设备端和服务器端的计算资源外，模型划分方法还包含了一个潜在的带宽资源节省的机会，原因是DNN中间某些层的输出特征数据量大小将小于原始图片，从而可以减小在视频流发送给服务器过程中的带宽资源需求。

参照图5，图5为本发明实施例中的模型联合共享切分示意图，如图5所示，模型共享可以复用主干网络的计算结果，降低并发任务的资源需求；模型切分可以充分地利用边缘端和边缘服务器的资源，缓解计算和带宽资源竞争的压力。基于模型共享和模型切分，本发明实施例中提出了一个联合模型切分及共享的方案，如图5所示。将模型共享的部分划分到终端设备进行计算，其计算后的中间结果再传输到边缘服务器进行后续的计算。因此，确定了模型之间的共享程度就可以确定模型分割的层。因此联合模型共享以及切分需要控制的变量是共享点(即切分点)的位置。

步骤S40，基于所述联合深度神经网络模型的共享及切分机制，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析。

更进一步地，根据目标视频的共享程度和切分点，构建出联合深度神经网络模型的共享及切分机制后，即可基于联合深度神经网络模型的共享及切分机制，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析。

可选地，所述基于所述联合深度神经网络模型的共享及切分机制，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析的步骤包括：

根据所述联合深度神经网络模型的共享及切分机制，结合所述总体服务精度，确定视频配置参数及资源分配参数；

根据所述视频配置参数及资源分配参数，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析。

可选地，所述在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析的步骤包括：

根据所述并发的视频分析算法在若干个终端设备进行并发的视频分析；

根据所述独立的视频分析算法在边缘服务器进行独立的视频分析。

具体地，本发明实施例中的视频分析方法可以应用于交通智能监控系统及家庭智能监控系统等场景。可选地，交通智能监控系统设置多个任务(比如行人闯红灯检测、机动车违章检测等)，同时检测分别部署在多个监控边缘设备上。通过使用本发明提出的方案，可以在资源受限制的情况下，提升整个系统的精度，满足智慧城市的需求。可选地，家庭智能监控系统通常设置多个任务(比如安防检测、防摔倒检测等)，同时多个监控设备安置在不同的房间。通过使用本发明提出的方案，可以在家用带宽资源和服务器资源受限制的情况下，提升系统检测精度。将模型分割部署在设备边缘端和服务器端，仅传输feature map(非视频)到服务器上，可以有效防止家庭隐私信息泄露。

在本实施例中，通过获取目标视频的分析需求；基于所述目标视频的分析需求，确定所述目标视频的共享程度和切分点；根据所述目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制；基于所述联合深度神经网络模型的共享及切分机制，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析，通过深度神经网络模型的共享及切分机制，缓解了资源竞争的问题，以减少因资源不足导致的网络拥塞及延迟等问题，通过为视频分析任务选择合适的视频分析配置及资源分配方案，在确保用户体验的情况下，提高了系统整体的视频分析质量及效率，实现了视频分析质量和资源利用率之间的平衡。

参照图6，图6为本发明视频分析方法另一示例性实施例的流程示意图。基于上述图2所示的实施例，在本实施例中，在基于所述目标视频的分析需求，确定所述目标视频的共享程度和切分点的步骤之后，所述视频分析方法还包括：

步骤S21，通过离线采样器记录所述目标视频的共享程度，并将所述共享程度保存至第一数据表格；

步骤S22，读取所述第一数据表格，确定所述共享程度及帧采样率下对应的精度；

步骤S23，根据所述共享程度及帧采样率下对应的精度，构建服务精度模型。

可选地，所述根据所述目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制的步骤之后还包括：

计算所述联合深度神经网络模型上产生的时延数据；

根据所述时延数据构建服务时延模型；

其中，所述时延数据包括终端设备上的推理时延、数据传输时延，以及边缘服务器上的执行时延。

具体地，视频分析的一个重要参数是帧采样率，即每秒选择多少帧的视频进行分析。帧采样率的选择会直接影响到视频分析的精度和资源消耗。如果帧采样率过低，比如每秒只对一帧图像进行分析，则很可能出现漏检或误检的情况，导致视频分析的精度降低。如果帧采样率过高，比如每秒对所有帧图像进行分析，则可以提高视频分析的精度，但其也会增加计算资源和网络资源的需求，因此可能导致时延或资源浪费的问题。

可选地，假设边缘服务器中有N个GPU为用户提供DNN推理服务，本发明实施例中将这组GPU表示为

可选地，离线采样器会记录离线训练以及实验完成后，所有的共享层s以及帧采样f对应的精度。通过查表即可获得共享程度s

可选地，本发明实施例中使用c

可选地，对于模型m

DNN模型在边缘服务器GPU上的推理时延如公式(5)

可选地，最大时延干扰模型如公式(6)，其中，F是GPU的核心额定频率，p是GPU额定的电量，p

可选地，公式(7)所示的模型来表征模型DNN

可选地，服务时延模型包含终端设备上推理时延、数据传输时延、边缘服务器上的执行时延三个部分。

本实施例通过上述方案，具体通过离线采样器记录所述目标视频的共享程度，并将所述共享程度保存至第一数据表格；读取所述第一数据表格，确定所述共享程度及帧采样率下对应的精度；根据所述共享程度及帧采样率下对应的精度，构建服务精度模型，用于确定视频分析的精度，避免帧采样率过低导致的漏检或误检等情况，同时可以避免帧采样率过高导致的时延或资源浪费。

参照图7，图7为本发明视频分析方法又一示例性实施例的流程示意图。基于上述任一实施例，在本实施例中，在根据所述目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制的步骤之后，所述视频分析方法还包括：

步骤S31，根据所述服务精度模型和服务时延模型，建立系统模型的效用函数；

步骤S32，根据所述效用函数确定所述目标视频的总体服务精度。

具体地，基于边缘服务器的多用户在线视频分析系统需要为来自不同终端用户的不同的视频分析任务进行资源分配和视频分析配置选择，并且在满足每个视频分析任务的时延要求的情况下，最大化总体的服务精度。因此，本发明实施例中建立了一个效用函数

可选地，假设在多用户多任务场景中，边缘服务器为K个用户提供服务，将这一组用户表示为

s.t.C

C

C

C

C

C

C

由此可知，上述问题是一个混合整数非线性规划的问题，它包含了配置选择，任务分配以及资源分配，需要求解以下四个变量：切分点x、帧率f、GPU分配位置

C

C

C

C

C

参照图8，图8为本发明实施例中提供的模型求解器，如图8所示，模型的输入包括用户列表、任务列表、时延约束、GPU可用资源以及带宽资源等，模型输出包括切分点、帧率、GPU分配位置以及分配的GPU资源等信息。

本实施例通过上述方案，具体通过根据所述服务精度模型和服务时延模型，建立系统模型的效用函数；根据所述效用函数确定所述目标视频的总体服务精度，将DNN模型共享方法以及DNN模型切分方法结合起来，并且使其成为视频配置优化中的一个优化旋钮，拓宽了视频配置优化方法的决策空间；在联合GPU批处理及共享方案中，建立了一个DNN推理时延预测模型，避免了昂贵的离线采集成本；提出了多任务多GPU调度算法，该算法关注了在有限GPU资源场景下，对多DNN任务进行多GPU资源分配。该算法基于凸优化进行求解能快速得到最优解或者次优解。

此外，本发明实施例还提出一种视频分析装置，所述视频分析装置包括：

获取模块，用于获取目标视频的分析需求；

确定模块，用于基于所述目标视频的分析需求，确定所述目标视频的共享程度和切分点；

构建模块，用于根据所述目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制；

分析模块，用于基于所述联合深度神经网络模型的共享及切分机制，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析。

本发明实施例中设计了一种基于多任务的分布式监控视频配置优化方法和系统，其解决的主要问题是：如何在带宽及计算资源有限且动态变化的边缘服务器场景中优化基于深度神经网络模型实现的视频分析任务的调度和执行，为多并发的视频分析任务及多个用户提供高质量的视频分析服务。为了达到上述的目的，本发明实施例中设计了以下两个机制，其核心的思想和方法为：

1、联合DNN模型共享及切分机制

本发明实施例中提出了联合DNN模型共享及切分方案，DNN模型共享算法使用了迁移学习的方法使得边缘设备上并发的视频分析任务可以共享部分模型，实现DNN模型计算共享，降低边缘服务器的计算负载；DNN模型切分算法使用模型切分的方法，将部分模型放在设备终端上，另一部分放在边缘服务器上，实现设备终端和边缘服务端协同计算，目的是降低网络传输数据量，并充分使用终端设备和边缘服务器上的计算资源。本发明实施例中将DNN模型共享方法以及DNN模型切分方法结合起来，使其成为视频配置优化中的一个优化旋钮，拓宽了视频配置优化方法的决策空间。联合DNN模型共享及切分的方案使系统可以适应带宽资源的变化，减少多用户下资源的使用。

2、基于联合GPU批处理及共享方案下的有限资源分配机制

本发明实施例中提出了基于联合GPU批处理及共享方案下的有限资源分配方法。首先，综合利用GPU批处理以及空间共享方案来提高边缘服务器上有限GPU资源的利用效率，提高系统的吞吐率。其次，建立了一个精确的DNN推理时延预测模型，避免了昂贵的离线时延采集成本。最后，提出了有限GPU资源下的资源分配算法，通过高效的GPU资源分配和利用平衡来自多用户的并发任务之间的资源竞争。该方案基于凸优化方法进行快速求解，实现了并发任务在终端和边缘服务器之间的配置选择和资源分配，以满足大规模场景下不同用户不同任务对时延和精度的需求。

本实施例实现视频分析的原理及实施过程，请参照上述各实施例，在此不再赘述。

此外，本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频分析程序，所述视频分析程序被所述处理器执行时实现如上所述的视频分析方法的步骤。

由于本视频分析程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有视频分析程序，所述视频分析程序被处理器执行时实现如上所述的视频分析方法的步骤。

由于本视频分析程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。

相比现有技术，本发明实施例提出的视频分析方法、装置、终端设备以及存储介质，通过获取目标视频的分析需求；基于所述目标视频的分析需求，确定所述目标视频的共享程度和切分点；根据所述目标视频的共享程度和切分点，构建联合深度神经网络模型的共享及切分机制；基于所述联合深度神经网络模型的共享及切分机制，在若干个终端设备进行并发的视频分析，在边缘服务器进行独立的视频分析，通过深度神经网络模型的共享及切分机制，缓解了资源竞争的问题，以减少因资源不足导致的网络拥塞及延迟等问题，通过为视频分析任务选择合适的视频分析配置及资源分配方案，在确保用户体验的情况下，提高了系统整体的视频分析质量及效率，实现了视频分析质量和资源利用率之间的平衡。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本申请每个实施例的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。