一种视频流的算云网一体化的分析系统

技术领域

本发明属于物联网感知体系技术领域，具体涉及一种视频流的算云网一体化的分析系统。

背景技术

随着时代的发展，视频监控设备被大规模的部署，视频数据量飞速的增长，在海量的数据中，如何提取出视频流中的关键信息，如何对视频流进行智能分析，结合AI算法算力、大数据等技术。将智能视频分析应用于智慧公安、智慧城市、智慧园区等领域，一直广受关注的热点问题。

传统的实时视频流分析，往往是将视频资源集中传输到网络中心的云服务器，云服务器获取视频后进行存储，并做智能解析，再将结果在云端做整理利用。基于云的视频分析系统面临着带宽占用大、计算资源要求高、传输延迟、安全性等各方面的问题。

传统的云边端模式，虽然将云端能力下沉到了边缘侧、终端侧，但是受限于不同边缘侧所统管的终端可能是不同的厂商、不同的设备型号针对不同的业务场景所进行的智能化分析，因此对于算法算力的要求都不相同，而不同类型的边缘计算设备也往往增加了实施的复杂度。

而且目前的云计算+边缘计算模式，虽然云计算可以将大型的计算任务放到云端去运算，但是对于需要低延迟的应用来说，则会遇到网络带宽瓶颈等问题。而如果将任务放到边缘端来进行，则会受到本地边缘终端计算能力的限制。

发明内容

为了缓解云计算平台负载高、带宽压力大、延迟时间长等问题，本发明提供了一种视频流的算云网一体化的分析系统，通过算法仓库管理，提升集中管理方式下的分域协作能力，自由配置算法，灵活编排算力，充分利用边缘计算平台的计算能力，减轻云计算平台的维护压力，优化区域协作的维护流程。

本发明提供的一种视频流的算云网一体化的分析系统，包括：

在云计算平台上设置视频共享平台、边缘计算平台管理系统、设备台账管理系统、视频应用管理系统、算法仓库管理系统、智能调度平台、以及告警管理系统；

视频共享平台提供数据资源开放、应用接口开放和平台服务开放功能；边缘计算平台管理系统监控边缘计算平台的运行状态，下发计算任务指令和算法给边缘计算平台，收集边缘计算平台的智能分析结果；设备台账管理系统对每个终端设备编码，并存储设备编码和设备状态，构建每个终端设备的管理视图；视频应用管理系统提供对视频的应用功能，包括视频监控、电子地图和视频解析；算法仓库管理系统对算法进行统一注册及管理，并存入算法仓库，算法仓库管理系统预先对算法进行训练，并建立算力模型用于判断指定算法是否能运行在指定设备上，所述算力模型从算力值、硬件环境和软件环境三个维度构建；智能调度平台进行智能设备上的任务调度；智能设备包括具备计算能力的终端设备和边缘计算平台；智能调度平台根据当前视频分析任务，从算法仓库中选取算法，从边缘计算平台管理系统和设备台账管理系统获取智能设备的算力资源、硬件环境和软件环境，调用算法仓库管理系统的算力模型将所选算法与智能设备进行匹配，依据所选调度策略选出最匹配的智能设备，算法将分配到选出的智能设备上执行；告警管理系统显示告警信息，并支持告警记录查询；

在边缘计算平台上设置视频解码分析、视频边缘缓存和数据安全防护的功能模块；

边缘计算平台接收终端设备上传的视频流、云计算平台下发的计算任务指令和算法；视频解码分析模块根据计算任务指令，将算法和视频流分发给相应的智能设备进行视频解码分析，将分析结果返回云计算平台。

所述的云计算平台和边缘计算平台，分别作为控制平台和计算平台，实现云边协同，云边协同包括资源协同、算法算力协同、应用协同和业务协同；其中，资源协同是指当边缘计算平台的资源不足时，云计算平台将边缘计算平台的一部分计算和/或数据上传到云计算机平台执行和/或存储；算法算力协同是指云计算平台通过智能调度平台将算法分配到选出的智能设备上执行；应用协同是指云计算平台管理边缘计算平台的应用生命周期，对应用镜像进行孵化启动；业务协同是指云计算平台控制管理终端设备在边缘计算平台上的负载，通过边缘计算平台对终端设备进行上行数据采集或下行指令下发。

相比现有技术，本发明的优点与积极效果在于：

(1)本发明构建了算云网一体化体系，将云端的计算能力下沉至边缘计算平台进行计算，缓解对云端带宽、存储、计算等能力的高要求，缓解了云端的计算压力，降低了传输时延，提升了视频分析效率和信息安全性，从而最大化体现云计算与边缘计算的应用价值，能更好地满足各种场景的需求。

(2)本发明系统提出了资源协同、算法算力协同、应用协同、业务协同四个方面的云边协同设计，对边缘计算平台负载、算法智能匹配调度、应用生命周期集中式管理、业务协作四个方面进行了优化提升。

(3)本发明系统采用集中管理的算法仓库对算法算力进行管理，通过灵活的调度策略，将智能分析算法分派到最合适的智能分析设备，提高了算法扩展能力及算法使用率，保证调度性能最大化和资源利用率最优化。

(4)采用本发明系统，使得视频流占用的互联网上传带宽显著减少，由于边缘计算平台与视频源的物理位置接近，所以传输时延也大大降低。

(5)本发明系统通过将视频在非云端计算处理，可以将视频脱敏，或对于安全性要求高的视频，仅将计算结果上传，可避免云端信息泄露，保证信息安全。

附图说明

图1是本发明的视频流的算云网一体化的分析系统中云边协同体系示意图；

图2是本发明的视频流的算云网一体化的分析系统的总体实现架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图及实施例，对本发明技术方案进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

如图1所示，本发明的视频流的算云网一体化的分析系统，其将计算任务从位于网络中心的云计算平台下沉到边缘计算平台。云计算平台进行整体台账管理、算法仓库管理、以及对边缘计算平台的管理等。边缘计算节点具有一定计算能力，能够在视频源附近直接处理大部分存储和分析任务，与云计算平台协同。而云服务器仅需提供部分计算支持和数据融合处理。本发明实施例实现的一种视频流的算云网一体化的分析系统，如图2所示，下面具体说明该系统的实现。

(1)搭建云计算平台。

搭建云计算平台主要考虑解决大规模视频流分析场景中的实时性、可扩展性和普适性三个关键技术问题。

云计算平台可以采用微服务架构，对功能进行解耦，使用容器编排工具，如kubernets，将服务无缝扩展到新的计算资源上，能够在不改变整体架构和基础设施的情况下，可以增加计算服务器数量，以提升系统吞吐量，增加计算的实时性。

如图2所示，云计算平台上主要设置的功能模块包括视频共享平台、边缘计算平台管理系统、设备台账管理系统、视频应用管理系统、算法仓库管理系统、智能调度平台、以及告警管理系统。如果有大数据应用场景，可结合大数据平台，对视频分析结构化数据进行采集及进一步处理。

视频共享平台提供开放共享能力，对外提供数据资源开放、应用接口开放、平台服务开放三个层面的共享功能。数据资源开放功能提供规范化的数据模型，包括视频、告警、特征值等，提供多维度数据服务能力，如数据交换、数据编目、数据分析、业务信息融合等。应用接口开放功能提供规范化和标准化应用接口，提供插件、标准API(应用程序编程接口)、SDK(软件开发工具包)等多种形式开放应用能力。平台服务开放功能提供算法仓库标准，支持各种算法包、算法服务等多种方式算法的统一接入管理，提供对视频图像内容解析识别的算法。

边缘计算平台管理系统，也即边缘节点管理系统，管理所有边缘计算平台，对边缘计算平台的运行状态、服务健康度、负载信息进行监控，编排边缘计算平台的算法算力调度，收集边缘计算平台的智能分析结果数据，通过边缘计算平台下发信令数据等功能。

设备台账管理系统管理终端设备台账基础数据，维护终端设备的完整性、规范性，记录感知终端设备注册、上线、更新、报废、增补全生命周期。对终端设备统一编码，存储其设备编码，视频通道编码(一个视频终端设备往往支持多路视频信号，每路视频信号都有一个独立的视频通道编码)，对视频应用提供支撑。同时对设备运行状态查询和显示、信令控制、告警查询等功能提供便捷入口，通过此入口可以便捷查看设备当前运行状态、给设备下发信令数据、查看设备的告警及历史告警记录等功能，构建单个终端设备的全方位管理视图。

视频应用管理系统提供对视频的一系列基础应用，包含视频监控、电子地图、视频解析等功能。视频监控是对视频进行实时查看和录像查询，支持通过点位推荐、标签视频、收藏、预览等功能快速查看用户关注内容，支持多窗口画面、实时抓图、录像回访、云台控制等操作。电子地图功能是指基于电子地图实现监控、地图等资源的查询，可基于地图实现轨迹分析、区域碰撞、终端同行分析等数据分析应用；可基于地图实现告警视图、流量热力图等态势分析应用。云端提供视频、图片缓存能力，对关键视频片段或者图片进行存储，协同云端的其他能力，支撑云端视频应用。

算法仓库管理系统，即算法算力管理系统，支持算法包及算法服务两种算法形态的管理。算法包是以二进制动态库的形式提供的SDK，可包含一个或多个算法文件。算法服务是以软件服务的形式提供，通过网络协议的形式与外部交互。无论那种形态，都需要符合算法管理服务定义的统一接口和运行规范。

算法仓库管理系统对算法进行统一注册及管理，在云平台进行算法训练、算力模型测试等。在算法管理中，同一算法会有多个版本，比如按照适用平台不同，算法可以分为X86架构、嵌入式架构；根据位宽不同，算法可以分为32位、64位；因此，算法仓库管理系统对算法从算力定义、适用平台、算法分类、位宽、厂商、版本号、更新日志、更新时间、对象的属性维护进行管理。

算法仓库管理系统同时进行算力管理，算力是关系到特定算法能否在指定设备上运行的重要依据，以算力值、硬件环境、软件环境三个维度构建算力模型，通过使用算力模型衡量算法是否能够正常执行。对算法仓库中各算法所需要的算力值、硬件环境和软件环境的要求进行预先存储。根据获取的边缘设备的状态包括计算资源、硬件环境、软件环境，与指定算法所需资源进行匹配来判断是否能将该算法在该设备上运行，当算法所需的硬件环境与软件环境与某边缘设备的软硬件环境匹配，且算法所消耗的算力值小于边缘设备的算力值时，为了边缘设备的运行稳定性，不会将边缘设备的算力占满，通常不超过边缘设备算力的80％，经过以上比对即可认为此算法与边缘设备在算力模型上匹配，既算法可以在该设备上运行。进而可由算法仓库管理系统推送算法至边缘计算平台，提供大规模视频图像智能分析能力。如下表1对算力模型进行示例说明。

表1算力模型示例说明

智能调度平台主要实现智能设备上的任务调度。本发明中智能设备可以是具备计算能力的边缘节点，也可以是具备计算能力的终端设备。智能设备可以是物理机也可以是虚拟机，甚至是容器，智能设备的硬件环境、软件环境是构成算力模型的必要因素，这些设备同时也是构成边缘计算平台的服务器资源。智能调度平台从边缘计算平台管理系统和设备台账管理系统获取智能设备状态，包括设备的算力资源、设备的硬件环境和软件环境。任务调度是指根据当前视频分析任务，通过算力模型将任务所需要的智能分析算法、算法需要的算力资源与不同的智能设备通过预先选择的调度策略做匹配，选出最合适的智能设备，将智能分析算法分派到所选智能设备上。调度策略包括但不限于优先级策略、负载均衡策略等。智能调度平台将选出的算法和所分配的智能设备的信息发送给边缘计算平台管理系统，边缘计算平台管理系统发送任务计算指令和从算法仓库所选的智能分析算法下发给智能设备。

告警管理系统主要包括终端设备告警、故障、分业务场景的视频解析告警、系统告警等。告警管理系统显示告警信息，并支持告警记录的查询，可按照告警等级、类型、描述、来源等多种方式查询。

综上，云平台主要进行集中式服务管理，实现对视频、服务、算力的全局统筹管控和调度。

(2)搭建边缘计算平台中的功能模块。

边缘计算平台是计算能力相对较强但有限的边缘计算服务器。边缘计算可以同样采用容器化技术，构建中小规模云服务或类云服务能力，易于扩展及自动化部署。

如图2所示，边缘计算平台的基础设施包括但不限于边缘网关、分布式虚拟化服务集群及对应的基础资源，包括计算资源、存储资源、网络资源等。边缘计算平台支持多种协议接入视频终端设备，可就近提供边缘智能服务，主要提供视频解码分析，视频边缘缓存，数据安全防护等功能，满足行业数字化在敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。

边缘计算平台接收视频终端设备上传的视频流，接收云平台下发的算法，视频解码分析模块为边缘侧不同的智能设备分配相应的算法，将视频流分发给相应的智能设备进行视频流解码分析。利用边缘节点的计算资源，处理推送到边缘计算节点的视频流，经过解码、自适应批处理、目标追踪、多级检测等组合算法推理后，得到每帧视频的分析结果，并将分析结果转发到云端进行进一步的分析处理。

边缘计算平台要支持边缘缓存，视频边缘缓存模块将用户频繁访问的视频业务数据，缓存到边缘计算平台上，满足高清视频点播等视频业务需求。另外本地化的数据存储，也减少了骨干网流量，减轻了网络压力。

边缘计算平台的数据安全防护模块还对视频数据执行加密、脱敏等操作，保障数据安全。当视频数据安全性要求比较高时，只将视频处理结果上传给云端，视频数据加密保存在本地，以保证高安全性。

本发明通过将智能化数据分析的工作放在边缘处理，降低了响应时延、减轻了云端压力、降低了带宽成本，并提供了云边全网调度、算力分发等云服务。

(3)边缘计算平台与云计算平台进行紧密协同，在云计算平台的统一管理下，实现云边协同。云边协同指云计算平台作为控制平台，边缘计算平台作为计算平台，实现云边协同，主要包括以下方面：

资源协同：资源包含计算资源及存储资源，是指当边缘计算平台的相关资源不足的情况下，云计算平台调用中心云的资源进行补充，即将边缘计算平台一部分计算和/或数据上传到云计算平台，在云平台上进行计算和/或存储，满足边缘侧对资源的需要，保障边缘侧的业务进行。通常在云平台上部署资源控制器，而在边缘侧部署资源探针，比如当资源探针检测到边缘节点的存储资源不足时，向云平台发出预警，云平台会将一部分数据存到云平台上，在边缘侧需要的时候再通过网络传输到客户端，从而节省边缘侧的存储资源。

算法算力协同：通过智能调度平台，将智能分析任务分派到最合适的智能设备上分析，保证调度性能最大化和资源利用率最优化。

应用协同：程序及服务以应用的形式体现，应用包含了视频流的处理以及其他一系列的功能(如告警、消息应用等)。云计算平台管理边缘计算平台的应用生命周期，包括应用的推送、安全、卸载、更新、监控、日志等。云计算平台对存在的应用镜像可进行孵化启动，实现应用的高可用。

业务协同：云计算平台可以控制管理终端设备在边缘计算平台上的负载，可以通过边缘计算平台对终端设备进行上行数据采集，亦可以进行下行指令下发。

云边协同处理任务，通过紧密协同更好地满足各种需求场景的匹配，从而最大化体现云计算平台和边缘计算平台的应用价值，实时或更快速的数据处理和分析、节省网络流量。

综上，随着爆发式的海量数据计算需求，传统云计算架构已无法满足，那么将云计算的能力下沉到边缘侧，并通过云端进行统一的交付、运维、管控将是重要的发展趋势。

传统的云边端模式，虽然将云端能力下沉到了边缘侧、终端侧，但是受限于不同边缘侧所统管的终端可能是不同的厂商、不同的设备型号针对不同的业务场景所进行的智能化分析，因此对于算法算力的要求都不相同，而不同类型的边缘计算设备也往往增加了实施的复杂度。

本发明的算法仓库管理系统就是为了解决这个问题，将算法抽象为算法包和算法服务两种形态存入算法仓库，对算法从算力定义、适用平台、算法分类、位宽、厂商、版本号、更新日志、更新时间、对象的属性进行维护管理。将算法抽象出管理服务定义的统一接口和运行规范。算法需要依据规范进行设计和建模，符合输入数据规范以及输出数据规范，云平台对算法进行训练以及验证评估，通过统一和规划化处理，提升算法的通用性和适配性。

同时，本发明设计了算力模型，使用算力模型统一管理算法资源及平台资源，通过算力模型判断特定算法能否在指定设备上运行。以算力值、硬件环境、软件环境三个维度构建算力模型。算力值指资源消耗的计量单位，表示算法正常分析一路视频所消耗的CPU、GPU、内存等各资源，算法仓库的每个算法都需要明确算力值，算力值需要以百分比的形式呈现。硬件环境指算法所运行的芯片平台，软件环境指系统位宽及内核版本。通过使用算力模型衡量算法是否能够正常执行。通过使用智能任务调度的任务调度模块，配置针对不同边缘侧的灵活的调度策略，通过算力模型的硬件环境、软件环境要求，将智能分析算法分派到合适的智能分析设备上，通过算力值调度智能设备上的资源，判断智能分析设备的负载压力，最小调度单位为单颗(张)物理GPU，保证调度性能最大化和资源利用率最优化。

同时应该注意到，传统的云计算+边缘计算模式，虽然云计算可以将大型的计算任务放到云端去进行运算，但是对于需要低延迟的应用来说，则会遇到网络带宽瓶颈等问题。边缘计算可以将任务放到边缘端来进行，因此边缘计算受到了本地边缘终端计算能力的限制。

本发明的云边协同将云计算和边缘计算紧密的结合起来，通过合理地分配云计算与边缘计算的任务，实现了云计算的下沉，将云计算、云分析扩展到边缘端，通过应用协同、资源协同的方式，云计算平台对应用镜像进行孵化启动，实现应用的高可用，以及对资源进行调度，在云计算平台和边缘云计算平台的网络和计算能力中实现平衡，实现应用和计算资源的最优化配置。

本发明实施例以安防监控领域的场景为例，从部署安装角度，一般传统的监控部署采用有线方式，有线网络覆盖全部的摄像头，布线成本高，效率低，占用大量有线资源。采用WiFi回传的方式，WiFi稳定性较差，覆盖范围较小，需要补充大量路由节点以保证覆盖和稳定性。传统方式下需要将监控视频通过承载网和核心网传输至云端或服务器进行存储和处理，不仅加重了网络的负载，业务的端到端时延也难以得到有效的保障。

同时，大量的摄像采集终端都配备较强的数据采集能力，一方面对摄像头的整体架构提出了较高的要求，如何在尺寸体积固定和耗电量较低的情况下，保证处理能力和便捷安装，另一方面又尽可能的保障摄像采集端成本较低，是一个比较重要的问题。

基于上述诉求，可以搭建算云网平台，将监控数据分流到边缘计算平台，从而有效降低网络传输压力和业务端到端时延。

在边缘计算平台上搭载视频分析模块，面向智能安防、视频监控、人脸识别等业务场景，对于不同来源、不同类型的视频监控设备，个性化定制算法以及算力模型，通过智能调度平台下发至边缘计算平台，将视频资源根据不同业务场景解析为结构化数据，对视频片段、图片进行缓存，实现本地分析、快速处理、实时响应。

通过本发明系统灵活定制云边协同策略，以低时延、大带宽、快速响应等特性弥补当前基于视频分析中产生的时延大、用户体验较差的问题。在云端执行算法训练，在边缘计算平台执行算法推论，二者协同可实现本地决策、实时响应，可实现表情识别、行为检测、轨迹跟踪、热点管理、体态属性识别等多种本地化典型应用。