一种应急视频数据云储存系统

技术领域

本发明涉及云储存技术领域，尤其涉及一种应急视频数据云储存系统。

背景技术

云存储是一种网上在线存储(英语：Cloud storage)的模式，即把数据存放在通常由第三方托管的多台虚拟服务器，而非专属的服务器上；托管(hosting)公司运营大型的数据中心，需要数据存储托管的人，则透过向其购买或租赁存储空间的方式，来满足数据存储的需求。数据中心营运商根据客户的需求，在后端准备存储虚拟化的资源，并将其以存储资源池(storage pool)的方式提供，客户便可自行使用此存储资源池来存放文件或对象。实际上，这些资源可能被分布在众多的服务器主机上。云存储这项服务乃透过Web服务应用程序接口(API),或是透过Web化的用户界面来访问。

很多地方应急管理和应急体系建设起步较晚，现代化应急理念比较缺乏，应急技术和应急装备比较薄弱，再加上处在经济快速发展和转型的过程中，各种维权事件频繁发生，损失越来越大，故亟需建设统一的应急资源信息目录和应急协同机制，加快建设全区统一的应急联动信息网络，实现市区、乡镇等多级应急平台的互联互通和应急信息共享；为实现存储资源统一管理、高效应用、系统规模平滑扩容，需要一种新的应急视频数据云储存方案。

发明内容

针对上述技术中存在的不足之处，特提出一种应急视频数据云储存系统。

具体为一种应急视频数据云储存系统，包括：数据接入层、存储节点、元数据服务器、EFS分布式文件子系统和视频能力层，数据接入层将获取到的视频和图像数据输出至存储节点并通过元数据服务器进行处理；EFS分布式文件子系统通过分布式集群技术，将所有存储节点的存储空间统一管理，将所有储存节点化成一个统一的存储节点集群，将所有元数据服务器化成一个统一的元数据服务器集群；视频能力层提供基本视频管理功能，方便用户在客户端或WEB端通过元数据服务器集群对存储节点集群进行访问，实现对视频的操作管理。

作为优选：所述EFS分布式文件子系统通过将数据流以及控制流分离的方式，使用户在通过视频能力层访问时，通过控制流的方式访问元数据服务器集群，通过数据流的方式访问储存节点集群。

作为优选：所述EFS分布式文件子系统内包括动态负载均衡模块，所述动态负载均衡模块在集群内部自动根据各存储节点的IO负载、空间容量、CPU、内存负载等因素，调度数据流向，实现IO读写的负载均衡。

作为优选：所述动态负载均衡模块采用两级负载均衡调度，首先由元数据服务器选择一个负载轻的存储节点作为当前请求的读写节点，同时储存节点内部还会根据每个硬盘的负载选择最合适的硬盘参与数据写入。

作为优选：所述EFS分布式文件子系统内包括生命周期管理模块，所述生命周期管理模块自动感知存储的状态，然后根据生命周期策略对需要删除的文件进行删除。

作为优选：所述生命周期策略包括按照时间删除旧的数据策略和按照空间删除旧的数据策略，通过两种不同的策略对储存空间完成自动删除文件并回收空间。

作为优选：所述储存节点集群采用云池配额管理，将所有的储存节点虚拟化成一个统一存储池，根据不同系统以及不同用途划分为独立的储存空间进行使用。

作为优选：所述元数据服务器集群设置有协议代理服务模块，由协议代理服务模块统一对外提供管理服务以及统一的IP地址；数据写入时通过协议代理服务模块统一分配数据至各组元数据服务器上，实现元数据的负载均衡分布。

作为优选：所述数据接入层设置有逻辑解耦模块，逻辑解耦模块对外部设备的具体协议进行解耦，并提供一种统一的标准接口。

作为优选：还包括NTP时间同步模块，当获取到NTP时钟源ip地址后，各个存储节点通过NTP协议获取到NTP时钟源时间，并与本地时间做对比，提示用户进行时间同步。

本发明的有益效果是：本发明提供一种应急视频数据云储存系统，包括：数据接入层、存储节点、元数据服务器、EFS分布式文件子系统和视频能力层，数据接入层将获取到的视频和图像数据输出至存储节点并通过元数据服务器进行处理；EFS分布式文件子系统通过分布式集群技术，将所有存储节点的存储空间统一管理，将所有储存节点化成一个统一的存储节点集群，将所有元数据服务器化成一个统一的元数据服务器集群；视频能力层提供基本视频管理功能，方便用户在客户端或WEB端通过元数据服务器集群对存储节点集群进行访问，实现对视频的操作管理；采用了分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间；整个系统从逻辑上分为五层，分别为数据接入层、存储节点集群、元数据服务器集群、EFS分布式文件系统、视频能力层，为用户提供从前端数据采集，存储，转发，视频基础平台于一体的数据层解决方案，具备视频广场、实时预览、录像回放、直播等基础业务能力；同时，通过开放透明的应用接口和简单易用的管理界面，为整个安防监控系统提供了高效、可靠的数据服务。

附图说明

图1为本发明的数据流与控制流分离示意图；

图2为本发明的系统框架图；

图3为本发明的人逻辑设备解耦示意图。

具体实施方式

为了更清楚地表述本发明，下面结合附图对本发明作进一步地描述。

很多地方应急管理和应急体系建设起步较晚，现代化应急理念比较缺乏，应急技术和应急装备比较薄弱，再加上处在经济快速发展和转型的过程中，各种维权事件频繁发生，损失越来越大，故亟需建设统一的应急资源信息目录和应急协同机制，加快建设全区统一的应急联动信息网络，实现市区、乡镇等多级应急平台的互联互通和应急信息共享；为实现存储资源统一管理、高效应用、系统规模平滑扩容，需要一种新的应急视频数据云储存方案。

为解决现有技术的不足和缺陷，本发明具体的提供一种应急视频数据云储存系统，请参阅图1-3，包括：数据接入层、存储节点、元数据服务器、EFS分布式文件子系统和视频能力层，数据接入层将获取到的视频和图像数据输出至存储节点并通过元数据服务器进行处理；EFS分布式文件子系统通过分布式集群技术，将所有存储节点的存储空间统一管理，将所有储存节点化成一个统一的存储节点集群，将所有元数据服务器化成一个统一的元数据服务器集群；视频能力层提供基本视频管理功能，方便用户在客户端或WEB端通过元数据服务器集群对存储节点集群进行访问，实现对视频的操作管理；数据接入层通过采用开放式的接口协议，针对于前端IPC支持国标GB28181，国际标准Onvif,私有码流、海康私有码流等协议对接，实现对多种不同的前端采集视频图像等数据的输入支持，该系统采用了基于分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间。整个系统从逻辑上分为五层，分别为数据接入层、存储集群、转发集群、EFS分布式文件系统、视频能力层组成。为用户提供从前端数据采集，存储，转发，视频基础平台于一体的数据层解决方案，具备视频广场、实时预览、录像回放、直播等基础业务能力。同时，通过开放透明的应用接口和简单易用的管理界面，为整个安防监控系统提供了高效、可靠的数据服务；EFS分布式文件子系统通过分布式集群技术，将所有存储节点的存储空间统一管理，资源池化成一个统一的存储空间池，实现了将整个集群统一视图功能，整体对外提供一个访问IP，简化了与业务系统的接口，保证了系统使用的简易性。

在一个优选的实施例中提及：EFS分布式文件子系统通过将数据流以及控制流分离的方式，使用户在通过视频能力层访问时，通过控制流的方式访问元数据服务器集群，通过数据流的方式访问储存节点集群；本子系统采用数据离散技术，使得客户端可以有效利用众多存储节点提供的聚合网络带宽，实现高速并发访问；客户端在访问云存储系统时，首先访问元数据服务器集群，获取将要与之进行交互的数据节点信息，然后直接访问这些数据节点完成数据存取；数据存储节点集群负责提供存储空间容量和数据流服务，使得存储空间的增长和数据流服务能力增长相匹配，为海量存储提供基本保障；客户端与数据节点之间直接传输数据流，同时由于文件被分散到多个节点进行分布式存储，客户端可以同时访问多个储存节点服务器，从而使得整个系统的I/O高度并行，系统整体性能得到提高；元数据服务器集群负责控制流管理和服务，客户端与元数据服务器之间只有控制流，而无数据流，这样就极大地降低了元数据服务器的负载，使之不成为系统性能的一个瓶颈。

在一个优选的实施例中提及：EFS分布式文件子系统，主要包括元数据服务集群负载均衡模块、数据节点内磁盘负载均衡模块、高可靠数据分布策略管理模块、数据节点的磁盘管理模块、智能恢复模块、一致性保护模块、用户配额模块、系统安全管理模块等构成；由以上所有模块共同实现该系统的分布式集群功能。

在本实施例中提及：EFS分布式文件子系统内包括动态负载均衡模块，动态负载均衡模块在集群内部自动根据各存储节点的IO负载、空间容量、CPU、内存负载等因素，调度数据流向，实现IO读写的负载均衡；一个存储集群内部，众多存储节点组建形成的一个统一空间，从整体性能、避免单点故障、数据热点瓶颈等方面，都需要一个良好的动态负载均衡功能；动态负载均衡指集群内部，自动根据各存储节点的IO负载、空间容量、CPU、内存负载等因素，调度数据流向，实现IO读写的负载均衡。

在一个优选的实施例中提及：动态负载均衡模块采用两级负载均衡调度，首先由元数据服务器选择一个负载轻的存储节点作为当前请求的读写节点，同时储存节点内部还会根据每个硬盘的负载选择最合适的硬盘参与数据写入；其中对于存储数据写入而言，动态负载均衡表现为任意时刻，数据节点的写入负载是动态均衡的。元数据服务器根据各节点的负载情况，自动调度，将新的数据写入调度到综合负载相对较低的节点，实现整体负载平衡；对于存储数据读出，则根据数据分布情况，以及数据分布的几台设备负载情况，选择从负载较轻的节点读取数据；这种根据负载情况进行均衡的选择写入以及读出的节点分配方式，有效的保证元数据服务器集群以及存储节点集群内的负载保持一个动态平衡的状态。

在本实施例中提及：EFS分布式文件子系统内包括生命周期管理模块，生命周期管理模块自动感知存储的状态，然后根据生命周期策略对需要删除的文件进行删除；即使再庞大的储存系统，也会存在系统空间满的情况，在存储空间满后，新的数据无法再写入，用户可以手动删除文件，有些应用则需要自动完成空间回收功能；设置生命周期管理模块，能在储存数据未满时，根据自身存储的数据的不同特性和需求，自动进行合理的删除，保证存储空间的高效利用。

在一个优选的实施例中提及：生命周期策略包括按照时间删除旧的数据策略和按照空间删除旧的数据策略，通过两种不同的策略对储存空间完成自动删除文件并回收空间；流媒体SDK支持空间的自动回收，可以配置两种策略，一种是按照时间删除旧的数据，一种是按照空间删除旧的数据；第一种方式一般是把多个摄像头的数据存在同一个存储池，初始的时候计算好空间需要，给存储池配置合适的空间，应用层定时删除旧的数据，由于摄像头码流可能会变化，特别是报警录像需要的存储空间是未知的，采用多个摄像头共享存储池的方式可以充分利用存储空间，不容易出现空间浪费；另一种按照空间删除旧数据的策略适合恒定数据产生速度，或者按照空间收费的场合；采用两种策略进行数据的删除，能灵活的根据数据的特点以及用户的需求进行合理的删除，避免出现数据误删以及乱删的情况。

在一个优选的实施例中提及：储存节点集群采用云池配额管理，将所有的储存节点虚拟化成一个统一存储池，根据不同系统以及不同用途划分为独立的储存空间进行使用。

在一个优选的实施例中提及：元数据服务器集群设置有协议代理服务模块，由协议代理服务模块统一对外提供管理服务以及统一的IP地址；数据写入时通过协议代理服务模块统一分配数据至各组元数据服务器上，实现元数据的负载均衡分布；通过存储池管理，可以为每个系统或者每个用途划分独立的存储空间来使用。比如可以给视频存储，图片存储，视图库各自划分一个空间，也可以细化到为每个摄像头划分一个空间，可以灵活配置。

在一个优选的实施例中提及：本系统代理服务和元数据服务全部采用容器化部署，默认情况下，所有的元数据宿主机上一共运行多对元数据服务容器，不同宿主机上的元数据服务容器互相组成主备。容器化后，元数据集群能更好地支持元数据服务器做线性扩展。扩展时，只需要把原有机器上的容器数据整体迁移到新加的机器上，从而避免了元数据的分裂。性能随着元数据服务器节点的增加，性能横向扩展，提高整体系统支持的图片上限以及IOPS的能力。

在一个具体的实施例中提及：存储池用Bucket来表示，是分布式文件系统内的一个存储文件的容器，系统中每一个文件，都必须包含在一个Bucket中，Bucket不能嵌套，即Bucket内不允许再次创建Bucket。Bucket通过全局唯一名称标识。扁平的系统结构，使得云存储提供海量存储、线性扩展能力成为可能。这样的扁平结构成为众多分布式文件系统的选择，用户可以创建Bucket，删除Bucket，按照范围罗列Bucket内的文件。Bucket也可以理解为一个空间独立的目录，比如监控领域可以按照摄像头来设置Bucket，给每个摄像头指定相应的存储空间配额。

在一个优选的实施例中提及：数据接入层设置有逻辑解耦模块，逻辑解耦模块对外部设备的具体协议进行解耦，并提供一种统一的标准接口；由于前端设备的各异性，同时系统又要负责管理各厂商生产的各种类型的前端设备，登陆到设备，从设备获取码流，向设备下发配置/命令，订阅设备产生的告警、事件等等。然而，不同厂商的前端设备往往需要相应的协议才能接入，同时一些标准的接入方式，如国标、Onvif也需要支持，考虑可以方便地扩展新的厂商、新的设备类型。视频云存储接入集群系统可以屏蔽各种前端设备之间的协议上差异，对其进行一层抽象产生逻辑设备，并向上提供一种统一的管理这些逻辑设备的标准接口，以此实现上层业务逻辑与底层设备具体协议之间的解耦。

在一个优选的实施例中提及：还包括NTP时间同步模块，当获取到NTP时钟源ip地址后，各个存储节点通过NTP协议获取到NTP时钟源时间，并与本地时间做对比，提示用户进行时间同步；在云储存系统进行大规模部署的时候，为了保证数据的一致性通常需要保证每个节点需要统一时间，云存储自带NTP时间同步功能，避免到运行过程中调整时间会有数据丢失的风险。

在一个优选的实施例中提及：元数据服务器集群以及存储节点集群设置有录像图片索引功能，录像图片索引由元数据服务器和存储节点共同完成，可以实现各种条件的查询，并在元数据服务器和存储节点都有索引缓冲，可以提高查询定位效率。同时元数据服务器集群采用了分布式数据库，上面的数据有4个备份，充分保证元数据安全性和高并发访问速度，数据节点上的索引也采用冗余算法，能规避多点故障。

在一个优选的实施例中提及：EFS分布式文件子系统采用统一命名空间管理，统一命名空间管理是分布式文件系统的一个重要功能，只有提供统一命名空间管理，才能将集群的众多信息、状态屏蔽在集群内，保证系统使用的简易性、可扩展性、高可共享能力；一个具备一定规模的存储集群，随时都可能发生磁盘、存储服务器硬件等方面的故障，统一命名空间管理功能实现了将整个集群统一视图功能，整体对外提供一个访问IP，简化了与业务系统的接口，保证了系统使用的简易性；同时，存储的扩展仅限存储内部，而不会影响到系统与业务系统的接口，也保证了存储空间内数据的高共享能力。

其中一个优选的实施例中提及：视频能力服务层能够提供丰富的视频资源管理及应用，如视频广场，录像计划，直播回放，录像下载，云台控制等，满足用户对于视频应用的基本需求。

其中一个优选的实施例中提及：元数据服务器集群也是一个转发集群，主要提供视频码流转发和录像下载功能接口；同时具备以下功能：

·具有分布式架构，对外提供统一的入口；

·具有弹性扩展、负载均衡、错误接管等特性；

·提供实时预览、录像回放、录像下载等功能；

·支持多种流协议(RTSP，FLV和HLS)；

·支持一转多；

·支持级联，可将单路视频并发转发能力提升至集群性能上限；

·支持GB主动推流(UDP RTP)。

其中一个优选的实施例中提及：存储节点集群同时也是一个存储集群，主要对外提供统一入口，具有弹性扩展、负载均衡、错误接管等特性。提供录像计划、录像查询、录像配额(循环覆盖)等接口；负责从流媒体基础服务集群拉取码流，并将码流写入到云存储中；业务上主要侧重点在于将从流媒体基础服务集群中获得的数据流按一定的格式，稳定的不间断的写入云存储，保证录像业务的稳定可靠。

本发明的优势在于：

1、系统采用控制流与数据流分离的技术，客户端与数据节点之间直接传输数据流，从而使得整个系统的I/O高度并行，系统整体性能得到提高；客户端与元数据服务器之间只有控制流，而无数据流，这样就极大地降低了元数据服务器的负载，使之不成为系统性能的一个瓶颈。

2、EFS分布式文件子系统通过分布式集群技术，将所有存储节点的存储空间统一管理，资源池化成一个统一的存储空间池，实现了将整个集群统一视图功能，整体对外提供一个访问IP，简化了与业务系统的接口，保证了系统使用的简易性。

3、设置动态负载均衡模块，系统内部会自动根据各存储节点的IO负载、空间容量、CPU、内存负载等因素，调度数据流向，实现IO读写的负载均衡。

4、海量文件分布式云存储设计，由多台物理服务器组成动态的存储资源池，在数据写入存储的时候进行离散切片，将数据块随机打散到各个存储节点中；实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间。

以上公开的仅为本发明的几个具体实施例，但是本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。