掌桥专利:专业的专利平台
掌桥专利
首页

一种基于大数据的智慧城市运维管理方法及云平台

文献发布时间:2023-06-19 16:04:54



技术领域

本申请涉及大数据与智慧城市技术领域,具体而言,涉及一种基于大数据的智慧城市运维管理方法及云平台。

背景技术

随着大数据技术的发展,将大数据技术应用在城市管理中,通过部署大规模的监控系统,以持续的采集城市的图像数据,从而可以构建安全程度更高的智慧城市。

然而,目前应用在智慧城市数据管理的运维管理系统中,采集的管理方式一般为将监控系统采集的运维数据统一进行保存;这种保存方式能够快速地存储大量的运维数据,但也由于存储方式比较单一,导致运维管理数据在受到攻击时,尤其是针对运维管理数据中较为重要的一些数据受到攻击时,数据易丢失,重要数据的存储可靠性较低。

发明内容

本申请的目的在于提供一种基于大数据的智慧城市运维管理方法及云平台,以解决上述的至少部分技术问题。

为了实现上述目的,本申请采用的技术方案如下:

第一方面,本申请提供一种基于大数据的智慧城市运维管理方法,所述方法包括:

获取目标运维管理系统当前采集的区域运维管理数据包,当所述目标运维管理系统的工作模式从第一工作模式切换为第二工作模式时,在所述区域运维管理数据包的多个系统运维数据中获取第一系统运维数据;

在所述第一系统运维数据中查找目标数据保存区块,并对所述目标数据保存区块内的运维数据进行数据加密,并根据数据加密后的第一系统运维数据,得到第二系统运维数据;其中,所述目标数据保存区块对应的区块重要度评分大于所述第一系统运维数据对应的区块重要度评分;

对当前采集的区域运维管理数据包进行保存,当对所述第一系统运维数据进行保存时,将所述第二系统运维数据作为目标系统运维数据进行容灾存储。

可选地,作为一种可能的实施方式,所述在所述第一系统运维数据中查找目标数据保存区块,包括:

根据所述第一系统运维数据中的多个特征时间戳进行时间段划分,划分出所述第一系统运维数据对应的第一运维数据序列;

对所述第一运维数据序列进行压缩编码处理,得到与所述第一运维数据序列对应的编码运维数据序列,并将所述编码运维数据序列作为所述第一系统运维数据对应的特征计算对象;

获取所述特征计算对象内各特征时间戳分别对应的数据子序列,并基于所述特征计算对象内各特征时间戳分别对应的数据子序列各自所包含的数据量,计算所述特征计算对象对应的目标数据量值;其中,所述目标数据量值通过所述特征计算对象中所有数据子序列各自对应的数据量进行加权平均得到;

将所述特征计算对象对应的目标数据量值作为所述第一系统运维数据对应的第一区块重要度评分;

将所述第一系统运维数据划分为多个数据保存区块,并计算所述多个数据保存区块中每一个数据保存区块各自对应的区块重要度评分,作为第二区块重要度评分;

将所述第二区块重要度评分大于所述第一区块重要度评分的数据保存区块作为目标数据保存区块;

所述对所述第一系统运维数据中的目标数据保存区块内的运维数据进行数据加密,并根据数据加密后的第一系统运维数据,得到第二系统运维数据,包括:

在所述第一系统运维数据中,为所述目标数据保存区块设置第一区块信息标识,并为所述第一系统运维数据中的其他数据保存区块设置第二区块信息标识,得到包含有所述第一区块信息标识和所述第二区块信息标识的第一系统运维数据;其中,所述其他数据保存区块是指所述第一系统运维数据中除所述目标数据保存区块之外的数据保存区块;

获取所述第一系统运维数据对应的第一运维数据序列,并在所述第一运维数据序列中,将所述第一区块信息标识对应的目标数据保存区块内的运维数据,作为第二运维数据序列;

获取所述第二运维数据序列内所有特征时间戳各自对应的数据子序列,作为第三数据子序列;

将所述第三数据子序列内采集的数据进行清洗,并将数据清洗后的第三数据子序列作为第四数据子序列;

若所述第四数据子序列的数据量与所述第三数据子序列的数据量之间的比值大于或等于设定的比例阈值,则将所述第一系统运维数据中所述目标数据保存区块内的运维数据进行加密,得到与所述第一区块信息标识对应的数据保存区块;

将所述第一区块信息标识对应的数据保存区块与所述第二区块信息标识对应的数据保存区块进行区块数据合并,得到第二系统运维数据。

可选地,作为一种可能的实施方式,所述对当前采集的区域运维管理数据包进行保存,当对所述第一系统运维数据进行保存时,将所述第二系统运维数据作为目标系统运维数据进行容灾存储,包括:

在对当前采集的区域运维管理数据包进行保存时,获取所述第一系统运维数据对应的第一容器组标识,并获取所述第二系统运维数据对应的第二容器组标识;

当对所述第一系统运维数据进行保存时,根据所述第一容器组标识对应的第一容器集群,将所述第一系统运维数据内所有运维数据按照时间戳的先后顺序保存至所述第一容器集群中,并得到与所述第一系统运维数据对应的第一数据保存记录序列;

当对所述第二系统运维数据进行保存时,根据所述第二容器组标识对应的第二容器集群,将所述第二系统运维数据内所有运维数据作为目标系统运维数据,按照时间戳的先后顺序保存至所述第二容器集群以及设定的备份容器中,并得到与所述第二系统运维数据对应的第二数据保存记录序列。

可选地,作为一种可能的实施方式,所述方法还包括:

获取目标运维管理系统的当前工作时间节点,并在所述当前工作时间节点达到设定的模式切换节点时,将目标运维管理系统的工作模式从第一工作模式切换为第二工作模式。

可选地,作为一种可能的实施方式,所述方法还包括:

在所述第一系统运维数据中提取针对第一运维监控对象对应的第一运维监控数据和针对第二运维监控对象对应的第二运维监控数据;其中,所述第一运维监控数据包括所述第一运维监控对象在所述第一系统运维数据中对应的多个监控图像,所述第二运维监控数据包括所述第二运维监控对象在所述第一系统运维数据中对应的多个监控图像,并且每个监控图像包括多个类别标签;

根据所述第一运维监控数据和所述第二运维监控数据,分别生成所述第一运维监控对象对应的第一类别标签数组和所述第二运维监控对象对应的第二类别标签数组;其中,所述第一类别标签数组和所述第二类别标签数组分别是从所对应运维监控数据中提取出的类别标签构成的集合;

将所述第一类别标签数组和所述第二类别标签数组进行比较,得到所述第一运维监控对象和所述第二运维监控对象之间的标签交叠重复率;

当所述标签交叠重复率大于设定的交叠阈值时,确定所述第一运维监控对象和所述第二运维监控对象为关联监控对象。

可选地,作为一种可能的实施方式,所述根据所述第一运维监控数据和所述第二运维监控数据,分别生成所述第一运维监控对象对应的第一类别标签数组和所述第二运维监控对象对应的第二类别标签数组,包括:

基于接收的标签提取对象,对所述第一运维监控数据中的多个监控图像进行目标标签提取,得到提取标签后的第一运维监控数据;其中,所述标签提取对象包括所述多个类别标签中的至少一个;

获取所述提取标签后的第一运维监控数据中,与目标标签数组中的所述每个目标提取对象对应的所有类别标签,并保存为第一运维监控标签组;

对所述第一运维监控标签组进行筛选,得到与所述目标标签数组对应的第一目标运维监控标签组;

对所述第一目标运维监控标签组中的各个类别标签按照时间顺序依次排列,得到所述第一运维监控对象对应的所述第一类别标签数组;

从所述第二运维监控数据中,提取与所述目标标签数组中的各个目标提取对象分别对应的各个类别标签,并按照时间顺序依次排列提取到的所有类别标签,得到所述第二运维监控对象对应的第二类别标签数组。

可选地,作为一种可能的实施方式,所述将所述第一类别标签数组和所述第二类别标签数组进行比较,得到所述第一运维监控对象和所述第二运维监控对象之间的标签交叠重复率,包括:

确定所述第一类别标签数组和所述第二类别标签数组之间的相同类别标签的数量,并根据所述第一类别标签数组和所述第二类别标签数组两者的平均标签保有量,计算得到所述标签交叠重复率;其中,所述标签交叠重复率等于所述相同类别标签的数量预所述平均标签保有量两者的比值。

可选地,作为一种可能的实施方式,所述当所述标签交叠重复率大于设定的交叠阈值时,确定所述第一运维监控对象和所述第二运维监控对象为关联监控对象之后,所述方法还包括:

遍历所述第一系统运维数据,查找出所述第一系统运维数据中的所有运维监控对象;

将所述第一系统运维数据中的任意两个运维监控对象,分别作为所述第一运维监控对象和所述第二运维监控对象进行关联关系检测,直到完成所述第一系统运维数据中的所有运维监控对象之间的关联关系检测,获得所述第一系统运维数据中存在关联关系的关联监控对象组;

统计所述关联监控对象组中存在关联关系的运维监控对象的关联对数,并将所述关联对数作为第一监控数量;

将所述第一系统运维数据对应的运维监控对象的数量,作为第二监控数量;

计算所述第一监控数量与所述第二监控数量的比值,得到所述第一系统运维数据对应的关联监控对象占比;

当所述关联监控对象占比大于预设的关联占比阈值,确定所述第一系统运维数据为目标分析运维数据。

可选地,作为一种可能的实施方式,所述在所述第一系统运维数据中提取针对第一运维监控对象对应的第一运维监控数据和针对第二运维监控对象对应的第二运维监控数据之前,所述方法还包括:

获取当前视频监控码流;其中,所述当前视频监控码流为所述第一系统运维数据中针对运维监控对象进行监控的视频码流;

保存所述当前视频监控码流至预设的容器空间,以创建运维监控数据存储空间;

所述在所述第一系统运维数据中提取针对第一运维监控对象对应的第一运维监控数据和针对第二运维监控对象对应的第二运维监控数据,包括:

从所述运维监控数据存储空间中,提取所述第一系统运维数据中针对所述第一运维监控对象对应的第一运维监控数据和针对所述第二运维监控对象对应的第二运维监控数据。

第二方面,本申请提供一种基于大数据的智慧城市运维管理云平台,所述云平台包括:

处理模块,用于获取目标运维管理系统当前采集的区域运维管理数据包,当所述目标运维管理系统的工作模式从第一工作模式切换为第二工作模式时,在所述区域运维管理数据包的多个系统运维数据中获取第一系统运维数据;

所述处理模块还用于,在所述第一系统运维数据中查找目标数据保存区块,并对所述目标数据保存区块内的运维数据进行数据加密,并根据数据加密后的第一系统运维数据,得到第二系统运维数据;其中,所述目标数据保存区块对应的区块重要度评分大于所述第一系统运维数据对应的区块重要度评分;

存储模块,用于对当前采集的区域运维管理数据包进行保存,当对所述第一系统运维数据进行保存时,将所述第二系统运维数据作为目标系统运维数据进行容灾存储。

第三方面,本申请提供一种运维服务器,所述运维服务器包括存储器,用于存储一个或多个程序;处理器;当所述一个或多个程序被所述处理器执行时,实现上述的基于大数据的智慧城市运维管理方法。

第四方面,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述的基于大数据的智慧城市运维管理方法。

本申请提供的一种基于大数据的智慧城市运维管理及云平台,通过获取目标运维管理系统当前采集的区域运维管理数据包,并且当目标运维管理系统的工作模式从第一工作模式切换为第二工作模式时,可以在所述区域运维管理数据包的多个系统运维数据中获取第一系统运维数据,并进一步在所述第一系统运维数据中查找目标数据保存区块,且对所述目标数据保存区块内的运维数据进行数据加密,得到第二系统运维数据,从而在对当前采集的区域运维管理数据包进行保存,当对所述第一系统运维数据进行保存时,将所述第二系统运维数据作为目标系统运维数据进行容灾存储。如此,可以提高第二系统运维数据保存时的可靠性。

为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它相关的附图。

图1为本申请提供的运维服务器的结构框图。

图2为本申请提供的基于大数据的智慧城市运维管理方法的流程图。

图3为本申请提供的基于大数据的智慧城市运维管理云平台的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请的一些实施例中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。

因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请选定的一些实施例。基于本申请中的一部分实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者系统中还存在另外的相同要素。

下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。

请参阅图1,图1为本申请提供的运维服务器100的结构框图;所述运维服务器100可以包括存储器101、处理器102和通信接口103,该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。比如,该控制系统100可以是但不限于是手机、个人电脑(personal computer,PC)、平板电脑等等。

存储器101可用于存储软件程序及模块,如本申请提供的基于大数据的智慧城市运维管理云平台对应的程序指令/模块,处理器102通过执行存储在存储器101内的软件程序及模块,从而执行各种功能应用以及数据处理,进而执行本申请提供的基于大数据的智慧城市运维管理方法的步骤。该通信接口103可用于与其他节点系统进行信令或数据的通信。

其中,存储器101可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除可编程只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。

处理器102可以是一种集成电路芯片,具有信号处理能力。该处理器102可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

以上述的运维服务器作为执行主体为例,请参阅图2,图2为本申请提供的基于大数据的智慧城市运维管理方法的流程图,所述运维管理方法包括以下步骤:

步骤S100,获取目标运维管理系统当前采集的区域运维管理数据包,当所述目标运维管理系统的工作模式从第一工作模式切换为第二工作模式时,在所述区域运维管理数据包的多个系统运维数据中获取第一系统运维数据。

在本实施例中,所述目标运维管理系统可以为智能管理系统,所述智能管理系统可以负责管理多个智能系统在工作时所采集的系统;比如所述多个智能系统可以是道路上设置的多个智能监控相机。

其中,所述智能管理系统可以按照监控时段的不同,将所述智能管理系统的工作模式分为白天监控模式和夜间监控模式;每当所述智能管理系统的监控模式发生变化时,比如当所述智能管理系统的工作模式从第一工作模式切换为第二工作模式时,所述智能管理系统可以将其所采集的数据,打包发送给所述运维服务器进行存储并管理。

可以理解的是,上述的工作模式从第一工作模式切换为第二工作模式,是指所述目标运维管理系统的工作模式发生了变化;以上述的智能管理系统为例,从第一工作模式切换为第二工作模式,可以是指从白天监控模式切换为夜间监控模式,也可以是指从夜间监控模式切换为白天监控模式。

相应地,在本实施例中,所述运维服务器可以持续的获取所述目标运维管理系统当前采集的区域运维管理数据包,且当所述运维服务器确定所述目标运维管理系统的工作模式从第一工作模式切换为第二工作模式时,比如接收到所述目标运维管理系统发送的工作模式切换通知时,所述运维服务器可以根据获取到的区域运维管理数据包,执行步骤S100。

其中,参照上述的所述目标运维管理系统负责维护的多个智能监控相机的场景,所述区域运维管理数据包中的每一个系统运维数据可以为一个智能监控相机所对应的运维数据,比如监控视频流;所述第一系统运维数据为所述多个系统运维数据中的任意一个,比如可以将所述多个系统运维数据所有系统运维数据,轮流确定为所述第一系统运维数据。

步骤S200,在所述第一系统运维数据中查找目标数据保存区块,并对所述目标数据保存区块内的运维数据进行数据加密,并根据数据加密后的第一系统运维数据,得到第二系统运维数据;其中,所述目标数据保存区块对应的区块重要度评分大于所述第一系统运维数据对应的区块重要度评分。

在本实施例中,所述第一系统运维数据所包含的数据中,可以按照时间段的划分,将第一系统运维数据划分为多个数据保存区块。

所述运维服务器在获取到第一系统运维数据后,可以根据计算得到的每一个数据保存区块各自对应的区块重要度评分,在所述第一系统运维数据包括的多个数据保存区块中确定出目标数据保存区块,并对所述目标数据保存区块内的运维数据进行数据加密,并根据数据加密后的第一系统运维数据,得到第二系统运维数据。

步骤S300,对当前采集的区域运维管理数据包进行保存,当对所述第一系统运维数据进行保存时,将所述第二系统运维数据作为目标系统运维数据进行容灾存储。

在本实施例中,所述运维服务器在获得目标运维管理系统当前采集的区域运维管理数据包,可以对所述运维管理数据包持续地进行保存;其中,当对所述区域运维管理数据包中的第一系统运维数据进行保存时,所述运维服务器可以将所述第二系统运维数据作为目标系统运维数据进行容灾存储,而对其他数据进行普通存储。

如此,基于本申请提供的上述实现方式,通过获取目标运维管理系统当前采集的区域运维管理数据包,并且当目标运维管理系统的工作模式从第一工作模式切换为第二工作模式时,可以在所述区域运维管理数据包的多个系统运维数据中获取第一系统运维数据,并进一步在所述第一系统运维数据中查找目标数据保存区块,且对所述目标数据保存区块内的运维数据进行数据加密,得到第二系统运维数据,从而在对当前采集的区域运维管理数据包进行保存,当对所述第一系统运维数据进行保存时,将所述第二系统运维数据作为目标系统运维数据进行容灾存储。如此,可以提高第二系统运维数据保存时的可靠性。

其中,作为一种可能的实施方式,所述运维服务器在执行步骤S200时,可以采用以下方式查找出所述目标数据保存区块:

首先,所述运维服务器可以根据所述第一系统运维数据中的多个特征时间戳进行时间段划分,划分出所述第一系统运维数据对应的第一运维数据序列。

在本实施例中,所述运维服务器可以按照固定的时间戳对所述第一系统运维数据进行划分;比如,9.00-10.00内的数据划分为一个时段内的数据;10.00-11.00内的数据划分为一个时段内的数据···;如此,所述运维服务器按照该方式,将所述第一系统运维数据按照时间戳的方式划分为多个数据序列,从而得到所述第一系统运维数据对应的第一运维数据序列。

接下来,所述运维服务器可以对所述第一运维数据序列进行压缩编码处理,得到与所述第一运维数据序列对应的编码运维数据序列,并将所述编码运维数据序列作为所述第一系统运维数据对应的特征计算对象。

然后,所述运维服务器可以获取所述特征计算对象内各特征时间戳分别对应的数据子序列,并基于所述特征计算对象内各特征时间戳分别对应的数据子序列各自所包含的数据量,计算所述特征计算对象对应的目标数据量值;其中,所述目标数据量值通过所述特征计算对象中所有数据子序列各自对应的数据量进行加权平均得到。

在本实施例中,每一所述数据子序列可以预先配置有各自对应的权重参数;如此,所述运维服务器可以以每一所述数据子序列各自对应的数据量作为计算对象,并分别乘以各自对应的权重参数后进行加权平均求和,从而得到所述目标数据量值。

接下来,所述运维服务器可以将所述特征计算对象对应的目标数据量值作为所述第一系统运维数据对应的第一区块重要度评分。

然后,所述运维服务器可以将所述第一系统运维数据划分为多个数据保存区块,并计算所述多个数据保存区块中每一个数据保存区块各自对应的区块重要度评分,作为第二区块重要度评分。

如此,所述运维服务器可以将所述第二区块重要度评分大于所述第一区块重要度评分的数据保存区块作为目标数据保存区块。

另外,基于上述方式偶的的目标数据保存区块,所述运维服务器在执行步骤S200时,可以采用以下方式得到第二系统运维数据,包括:

首先,所述运维服务器可以在所述第一系统运维数据中,为所述目标数据保存区块设置第一区块信息标识,并为所述第一系统运维数据中的其他数据保存区块设置第二区块信息标识,得到包含有所述第一区块信息标识和所述第二区块信息标识的第一系统运维数据;其中,所述其他数据保存区块是指所述第一系统运维数据中除所述目标数据保存区块之外的数据保存区块。

接下来,所述运维服务器可以获取所述第一系统运维数据对应的第一运维数据序列,并在所述第一运维数据序列中,将所述第一区块信息标识对应的目标数据保存区块内的运维数据,作为第二运维数据序列。

然后,所述运维服务器可以获取所述第二运维数据序列内所有特征时间戳各自对应的数据子序列,作为第三数据子序列。

接下来,所述运维服务器可以将所述第三数据子序列内采集的数据进行清洗,并将数据清洗后的第三数据子序列作为第四数据子序列。

然后,若所述第四数据子序列的数据量与所述第三数据子序列的数据量之间的比值大于或等于设定的比例阈值,则所述运维服务器可以将所述第一系统运维数据中所述目标数据保存区块内的运维数据进行加密,得到与所述第一区块信息标识对应的数据保存区块。

如此,所述运维服务器可以将所述第一区块信息标识对应的数据保存区块与所述第二区块信息标识对应的数据保存区块进行区块数据合并,得到第二系统运维数据。

可以理解的是,本申请提供的上述步骤S200的实施方式仅仅是一种示例,本申请其他的一些场景中,所述运维服务器可以采用其他的实施方式执行步骤S200,本申请在此不进行限定。

另外,在本实施例中,所述运维服务器在执行步骤S300时,可以采用以下方案:

首先,所述运维服务器在对当前采集的区域运维管理数据包进行保存时,可以获取所述第一系统运维数据对应的第一容器组标识,并获取所述第二系统运维数据对应的第二容器组标识。

接下来,当对所述第一系统运维数据进行保存时,所述运维服务器可以根据所述第一容器组标识对应的第一容器集群,将所述第一系统运维数据内所有运维数据按照时间戳的先后顺序保存至所述第一容器集群中,并得到与所述第一系统运维数据对应的第一数据保存记录序列。

然后,当对所述第二系统运维数据进行保存时,所述运维服务器可以根据所述第二容器组标识对应的第二容器集群,将所述第二系统运维数据内所有运维数据作为目标系统运维数据,按照时间戳的先后顺序保存至所述第二容器集群以及设定的备份容器中,并得到与所述第二系统运维数据对应的第二数据保存记录序列。

如此,基于本申请提供的上述实施方式,可以在对所述第二系统运维数据进行容灾存储的同时,还能得到与所述第二系统运维数据对应的第二数据保存记录序列,从而使用户可以通过所述第二数据保存记录序列查找所述第二系统运维数据,提高运维数据的查找速度。

并且,基于本申请提供的上述实施方式,在执行步骤S100之前,所述运维服务器还可以获取目标运维管理系统的当前工作时间节点,并在所述当前工作时间节点达到设定的模式切换节点时,将目标运维管理系统的工作模式从第一工作模式切换为第二工作模式;比如按照本申请提供的上述示例,所述运维服务器可以向所述目标运维管理系统发出转换指令,以使所述目标运维管理系统从白天监控模式切换为夜间监控模式,或者是从夜间监控模式切换为白天监控模式。

另外,在比如上述的以智能监控相机作为运维管理系统的场景中,所述运维服务器可以基于人脸识别的方式,建立区域安防系统。

基于该场景,本实施例提供的上述基于大数据的智慧城市运维管理方法还可以包括以下步骤:

首先,所述运维服务器可以在所述第一系统运维数据中提取针对第一运维监控对象对应的第一运维监控数据和针对第二运维监控对象对应的第二运维监控数据;其中,所述第一运维监控数据包括所述第一运维监控对象在所述第一系统运维数据中对应的多个监控图像,所述第二运维监控数据包括所述第二运维监控对象在所述第一系统运维数据中对应的多个监控图像,并且每个监控图像包括多个类别标签。

在本实施例中,所述第一运维监控对象和所述第二运维监控对象可以为用户输入的多个人脸图像中的其中两个。

另外,所述多个类别标签可以为对应的监控图像的分类标签,比如:惊恐、温和、平静、惊吓、威胁等等。

接下来,所述运维服务器可以根据所述第一运维监控数据和所述第二运维监控数据,分别生成所述第一运维监控对象对应的第一类别标签数组和所述第二运维监控对象对应的第二类别标签数组;其中,所述第一类别标签数组和所述第二类别标签数组分别是从所对应运维监控数据中提取出的类别标签构成的集合。

然后,所述运维服务器可以将所述第一类别标签数组和所述第二类别标签数组进行比较,得到所述第一运维监控对象和所述第二运维监控对象之间的标签交叠重复率。

接下来,当所述标签交叠重复率大于设定的交叠阈值时,所述运维服务器可以确定所述第一运维监控对象和所述第二运维监控对象为关联监控对象。

基于本申请提供的上述实现方式,可以识别出所述第一系统运维数据中具有关联关系的监控对象,从而为更精确的安防识别提供基础,进而提升智慧城市等场景的识别能力。

其中,在一些实施例中,所述运维服务器可以采用以下方案分别生成所述第一运维监控对象对应的第一类别标签数组和所述第二运维监控对象对应的第二类别标签数组:

首先,所述运维服务器可以基于接收的标签提取对象,对所述第一运维监控数据中的多个监控图像进行目标标签提取,得到提取标签后的第一运维监控数据;其中,所述标签提取对象包括所述多个类别标签中的至少一个。

在本实施例中,以上述示例的类别标签为例,所述运维服务器可以接收用户输入的“惊恐”作为上述的标签提取对象。

接下来,所述运维服务器可以获取所述提取标签后的第一运维监控数据中,与目标标签数组中的所述每个目标提取对象对应的所有类别标签,并保存为第一运维监控标签组。

在本实施例中,所述目标标签数组可以为接收的标签数组。

然后,所述运维服务器可以对所述第一运维监控标签组进行筛选,得到与所述目标标签数组对应的第一目标运维监控标签组。

在本实施例中,所述运维服务器可以基于预设的过滤标签合集,将所述第一运维监控标签组中包含于所述过滤标签合集中的类别标签进行剔除,从而将剩余的所有类别标签组合为所述第一目标运维监控标签组。

接下来,所述运维服务器可以对所述第一目标运维监控标签组中的各个类别标签按照时间顺序依次排列,得到所述第一运维监控对象对应的所述第一类别标签数组。

然后,所述运维服务器可以从所述第二运维监控数据中,提取与所述目标标签数组中的各个目标提取对象分别对应的各个类别标签,并按照时间顺序依次排列提取到的所有类别标签,得到所述第二运维监控对象对应的第二类别标签数组。

如此,基于本申请提供的上述实施方式,结合接收的标签提取对象,从而分别生成所述第一类别标签数组和所述第二类别标签数组,能够提升标签数组的获取准确度,以生成与用户期望更为接近的类别标签数组。

另外,在本实施例中,作为一种可能的实施方式,所述运维服务器在得到所述第一运维监控对象和所述第二运维监控对象之间的标签交叠重复率时,可以确定所述第一类别标签数组和所述第二类别标签数组之间的相同类别标签的数量,并根据所述第一类别标签数组和所述第二类别标签数组两者的平均标签保有量,计算得到所述标签交叠重复率;其中,所述标签交叠重复率等于所述相同类别标签的数量预所述平均标签保有量两者的比值。

另外,本实施例提供的基于大数据的智慧城市运维管理方法中,所述运维服务器在确定所述第一运维监控对象和所述第二运维监控对象为关联监控对象之后,还可以包括以下步骤:

首先,所述运维服务器可以遍历所述第一系统运维数据,查找出所述第一系统运维数据中的所有运维监控对象。

接下来,所述运维服务器可以将所述第一系统运维数据中的任意两个运维监控对象,分别作为所述第一运维监控对象和所述第二运维监控对象进行关联关系检测,直到完成所述第一系统运维数据中的所有运维监控对象之间的关联关系检测,获得所述第一系统运维数据中存在关联关系的关联监控对象组。

然后,所述运维服务器可以统计所述关联监控对象组中存在关联关系的运维监控对象的关联对数,并将所述关联对数作为第一监控数量。

接下来,所述运维服务器可以将所述第一系统运维数据对应的运维监控对象的数量,作为第二监控数量。

然后,所述运维服务器可以计算所述第一监控数量与所述第二监控数量的比值,得到所述第一系统运维数据对应的关联监控对象占比。

接下来,当所述关联监控对象占比大于预设的关联占比阈值,所述运维服务器可以确定所述第一系统运维数据为目标分析运维数据;如此,所述运维服务器可以将所述目标分析运维数据推送给用户,以使用户可以基于所述目标分析运维数据进行基于大数据的智慧城市运维管理分析,从而提升智慧城市的运维管理准确度。

并且,所述运维服务器在提取针对第一运维监控对象对应的第一运维监控数据和针对第二运维监控对象对应的第二运维监控数据之前,本实施例提供的基于大数据的智慧城市运维管理方法还可以包括以下步骤:

首先,所述运维服务器可以获取当前视频监控码流;其中,所述当前视频监控码流为所述第一系统运维数据中针对运维监控对象进行监控的视频码流。

接下来,所述运维服务器可以保存所述当前视频监控码流至预设的容器空间,以创建运维监控数据存储空间。

基于此,所述运维服务器在所述第一系统运维数据中提取针对第一运维监控对象对应的第一运维监控数据和针对第二运维监控对象对应的第二运维监控数据时,可以从所述运维监控数据存储空间中,提取所述第一系统运维数据中针对所述第一运维监控对象对应的第一运维监控数据和针对所述第二运维监控对象对应的第二运维监控数据。

如此,通过创建运维数据存储空间,可以确保所述运维管理数据的纯粹性,避免数据污染。

另外,结合图3所示,本申请还提供一种基于大数据的智慧城市运维管理云平台300,所述基于大数据的智慧城市运维管理云平台300包括:

处理模块310,用于获取目标运维管理系统当前采集的区域运维管理数据包,当所述目标运维管理系统的工作模式从第一工作模式切换为第二工作模式时,在所述区域运维管理数据包的多个系统运维数据中获取第一系统运维数据;

所述处理模块310还用于,在所述第一系统运维数据中查找目标数据保存区块,并对所述目标数据保存区块内的运维数据进行数据加密,并根据数据加密后的第一系统运维数据,得到第二系统运维数据;其中,所述目标数据保存区块对应的区块重要度评分大于所述第一系统运维数据对应的区块重要度评分;

存储模块320,用于对当前采集的区域运维管理数据包进行保存,当对所述第一系统运维数据进行保存时,将所述第二系统运维数据作为目标系统运维数据进行容灾存储。

可选地,所述处理模块310在所述第一系统运维数据中查找目标数据保存区块时,具体用于:

根据所述第一系统运维数据中的多个特征时间戳进行时间段划分,划分出所述第一系统运维数据对应的第一运维数据序列;

对所述第一运维数据序列进行压缩编码处理,得到与所述第一运维数据序列对应的编码运维数据序列,并将所述编码运维数据序列作为所述第一系统运维数据对应的特征计算对象;

获取所述特征计算对象内各特征时间戳分别对应的数据子序列,并基于所述特征计算对象内各特征时间戳分别对应的数据子序列各自所包含的数据量,计算所述特征计算对象对应的目标数据量值;其中,所述目标数据量值通过所述特征计算对象中所有数据子序列各自对应的数据量进行加权平均得到;

将所述特征计算对象对应的目标数据量值作为所述第一系统运维数据对应的第一区块重要度评分;

将所述第一系统运维数据划分为多个数据保存区块,并计算所述多个数据保存区块中每一个数据保存区块各自对应的区块重要度评分,作为第二区块重要度评分;

将所述第二区块重要度评分大于所述第一区块重要度评分的数据保存区块作为目标数据保存区块;

所述处理模块310在对所述第一系统运维数据中的目标数据保存区块内的运维数据进行数据加密,并根据数据加密后的第一系统运维数据,得到第二系统运维数据时,具体用于:

在所述第一系统运维数据中,为所述目标数据保存区块设置第一区块信息标识,并为所述第一系统运维数据中的其他数据保存区块设置第二区块信息标识,得到包含有所述第一区块信息标识和所述第二区块信息标识的第一系统运维数据;其中,所述其他数据保存区块是指所述第一系统运维数据中除所述目标数据保存区块之外的数据保存区块;

获取所述第一系统运维数据对应的第一运维数据序列,并在所述第一运维数据序列中,将所述第一区块信息标识对应的目标数据保存区块内的运维数据,作为第二运维数据序列;

获取所述第二运维数据序列内所有特征时间戳各自对应的数据子序列,作为第三数据子序列;

将所述第三数据子序列内采集的数据进行清洗,并将数据清洗后的第三数据子序列作为第四数据子序列;

若所述第四数据子序列的数据量与所述第三数据子序列的数据量之间的比值大于或等于设定的比例阈值,则将所述第一系统运维数据中所述目标数据保存区块内的运维数据进行加密,得到与所述第一区块信息标识对应的数据保存区块;

将所述第一区块信息标识对应的数据保存区块与所述第二区块信息标识对应的数据保存区块进行区块数据合并,得到第二系统运维数据。

可选地,所述存储模块320在对当前采集的区域运维管理数据包进行保存,当对所述第一系统运维数据进行保存时,将所述第二系统运维数据作为目标系统运维数据进行容灾存储时,具体用于:

在对当前采集的区域运维管理数据包进行保存时,获取所述第一系统运维数据对应的第一容器组标识,并获取所述第二系统运维数据对应的第二容器组标识;

当对所述第一系统运维数据进行保存时,根据所述第一容器组标识对应的第一容器集群,将所述第一系统运维数据内所有运维数据按照时间戳的先后顺序保存至所述第一容器集群中,并得到与所述第一系统运维数据对应的第一数据保存记录序列;

当对所述第二系统运维数据进行保存时,根据所述第二容器组标识对应的第二容器集群,将所述第二系统运维数据内所有运维数据作为目标系统运维数据,按照时间戳的先后顺序保存至所述第二容器集群以及设定的备份容器中,并得到与所述第二系统运维数据对应的第二数据保存记录序列。

可选地,处理模块310还用于:

获取目标运维管理系统的当前工作时间节点,并在所述当前工作时间节点达到设定的模式切换节点时,将目标运维管理系统的工作模式从第一工作模式切换为第二工作模式。

可选地,处理模块310还用于:

在所述第一系统运维数据中提取针对第一运维监控对象对应的第一运维监控数据和针对第二运维监控对象对应的第二运维监控数据;其中,所述第一运维监控数据包括所述第一运维监控对象在所述第一系统运维数据中对应的多个监控图像,所述第二运维监控数据包括所述第二运维监控对象在所述第一系统运维数据中对应的多个监控图像,并且每个监控图像包括多个类别标签;

根据所述第一运维监控数据和所述第二运维监控数据,分别生成所述第一运维监控对象对应的第一类别标签数组和所述第二运维监控对象对应的第二类别标签数组;其中,所述第一类别标签数组和所述第二类别标签数组分别是从所对应运维监控数据中提取出的类别标签构成的集合;

将所述第一类别标签数组和所述第二类别标签数组进行比较,得到所述第一运维监控对象和所述第二运维监控对象之间的标签交叠重复率;

当所述标签交叠重复率大于设定的交叠阈值时,确定所述第一运维监控对象和所述第二运维监控对象为关联监控对象。

可选地,处理模块310在根据所述第一运维监控数据和所述第二运维监控数据,分别生成所述第一运维监控对象对应的第一类别标签数组和所述第二运维监控对象对应的第二类别标签数组时,具体用于:

基于接收的标签提取对象,对所述第一运维监控数据中的多个监控图像进行目标标签提取,得到提取标签后的第一运维监控数据;其中,所述标签提取对象包括所述多个类别标签中的至少一个;

获取所述提取标签后的第一运维监控数据中,与目标标签数组中的所述每个目标提取对象对应的所有类别标签,并保存为第一运维监控标签组;

对所述第一运维监控标签组进行筛选,得到与所述目标标签数组对应的第一目标运维监控标签组;

对所述第一目标运维监控标签组中的各个类别标签按照时间顺序依次排列,得到所述第一运维监控对象对应的所述第一类别标签数组;

从所述第二运维监控数据中,提取与所述目标标签数组中的各个目标提取对象分别对应的各个类别标签,并按照时间顺序依次排列提取到的所有类别标签,得到所述第二运维监控对象对应的第二类别标签数组。

可选地,处理模块310在将所述第一类别标签数组和所述第二类别标签数组进行比较,得到所述第一运维监控对象和所述第二运维监控对象之间的标签交叠重复率时,具体用于:

确定所述第一类别标签数组和所述第二类别标签数组之间的相同类别标签的数量,并根据所述第一类别标签数组和所述第二类别标签数组两者的平均标签保有量,计算得到所述标签交叠重复率;其中,所述标签交叠重复率等于所述相同类别标签的数量预所述平均标签保有量两者的比值。

可选地,当所述标签交叠重复率大于设定的交叠阈值时,确定所述第一运维监控对象和所述第二运维监控对象为关联监控对象之后,处理模块310还用于:

遍历所述第一系统运维数据,查找出所述第一系统运维数据中的所有运维监控对象;

将所述第一系统运维数据中的任意两个运维监控对象,分别作为所述第一运维监控对象和所述第二运维监控对象进行关联关系检测,直到完成所述第一系统运维数据中的所有运维监控对象之间的关联关系检测,获得所述第一系统运维数据中存在关联关系的关联监控对象组;

统计所述关联监控对象组中存在关联关系的运维监控对象的关联对数,并将所述关联对数作为第一监控数量;

将所述第一系统运维数据对应的运维监控对象的数量,作为第二监控数量;

计算所述第一监控数量与所述第二监控数量的比值,得到所述第一系统运维数据对应的关联监控对象占比;

当所述关联监控对象占比大于预设的关联占比阈值,确定所述第一系统运维数据为目标分析运维数据。

可选地,处理模块310在所述第一系统运维数据中提取针对第一运维监控对象对应的第一运维监控数据和针对第二运维监控对象对应的第二运维监控数据之前,还用于:

获取当前视频监控码流;其中,所述当前视频监控码流为所述第一系统运维数据中针对运维监控对象进行监控的视频码流;

保存所述当前视频监控码流至预设的容器空间,以创建运维监控数据存储空间;

处理模块310在所述第一系统运维数据中提取针对第一运维监控对象对应的第一运维监控数据和针对第二运维监控对象对应的第二运维监控数据时,具体用于:

从所述运维监控数据存储空间中,提取所述第一系统运维数据中针对所述第一运维监控对象对应的第一运维监控数据和针对所述第二运维监控对象对应的第二运维监控数据。

在本申请所提供的实施例中,应该理解到,所揭露的云平台和方法,也可以通过其它的方式实现。以上所描述的云平台实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的一些实施例的云平台、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。

对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

相关技术
  • 一种基于大数据的智慧城市运维管理方法及云平台服务器
  • 一种基于大数据的智慧城市运维管理方法及云平台
技术分类

06120114693244