一种基于主动对象的关联大数据存储管理系统

技术领域

本发明属于大数据存储技术领域，具体涉及一种基于主动对象的关联大数据存储管理系统。

背景技术

目前，网络速度越来越快，已经出现了超高速网络，各种应用和服务也持续涌现并不断变化，同时访问网络的设备的数量也在日益增长。这些导致迅速产生海量数据。为了适应这种情况，已经发展了诸如数据湖的大型数据中心的技术，以用于处理和存储这些迅速产生的海量数据，而城市地下基础设施需要借助智能终端进行数据处理监控；

目前的数据存储管理系统，通过将设施信息全部集中到一起进行管理，且系统需要被动管理，存储效率低下，同时对数据管理不便的问题，为此我们提出一种基于主动对象的关联大数据存储管理系统。

发明内容

本发明的目的在于提供一种基于主动对象的关联大数据存储管理系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于主动对象的关联大数据存储管理系统，包括信息采集终端模块、信息总处理模块、信息分类处理模块与信息存储模块；

信息采集终端模块用于采集城市地下基础设施运行数据及应用的存储需求特征；

信息总处理模块用于根据存储系统内各型存储设备特性与资源使用情况，基于主动对象在线匹配数据与存储资源；

信息分类处理模块用于在异构数据装载同时实现数据布局，调节存储硬件资源配置，优化存储资源的使用；

信息存储模块用于将配置完成的数据进行保存，并上传至云端。

优选的，所述主动对象存储可以实时调度I/O，根据负载变化调整关联数据分区，围绕监测、决策应用进行行为分析，可对不同监测数据及应用特性进行精确刻画，提炼共性程序，拟研制主动对象存储控制器，在数据存储侧为应用提供近数据处理功能，使原始数据在离开存储系统前即执行去冗、过滤、分类通用功能。

优选的，所述信息采集终端模块向信息总处理模块传递信息采用二维结构模板，针对数据信息紧急程度进行等级划分，且按照英文字母表A～Z进行编码，信息总处理模块优先处理靠前字母编码表示的信息。

优选的，所述信息采集终端模块采集的信息内包含数据源地址编码，所述信息总处理模块内包含地址编码立体化数据库，用户可根据立体成像观察地下基础设施运行情况。

优选的，所述信息分类处理模块划分出两个区域盘，是否需要在12H内处理作为基准进行分类进行数据信息处理，不需要则正常存储运转，需要则进行标记，并传达记录至信息存储模块的亟待处理区域盘。

优选的，所述信息存储模块通过对地下设施运维数据和系统历史数据进行多维度分析，甄别各类地区的异常发生次数与严重程度，输出采集运维效用值模型，以用于进行甄别重点信息采集区域。

优选的，所述信息总处理模块内包含数据修正模块，可以对信息采集终端模块传递的错误信息进行更正，且记录在信息存储模块内。

优选的，所述信息总处理模块内包含信息查询模块，信息查询模块借助数据仓库工具Hive用于建立完整的结构化查询语言SQL查询。

优选的，所述信息查询模块对相同关键词所显示的同类信息，会按照I～IV依次显示，I～IV即表示事件处理发生过去时间长短。

优选的，所述信息分类处理模块内包括安全分析模块，主要功能是对数据进行安全风险分析、关联、故障定位、漏洞扫描、和实时监控。

与现有技术相比，本发明的有益效果是：

1.本发明中，通过设计采用主动对象存储可以实时调度I/O，根据负载变化调整关联数据分区，减少访存冲突，提高访存效率，充分发挥存储系统并行性，最大化I/O能力，改善性能。

2.本发明中，通过设计的分类处理系统，可以对重要的数据进行集中存储，便于后续进行查询，使数据显示更为快捷，同时对查询到的信息进行等级分类，优先显示紧急程度高的数据信息，更加人性化。

3.本发明中，通过设计的数据修正模块，可以对错误信息进行修复，且进行留档，便于后续对数据进行存储准确性检查时，重点排查，提高存储管理系统整体的数据存储精确性。

附图说明

图1为本发明的系统示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供一种技术方案：一种基于主动对象的关联大数据存储管理系统，包括信息采集终端模块、信息总处理模块、信息分类处理模块与信息存储模块；

信息采集终端模块用于采集城市地下基础设施运行数据及应用的存储需求特征；

信息总处理模块用于根据存储系统内各型存储设备特性与资源使用情况，基于主动对象在线匹配数据与存储资源，信息查询模块对相同关键词所显示的同类信息，会按照I～IV依次显示，I～IV即表示事件处理发生过去时间长短；

信息分类处理模块用于在异构数据装载同时实现数据布局，调节存储硬件资源配置，优化存储资源的使用；

信息存储模块用于将配置完成的数据进行保存，并上传至云端，信息分类处理模块内包括安全分析模块，主要功能是对数据进行安全风险分析、关联、故障定位、漏洞扫描、和实时监控。

进一步地，主动对象存储可以实时调度I/O，根据负载变化调整关联数据分区，围绕监测、决策应用进行行为分析，可对不同监测数据及应用特性进行精确刻画，提炼共性程序，拟研制主动对象存储控制器，在数据存储侧为应用提供近数据处理功能，使原始数据在离开存储系统前即执行去冗、过滤、分类通用功能。

进一步地，信息采集终端模块向信息总处理模块传递信息采用二维结构模板，针对数据信息紧急程度进行等级划分，且按照英文字母表A～Z进行编码，信息总处理模块优先处理靠前字母编码表示的信息，信息采集终端模块采集的信息内包含数据源地址编码，信息总处理模块内包含地址编码立体化数据库，用户可根据立体成像观察地下基础设施运行情况。

进一步地，信息分类处理模块划分出两个区域盘，是否需要在12H内处理作为基准进行分类进行数据信息处理，不需要则正常存储运转，需要则进行标记，并传达记录至信息存储模块的亟待处理区域盘。

进一步地，信息存储模块通过对地下设施运维数据和系统历史数据进行多维度分析，甄别各类地区的异常发生次数与严重程度，输出采集运维效用值模型，以用于进行甄别重点信息采集区域。

进一步地，信息总处理模块内包含数据修正模块，可以对信息采集终端模块传递的错误信息进行更正，且记录在信息存储模块内，信息总处理模块内包含信息查询模块，信息查询模块借助数据仓库工具Hive用于建立完整的结构化查询语言SQL查询。

本发明的工作原理及使用流程：信息采集终端模块对城市地下设施数据进行采集，传递给信息总处理模块进行数据分析，数据异常的数据根据等级传递给信息分类处理模块的两个不同区域盘进行数据分析，最后传递给信息存储模块进行存储，一般查询大概率会查询异常严重的数据事故，优先显示，更人性化，而异常次数较多的会被打上标记，对该区域进行重点数据监测，信息分类处理模块内包括安全分析模块，主要功能是对数据进行安全风险分析、关联、故障定位、漏洞扫描、和实时监控，保持数据存储的精确性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。