一种自动监控Ceph PG实时分布情况的方法及系统

技术领域

本发明公开一种方法及系统，涉及分布式存储管理技术领域，具体地说是一种自动监控Ceph PG实时分布情况的方法及系统。

背景技术

当前处于5G、云计算、大数据发展的高峰阶段，以云计算来说，它的普及，在不断降低企业生产成本的同时也成倍提升着企业的生产效率。而存储是云计算的基石，Ceph是开源分布式软件定义存储解决方案的领头羊。但由于数据存储过程的复杂性，无法直观的对实际存储的数据进行全面的追踪和观察，不能实时查询及监控Ceph PG分布情况。

发明内容

本发明针对现有技术的问题，提供一种自动监控Ceph PG实时分布情况的方法及系统，具有通用性强、实施简便等特点，具有广阔的应用前景。

本发明提出的具体方案是：

本发明提供一种自动监控Ceph PG实时分布情况的方法，周期性采集Ceph的PG数据，

利用数据库创建数据存储表，依次将采集的PG数据按照采集时间存入数据存储表中，

利用计算服务获取并处理数据库中PG数据，并提供接口供web页面查询和返回数据，

通过web页面进行数据展示：展示Ceph环境的基本信息，查看环境副本数、存储池的PG总数、osd总数以及存储池总数，展示pg分布情况，根据pg副本数与环境所配置的副本数进行对比，筛选正常和异常的副本数并统计个数，形成图表，并根据对应区域跳转实时pg分布页面。

进一步，所述的一种自动监控Ceph PG实时分布情况的方法中选取每个集群的安装节点，部署PG分布周期性数据采集器在安装节点，通过PG分布周期性数据采集器周期性采集Ceph的PG数据。

进一步，所述的一种自动监控Ceph PG实时分布情况的方法中所述通过PG分布周期性数据采集器周期性采集Ceph的PG数据，包括：

通过ceph命令在安装节点采集cinder-volumes的PG数据。

进一步，所述的一种自动监控Ceph PG实时分布情况的方法中所述依次将采集的PG数据按照采集时间存入数据存储表中，包括：

根据时间顺序，按照每分钟存储当前时间的PGID、PG内对象数目、PG副本分别占据的ceph-osd的位置。

进一步，所述的一种自动监控Ceph PG实时分布情况的方法中通过实时PG分布页面，对当前日期PG分布情况进行展示，并在历史记录页面，对过去一定天数的pg分布情况进行展示，通过选择日期可查看具体每一天的PG分布情况。

本发明还提供一种自动监控Ceph PG实时分布情况系统，包括采集模块、存储模块、计算处理模块和展示模块，

采集模块周期性采集Ceph的PG数据，

存储模块利用数据库创建数据存储表，依次将采集的PG数据按照采集时间存入数据存储表中，

计算处理模块利用计算服务获取并处理数据库中PG数据，并提供接口供web页面查询和返回数据，

展示模块通过web页面进行数据展示：展示Ceph环境的基本信息，查看环境副本数、存储池的PG总数、osd总数以及存储池总数，展示pg分布情况，根据pg副本数与环境所配置的副本数进行对比，筛选正常和异常的副本数并统计个数，形成图表，并根据对应区域跳转实时pg分布页面。

进一步，所述的一种自动监控Ceph PG实时分布情况的系统中采集模块选取每个集群的安装节点，部署PG分布周期性数据采集器在安装节点，通过PG分布周期性数据采集器周期性采集Ceph的PG数据。

进一步，所述的一种自动监控Ceph PG实时分布情况的系统中所述采集模块通过PG分布周期性数据采集器周期性采集Ceph的PG数据，包括：

通过ceph命令在安装节点采集cinder-volumes的PG数据。

进一步，所述的一种自动监控Ceph PG实时分布情况的系统中所述存储模块依次将采集的PG数据按照采集时间存入数据存储表中，包括：

根据时间顺序，按照每分钟存储当前时间的PGID、PG内对象数目、PG副本分别占据的ceph-osd的位置。

进一步，所述的一种自动监控Ceph PG实时分布情况的系统中展示模块通过实时PG分布页面，对当前日期PG分布情况进行展示，并在历史记录页面，对过去一定天数的pg分布情况进行展示，通过选择日期可查看具体每一天的PG分布情况。

本发明的有益之处是：

本发明提供一种自动监控Ceph PG实时分布情况的方法，一是简化测试人员的测试步骤与流程，节约了测试人员的时间，使人员更多地释放出时间和精力，往底层业务方向深入，以便于发现更多的隐藏性的bug，提升被测产品的质量。二是通过直观的界面展示，协助运维、研发人员从频繁的命令切换的操作下解放出来，更快的发现并定位问题。三是可以自动记录了历史数据，为可靠性提供了有力的证明。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明应用框架流程示意图。

图2是本发明数据存储表界面示意图。

图3是本发明实例监控界面示意图。

图4是本发明实例PG实时分布界面示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本发明提供一种自动监控Ceph PG实时分布情况的方法，周期性采集Ceph的PG数据，

利用数据库创建数据存储表，依次将采集的PG数据按照采集时间存入数据存储表中，

利用计算服务获取并处理数据库中PG数据，并提供接口供web页面查询和返回数据，

通过web页面进行数据展示：展示Ceph环境的基本信息，查看环境副本数、存储池的PG总数、osd总数以及存储池总数，展示pg分布情况，根据pg副本数与环境所配置的副本数进行对比，筛选正常和异常的副本数并统计个数，形成图表，并根据对应区域跳转实时pg分布页面。

本发明可以自动采集数据并记录采集结果。在数据采集结束后，将采集到的数据按照设定的数据结构存储在数据库中。核心计算服务获取数据库中的数据，向上提供接口供web看板界面查询和返回数据。Web界面向用户进行数据展示，用户通过切换不同的界面和选择不同的筛选条件获取不同的数据，从而能够直观的查看ceph存储池的pg状态、各种相关指标以及各项数据变化情况。

本专利中的方法是指通过定义的流程步骤，将采集上来的数据进行整合，使用web系统页面的形式进行数据展示的测试全过程。

具体应用中，在本发明方法的一些实施例中，选取每个集群的安装节点，部署PG分布周期性数据采集器在安装节点，通过PG分布周期性数据采集器周期性采集Ceph的PG数据，进一步地，所述通过PG分布周期性数据采集器周期性采集Ceph的PG数据，包括：

通过ceph命令在安装节点采集cinder-volumes的PG数据。其中ceph命令可以为ceph pg ls-by-pool cinder-volumes，支持多集群同时监控，采集的PG数据如下：PG、OBJECTS、ACTING。

利用数据库创建数据存储表，依次将采集的PG数据按照采集时间存入数据存储表中，参考图2中数据存储表形式，进一步地所述依次将采集的PG数据按照采集时间存入数据存储表中，包括：

根据时间顺序，按照每分钟存储当前时间的PGID、PG内对象数目、PG副本分别占据的ceph-osd的位置。

利用计算服务获取并处理数据库中PG数据，并提供接口供web页面查询和返回数据，

通过web页面进行数据展示：展示Ceph环境的基本信息，查看环境副本数、存储池的PG总数、osd总数以及存储池总数，展示pg分布情况，根据pg副本数与环境所配置的副本数进行对比，筛选正常和异常的副本数并统计个数，形成图表，参考图3中展示图表，并根据对应区域跳转实时pg分布页面，参考图4中PG实时分布数据。进一步，通过实时PG分布页面，对当前日期PG分布情况进行展示，并在历史记录页面，对过去3天的pg分布情况进行展示，通过选择日期可查看具体每一天的PG分布情况。

本发明还提供一种自动监控Ceph PG实时分布情况系统，包括采集模块、存储模块、计算处理模块和展示模块，

采集模块周期性采集Ceph的PG数据，

存储模块利用数据库创建数据存储表，依次将采集的PG数据按照采集时间存入数据存储表中，

计算处理模块利用计算服务获取并处理数据库中PG数据，并提供接口供web页面查询和返回数据，

展示模块通过web页面进行数据展示：展示Ceph环境的基本信息，查看环境副本数、存储池的PG总数、osd总数以及存储池总数，展示pg分布情况，根据pg副本数与环境所配置的副本数进行对比，筛选正常和异常的副本数并统计个数，形成图表，并根据对应区域跳转实时pg分布页面。

上述系统内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。、

同样地，本发明系统简化测试人员的测试步骤与流程，节约了测试人员的时间，使人员更多地释放出时间和精力，往底层业务方向深入，以便于发现更多的隐藏性的bug，提升被测产品的质量。通过直观的界面展示，协助运维、研发人员从频繁的命令切换的操作下解放出来，更快的发现并定位问题。可以自动记录了历史数据，为可靠性提供了有力的证明。

需要说明的是，上述各流程和各系统结构中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。