基于动态数据列式计算的安全日志及设备状态监测系统

技术领域

本发明涉及智能监测技术领域，尤其是基于动态数据列式计算的安全日志及设备状态监测系统。

背景技术

虚拟服务器是一种在单一主机或主机群上，实现多网域服务的方法，可以运行多个网站或服务的技术，其技术主要应用于HTTP，FTP，EMAIL等多项服务。一台服务器的某项或者全部服务内容逻辑划分为多个服务单位，每个单位对外表现为一个独立的服务器，从而充分利用服务器硬件资源。现有技术中，虽然可以实现服务器硬件、软件和网络的监测，但无法监测应用程序的性能，同时，无法实时监测接入设备的详细信息，例如时间ip地址以及用户名称，不能实时监测各类设备的使用情况，不能保证接入设备的安全性。鉴于以上问题，本发明提出基于动态数据列式计算的安全日志及设备状态监测系统以解决上述问题。

发明内容

本发明的目的是通过提出基于动态数据列式计算的安全日志及设备状态监测系统，以解决上述背景技术中提出的缺陷。

本发明采用的技术方案如下：

提供基于动态数据列式计算的安全日志及设备状态监测系统，包括：

数据接入单元：用于各类设备的接入；

数据存储单元：用于将各类设备的数据存储在数据库；

数据分析单元：用于对各类设备的数据进行分析；

数据展示单元：用于对各类设备的数据分析指标进行展示。

作为本发明的一种优选技术方案：所述各类设备包括Windows主机、Linux主机、交换机、防火墙、路由器、IPS、WAF和IDS。

作为本发明的一种优选技术方案：所述数据分析单元基于时序数据库的prometheus系统，所述prometheus系统包括数据监控模块，所述数据监控模块用于监控各类设备的运行状态；

数据收集模块，所述数据收集模块用于收集各类数据的运行数据；

数据告警模块，所述数据告警模块用于当设备出现异常或故障时及时通知管理员；

数据查询模块，所述数据查询模块用于快速获取所需设备的指标数据。

作为本发明的一种优选技术方案：所述数据收集模块基于聚类算法中的聚类函数，所述聚类函数的公式如下：

将N个数据分为k类，k为设备的数量，则目标函数为：

其中，u

作为本发明的一种优选技术方案：所述数据告警模块的步骤如下：

S1：定义各类设备异常数据的阈值范围；

S2：对各类设备数据实时监控，与相应的阈值范围进行对比分析；

S3：根据异常数据的类型制定合适的告警规则；

S4：当数据出现异常满足告警规则时，通知相关人员进行处理。

作为本发明的一种优选技术方案：所述数据查询模块基于哈希查找算法，哈希查找算法的公式如下：

平均查找长度ASL的公式为：

其中，n是数据的个数；P

其中，s表示哈希链中不为空的首地址个数；k对应每个链表中的数据个数；P

在等概率情况下，通过哈希查找得到的平均查找长度ASL

作为本发明的一种优选技术方案：所述数据展示单元基于可视化时间序列数据的grafana系统，所述grafana系统包括数据可视化模块，所述数据可视化模块用于将各类设备的数据以图形化的形式进行展示；

数据源模块，所述数据源模块用于用户根据自己的需求选择不同的数据源进行数据查询；

交互模块，所述交互模块用于用户对数据生成的图标进行相应的操作。

作为本发明的一种优选技术方案：所述数据可视化模块的步骤如下：

S1：对数据预处理，提供准确的数据基础；

S2：将不同设备的数据进行分类；

S3：将分类后的数据映射到可视化模型中。

作为本发明的一种优选技术方案：所述数据预处理包括数据清洗、格式转换、缺失值处理和异常值处理。

作为本发明的一种优选技术方案：所述数据分类基于质心空间的数据分类算法，基于质心空间的数据分类算法计算如下：

数据集为D＝{(x

数据D中各个数据之间的欧式距离之和为：

sumDist(x

则质心为x＝arg min(sumDist(x

本发明提供的基于动态数据列式计算的安全日志及设备状态监测系统，与现有技术相比，其有益效果有：

本发明中的虚拟机服务器中安装prometheus系统和grafana系统，可以对接入的设备数据进行分析和展示，其中，接入设备的操作情况以及使用的时间地址都可以实时观察到，使用户能够更好的监视和管理自己的数据，提高应用程序的性能和可靠性。

附图说明

图1为本发明中整体的流程框图；

图2为本发明中prometheus系统的流程框图；

图3为本发明中grafana系统的流程框图。

图中各个标记的意义为：

1、数据接入单元；

2、数据存储单元；

3、数据分析单元；31、prometheus系统；311、数据监控模块；312、数据收集模块；313、数据告警模块；314、数据查询模块；

4、数据展示单元；41、grafana系统；411、数据可视化模块；412、数据源模块；413、交互模块。

具体实施方式

需要说明的是，在不冲突的情况下，本实施例中的实施例及实施例中的特征可以相互组合，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1-图3，本发明优选实施例提供了基于动态数据列式计算的安全日志及设备状态监测系统，包括：

数据接入单元1：用于各类设备的接入；

数据存储单元2：用于将各类设备的数据存储在数据库；

数据分析单元3：用于对各类设备的数据进行分析；

数据展示单元4：用于对各类设备的数据分析指标进行展示。

所述各类设备包括Windows主机、Linux主机、交换机、防火墙、路由器、IPS、WAF和IDS。

所述数据分析单元3基于时序数据库的prometheus系统31，所述prometheus系统31包括数据监控模块311，所述数据监控模块311用于监控各类设备的运行状态；

数据收集模块312，所述数据收集模块312用于收集各类数据的运行数据；

数据告警模块313，所述数据告警模块313用于当设备出现异常或故障时及时通知管理员；

数据查询模块314，所述数据查询模块314用于快速获取所需设备的指标数据。

所述数据收集模块312基于聚类算法中的聚类函数，所述聚类函数的公式如下：

将N个数据分为k类，k为设备的数量，则目标函数为：

其中，u

所述数据告警模块313的步骤如下：

S1：定义各类设备异常数据的阈值范围；

S2：对各类设备数据实时监控，与相应的阈值范围进行对比分析；

S3：根据异常数据的类型制定合适的告警规则；

S4：当数据出现异常满足告警规则时，通知相关人员进行处理。

所述数据查询模块314基于哈希查找算法，哈希查找算法的公式如下：

平均查找长度ASL的公式为：

其中，n是数据的个数；P

其中，s表示哈希链中不为空的首地址个数；k对应每个链表中的数据个数；P

在等概率情况下，通过哈希查找得到的平均查找长度ASL

数据展示单元4基于可视化时间序列数据的grafana系统41，所述grafana系统41包括数据可视化模块411，所述数据可视化模块411用于将各类设备的数据以图形化的形式进行展示；

数据源模块412，所述数据源模块412用于用户根据自己的需求选择不同的数据源进行数据查询；

交互模块413，所述交互模块413用于用户对数据生成的图标进行相应的操作。

所述数据可视化模块411的步骤如下：

S1：对数据预处理，提供准确的数据基础；

S2：将不同设备的数据进行分类；

S3：将分类后的数据映射到可视化模型中。

所述数据预处理包括数据清洗、格式转换、缺失值处理和异常值处理。

所述数据分类基于质心空间的数据分类算法，基于质心空间的数据分类算法计算如下：

数据集为D＝{(x

数据D中各个数据之间的欧式距离之和为：

sumDist(x

则质心为x＝arg min(sumDist(x

在本实施例中，先将各类设备接入到虚拟服务器中，包括Windows server主机、Linux主机、交换机、防火墙、路由器、IPS、WAF和IDS，将其输入的数据存储到数据库中，基于prometheus系统31对其进行数据分析，具体数据包括Windows主机和Linux主机的OS基础指标，其中日志包括应用日志、系统日志和安全日志，OS基础指标包括CPU即时使用率、CPU核心数量、CPU型号、内存占用、内存大小、硬盘大小、硬盘占用、指定文件夹空间占用、账户、账户登录统计、账户密码到期时间、账户密码上次更改时间；Windows主机还包括应用日志、系统日志和安全日志；交换机、防火墙、路由器、IPS、WAF、IDS均包括操作日志、证书过期时间、账户登录记录；其中，防火墙包括0命中策略统计，IPS、WAF、IDS均包括告警记录，进一步的，账户登录记录包括时间、IP地址、账户名称。

prometheus系统31包括数据监控模块311，用于监控各类设备的运行状态，帮助运维人员及时发现和解决系统故障，提高系统的稳定性和可靠性；数据收集模块312，用于收集各类数据的运行数据；数据收集模块312基于聚类算法中的聚类函数，聚类函数的公式如下：

将N个数据分为k类，k为设备的数量，则目标函数为：

其中，u

数据告警模块313，用于当设备出现异常或故障时及时通知管理员；数据告警模块313的步骤如下：定义各类设备异常数据的阈值范围；对各类设备数据实时监控，与相应的阈值范围进行对比分析；根据异常数据的类型制定合适的告警规则；当数据出现异常满足告警规则时，通知相关人员进行处理。接收到通知的相关人员立即对异常进行分析和处理，可以根据异常信息查找日志、监控数据等，快速定位问题所在，并采取相应的措施修复异常，告警步骤之间相互关联，确保了数据异常告警的及时性和准确性。

数据查询模块314，数据查询模块314用于快速获取所需设备的指标数据。数据查询模块314基于哈希查找算法，哈希查找算法的公式如下：

平均查找长度ASL的公式为：

其中，n是数据的个数；P

其中，s表示哈希链中不为空的首地址个数；k对应每个链表中的数据个数；P

在等概率情况下，通过哈希查找得到的平均查找长度ASL

平均查找长度是非常短的，哈希查找算法无论数据量大小，查找的时间都是固定的，因此，非常适用于该系统中各类数据的查找，并且哈希查找可以对数据进行加密保护，提高数据的安全性。

进一步的，数据展示单元4基于可视化时间序列数据的grafana系统41，grafana系统41包括数据可视化模块411，用于将各类设备的数据以图形化的形式进行展示；数据可视化模块411中最重要的步骤为数据分类，数据分类基于质心空间的数据分类算法，基于质心空间的数据分类算法计算如下：

数据集为D＝{(x

数据D中各个数据之间的欧式距离之和为：

sumDist(x

则质心为x＝arg min(sumDist(x

通过观察计算出来的质心的坐标位置。能够轻松地理解数据地分布情况，并且质心地位置可以代表原始数据，从而实现数据地降维，大大降低了计算复杂度，减少数据地复杂性。数据源模块412，用于用户根据自己的需求选择不同的数据源进行数据查询；Grafana支持多种数据源，包括InfluxDB、Graphite、Elasticsearch、Prometheus等，因此用户可以根据自己的需求选择不同的数据源进行数据查询和可视化。交互模块413，用于用户对数据生成的图标进行相应的操作。例如对数据地缩放、平移、标注、提示等。大大提高了对数据地理解程度，便于对数据进行更好地分析。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。