一种访问审计的方法、装置、设备及介质

技术领域

本发明涉及分布式存储领域，尤其涉及一种访问审计的方法、装置、设备及介质。

背景技术

分布式存储是多个存储节点构成的存储系统，在分布式存储系统中，将文件进行分块存储并以对象为基本单位，支持将一份数据存储在多个存储节点上，通过存储系统的各个节点之间的通信获取完整的数据，当存储系统中的某一节点出现宕机等问题，可以快速通过其他节点将数据恢复。

对于分布式存储系统中的每个存储节点，为其分别提供对应的元数据服务(MetaData Service，MDS)，通过元数据服务维护对应存储节点的文件元数据，处理客户端的不同元数据请求，多个MDS形成元数据服务集群，每个MDS分别负责整系统文件树的不同子树。

对于分布式存储系统的访问审计主要用于获取异常操作或者提供对系统性能进行优化的基础。

在访问审计的相关技术中，一般在客户端进行访问审计，由于分布式存储系统支持多种类型的客户端，而对于不同协议或者不同类型的客户端并不都支持访问审计，且不同客户端支持访问审计的格式也不相同，因此，在客户端进行访问审计的方式不利于分布式存储集群对访问审计的统一管理和分析，不利于提高系统整体的可靠性。

发明内容

有鉴于此，本发明提出了一种访问审计的方法、装置、设备及介质，至少解决了在访问审计的相关技术中，在客户端进行访问审计的方式不利于分布式存储集群对访问审计的统一管理和分析，不利于提高系统整体的可靠性的问题。

基于以上目的，本发明的实施例的一个方面提供了一种访问审计的方法，包括：基于分布式存储系统中不同客户端对历史操作审计的频率配置统一审计格式的审计策略；将所述审计策略发送至所述分布式存储系统中每一个元数据服务节点；响应于所述元数据服务节点接收到元数据请求，所述元数据服务节点基于所述审计策略对所述元数据请求对应的操作进行审计；所述元数据服务节点异步将审计结果上报到目标数据库。

在一些实施例中，所述响应于所述元数据服务节点接收到元数据请求，所述元数据服务节点基于所述审计策略对所述元数据请求对应的操作进行审计的步骤包括：响应于所述元数据服务节点接收到元数据请求，所述元数据服务节点按照接收的顺序将所述元数据请求对应的操作与所述审计策略进行匹配，根据匹配结果确认是否构建所述元数据请求对应的审计日志。

在一些实施例中，所述根据匹配结果确认是否构建所述元数据请求对应的审计日志的步骤包括：响应于所述元数据请求对应的操作与所述审计策略匹配成功，所述元数据服务节点构建所述元数据请求对应的审计日志。

在一些实施例中，所述元数据服务节点异步将审计结果上报到目标数据库的步骤包括：所述元数据服务节点按照匹配顺序将所述元数据请求对应的审计日志写入到本地日志文件的队列中；所述元数据服务节点基于预设的定时器线程将所述本地日志文件的队列中的审计日志按照队列顺序依次发送给目标数据库并按照所述定时器线程接收是否发送成功的通知；响应于所述元数据服务节点接收到发送失败的通知，将所述发送失败的通知对应的队列的审计日志插入到所述本地日志文件的队列末端并等待再次发送给所述目标数据库；响应于所述元数据服务节点接收到发送成功的通知，将所述发送成功的通知对应的队列的审计日志从所述本地日志文件的队列中删除。

在一些实施例中，所述将所述审计策略发送至所述分布式存储系统中每一个元数据服务节点的步骤包括：将所述审计策略发送至所述分布式存储系统中的元数据主服务节点；基于所述元数据主服务节点将所述审计策略同步至所述分布式存储系统中的剩余元数据服务节点；响应于所述元数据主服务节点接收到所述剩余元数据服务节点同步成功的响应，所述元数据主服务节点将所述审计策略存储在本地磁盘。

在一些实施例中，所述审计策略包括：对操作进行审计所指定的审计对象、文件目录、文件类型、文件名称、操作时间范围。

在一些实施例中，所述方法还包括：基于用户需求在所述目标数据库中配置检索条件并基于所述检索条件将所述目标数据库中对应的审计日志输出。

本发明实施例的另一方面，还提供了一种访问审计装置，包括：第一模块，用于基于分布式存储系统中不同客户端对历史操作审计的频率配置统一审计格式的审计策略；第二模块，用于将所述审计策略发送至所述分布式存储系统中每一个元数据服务节点；第三模块，用于响应于所述元数据服务节点接收到元数据请求，所述元数据服务节点基于所述审计策略对所述元数据请求对应的操作进行审计；第四模块，用于所述元数据服务节点异步将审计结果上报到目标数据库。

本发明实施例的另一方面，还提供了一种电子设备，包括至少一个处理器；以及存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现上述方法的步骤。

本发明实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上述方法步骤的计算机程序。

本发明至少具有以下有益效果：本发明提供的一种访问审计的方法基于分布式存储集群的客户端在进行元数据请求时都会访问对应的元数据服务，因此基于不同客户端对历史操作的审计频率构建统一审计格式的审计策略并将其发送到元数据服务节点上，当客户端向元数据服务节点发送元数据请求时，触发元数据服务节点对元数据请求对应的操作进行审计，并异步将审计结果上报到对应数据库中。本公开可以根据客户端对操作的频率自定义审计策略增加对访问审计的灵活性，并且按照统一审计格式在元数据服务节点进行审计增加了系统的可靠性，有利于系统对异常操作的统一分析，实现了整个分布式存储系统的全面智能审计。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的实施例。

图1示出的为本发明实施例提供的一种访问审计的方法的流程图；

图2示出了本发明实施例提供的本发明实施例提供的分布式存储系统的访问审计的系统架构示意图；

图3示出的为本发明实施例提供的分布式存储集群中主MDS向剩余MDS同步审计策略的示意图；

图4示出的为本发明实施例提供的MDS对元数据IO进行审计的示意图；

图5示出的为本发明实施例提供的MDS对上报失败的审计日志的处理示意图；

图6示出了本发明实施例提供的一种访问审计的装置的示意图；

图7示出的为本发明实施例提供的一种电子设备的示意图；

图8示出的为本发明实施例提供的一种计算机可读存储介质的示意图。

具体实施方式

以下描述了本发明的实施例。然而，应该理解，所公开的实施例仅仅是示例，并且其它实施例可以采取各种替代形式。

此外，需要说明的是术语“包括”、“包含”或其任何其它变形旨在涵盖非排他性的包括，以使包含一系列要素的过程、方法、物品或装置不仅包括那些要素，也可以包括未明确列出的或这些过程、方法、物品或装置所固有的要素。

分布式存储系统支持的客户端有多种类型，比如NFS(Network File System，网络文件系统)、CIFS(Common Internet File System，通用网络文件系统)、HDFS(HadoopDistributed File System，分布式文件系统)、内核客户端等，比如，内核客户端部署在用户的客户端服务器上。

分布式存储系统的访问审计操作包括数据操作和元数据操作，大多数据业务系统的数据操作不是关键操作，比如数据的读写，对这些操作的审计在存储的数据模块上进行即可；而大多数据业务系统的元数据操作属于关键操作，包括创建、删除、重命名等，这些需要进行较为严格的访问审计。

现有技术中的访问审计在客户端进行，基于面向客户端的审计格式进行审计，对于不同的客户端并不全都支持访问审计，即使支持访问审计的不同客户端，访问审计的审计格式也不完全相同。客户端任意且审计格式不统一，不利于系统对访问审计的统一分析和整个系统的性能优化。

下面将结合附图说明本申请的一个或多个实施例。

基于以上目的，本发明实施例的第一个方面，提出了一种访问审计的方法的实施例。图1示出的为本发明实施例提供的一种访问审计的方法的流程图，如图1所示，一种访问审计的方法，包括：

S1、基于分布式存储系统中不同客户端对历史操作审计的频率配置统一审计格式的审计策略；

S2、将所述审计策略发送至所述分布式存储系统中每一个元数据服务节点；

S3、响应于所述元数据服务节点接收到元数据请求，所述元数据服务节点基于所述审计策略对所述元数据请求对应的操作进行审计；

S4、所述元数据服务节点异步将审计结果上报到目标数据库。

基于不同客户端对历史操作的审计频率构建统一审计格式的审计策略并将其发送到元数据服务节点上，当客户端向元数据服务节点发送元数据请求时，触发元数据服务节点对元数据请求对应的操作进行审计，并异步将审计结果上报到对应数据库中。增加了对访问审计的灵活性以及系统的可靠性，有利于系统对异常操作的统一分析，实现了整个分布式存储系统的全面智能审计。

Elasticsearch(简称ES)是一种分布式搜索和分析引擎，也是一种分布式数据库，可以很方便的使大量数据具有搜索、分析和探索的能力，实现亿级文件毫秒级检索。因此，对于规模分布式存储系统常使用ES作为检索数据库。

图2示出的为本发明实施例提供的分布式存储系统的访问审计的系统架构示意图，如图2所示，本实施例以ES数据库作为目标数据库进行说明，分布式存储系统的客户端类型包括NFS、CIFS以及内核客户端。可以理解的是，目标数据库可以选择其他类型的检索数据库，比如MySQL等，分布式存储系统的客户端类型包括但不限于NFS、CIFS以及内核客户端。

根据本发明的若干实施例，参考图2，在步骤S1中，根据分布式存储系统的不同客户端对历史操作审计的频率配置统一审计格式的审计策略，审计策略主要用于指定什么条件的操作需要审计，可以指定审计对象、文件目录、文件类型、文件名称、操作时间范围等内容，其中，核心审计内容是用户、操作、时间以及路径。基于ES数据库的审计日志表格式如

表1所示：

表1

基于不同客户端对历史操作的审计偏好自定义审计日志表格式，增加了对操作审计的灵活性和扩展性。

根据本发明的若干实施例，继续参考图2，在步骤S2中，用户将设置好的统一审计格式的审计策略发送给MDS，可以通过用户界面将所述审计策略发送给MDS。MDS中分为主MDS(MDS0)和剩余MDS(MDS1、MDS2)，MDS0负责接收审计策略设置请求，审计策略存储在MDS，同时MDS0将审计策略同步至剩余MDS中，即将审计策略分别同步至MDS1、MDS2。

根据本发明的若干实施例，在步骤S2中，参考图3，图3示出的为本发明实施例提供的分布式存储集群中主MDS向剩余MDS同步审计策略的示意图，主MDS接收审计策略并进行参数校验，校验成功后将其分别同步至剩余MDS，即将审计策略分别同步至MDSX和MDSY中使MDSX和MDSY中的审计策略更新，主MDS接收分别来自MDSX和MDSY是否同步成功的响应，主MDS只有接收到全部剩余MDS同步成功的响应之后，才会将审计策略进行本地存储，并向用户进行反馈。通过这种方式统一将不同的客户端元数据IO访问审计的审计策略归一化到MDS端进行审计以及记录，支持用户自定义审计策略，实现了对存储系统的智能监控和优化分析。

根据本发明的若干实施例，继续参考图2，在步骤S3中，不同类型的客户端进行元数据IO(Input/Output，输入/输出)时会请求元数据服务节点，每一个客户端有与之对应的元数据服务节点，当元数据服务节点接收到来自客户端的元数据请求时，会基于其中存储的审计策略对该元数据请求对应的操作进行审计，即不同客户端发送元数据IO到对应的MDS，不同的MDS按照接收的顺序将元数据IO与审计策略进行匹配，根据匹配结果确认是否构建对应的审计日志，只匹配成功才会构建对应的审计日志。

进一步，参考图4，图4示出的为本发明实施例提供的MDS对元数据IO进行审计的示意图，当MDS按照接收的顺序将客户端(Client)发送的元数据IO(比如创建、删除、重命名等)与审计策略进行匹配，匹配成功后，创建该元数据IO对应的审计日志并将其写入到本地日志文件的队列中。其中，对审计日志的队列使用单独的日志文件记录，审计日志队列文件格式固定，一条记录为一个基本item单位，MDS收到元数据请求后如果开启访问审计，则匹配审计策略，命中则按照匹配顺序将审计日志记录到本地日志文件的对应队列中，每一个队列中记录的内容包括：用户、日期时间、文件或目录绝对路径、具体操作等，每一条审计日志都包括以上4项内容，每一条审计日志是一个item。在MDS中设置定时器线程，在本实施例中，定时器线程，即HTTP(Hypertext Transfer Protocol，超文本传输协议)Client定时消费审计日志队列，解析出每一个item得到成批量item的HTTP请求，基于定时器线程将所述本地日志文件的队列中的审计日志按照队列顺序依次发送给ES并按照定时器线程接收是否发送成功的通知。其中，MDS将审计日志上报到ES的过程与MDS对元数据操作访问审计的过程是异步进行的，二者互不干扰，有利于后续对存储系统的智能监控和优化分析，按照定时器线程成批量上报给ES，有利于节约存储系统的处理能力。

根据本发明的若干实施例，参考图5，图5示出的为本发明实施例提供的MDS对上报失败的审计日志的处理示意图，如图5所示，如果审计日志队列item上报失败，则重新插入审计日志队列文件中的末端item中，后续会继续上报，如果上报成功则删除上报成功的item，继续消费上报。提供对上报失败的审计日志队列的处理方式，增加了访问审计过程的安全性，提供了系统对访问审计的可靠性，有利于后续对异常操作的全面分析。

根据本发明的若干实施例，进一步参考图2，用户可以自定义检索条件，优选地，支持设置用户、操作、时间段等各种检索条件，检索时按照ES语法转成ES检索语句并ES中对审计日志进行检索，ES检索完成后将检索结果通过用户界面返回给用户，同时支持检索结果导出和继续分析，比如柱状图等分析处理，用于后续的系统智能运维、风险监控、性能优化等任务，支持用户自定义审计策略和检索条件，实现了审计日志的快速检索。

本发明的实施例的第二个方面，提出了一种访问审计的装置，图6示出了本发明实施例提供的一种访问审计的装置的示意图，如图6所示，包括：第一模块011，用于基于分布式存储系统中不同客户端对历史操作审计的频率配置统一审计格式的审计策略；第二模块012，用于将所述审计策略发送至所述分布式存储系统中每一个元数据服务节点；第三模块013，用于响应于所述元数据服务节点接收到元数据请求，所述元数据服务节点基于所述审计策略对所述元数据请求对应的操作进行审计；第四模块014，用于所述元数据服务节点异步将审计结果上报到目标数据库。

本发明实施例的第三个方面，提出了一种电子设备，图7示出的是本发明实施例提供的一种电子设备的示意图。如图7所示，本发明实施例提供的一种电子设备，包括以下模块：至少一个处理器021；以及存储器022，存储器022存储有可在处理器021上运行的计算机指令023，该计算机指令023由处理器021执行时实现如上所述的方法的步骤。

本发明还提供了一种计算机可读存储介质。图8示出的是本发明实施例提供的一种计算机可读存储介质的结构示意图。如图8所示，计算机可读存储介质031存储有被处理器执行时执行如上所述的方法的步骤的计算机程序032。所执行的方法同上。

最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，设置系统参数的方法的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

此外，根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时，执行本发明实施例公开的方法中限定的上述功能。

此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

在一个或多个示例性设计中，功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、D0L或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。