用于分布式存储系统的异常检测方法和装置

技术领域

本公开涉及数据存储领域，特别涉及一种用于分布式存储系统的异常检测方法、装置、存储介质、电子设备。

背景技术

一套大规模的分布式存储系统往往由大量的段（segment）构成，每个段由来自不同机器的段单元（segment unit）组成，每个段单元可以是不同机器上的不同设备，比如存储介质上某一段存储空间，这些机器通过网络连接，形成一个分布式集群。多个段单元可以位于同一节点中。

一定规模的分布式集群在一段时间运行后可能会出现节点之间的网络异常、单个节点内部的设备（主板、网卡、存储介质等）异常。当这些异常出现时会导致一个或多个段无法正常进行业务操作，对每个段进行正确并且快速地异常检测和诊断，是确保分布式存储系统在异常情况下持续业务的基础。

但是在集群网络异常、单个节点内部设备异常等因素的共同影响下，准确诊断某个段中的某个段单元的异常相对较难，尤其在分布式处理架构上。

在传统的分布式存储系统中，节点故障问题、网络连接问题往往由运维人员来完成。当发现整个系统性能下降或不可用后通过观察分析各类主机类、网络类运维告警，对这些告警进行汇总分析后，确认故障点及影响范围，再手动处理这种人工的方式需要消耗大量的人力，且无法做到实时与精确。

发明内容

本申请实施例提供了一种用于分布式存储系统的异常检测方法、装置、存储介质、电子设备以及计算机程序产品。

第一方面，本申请实施例提供了一种用于分布式存储系统的异常检测方法，用于电子设备，所述分布式存储系统包括多个段，每个段包括多个段单元，所述方法包括：

向每个段中的所述多个段单元发送请求；

接收异常信息，所述异常信息是由一个或多个段单元响应于所述请求而发出的；

针对发出所述异常信息的每个段单元，根据其他段单元的返回信息，确定每个段单元的当前状态。

在上述第一方面的一种可能的实现中，所述请求是心跳信号，其中，以一个或多个预定时间间隔发送所述心跳信号至所述多个段单元，当所述心跳信号的超时次数大于等于预定阈值时，从所述一个或多个段单元接收所述异常信息。

在上述第一方面的一种可能的实现中，所述请求是数据操作请求，其中，将所述数据操作请求发送至所述多个段单元，并直接从所述一个或多个段单元接收所述异常信息。

在上述第一方面的一种可能的实现中，一个或多个所述预定时间间隔相同或不同。

在上述第一方面的一种可能的实现中，每次以不同的预定时间间隔或相同的预定时间间隔发送所述心跳信号。

在上述第一方面的一种可能的实现中，多个段单元包括一个主段单元和多个从段单元，

当接收到的所述异常信息来自所述主段单元时，根据多个所述从段单元的所述返回信息，确定所述主段单元的当前状态。

在上述第一方面的一种可能的实现中，进一步包括：

使每个所述从段单元向所述主段单元发送检测请求；

统计从所述主段单元接收到所述返回信息的所述从段单元的数量，其中，所述返回信息是所述主段单元响应于所述检测请求而生成的；

基于所述数量，确定所述主段单元的当前状态。

在上述第一方面的一种可能的实现中，当所述数量大于等于预定阈值时，确定所述主段单元的所述当前状态为正常状态，否则确定为异常状态。

在上述第一方面的一种可能的实现中，多个段单元包括一个主段单元和多个从段单元，

当接收到的所述异常信息来自所述从段单元时，根据所述主段单元的所述返回信息，确定所述从段单元的当前状态。

在上述第一方面的一种可能的实现中，进一步包括：

使所述主段单元向所述从段单元发送检测请求；

根据所述主段单元是否从所述从段单元接收到所述返回信息，来确定所述从段单元的所述当前状态，其中，所述返回信息是所述从段单元响应于所述检测请求而生成的。

在上述第一方面的一种可能的实现中，如果所述主段单元从所述从段单元接收到所述返回信息，则确定所述从段单元的所述当前状态是正常状态，否则确定为异常状态。

第二方面，本申请实施例提供了一种用于分布式存储系统的异常检测装置，所述分布式存储系统包括多个段，每个段包括多个段单元，所述装置包括：

发送单元，用于向所述多个段单元发送请求；

接收单元，用于接收异常信息，所述异常信息是由一个或多个段单元响应于所述请求而发出的；

确定单元，用于针对发出所述异常信息的每个段单元，根据其他段单元的返回信息，确定每个段单元的当前状态。

第三方面，本申请实施例提供了一种计算机程序产品，包括计算机可执行指令，所述指令被处理器执行以实施第一方面所述的用于分布式存储系统的异常检测方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质上存储有指令，所述指令在计算机上执行时使所述计算机执行第一方面所述的用于分布式存储系统的异常检测方法。

第五方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；一个或多个存储器；其中，所述一个或多个存储器存储有一个或多个程序，当所述一个或者多个程序被所述一个或多个处理器执行时，使得所述电子设备执行第一方面所述的用于分布式存储系统的异常检测方法。

本发明中，可以快速检测出段单元是否出现异常，并且在出现异常的情况下，通过请求段内的其他段单元对该段单元的状态进行进一步确认，从而快速准确地确定（诊断）出该段单元的状态是否异常，避免了误诊。

附图说明

图1根据本申请的一些实施例，示出了一种电子设备的框图；

图2根据本申请的一些实施例，示出了分布式存储系统的示意图；

图3根据本申请的一些实施例，示出了分布式存储系统的异常检测方法的流程图；

图4根据本申请的一些实施例，示出了分布式存储系统的异常检测方法的另一流程图；

图5根据本申请的一些实施例，示出了分布式存储系统的异常检测方法的又一流程图；

图6根据本申请的一些实施例，示出了分布式存储系统的异常检测装置的结构图。

具体实施方式

本申请的说明性实施例包括但不限于分布式存储系统的异常检测方法、装置、介质、电子设备、以及计算机程序产品。

下面将结合附图对本申请的实施例作进一步地详细描述。

图1根据本申请的一些实施例，示出了一种电子设备的框图。

如图1所示，电子设备100可以包括一个或多个处理器102、与处理器102中的至少一个连接的系统主板108、与系统主板108连接的系统内存104、与系统主板108连接的非易失性存储器（NVM）106、以及与系统主板108连接的网络接口110。

处理器102可以包括一个或多个单核或多核处理器。处理器102可以包括通用处理器（CPU）和专用处理器（例如，图形处理器、应用处理器、基带处理器等）的任何组合。图形处理器（graphics processing unit，GPU）是一种专用处理器，相对于通用处理器，具备更高数量级的核心数及强大的并行计算能力，广泛用于计算机图形处理。在本发明的实施例中，处理器102可以被配置为执行根据如图3所示的各种实施例中的一个或多个实施例。

在一些实施例中，系统主板108可以包括任意合适的接口控制器（未在图1中示出），以向处理器102中的至少一个和/或与系统主板108通信的任意合适的设备或组件提供任意合适的接口。

在一些实施例中，系统主板108可以包括一个或多个存储器控制器，以提供连接到系统内存104的接口。系统内存104可以用于加载以及存储数据和/或指令120。在一些实施例中电子设备100的系统内存104可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器（DRAM）。

非易失性存储器106可以包括用于存储数据和/或指令120的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中，非易失性存储器 106可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如HDD（Hard Disk Drive，硬盘驱动器）、CD（Compact Disc，光盘）驱动器、DVD（Digital Versatile Disc，数字通用光盘）驱动器中的至少一个。

非易失性存储器 106可以包括安装在电子设备100的装置上的一部分存储资源，或者它可以由外部设备访问，但不一定是外部设备的一部分。例如，可以经由网络接口110通过网络访问非易失性存储器106。

特别地，系统内存104和非易失性存储器 106可以分别包括：指令120的暂时副本和永久副本。指令120可以包括：由处理器102中的至少一个执行时导致电子设备100实施如图3所示的方法的指令。在一些实施例中，指令120、硬件、固件和/或其软件组件可另外地/替代地置于系统主板108、网络接口110和/或处理器102中。

网络接口110可以包括收发器，用于为电子设备100提供无线电接口，进而通过一个或多个网络与任意其他合适的设备（例如，前端模块、天线等）进行通信。在一些实施例中，网络接口110可以集成于电子设备100的其他组件。例如，网络接口110可以集成于处理器102、系统内存104、非易失性存储器 106、和具有指令的固件设备（未示出）中的至少一种，当处理器102中的至少一个执行所述指令时，电子设备100实现图3所示的各种实施例中的一个或多个实施例。

网络接口110可以进一步包括任意合适的硬件和/或固件，以提供多输入多输出无线电接口。例如，网络接口110可以是网络适配器、无线网络适配器、电话调制解调器和/或无线调制解调器。

在一个实施例中，处理器102中的至少一个可以与用于系统主板108的一个或多个控制器封装在一起，以形成系统封装（SiP）。在一个实施例中，处理器102中的至少一个可以与用于系统主板108的一个或多个控制器集成在同一管芯上，以形成片上系统（SoC）。

电子设备100可以进一步包括：输入/输出（I/O）设备112，与系统主板108连接。I/O设备112可以包括用户界面，使得用户能够与电子设备100进行交互；外围组件接口的设计使得外围组件也能够与电子设备100交互。在一些实施例中，电子设备100还包括传感器，用于确定与电子设备100相关的环境条件和位置信息的至少一种。

在一些实施例中，I/O设备112可包括但不限于显示器（例如，液晶显示器、触摸屏显示器等）、扬声器、麦克风、一个或多个相机（例如，静止图像照相机和/或摄像机）、手电筒（例如，发光二极管闪光灯）、键盘和显卡。其中显卡由集成了符合数据传输协议规范的I/O接口（如PCIE接口）的图形处理器组成。

在一些实施例中，外围组件接口可以包括但不限于非易失性存储器端口、音频插孔和电源接口。

在一些实施例中，传感器可包括但不限于陀螺仪传感器、加速度计、近程传感器、环境光线传感器和定位单元。定位单元还可以是网络接口110的一部分或与网络接口110交互，以与定位网络的组件（例如，全球定位系统（GPS）卫星）进行通信。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件、或软件和硬件的组合实现。

可将程序代码应用于输入指令，以执行本发明描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，包括处理器102的用于处理指令的系统包括具有诸如数字信号处理器（DSP）、微控制器、专用集成电路（ASIC）或微处理器之类的处理器的任何系统。

程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本发明中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。

至少一个实施例的一个或多个方面可以由存储在计算机可读存储介质上的指令来实现，指令在被处理器读取并执行时使得电子设备能够实现本发明中所描述的实施例的方法。

为了便于理解，下面先对本申请实施例可能涉及的相关术语和概念进行介绍。

卷：分布式存储系统中的存储区域。

段：组成卷的基本逻辑单元，一个卷有n个段（n≥1），一个卷内段的数量=卷的大小/段的大小。

段单元：组成段的基本单元或物理单元。有多种分工不同的段单元，包含主段单元和从段单元。段单元对应于物理磁盘上的某一段连续空间，可以存放用户数据。

存储介质：用于存储数据的存储介质，如物理磁盘。

存储节点：一个存储节点可包含多个存储介质，一个存储介质只能属于一个存储节点。

可以理解的是，存储节点和物理磁盘都属于物理上的概念，存储节点用于管理若干个物理磁盘（即，数据磁盘），在同一时刻，同一物理磁盘只由某一个存储节点管理。卷是逻辑上的概念，在某一物理磁盘上可以划分不同的存储块空间组成不同的卷，即，同一个卷的段单元可以分布在不同的物理磁盘上。

本申请提供的分布式存储系统的异常检测方法，可以应用在图1所示的电子设备100中，电子设备100例如是数据驱动、计算机、移动设备、平台设备等。

图2是根据本发明实施例的分布式存储系统20的示意图。如图2所示，分布式存储系统20包括数据驱动21、段22。段22例如包括一个主段单元P1和两个从段单元S1、S2。

可以理解的是，分布式存储系统20可以包括多个数据驱动以及多个卷（图未示），每个卷包括多个段，每个段包括多个段单元。图2中的段22位于其中的一个卷中。

图3是根据本发明的用于分布式存储系统的异常检测方法的流程图。本实施例中，以数据驱动21为例进行说明，可以理解的是，下述方法是由数据驱动21所执行的。

参见图3，在步骤S31，向每个段中的多个段单元发送请求。可以理解的是，每个段中的多个段单元可以位于不同的存储节点中，通过向这些存储节点发送该请求，可以实现向每个段中的多个段单元发送请求。

在步骤S32，接收异常信息，异常信息是由一个或多个段单元响应于该请求而发出的。

可以理解的是，发出异常信息的这些段单元可以属于不同的段，位于不同的存储节点中。

在步骤S33，针对发出异常信息的每个段单元，根据其他段单元的返回信息，确定每个段单元的当前状态。

示例地，针对发出异常信息的某个段单元，根据与这个段单元属于同一段的其他段单元的返回信息，确定这个段单元的当前状态。

示例地，上述请求例如是心跳信号，以一个或多个预定时间间隔发送心跳信号至每个段中的多个段单元，当心跳信号的超时次数大于等于预定阈值时，从一个或多个段单元接收异常信息。

一个或多个预定时间间隔可以不同。例如，有三个预定时间间隔T1，T2,T3，T1=100ms，T2=200ms，T3=400ms。可选地，一个或多个预定时间间隔可以相同，例如三个预定时间间隔T1=T2=T3=100ms。

可以理解的是，上述举例的预定时间间隔的数量以及具体的时间间隔仅仅用于示例，而不受任何限制。

预定阈值可以根据网络环境进行调整，可以是任意值而不受限制。

示例地，预定阈值例如是3。例如，第一预定时间间隔T1=100ms，以第一预定时间间隔T1发送心跳信号1至多个段单元。当这个心跳信号1没有正常返回而导致超时时，可以将以后发送心跳信号的间隔设置为例如第二预定时间间隔T2=200ms。如此，下一个心跳检测2在200ms之后发送。

如果心跳检测2正常返回，则在此之后发送心跳信号的时间间隔恢复为T1=100ms。当这个心跳信号2没有正常返回而导致超时，将以后发送心跳信号的间隔设置为例如第三预定时间间隔T3=400ms。如此，下一个心跳检测3在400ms之后发送。

如果心跳检测3正常返回，则在此之后发送心跳信号的时间间隔恢复为T1=100ms。当这个心跳信号3没有正常返回而导致超时，此时心跳信号的超时次数是三次，大于等于上述预定阈值3，那么可以确定网络环境发生异常。

可以理解的是，一共经历了T1+T2+T3=700ms的检测时间，就确定了网络环境发生异常。通过这种毫秒级的网络检测机制，可以确保快速感知网络环境发生异常，以便进行后续处理逻辑。

可以理解的是，网络环境发生异常可以是存储介质故障、存储节点故障、网络故障等等。

上述示例中，每次以不同的预定时间间隔发送心跳信号。可以理解的是，每次能够以相同的预定时间间隔发送心跳信号。

示例地，上述请求例如是数据操作请求，其中，将数据操作请求发送至多个段单元，并直接从其中的一个或多个段单元接收异常信息。

可以理解的是，数据操作请求例如是对每个段单元进行数据读或写的请求，也可以是对数据进行其他操作的请求。

例如，当某个存储节点发生故障，位于该存储节点中的所有段单元就会响应于该数据操作请求，直接返回异常信息。可以理解的是，在这种情况下，相比于上述利用心跳信号的检测机制，异常信息可以更快地被返回。

如上所述，可以快速地监测到网络环境发生异常，并从一部分段单元中接收到异常信息。但是，如果某个段单元是由于例如网络短暂抖动而发出异常信息，并且立刻确定该段单元处于异常状态，那么会导致误判，并因此导致大量数据不必要的迁移。

下面详细介绍对这些发出异常信息的段单元进行进一步的状态确定的过程。

每个段包括多个段单元，多个段单元包括一个主段单元和多个从段单元。也就是说，每个段包括一个主段单元和多个从段单元。示例地，如图2所示，段22包括一个主段单元P1和两个从段单元S1，S2。

当接收到的异常信息来自主段单元P1时，根据两个从段单元S1，S2的返回信息，确定主段单元P1的当前状态。可以理解的是，根据与主段单元P1位于同一段的两个从段单元S1，S2的返回信息，确定主段单元P1的当前状态。

参见图4，在步骤S3311，使每个从段单元S1，S2向主段单元P1发送检测请求。可以理解的是，通过向每个从段单元S1，S2发送一个检测指令，使得每个从段单元S1，S2向主段单元P1发送检测请求。

在步骤S3312，统计从主段单元P1接收到返回信息的从段单元的数量，其中，返回信息是主段单元P1响应于检测请求而生成的。

可以理解的是，当主段单元P1正常时，会响应于该检测请求而生成返回信息，并将该返回信息发送回从段单元S1，S2。相反，当主段单元P1出现异常时，则不会发送任何返回信息。

如果两个从段单元S1，S2都接收到返回信息，那么统计得到的数量是2。

在步骤S3313，基于该数量，确定主段单元P1的当前状态。示例地，当数量大于等于预定阈值时，确定主段单元P1的当前状态为正常状态，否则确定为异常状态。

预定阈值例如是基于大多数原则而确定，即，预定阈值=[N/2] +1，N表示这个段中的段单元的数量，[N/2]表示对其取整。例如，在这个段中的段单元的数量N是3，那么预定阈值= [3/2]+1=2。

本实施例中，如上统计得到的数量是2，大于等于预定阈值2，那么可以确定主段单元P1的当前状态为正常状态。

可以理解的是，如果从段单元S1，S2都没有接收到返回信息，那么统计的数量是0，小于上述预定阈值2，此时确定主段单元P1的当前状态为异常状态。

可以理解的是，如果从段单元S1，S2中的任意一个本身也出现了异常，那么它也不会接收到任何返回信息。例如，从段单元S1本身出现了异常，并且不会接收到任何返回信息，而从段单元S2正常并接收到返回信息，那么统计的数量为1，小于上述预定阈值2，此时确定主段单元P1的当前状态为异常状态。

可以理解的是，在主段单元P1发出异常信息时，进一步根据从段单元S1，S2从主段单元P1接收到的返回信息进行判断，从而可以准确地确定主段单元P1的状态是正常还是异常，避免了误判。

另一方面，当接收到的异常信息来自从段单元时，根据主段单元的返回信息，确定从段单元的当前状态。

例如，从段单元S1发出了异常信息，根据主段单元P1的返回信息，确定从段单元S1的当前状态。

参见图5，在步骤S3321，使主段单元P1向从段单元S1发送检测请求。可以理解的是，通过向主段单元P1发送一个检测指令，使得主段单元P1向从段单元S1发送检测请求。

在步骤S3322，根据主段单元P1是否从该从段单元S1接收到返回信息，来确定从段单元S1的所述当前状态，其中，返回信息是从段单元S1响应于该检测请求而生成的。

可以理解的是，当从段单元S1正常时，会响应于该检测请求而生成返回信息，并将该返回信息发送回主段单元P1。相反，当从段单元S1出现异常时，则不会发送任何返回信息。

如果主段单元P1从该从段单元S1接收到返回信息，则确定从段单元S1的当前状态是正常状态，否则确定为异常状态。

本发明中，可以快速检测出段单元是否出现异常，并且在出现异常的情况下，通过请求段内的其他段单元对该段单元的状态进行进一步确认，从而快速准确地确定（诊断）出该段单元的状态是否异常，避免了误诊。

本发明还提供一种用于分布式存储系统的异常检测装置60，分布式存储系统包括多个段，每个段包括多个段单元。如图6所示，装置60包括：发送单元61，用于向所述多个段单元发送请求；接收单元62，用于接收异常信息，所述异常信息是由一个或多个段单元响应于所述请求而发出的；确定单元63，用于针对发出所述异常信息的每个段单元，根据其他段单元的返回信息，确定每个段单元的当前状态。

可以理解的是，发送单元61、接收单元62、确定单元63可以通过电子设备100中具有这些模块或单元功能的处理器102来实现。前文中已公开的实施方式是与本实施方式相对应的方法实施方式，本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。

本发明还提供一种计算机程序产品，包括计算机可执行指令，指令被处理器102执行以实施本发明的用于分布式存储系统的异常检测方法。

本发明还提供一种计算机可读存储介质，存储介质上存储有指令，指令在计算机上执行时使计算机执行本发明的用于分布式存储系统的异常检测方法。

需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

需要说明的是，上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。