掌桥专利:专业的专利平台
掌桥专利
首页

一种数据处理方法、装置、第一节点及存储介质

文献发布时间:2023-06-19 18:29:06


一种数据处理方法、装置、第一节点及存储介质

技术领域

本申请涉及通信领域中的数据处理技术,尤其涉及一种数据处理方法、装置、第一节点及存储介质。

背景技术

超融合产品是指把计算、存储和网络等资源在一个节点上来实现,多个节点组成一个超融合集群;其中,当多个节点中的两个节点之间的存储网出现故障时,两个节点之间的存储业务交互出现中断,此时只能由两个节点中的一个节点在本地进行处理存储业务;基于此,相关技术中,通常在两个节点之间的存储网出现故障时,人为对网络进行检修,以便及时将两个节点之间的存储网恢复正常,进而恢复两个节点之间处理存储业务;但是,在人为检修期间两个节点之间仍然无法处理存储业务,降低了超融合集群的处理存储业务的能力。

发明内容

为解决上述技术问题,本申请实施例期望提供一种数据处理方法、装置、第一节点及存储介质,解决了在人为检修期间两个节点之间仍然无法处理存储业务,降低了超融合集群的处理存储业务的能力的问题,提高了超融合集群处理存储业务的能力。

一种数据处理方法,应用于超融合集群中的第一节点,所述方法包括:

确定第一通信链路和第二通信链路是否存在异常;其中,所述第一通信链路为所述第一节点与第二节点之间处理存储业务的通信链路;所述第二通信链路为所述第一节点与所述第二节点进行节点管理的通信链路;

在所述第一通信链路存在异常且所述第二通信链路未存在异常的情况下,通过所述第二通信链路与所述第二节点处理存储业务。

上述方案中,所述通过所述第二通信链路与所述第二节点处理存储业务,包括:

基于获取的目标数据包,确定第一目标网络地址转换NAT规则,所述第一目标NAT规则包括用于将所述目标数据包中所述第一通信链路对应的网络地址修改为所述第二通信链路对应的网络地址的第一修改操作;

基于所述第一修改操作,将所述目标数据包中所述第一通信链路对应的网络地址修改为所述第二通信链路对应的网络地址,并基于修改后的目标数据包和所述第二通信链路,与第二节点处理存储业务。

上述方案中,所述基于获取的所述目标数据包,确定第一目标网络地址转换NAT规则,包括:

获取所述第二节点上提供存储服务的第二端口的第二端口标识,并基于所述第二端口标识生成第二NAT规则;

基于所述目标数据包,从所述第二NAT规则中确定第一目标NAT规则。

上述方案中,所述基于所述目标数据包,从所述第二NAT规则中确定第一目标NAT规则,包括:

在确定所述目标数据包是所述第一节点发起的情况下,基于所述目标数据包中目标端口的标识,从所述第二NAT规则中查询与所述目标端口对应的所述第一目标NAT规则;

上述方案中,所述基于所述第一修改操作,将所述目标数据包中所述第一通信链路对应的网络地址修改为第二通信链路对应的网络地址,包括:

基于所述第一修改操作,将所述目标数据包中的源网际互连协议IP地址修改为第一节点对应的第二通信链路的IP地址,以及将目标数据包中的目的IP地址修改为所述第二节点对应的第二通信链路的IP地址。

上述方案中,所述方法还包括:

获取所述第一节点上提供存储服务的第一端口的第一端口标识,并基于所述第一端口标识生成第一NAT规则;

基于所述目标数据包,从所述第一NAT规则中确定第二目标NAT规则;其中,所述第二目标NAT规则包括用于将所述目标数据包中所述第二通信链路对应的网络地址修改为所述第一通信链路对应的网络地址的第二修改操作。

上述方案中,所述基于所述目标数据包,从所述第一NAT规则中确定第二目标NAT规则,包括:

在确定所述目标数据包是所述第一节点接收的情况下,基于所述目标数据包中目标端口的标识,从所述第一NAT规则中查询与所述目标端口对应的所述第二目标NAT规则;

上述方案中,所述方法还包括:

基于所述第二修改操作,将所述目标数据包中的源IP地址修改为第二节点对应的第一通信链路的IP地址,以及将目标数据包中的目的IP地址修改为第一节点对应的第一通信链路的IP地址。

上述方案中,所述在所述第一通信链路存在异常且所述第二通信链路未存在异常的情况下,通过所述第二通信链路与所述第二节点处理存储业务之后,所述方法还包括:

在监测到所述第一通信链路恢复正常的情况下,删除第一NAT规则和第二NAT规则;

切换所述第一节点与第二节点之间处理存储业务的通信链路为所述第一通信链路。

上述方案中,所述确定第一通信链路和第二通信链路是否存在异常,包括:

同时监测所述第一通信链路和所述第二通信链路是否存在异常。

上述方案中,所述确定第一通信链路和第二通信链路是否存在异常之前,所述方法还包括:

基于所述第一节点的第一网卡和所述第二节点的第一网卡,建立所述第一通信链路;

通过交换机,基于所述第一节点的第二网卡和所述第二节点的第二网卡,建立所述第二通信链路;

通过所述交换机,基于所述第一节点的第二网卡和第三节点的第二网卡,建立第三通信链路;其中,所述第三通信链路为所述第一节点与所述第三节点之间进行存储业务仲裁的通信链路。

一种数据处理装置,所述装置包括:

确定单元,用于确定第一通信链路和第二通信链路是否存在异常;其中,所述第一通信链路为所述第一节点与第二节点之间处理存储业务的通信链路;所述第二通信链路为所述第一节点与所述第二节点之间进行节点管理的通信链路;

处理单元,用于在所述第一通信链路存在异常且所述第二通信链路未存在异常的情况下,通过所述第二通信链路与所述第二节点处理存储业务。

一种第一节点,所述第一节点包括:处理器、存储器和通信总线;

所述通信总线用于实现处理器和存储器之间的通信连接;

所述处理器用于执行存储器中的数据处理程序,以实现上述数据处理方法的步骤。

一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述数据处理方法的步骤。

本申请的实施例所提供的数据处理方法、装置、第一节点及存储介质,确定第一通信链路和第二通信链路是否存在异常;其中,第一通信链路为第一节点与第二节点之间处理存储业务的通信链路;第二通信链路为第一节点与第二节点之间进行节点管理的通信链路;在第一通信链路存在异常且第二通信链路未存在异常的情况下,通过第二通信链路与第二节点处理存储业务;如此,在第一通信链路存在异常,且第二通信链路未存在异常时,可以通过第二通信链路来进行处理存储业务,避免了第一通信链路存在异常时第一节点与第二节点之间无法处理存储业务,提高了超融合集群处理存储业务的能力,不必在第一节点与第二节点之间的存储网恢复正常后才处理存储业务,解决了在人为检修网络期间,第一节点和第二节点之间无法进行处理存储业务的问题。

附图说明

图1为本申请实施例提供的一种数据处理方法的流程示意图;

图2为本申请实施例提供的另一种数据处理方法的流程示意图;

图3为本申请实施例提供的一种数据处理方法的超融合集群的架构示意图;

图4为本申请实施例提供的相关技术中超融合集群的架构示意图;

图5为本申请实施例提供的一种数据处理方法的超融合集群部署系统的结构示意图;

图6为本申请实施例提供的一种数据处理方法的故障监测系统的结构示意图;

图7为本申请实施例提供的另一种数据处理方法的流程示意图;

图8为本申请实施例提供的一种数据处理装置的结构示意图。

图9为本申请实施例提供的一种第一节点的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。

本申请实施例提供一种数据处理方法,该方法可以应用于超融合集群中的第一节点,参照图1所示,该方法包括以下步骤:

步骤101、确定第一通信链路和第二通信链路是否存在异常。

其中,第一通信链路为第一节点与第二节点之间处理存储业务的通信链路;第二通信链路为第一节点与第二节点之间进行节点管理的通信链路。

在本申请实施例中,超融合集群中至少包括第一节点和第二节点;第一节点和第二节点均为融合了计算、存储和网络等资源的节点;其中,第一节点和第二节点具体可以为超融合集群中提供存储服务的存储服务器。超融合集群中在组网设计上会分为管理网和存储网;其中,存储网为第一节点和第二节点提供存储服务时进行通信所采用的网络;管理网为进行节点管理时所采用的网络,具体可以理解为第一节点管理第二节点时与第二节点进行通信所采用的网络;或,第二节点管理第一节点时与第一节点进行通信时所采用的网络。其中,存储网为是第一节点和第二节点之间的私网。

需要说明的是,第一通信链路可以为第一节点和第二节点之间的存储网通信链路;第二通信链路可以为第一节点与第二节点之间的管理网通信链路。第一节点可以实时检测第一通信链路和第二通信链路是否存在异常;当然,也可以周期性地检测第一通信链路和第二通信链路是否存在异常;第一节点可以同时检测第一通信链路和第二通信链路是否存在异常;第一节点还可以先检测第一通信链路是否存在异常,之后再检测第二通信链路是否存在异常;当然,第一节点也可以先检测第二通信链路是否存在异常,之后再检测第一通信链路是否异常。

具体地,第一节点可以针对第一通信链路进行心跳检测,以确定第一通信链路是否存在异常,并针对第二通信链路进行心跳检测,以确定第二通信链路是否存在异常。

步骤102、在第一通信链路存在异常且第二通信链路未存在异常的情况下,通过第二通信链路与第二节点处理存储业务。

在本申请实施例中,在第一节点确定第一通信链路存在异常,且第二通信链路未存在异常的情况下,第一节点与第二节点之间可以通过第二通信链路进行处理存储业务,避免在第一通信链路异常时,第一节点与第二节点之间无法进行存储业务交互,降低存储业务的处理能力以及处理效率。

需要说明的是,当第一通信链路存在异常时,此时第一节点与第二节点之间无法进行存储业务交互,第一节点只能进行在本地处理存储业务,也就是说,第一节点上所运行的虚拟机无法输入/输出(Input/Output,I/O)而全部中断,进而使得第一节点和第二节点所组成的超融合集群的算力直接损失50%;而在检测到第一通信链路存在异常时,第一节点和第二节点之间通过第二通信链路进行存储业务交互,使得第二节点也能够处理存储业务;也就是说,可以使得第一节点上所运行的虚拟机能够正常I/O,如此,算力不再损失50%,而是100%保留算力,降低了第一节点和第二节点故障导致数据丢失的风险,提高了处理存储业务的安全性和可靠性。

本申请的实施例所提供的数据处理方法,确定第一通信链路和第二通信链路是否存在异常;其中,第一通信链路为第一节点与第二节点之间处理存储业务的通信链路;第二通信链路为第一节点与第二节点之间进行节点管理的通信链路;在第一通信链路存在异常且第二通信链路未存在异常的情况下,通过第二通信链路与第二节点处理存储业务;如此,在第一通信链路存在异常,且第二通信链路未存在异常时,可以通过第二通信链路来进行处理存储业务,避免了第一通信链路存在异常时第一节点与第二节点之间无法处理存储业务,提高了超融合集群处理存储业务的能力,不必在第一节点与第二节点之间的存储网恢复正常后才处理存储业务,解决了在人为检修网络期间,第一节点和第二节点之间无法进行处理存储业务的问题。

基于前述实施例,本申请的实施例提供一种数据处理方法,参照图2所示,该方法包括以下步骤:

步骤201、第一节点同时监测第一通信链路和第二通信链路是否存在异常。

在本申请实施例中,第一节点可以在目标时间通过第一通信链路,多次发送第一心跳信息至第二节点,并在目标时间通过第二通信链路多次发送第二心跳信息至第二节点;如此,以实现对第一通信链路和第二通信链路的同时监测,以便在第一通信链路或第二通信链路异常时,能及时针对异常情况进行处理,降低了第一通信链路或第二通信链路异常,对超融合集群工作的影响,提高了超融合集群工作的稳定性。

若在第一时间段未收到第二节点针对多个第一心跳信息中任一第一心跳信息发送的第一反馈信息,则确定第一通信链路存在异常,换句话来说,即确定第一节点和第二节点之间的存储网发生故障;当在第一时间段收到第二节点针对任一第一心跳信息发送的第一反馈信息,则确定第一通信链路未存在异常。

在一种可行的实现方式中,当心跳超过指定阈值未收到时,则确定第一通信链路发生故障。

若在第二时间段未收到第二节点针对多个第二心跳信息中任一第二心跳信息发送的第二反馈信息,则确定第二通信链路存在异常,换句话来说,第一节点与第二节点之间的管理网发生故障;当在第二时间段收到第二节点针对任一第二心跳信息发送的第二反馈信息,则确定第二通信链路未存在异常。其中,第一时间段和第二时间段可以相同;当然,第一时间段和第二时间段也可以不同。

步骤202、在第一通信链路存在异常且第二通信链路未存在异常的情况下,第一节点基于获取的目标数据包,确定第一目标网络地址转换NAT规则。

其中,第一目标NAT规则包括用于将目标数据包中第一通信链路对应的网络地址修改为第二通信链路对应的网络地址的第一修改操作。目标数据包可以是携带有目标通信标识的数据包。其中,目标数据包可以是在第一通信链路存在异常,且第二通信链路未存在异常时获取的;当然,也可以是在第一通信链路和第二通信链路均未存在异常时,获取的。在一种可行的实现方式中,目标数据包可以是SYN包。

在本申请实施例中,目标通信标识可以是表征新建传输控制协议(TransmissionControl Protocol,TCP)连接的标识;其中,目标数据包可以是第一节点上的客户端与第二节点上的服务端在新建TCP连接时第一节点初次发起的握手数据包,此时第一节点为发送端;目标数据包还可以是第一节点上的服务端与第二节点上的客户端在建立TCP连接时第一节点初次接收到的握手数据包,此时第一节点为接收端。

需要说明的是,在超融合集群中的第一节点和第二节点上均具有客户端和服务端;其中,第一节点和第二节点上各具有一个客户端;第一节点和第二节点上均具有多个服务端;第一节点上服务端的数量和第二节点上服务端的数量可以不同;当然,第一节点上服务端的数量和第二节点上服务端的数量也可以相同。其中,第一节点上每一服务端对应一个第一端口;第二节点上每一服务端对应一个第二端口。在第一通信链路未发生异常,第一节点与第二节点之间处理存储业务时,第一节点上运行的虚拟机可以向第一节点上的第一客户端发起IO请求,第一客户端可以转发IO请求至第一节点的服务端,并通过第一通信链路转发IO请求至第二节点上的服务端,第一节点的服务端和第二节点的服务端在接收到IO请求后,可以获取IO请求中携带的待存储数据,并对待存储数据进行数据存储;其中,在存储业务中IO请求可以理解为存储请求。当然,第二节点上的客户端也可以向第二节点上的服务端以及第一节点上的服务端发起IO请求。

在本申请实施例中,可以对目标数据包进行解析,以从目标数据包中获取目标端口标识,之后基于目标端口标识,确定与目标端口标识匹配的第一目标网络地址转换(Network Address Translation,NAT)规则。其中,目标端口标识可以是目标数据包中目的端口的端口号。

需要说明的是,步骤202可以通过步骤A1~A2来实现:

步骤A1、第一节点获取第二节点上提供存储服务的第二端口的第二端口标识,并基于第二端口标识生成第二NAT规则。

在本申请实施例中,在超融合集群启动工作后,第一节点可以通过监测第二节点获取第二节点上提供存储服务的第二端口的第二端口标识;在监测到第一通信链路存在异常,且第二通信链路未存在异常的情况下,基于第二端口标识生成第二NAT规则。同时,第二节点也可以通过监测第一节点获取第一节点上提供存储服务的第一端口的第一端口标识;如此,实现了在第一节点和第二节点上存储对端的提供存储服务的端口的标识,以提高后续第一节点和第二节点进行数据存储的可靠性。

在一种可行的实现方式中,可以通过监测第二节点,获取第二节点中进程监测的传输控制协议(Transmission Control Protocol,TCP)接口的列表,并从该列表中获取第二端口标识。其中,第二端口可以为第二节点上的TCP接口。

需要说明的是,第一节点可以实时获取第二节点的第二端口标识并存储;在第一通信链路存在异常,且第二通信链路未存在异常的情况下,可以从存储的第二端口标识中读取距离当前时间最近时间获取的第二端口标识。第二NAT规则包括第二端口标识,以及用于将第一通信链路对应的网络地址修改为第二通信链路对应的网络地址的修改操作。

步骤A2、第一节点基于目标数据包,从第二NAT规则中确定第一目标NAT规则。

在本申请实施例中,可以对目标数据包进行解析,以从目标数据包中获取目标端口的标识,并基于目标端口的标识,从第二NAT规则中确定与目标端口的标识匹配的NAT规则,得到第一目标NAT规则。

需要说明的是,步骤A2可以通过步骤a1来实现:

步骤a1、在确定目标数据包是第一节点发起的情况下,基于目标端口的标识,从第二NAT规则中查询与目标端口对应的第一目标NAT规则。

在本申请实施例中,可以确定目标数据包的来源,在目标数据包的来源表征目标数据包是第一节点发起的情况下,可以基于目标端口的标识,从第二NAT规则中查询与目标端口对应的NAT规则,得到第一目标NAT规则。

步骤203、第一节点基于第一修改操作,将目标数据包中第一通信链路对应的网络地址修改为第二通信链路对应的网络地址,并基于修改后的目标数据包和第二通信链路,与第二节点处理存储业务。

在本申请实施例中,可以基于第一修改操作,将目标数据包中第一通信链路(即存储网)对应的源IP地址和目的IP地址修改为第二通信链路(管理网)对应的源IP地址和目的IP地址,之后可以将修改后的目标数据包通过第二通信链路传输至第二节点,以通过第二通信链路建立第一节点与第二节点之间的TCP连接,以便之后第一节点与第二节点可以通过第二通信链路处理存储业务。

需要说明的是,步骤203中基于第一修改操作,将目标数据包中第一通信链路对应的网络地址修改为第二通信链路对应的网络地址,可以通过步骤B1来实现:

步骤B1、第一节点基于第一修改操作,将目标数据包中的源IP地址修改为第一节点对应的第二通信链路的IP地址,以及将目标数据包中的目的IP地址修改为第二节点对应的第二通信链路的IP地址。

其中,目标数据包为用于新建TCP连接的初次握手数据包,初次握手数据包中携带有四元组;其中,四元组包括源IP地址、目的IP地址、源端口和目的端口。

在本申请实施例中,在确定目标数据包是第一节点发起的情况下,可以基于第一修改操作,将四元组中的源IP地址修改为第一节点对应的第二通信链路的IP地址,并将四元组中目的IP地址修改为第二节点对应的第二通信链路的IP地址。

需要说明的是,将目标数据包中的源IP地址和目的IP地址均修改为第二通信链路对应的源IP地址和目的IP,在建立TCP连接时也是通过第二通信链路来发送目标数据包,但是对第一节点上的应用层而言,依然会认为是通过第一通信链路发送的目标数据包,也就是说,应用层感知不到链路地址的变化,提高了后续通过第二通信链路处理存储业务的稳定性。

基于前述实施例,在本申请的其他实施例中,该数据处理方法还包括:

步骤204、第一节点获取第一节点上提供存储服务的第一端口的第一端口标识,并基于第一端口标识生成第一NAT规则。

在本申请实施例中,当超融合集群启动工作后,第一节点可以实时或周期性地监测自身提供存储服务的第一端口,得到第一端口标识。在第一通信链路存在异常,且第二通信链路未存在异常的情况下,可以从存储的第一端口标识中读取距离当前时间最近时间获取的第一端口标识,并基于获取的第一端口标识生成第一NAT规则。其中,第一NAT规则包括第一端口标识以及用于将第二通信链路对应的网络地址修改为第一通信链路对应的网络地址的修改操作。

步骤205、第一节点基于目标数据包,从第一NAT规则中确定第二目标NAT规则。

其中,第二目标NAT规则包括用于将目标数据包中第二通信链路对应的网络地址修改为第一通信链路对应的网络地址的第二修改操作。

在本申请实施例中,可以对目标数据包进行解析,以从目标数据包中获取目标端口的标识,并基于目标端口的标识从第一NAT规则中确定与目标端口的标识匹配的NAT规则,得到第二目标NAT规则。

需要说明的是,步骤205可以通过C1来实现:

步骤C1、在确定目标数据包是第一节点接收的情况下,第一节点基于目标数据包中目标端口的标识,从第一NAT规则中查询与目标端口对应的第二目标NAT规则。

在本申请实施例中,可以确定目标数据包的来源,在目标数据包的来源表征目标数据包是第一节点接收到的情况下,可以基于目标数据包中目标端口的标识,从第一NAT规则中查询与目标端口的标识匹配的NAT规则,得到第二目标NAT规则。

其中,目标数据包可以是在第一通信链路存在异常且第二通信链路未存在异常的情况下,第二节点通过第二通信链路发送至第一节点的,此时,第一节点作为接收端。

步骤206、第一节点基于第二修改操作,将目标数据包中源IP地址修改为第二节点对应的第一通信链路的IP地址,以及将目标数据包中的目的IP地址修改为第一节点对应的第一通信链路的IP地址。

其中,目标数据包为用于新建TCP连接的初次握手数据包,初次握手数据包中携带有四元组;其中,四元组包括源IP地址、目的IP地址、源端口和目的端口。

在本申请实施例中,在确定目标数据包是第一节点接收的情况下,此时目标数据包是第二节点通过第二通信链路发生至第一节点的,目标数据包中的源IP地址为第二节点对应的第二通信链路的IP地址,目标数据包中的目的IP地址为第一节点对应的第二通信链路的IP地址。此时,第一节点可以基于第二修改操作,将四元组中的源IP地址修改为第二节点对应的第一通信链路的IP地址,并将四元组中目的IP地址修改为第一节点对应的第一通信链路的IP地址,以便让应用层感知不到第一通信链路异常,进一步使得第一节点与第二节点能够安全稳定的处理存储业务。

需要说明的是,当在第一节点接收到目标数据包时,可以将目标数据包中源IP地址修改为第二节点对应的第一通信链路的IP地址,并将目的IP地址修改为第一节点对应的第一通信链路的IP地址;如此,虽然在第一通信链路异常时,第一节点是通过第二通信链路来接收到目标数据包的,在接收到目标数据包时,通过及时的将目标数据包中第二通信链路对应的网络地址修改为第一通信链路对应的网络地址,当应用层因为安全需求抓取目标数据包进行安全检测时,依然检测到的是通过第一通信链路接收的目标数据包,如此,让应用层感知不到第一通信链路异常,使得第一节点和第二节点之间能够安全稳定的处理存储业务。

步骤207、在监测到第一通信链路恢复正常的情况下,第一节点删除第一NAT规则和第二NAT规则。

在本申请实施例中,在通过第二通信链路处理存储业务时,还需要对第一通信链路进行实时检测,具体可以是通过第一通信链路向第二节点发送多个第三心跳信息,在接收到第二节点针对任一第三心跳信息发送的第三反馈信息的情况下,确定第一通信链路恢复正常;在未接收到第二节点发送的第三反馈信息的情况下,则表明第一通信链路未恢复正常。在确定第一通信链路恢复正常的情况下,删除第一NAT规则和第二NAT规则,之后第一节点在获取到目标数据包时不再对目标数据包中的链路地址进行修改,以便后续通过已恢复正常的第一通信链路进行处理存储业务。

步骤208、第一节点切换第一节点与第二节点之间处理存储业务的通信链路为第一通信链路。

在本申请实施例中,可以生成切换信息,并基于切换信息切换第一节点与第二节点之间处理存储业务的通信链路为第一通信链路,切换信息可以是监测到第一通信链路恢复正常的情况下生成的;其中,切换信息可以是用于通知第一节点对数据存储时对应的链路进行切换。

基于前述实施例,在本申请的其他实施例中,在确定第一通信链路和第二通信链路是否存在异常之前,该方法还可以包括以下步骤:

步骤209、第一节点基于第一节点的第一网卡和第二节点的第一网卡,建立第一通信链路;

在本申请实施例中,获取第一节点的第一网卡的第一地址和第二节点的第一网卡的第二地址,并基于第一地址和第二地址建立第一通信链路。其中,第一地址和第二地址可以是预先配置的。

步骤210、第一节点通过交换机,基于第一节点的第二网卡和第二节点的第二网卡,建立第二通信链路。

在本申请实施例中,获取第一节点的第二网卡的第三地址和第二节点的第二网卡的第四地址,并通过交换机基于第三地址和第四地址建立第二通信链路。其中,第三地址和第四地址可以是预先配置的。

步骤211、第一节点通过交换机,基于第一节点的第二网卡和第三节点的第二网卡,建立第三通信链路。

其中,第三通信链路为第一节点与第三节点之间进行存储业务仲裁的通信链路。

在本申请实施例中,可以获取第一节点的第二网卡的第五地址以及第三节点的第二网卡的第六地址,并通过交换机基于第五地址和第六地址,建立第三通信链路。

其中,第一节点和第二节点可以是数据节点;第三节点可以是仲裁节点。其中,第一节点和第二节点是存储服务器;第三节点是仲裁服务器;第三节点不提供存储服务。其中,第一节点、第二节点和第三节点的数量均为一个。第三节点通过第三通信链路为服务器A和服务器B提供业务仲裁服务。

在一种可行的实现方式中,如图3所示,第一节点可以为服务器A,第二节点可以为服务器B,第三节点可以为仲裁节点C;其中,基于第一地址和第二地址可以实现将服务器A的第一网卡与服务器B的第一网卡直连,得到服务A与服务B之间直连的第一通信链路,即存储网通信链路;基于第三地址和第四地址,可以实现将服务器A的第二网卡通过千兆交换机与服务器B的第二网卡连接,得到服务器A和服务器B之间的非直连的第二通信链路,即管理网通信链路;基于第五地址和第六地址,可以实现将服务器A的第二网卡通过千兆交换机与仲裁节点C的第二网卡连接,得到服务器A与仲裁节点C之间非直连的第三通信链路,即仲裁通信链路。

需要说明的是,相关技术中仲裁节点C是通过万兆交换机接入存储网的,而且服务器A和服务B之间进行处理存储业务也是通过万兆交换机来进行通信的,如图4所示,服务器A的第一网卡和服务器B的第一网卡通过万兆交换机连通,以实现服务器A与服务B之间处理存储业务时的通信,仲裁节点C的第二网卡通过万兆交换机与服务器A建立通信,仲裁节点C的第二网卡通过万兆交换机与服务器B建立通信,以实现仲裁节点向服务器A和服务器B提供存储业务仲裁。其中,万兆交换机的开销太大成本过高,通过本申请实施例中所提供的数据处理方法,服务器A和服务器B之间可以直连,仲裁节点可以通过管理网向服务器A和服务器B来提供存储业务仲裁,不必如相关技术中需要万兆交换机来实现服务器A与服务器B之间进行处理存储业务时的通信,也不需要通过万兆交换机来为服务器A和服务器B提供业务仲裁;如此,降低了超融合集群的部署成本。

基于前述实施例,在本申请的实施例还提供一种超融合集群部署系统,该数据处理方法应用于超融合集群部署系统中,如图5所示,该系统包括存储客户端、存储服务端、域名系统(Domain Name System,DNS)解析模块、存储管理面和仲裁服务端;其中,第一节点和第二节点中均包括存储客户端、存储服务端、DNS解析模块和存储管理面;第三节点中包括仲裁服务端和DNS解析模块。其中,在第一节点和第二节点中存储客户端可以简称为客户端,存储服务端可以简称为服务端;DNS解析模块用于负责记录超融合集群部署系统中每一节点的域名与IP的对应关系。存储管理面用于负责存储管理相关操作,用于控制超融合集群部署系统中集群拓扑图的变化。超融合集群部署系统中通过部署仲裁节点,可以避免超融合集群部署系统中发生数据脑裂的问题。

在一种可行的实现方式中,第一节点上运行的虚拟机可以发送存储请求,第一节点上的客户端可以接收该存储请求,并按照配置的存储策略将存储请求转发至第一节点上的服务端以及第二节点上的服务端,服务端在接收到存储请求后,将存储请求中携带的待存储数据写入硬盘介质中。

其中,仲裁服务端负责接收客户端的IO仲裁请求,以将仲裁相关信息写入仲裁节点的硬盘介质当中;其中,虽然仲裁服务端不存储业务数据,但是客户端在发送存储请求时,还需要给仲裁服务端发送存储请求。

为了提高超融合集群部署系统提供存储服务时的稳定性,本申请实施例还提供了一种故障监测系统,该系统应用于第一节点和第二节点中,如图6所示,该系统包括网络故障处理模块、网络监控模块、NAT模块以及存储服务配置模块。下述结合应用场景以故障监测系统应用在第一节点上,对故障监测系统中各个模块的工作过程进行详细的解释说明。

在一种可行的实现方式中,第一节点可以为主机A,第二节点可以为主机B,如图7所示,主机A上的网络监控模块,可以通过发送第一心跳信息来监测与主机B之间的存储网是否存在异常,同时还可以发送第二心跳信息来监测与主机B之间的管理网是否存在异常,当确定主机A与主机B之间的存储网存在异常时,则网络监控模块可以向网络故障处理模块发送存储网故障事件,网络故障处理模块接收到存储网故障事件后从存储服务配置模块读取主机B上提供存储服务的第二端口的第二端口标识,并基于第二端口标识生成第二NAT规则,并下发第二NAT规则至NAT模块,以使得NAT模块将新建TCP数据包中存储网对应的IP地址修改为管理网对应的IP地址,以实现将存储网的流量切换至管理网,以实现主机A和主机B之间通过管理网进行数据存储;当然,第一节点还可以获取自身提供存储服务的第一端口的第一端口标识,基于第一端口标识生成第一NAT规则,以便当第一节点作为接收端时,接收到第二节点通过第二通信链路发送的新建TCP数据包时,将新建TCP数据包中管理网对应的IP地址修改为存储网对应的IP地址,以使得第一节点的应用层感知不到第一通信链路异常,提高后续第一节点与第二节点之间处理存储业务的稳定性。第一节点上的存储服务配置模块和第二节点上的存储服务配置模块中的数据可以实时同步。图6中所示的NAT规则包括第一NAT规则和第二NAT规则。

其中,当网络监控模块在监测到存储网回复正常后,可以向网络故障处理模块发送存储网正常的事件,网络故障处理模块接收到该事件后会自动删除第一NAT规则和第二NAT规则,并生成切换信息,重新恢复存储网流量切换回存储网。

需要说明的是,故障监测系统在实际应用中需要在第一节点和第二节点上均部署,以实现对超融合集群中存储网和管理网的监测,使得在发生网络故障时可以及时处理,提高了超融合集群业务处理的稳定性。在存储网出现故障时,可以及时切换到管理网进行处理存储业务,使得第一节点上的虚拟机不再单副本运行,而是仍然两副本运行,降低了双节点故障导致数据损失的风险。

需要说明的是,本实施例中与其它实施例中相同步骤和相同内容的说明,可以参照其它实施例中的描述,此处不再赘述。

本申请的实施例所提供的数据处理方法,在第一通信链路存在异常,且第二通信链路未存在异常时,可以通过第二通信链路来进行处理存储业务,避免了第一通信链路存在异常时第一节点与第二节点之间无法处理存储业务,提高了超融合集群处理存储业务的能力,不必在第一节点与第二节点之间的存储网恢复正常后才处理存储业务,解决了在人为检修网络期间,第一节点和第二节点之间无法进行处理存储业务的问题。

基于前述实施例,本申请的实施例提供一种数据处理装置,该数据处理装置可以应用于图1~2对应的实施例提供的数据处理方法中,参照图8所示,该数据处理装置3可以包括:

确定单元31,用于确定第一通信链路和第二通信链路是否存在异常;其中,第一通信链路为第一节点与第二节点之间处理存储业务的通信链路;第二通信链路为第一节点与第二节点之间进行节点管理的通信链路;

处理单元32,用于在第一通信链路存在异常且第二通信链路未存在异常的情况下,通过第二通信链路与第二节点处理存储业务。

在本申请实施例中,处理单元32还用于执行以下步骤:

基于获取的目标数据包,确定第一目标网络地址转换NAT规则,第一目标NAT规则包括用于将目标数据包中第一通信链路对应的网络地址修改为第二通信链路对应的网络地址的第一修改操作;

基于第一修改操作,将目标数据包中第一通信链路对应的网络地址修改为第二通信链路对应的网络地址,并基于修改后的目标数据包和第二通信链路,与第二节点处理存储业务。

在本申请实施例中,处理单元32还用于执行以下步骤:

获取第二节点上提供存储服务的第二端口的第二端口标识,并基于第二端口标识生成第二NAT规则;

基于目标数据包,从第二NAT规则中确定第一目标NAT规则。

在本申请实施例中,处理单元32还用于执行以下步骤:

在确定目标数据包是第一节点发起的情况下,基于目标端口的标识,从第二NAT规则中查询与目标端口对应的第一目标NAT规则;

相应的,基于第一修改操作,将目标数据包中第一通信链路对应的网络地址修改为第二通信链路对应的网络地址,包括:

基于第一修改操作,将目标数据包中的源网际互连协议IP地址修改为第一节点对应的第二通信链路的IP地址,以及将目标数据包中的目的IP地址修改为第二节点对应的第二通信链路的IP地址。

在本申请实施例中,处理单元32还用于执行以下步骤:

获取第一节点上提供存储服务的第一端口的第一端口标识,并基于第一端口标识生成第一NAT规则;

基于目标数据包,从第一NAT规则中确定第二目标NAT规则;其中,第二目标NAT规则包括用于将目标数据包中第二通信链路对应的网络地址修改为第一通信链路对应的网络地址的第二修改操作。

在本申请实施例中,处理单元32还用于执行以下步骤:

在确定目标数据包是第一节点接收的情况下,基于目标数据包中目标端口的标识,从第一NAT规则中查询与目标端口对应的第二目标NAT规则;

相应的,方法还包括:

基于第二修改操作,将目标数据包中的源IP地址修改为第二节点对应的第一通信链路的IP地址,以及将目标数据包中的目的IP地址修改为第一节点对应的第一通信链路的IP地址。

在本申请实施例中,处理单元32还用于执行以下步骤:

在监测到第一通信链路恢复正常的情况下,删除第一NAT规则和第二NAT规则;

切换第一节点与第二节点之间处理存储业务的通信链路为第一通信链路。

在本申请实施例中,确定单元31还用于执行以下步骤:

同时监测第一通信链路和第二通信链路是否存在异常。

在本申请实施例中,处理单元32还用于执行以下步骤:

基于第一节点的第一网卡和第二节点的第一网卡,建立第一通信链路;

通过交换机,基于第一节点的第二网卡和第二节点的第二网卡,建立第二通信链路;

通过交换机,基于第一节点的第二网卡和第三节点的第二网卡,建立第三通信链路;其中,第三通信链路为第一节点与第三节点之间进行存储业务仲裁的通信链路。

需要说明的是,本申请实施例中各单元之间的交互过程,可以参照图1~2对应的实施例提供的数据处理方法中的实现过程,此处不再赘述。

本申请实施例所提供的数据处理装置,在第一通信链路存在异常,且第二通信链路未存在异常时,可以通过第二通信链路来进行处理存储业务,避免了第一通信链路存在异常时第一节点与第二节点之间无法处理存储业务,提高了超融合集群处理存储业务的能力,不必在第一节点与第二节点之间的存储网恢复正常后才处理存储业务,解决了在人为检修网络期间,第一节点和第二节点之间无法进行处理存储业务的问题。

基于前述实施例,本申请的实施例提供一种第一节点,该第一节点可以应用于图1~2对应的实施例提供的数据处理方法中,参照图9所示,该第一节点4可以包括:处理器41、存储器42和通信总线43,其中:

通信总线43用于实现处理器41和存储器42之间的通信连接;

处理器41用于执行存储器42中存储的数据处理程序,以实现以下步骤:

确定第一通信链路和第二通信链路是否存在异常;其中,第一通信链路为第一节点与第二节点之间处理存储业务的通信链路;第二通信链路为第一节点与第二节点之间进行节点管理的通信链路;

在第一通信链路存在异常且第二通信链路未存在异常的情况下,通过第二通信链路与第二节点处理存储业务。

在本申请的其他实施例中,处理器41用于执行存储器42中存储的数据处理程序的通过第二通信链路与第二节点处理存储业务,以实现以下步骤:

基于获取的目标数据包,确定第一目标网络地址转换NAT规则,第一目标NAT规则包括用于将目标数据包中第一通信链路对应的网络地址修改为第二通信链路对应的网络地址的第一修改操作;

基于第一修改操作,将目标数据包中第一通信链路对应的网络地址修改为第二通信链路对应的网络地址,并基于修改后的目标数据包和第二通信链路,与第二节点处理存储业务。

在本申请的其他实施例中,处理器41用于执行存储器42中存储的数据处理程序的基于获取的目标数据包,确定第一目标网络地址转换NAT规则,包括:

获取第二节点上提供存储服务的第二端口的第二端口标识,并基于第二端口标识生成第二NAT规则;

基于目标数据包,从第二NAT规则中确定第一目标NAT规则。

在本申请的其他实施例中,处理器41用于执行存储器42中存储的数据处理程序的基于目标数据包,从第二NAT规则中确定第一目标NAT规则,以实现以下步骤:

在确定目标数据包是第一节点发起的情况下,基于目标数据包中目标端口的标识,从第二NAT规则中查询与目标端口对应的第一目标NAT规则;

相应的,基于第一修改操作,将目标数据包中第一通信链路对应的网络地址修改为第二通信链路对应的网络地址,包括:

基于第一修改操作,将目标数据包中的源网际互连协议IP地址修改为第一节点对应的第二通信链路的IP地址,以及将目标数据包中的目的IP地址修改为第二节点对应的第二通信链路的IP地址。

在本申请的其他实施例中,处理器41用于执行存储器42中存储的数据处理程序,以实现以下步骤:

获取第一节点上提供存储服务的第一端口的第一端口标识,并基于第一端口标识生成第一NAT规则;

基于目标数据包,从第一NAT规则中确定第二目标NAT规则;其中,第二目标NAT规则包括用于将目标数据包中第二通信链路对应的网络地址修改为第一通信链路对应的网络地址的第二修改操作。

在本申请的其他实施例中,处理器41用于执行存储器42中存储的数据处理程序中的基于目标数据包,从第一NAT规则中确定第二目标NAT规则,以实现以下步骤:

在确定目标数据包是第一节点接收的情况下,基于目标数据包中目标端口的标识,从第一NAT规则中查询与目标端口对应的第二目标NAT规则;

相应的,方法还包括:

基于第二修改操作,将目标数据包中的源IP地址修改为第二节点对应的第一通信链路的IP地址,以及将目标数据包中的目的IP地址修改为第一节点对应的第一通信链路的IP地址。

在本申请的其他实施例中,处理器41用于执行存储器42中存储的数据处理程序,以实现以下步骤:

在监测到第一通信链路恢复正常的情况下,删除第一NAT规则和第二NAT规则;

切换第一节点与第二节点之间处理存储业务的通信链路为第一通信链路。

在本申请的其他实施例中,处理器41用于执行存储器42中存储的数据处理程序的确定第一通信链路和第二通信链路是否存在异常,以实现以下步骤:

同时监测第一通信链路和第二通信链路是否存在异常。

在本申请的其他实施例中,处理器41用于执行存储器42中存储的数据处理程序,以实现以下步骤:

通过交换机,基于第一节点的第二网卡和第二节点的第二网卡,建立第二通信链路;

通过交换机,基于第一节点的第二网卡和第三节点的第二网卡,建立第三通信链路;其中,第三通信链路为第一节点与第三节点之间进行存储业务仲裁的通信链路。

需要说明的是,本实施例中处理器所执行的步骤的具体实现过程,可以参照图1~2对应的实施例提供的数据处理方法中的实现过程,此处不再赘述。

本申请实施例所提供的第一节点,在第一通信链路存在异常,且第二通信链路未存在异常时,可以通过第二通信链路来进行处理存储业务,避免了第一通信链路存在异常时第一节点与第二节点之间无法处理存储业务,提高了超融合集群处理存储业务的能力,不必在第一节点与第二节点之间的存储网恢复正常后才处理存储业务,解决了在人为检修网络期间,第一节点和第二节点之间无法进行处理存储业务的问题。

基于前述实施例,本申请的实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现图1~2对应的实施例提供的数据处理方法中的步骤。

应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

需要说明的是,上述计算机可读存储介质可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种电子设备,如移动电话、计算机、平板设备、个人数字助理等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所描述的方法。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

相关技术
  • 一种数据处理方法、数据处理装置、计算机设备及可读存储介质
  • 一种数据处理方法及装置、一种计算设备及存储介质
  • 一种计算机可读存储介质、数据处理方法、装置及服务器
  • 一种材质的数据处理方法、装置、电子设备及存储介质
  • 一种数据处理方法、装置、电子设备及存储介质
  • 一种信息处理方法、装置、第一节点及存储介质
  • 一种信息处理方法、第一节点及计算机可读存储介质
技术分类

06120115581532