故障处理方法、装置、电子设备和存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种故障处理方法、装置、电子设备和存储介质。

背景技术

近年来，随着大数据技术的蓬勃发展，业务处理对实时性要求主件提高，越来越多的业务开始采用实时处理方式，以加速业务的发展。Flink(一种流处理框架)因高吞吐、低延迟、容错性好等特性被作为实时处理引擎而广泛应用，Flink中通过多个任务节点对业务数据进行处理。在单个任务节点出现故障后，需要对所有任务节点重新部署，而任务节点重新部署阶段，Flink无法对业务数据进行处理，从而降低业务数据处理的实效性。

发明内容

有鉴于此，本发明实施例提供一种故障处理方法、装置、电子设备和存储介质，能够解决Flink中单个任务节点出现故障后，需要对所有任务节点重新部署，降低业务数据处理的实效性的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种故障处理方法。

本发明实施例的一种故障处理方法包括：响应于故障任务节点的处理指令，获取所述故障任务节点的节点信息，以确定对应的故障恢复策略并触发；响应于所述故障恢复策略为故障节点恢复策略，建立所述故障任务节点对应的替换任务节点，查询所述故障任务节点对应上游任务节点的工作状态；响应于所述工作状态为预设状态，向所述替换任务节点发送启动指令；响应于所述工作状态不为所述预设状态，在监听到所述故障任务节点对应上游任务节点的工作状态更新为预设状态后，向所述替换任务节点发送启动指令。

在一个实施例中，还包括：

响应于所述故障恢复策略为全部节点恢复策略，建立所述故障任务节点对应的替换任务节点；

获取全部任务节点的关联关系，以基于所述关联关系依次向所述全部任务节点发送启动指令。

在又一个实施例中，所述故障恢复策略包括所述故障节点恢复策略和全部节点恢复策略；

获取所述故障任务节点的节点信息，以确定对应的故障恢复策略，包括：

基于所述节点信息判断所述故障任务节点是否为全部任务节点；

若是，则确定故障恢复策略为所述全部节点恢复策略；若否，则确定故障恢复策略为所述故障节点恢复策略。

在又一个实施例中，建立所述故障任务节点对应的替换任务节点，包括：

构建所述故障任务节点对应的替换任务节点，将所述替换任务节点更新至任务节点管理器，向所述替换任务节点发送调度指令，以使所述替换任务节点向对应的上游任务节点发送分区更新请求，其中，所述上游任务节点接收所述分区更新请求后，确定所述替换任务节点对应的分区，并建立所述分区与所述替换任务节点之间的映射关系。

在又一个实施例中，确定所述替换任务节点对应的分区，并建立所述分区与所述替换任务节点之间的映射关系，包括：

查询所述故障任务节点对应的分区，以确定为所述替换任务节点对应的分区；

基于所述分区创建所述替换任务节点对应的分区视图对象，获取所述故障任务节点对应分区视图对象中缓存队列参数，以更新为所述替换任务节点对应分区视图对象的缓存队列参数。

在又一个实施例中，向所述替换任务节点发送启动指令之后，还包括：

查询所述替换任务节点对应下游任务节点的节点信息，向所述下游任务节点发送分区更新消息，以使所述下游任务节点基于所述分区更新消息从所述替换任务节点读取数据。

在又一个实施例中，基于所述分区更新消息从所述替换任务节点读取数据之后，还包括：

调用预设的反序列化处理器，获取所述数据中的序列标识，判断所述序列标识是否为预测标识；

若是，则触发对应的处理程序，以对所述数据进行处理；

若否，则判断所述序列标识是否为目标值，如果是则触发数据清理事件，以清理所述反序列化处理器中缓存数据，否则发送提示消息。

为实现上述目的，根据本发明实施例的另一方面，提供了一种故障处理装置。

本发明实施例的一种故障处理装置包括：确定单元，用于响应于故障任务节点的处理指令，获取所述故障任务节点的节点信息，以确定对应的故障恢复策略并触发；判断单元，用于响应于所述故障恢复策略为故障节点恢复策略，建立所述故障任务节点对应的替换任务节点，查询所述故障任务节点对应上游任务节点的工作状态；启动单元，用于响应于所述工作状态为预设状态，向所述替换任务节点发送启动指令；响应于所述工作状态不为所述预设状态，在监听到所述故障任务节点对应上游任务节点的工作状态更新为预设状态后，向所述替换任务节点发送启动指令。

在一个实施例中，所述装置还包括：

建立单元，用于响应于所述故障恢复策略为全部节点恢复策略，建立所述故障任务节点对应的替换任务节点；

所述启动单元，还用于获取全部任务节点的关联关系，以基于所述关联关系依次向所述全部任务节点发送启动指令。

在又一个实施例中，所述故障恢复策略包括所述故障节点恢复策略和全部节点恢复策略；

所述确定单元，具体用于：

基于所述节点信息判断所述故障任务节点是否为全部任务节点；

若是，则确定故障恢复策略为所述全部节点恢复策略；若否，则确定故障恢复策略为所述故障节点恢复策略。

在又一个实施例中，所述判断单元，具体用于：

构建所述故障任务节点对应的替换任务节点，将所述替换任务节点更新至任务节点管理器，向所述替换任务节点发送调度指令，以使所述替换任务节点向对应的上游任务节点发送分区更新请求，其中，所述上游任务节点接收所述分区更新请求后，确定所述替换任务节点对应的分区，并建立所述分区与所述替换任务节点之间的映射关系。

在又一个实施例中，所述判断单元，具体用于：

查询所述故障任务节点对应的分区，以确定为所述替换任务节点对应的分区；

基于所述分区创建所述替换任务节点对应的分区视图对象，获取所述故障任务节点对应分区视图对象中缓存队列参数，以更新为所述替换任务节点对应分区视图对象的缓存队列参数。

在又一个实施例中，所述装置还包括：

发送单元，用于查询所述替换任务节点对应下游任务节点的节点信息，向所述下游任务节点发送分区更新消息，以使所述下游任务节点基于所述分区更新消息从所述替换任务节点读取数据。

在又一个实施例中，所述发送单元，还用于：

调用预设的反序列化处理器，获取所述数据中的序列标识，判断所述序列标识是否为预测标识；

若是，则触发对应的处理程序，以对所述数据进行处理；

若否，则判断所述序列标识是否为目标值，如果是则触发数据清理事件，以清理所述反序列化处理器中缓存数据，否则发送提示消息。

为实现上述目的，根据本发明实施例的再一个方面，提供了一种电子设备。

本发明实施例的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的故障处理方法。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例提供的故障处理方法。

上述发明中的一个实施例具有如下优点或有益效果：本发明实施例中，对任务节点的故障处理，配置了故障节点恢复策略和全部节点恢复策略，故障节点恢复策略表示只对故障的任务节点进行恢复处理，即只对故障的任务节点进行重启，全部节点恢复策略表示对全部任务节点进行恢复，即对全部任务节点进行重启；所以在响应于故障任务节点的处理指令，可以先基于故障节点的信息来确定出对应的故障恢复策略并进行触发；触发的故障恢复策略为故障节点恢复策略，说明只需要对故障的任务节点进行重启，所以建立故障任务节点对应的替换任务节点后，可以查询故障任务节点对应上游任务节点的工作状态；由于上游任务节点正常工作的情况下，下游任务节点才有可能正常的从上游任务节点读取数据并处理，所以为了保证替换任务节点启动后可以正常运行，可以先判断其上游任务节点的工作状态是否为预设状态；若是，说明上游任务节点工作正常，则可以向替换任务节点发送启动指令，以启动替换任务节点；若否，说明上游任务节点未能工作正常，则可以对替换任务节点对应上游任务节点的工作状态进行监听，并在监听到替换任务节点对应上游任务节点的工作状态为预设状态后向替换任务节点发送启动指令，以便于进行正常的数据处理。如此本发明实施例中，通过配置的故障节点恢复策略，可以在单个任务节点出现故障后，只对故障节点进行恢复，对其他未故障的任务节点不造成影响，保证未故障的任务节点对业务数据正常处理，提高业务数据处理的实效性。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的故障处理方法适用的一种系统架构的示意图；

图2是根据本发明实施例的故障处理方法的一种主要流程的示意图；

图3是根据本发明实施例的故障处理方法的又一种主要流程的示意图；

图4是根据本发明实施例的故障处理装置的主要单元的示意图；

图5是本发明实施例可以应用于其中的又一种示例性系统架构图；

图6是适于用来实现本发明实施例的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不冲突的情况下，本发明中的实施例以及实施例中的特征可以互相组合。本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

本发明实施例提供一种故障处理方法，可以用于Flink系统中任务节点的故障处理场景。

如图1所示，为本发明实施例中故障处理方法所适用的一种Flink系统架构的示意图。Flink系统中可以包括JobManager，JobManager可以用于对任务节点的管理、调度、恢复、协作等等。Flink系统中，JobManager可以接收需要处理的数据，如外部系统输入的业务数据，然后确定对数据的处理逻辑，以将数据发送给任务节点进行处理。Flink系统中，source表示数据源端，sink表示数据消费端，数据由source输出后经过一个或多个任务节点(图1中以一个任务节点1为例)的处理传输至sink。任务节点表示对数据处理的一个任务程序，具体可以为一个数据处理任务的线程。基于数据处理逻辑，一些任务节点之间可以存在关联关系，即前一个任务节点的处理结果为后一个任务节点的输入数据，所以可以将前一个任务节点确定为后一个任务节点的数据源端，后一个任务节点确定为前一个任务节点的数据消费端。

本发明实施例提供了一种故障处理方法，该方法可由图1所示系统架构中JobManager执行，如图2所示，该方法包括：

S201：响应于故障任务节点的处理指令，获取故障任务节点的节点信息，以确定对应的故障恢复策略并触发。

其中，任务节点在运行中出现异常时可以向JobManager发送失败上报消息，以上报JobManager任务节点故障；或者JobManager可以向各任务节点周期性发送心跳报文，以通过心跳报文来感知任务节点是否出现故障。在JobManager确定任务节点出现故障后，可以触发故障任务节点的处理指令。JobManager中可以预先设置策略分配器，通过调用策略分配器来响应故障任务节点的处理指令，以确定对应的故障恢复策略。

本发明实施例中，对任务节点的故障处理，配置了故障节点恢复策略(RestartApusIndividualFailoverStrategy)和全部节点恢复策略，故障节点恢复策略表示只对故障的任务节点进行恢复处理，即只对故障的任务节点进行替换和重新启动，全部节点恢复策略表示对全部任务节点进行恢复，即对全部任务节点进行重新启动。JobManager可以预先设置策略分配器，用于响应故障任务节点的处理指令，以确定对应的故障恢复策略。

策略分配器可以获取故障任务节点的节点信息，以基于节点信息来确定对应的故障恢复策略。节点信息可以包括节点标识、节点地址、节点对应的上游任务节点和现有任务节点等等。具体的，可以预设故障恢复策略对应的条件，以基于节点信息判断是否满足预设条件，进而确定出对应的故障恢复策略。

示例的，本发明实施例中可以设置故障节点恢复策略对应的预设条件为故障任务节点不是全部任务节点，全部节点恢复策略对应的预设条件为故障任务节点是全部任务节点，所以本步骤中可以基于节点信息判断故障任务节点是否为全部任务节点；若是，则确定故障恢复策略为全部节点恢复策略；若否，则确定故障恢复策略为故障节点恢复策略。

S202：响应于故障恢复策略为故障节点恢复策略，建立故障任务节点对应的替换任务节点，查询故障任务节点对应上游任务节点的工作状态。

其中，故障恢复策略被触发后，可以基于故障恢复策略标识来确定出其为故障节点恢复策略或者全部节点恢复策略。

故障恢复策略为故障节点恢复策略，说明只需要对故障任务节点进行恢复。具体的，任务节点故障后需要通过新的任务节点进行替换，所以需要先建立故障任务节点对应的替换任务节点，然后对替换任务节点进行启动，以替换故障任务节点来执行任务处理。

为了使替换任务节点可以启动后正常运行，需要保证替换任务节点启动时其上游任务节点处于正常的工作状态，替换任务节点用于替换故障任务节点，所以故障任务节点对应的上游任务节点即为替换任务节点对应的上游任务节点，如图1所示，source即为任务节点1的上游任务节点。本步骤中在建立替换任务节点后，查询故障任务节点对应上游任务节点的工作状态，并判断是否为预设状态。

需要说明的是，预设状态表示任务节点处理正常工作的状态，可以包括运行(running)和停止(finished)，运行表示任务节点正在进行数据处理，停止表示任务节点的数据处理任务执行完成。

本发明实施例中，建立故障任务节点对应的替换任务节点，可以执行为：构建故障任务节点对应的替换任务节点，将替换任务节点更新至任务节点管理器，向替换任务节点发送调度指令，以使替换任务节点向对应的上游任务节点发送分区更新请求，其中，上游任务节点接收分区更新请求后，确定替换任务节点对应的分区，并建立分区与替换任务节点之间的映射关系。

建立故障任务节点对应的替换任务节点可以包括构建替换故障任务节点的替换任务节点，以及对替换任务节点的调度。构建替换故障任务节点的替换任务节点表示重新构建一个线程，以执行故障任务节点的数据处理任务，在替换任务节点构建后还需要对其调度，以使替换任务节点启动后可以来执行故障任务节点的数据处理任务。

替换任务节点构建后，可以先更新至任务节点管理器(TaskManager)，即将替换任务节点部署至正常运行的任务节点管理器的slot(TaskManager的固定大小资源的一个集合)中，任务节点管理器可以对一个或多个任务节点进行管理，Flink系统中可以包括一个或多个任务节点管理器。替换任务节点更新至任务节点管理器，可以替换掉故障任务节点的信息，以便于任务节点管理器可以对替换任务节点进行管理。将替换任务节点更新至任务节点管理器后，可以向替换任务节点发送调度指令，以通知替换任务节点向对应的上游任务节点请求注册分区，即发送分区更新请求，其中调度指令中可以包括对应的上游任务节点的节点信息，如节点标识、节点地址信息等等，以便于替换任务节点可以与对应的上游任务节点建立连接。上游任务节点在接收替换任务节点的分区更新请求后，可以为替换任务节点确定对应的分区，并建立分区与替换任务节点之间的映射关系。

本发明实施例中，由于替换任务节点是用于替换故障任务节点的，所以可以将故障任务节点对应的分区再次分配给替换任务节点，即上游任务节点接收替换任务节点的分区更新请求后，可以查询故障任务节点对应的分区，以确定为替换任务节点对应的分区。通常情况查下，上游任务节点会为下游任务节点建立对应的分区视图对象，以便于对下游任务节点的数据读取进行处理，分区视图对象中设置缓存队列，所以本步骤中上游任务节点确定替换任务节点对应的分区后，基于分区创建替换任务节点对应的分区视图对象，并由于替换任务节点用于替换故障任务节点，所以可以获取故障任务节点对应分区视图对象中缓存队列参数，以更新为替换任务节点对应分区视图对象的缓存队列参数。

具体的，由于替换任务节点为替换故障任务节点的，所以本发明实施例中，可以预先配置对应替换任务节点的注册分区方法(PipelinedApusIndividualSubpartition)和对应替换任务节点的分区视图对象创建方法(PipelinedApusIndividualSubpartitionView)，以实现确定替换任务节点的分区和创建对应的分区视图对象。同时为了便于替换任务节点的分区视图对象的创建，可以先释放故障任务节点对应的分区视图对象。缓存队列中存储了需要传输给下游任务节点的数据，通常一个完成数据传输时会拆分为多个进行，所以缓存队列中数据通常包括序列标识，下游任务节点通过序列标识可以对接收的数据反序列化，进而组合为一个整体数据，缓存队列中也会进行数据传输记录(record)，在替换任务节点的缓存队列中可以将故障任务节点对应缓存队列的数据传输记录配置为替换任务节点对应缓存队列的数据传输记录，从而记录出数据传输的位置，因此缓存队列参数可以包括缓存队列的数据传输记录。为了避免故障任务节点在故障期间存在数据丢失或遗漏，所以替换任务节点启动后，上游任务节点需要向替换任务节点传输新的整体数据，如果前一个整体数据还存在未传输的部分数据，则可以跳过前一个整体数据还未传输的部分数据，从新的整体数据进行传输，从而保证发给替换任务节点的数据没有历史数据残留。

S203：响应于工作状态为预设状态，向替换任务节点发送启动指令；响应于工作状态不为预设状态，在监听到故障任务节点对应上游任务节点的工作状态更新为预设状态后，向替换任务节点发送启动指令。

其中，故障节点对应上游节点的工作状态为预设状态，可以启动替换任务节点，则向替换任务节点发送启动指令(执行allocateSlotsAndDeploy调度)，使替换任务节点可以替换故障任务节点进行数据处理。故障节点对应上游节点的工作状态不为预设状态，此时不可以启动替换任务节点。

为了便于及时启动替换任务节点进行数据处理，提高数据处理的时效性，本发明实施例中预先设置监听模块(onExecutionStateChange)，监听模块可以对任务节点的工作状态进行监听，所以在确定故障任务节点对应上游任务节点的工作状态不为预设状态后，可以调用监听模块，以对故障任务节点对应上游任务节点的工作状态进行监听，在监听到故障任务节点对应上游任务节点的工作状态为预设状态后，可以及时向替换任务节点发送启动指令，进而及时启动替换任务节点。

具体的，监控模块中可以设置待调度队列，待调度队列中用于存储待启动的任务节点标识，所以本步骤中在调用预设的监听模块后可以将替换任务节点的任务节点标识添加至待调度队列，监听模块可以查询出待调度队列中各任务节点标识对应上游任务节点，以进行工作状态的监听。

由于running表示任务节点进行数据处理，所以上游任务节点的工作状态更新为running，说明其开始进行数据处理，此时可以触发替换任务节点，以及时从上游任务节点中获取需要其处理的数据，因此本步骤中监控模块可以在上游任务节点的工作状态更新为running后，向替换任务节点发送启动指令。

需要说明的是，为了更加准确的启动替换任务节点，监控模块在确定上游任务节点的工作状态更新为running时，触发对替换任务节点的切动判断流程，即执行步骤S202中查询上游任务节点的工作状态，以判断是否为预设状态的流程，来确定是否启动替换任务节点。本发明实施例中，为了便于监控模块对任务节点的工作状态的监控，可以在触发故障节点恢复策略后，配置故障任务节点对应上游任务节点的工作状态更新为running时向将监控模块发送通知消息。

在一些实施例中，故障任务节点可以包括多个，在步骤S201触发故障恢复策略后，可以基于故障任务节点的节点信息来生成故障任务节点列表，进而在步骤S202步骤中，可以基于故障任务节点列表建立各故障任务节点对应的替换任务节点，进而对每个故障任务节点来执行查询上游任务节点的工作状态，以判断是否为预设状态的流程，进而来确定是否启动各替换任务节点。

需要说明的是，由于替换任务节点是否启动与其上游任务节点的工作状态是否为预设状态相关，所以本发明实施例中，在为各故障任务节点建立替换任务节点后，可以对各故障节点基于相互关联关系进行排序，按照由上游任务节点到下游任务节点的顺序，对每个故障任务节点进行后续处理。

本发明实施例中，步骤S201中触发的故障恢复策略还有可能为全部节点恢复策略。响应于故障恢复策略为全部节点恢复策略，可以先建立故障任务节点对应的替换任务节点；然后获取全部任务节点的关联关系，以基于关联关系依次向全部任务节点发送启动指令。基于关联关系依次向全部任务节点发送启动指令可以执行为：对全部任务节点基于相互关联关系进行排序，按照由上游任务节点到下游任务节点的顺序，向每个任务节点发送启动指令。

本发明实施例中，替换任务节点启动后可以从上游任务节点读取数据进行处理，但是还需要与其对应的下游任务节点建立连接，以便于其处理的数据可以传输给下游任务节点。所以在向替换任务节点发送启动指令之后，还可以查询替换任务节点对应下游任务节点的节点信息，向下游任务节点发送分区更新消息(更新channel通知)，其中分区更新消息可以包括替换任务节点的节点信息，以使下游任务节点可以基于分区更新消息与替换任务节点建立连接，进而从替换任务节点读取数据。

需要说明的是，本发明实施例中，分区更新消息可以通过DeploymentOption设置sendScheduleOrUpdateConsumerMessage为true向下游任务节点发送。下游任务节点可以通过SingleInputGate#updateInputChannel接收到分区更新消息，然后根据NettyShuffleDescriptor更新对应的RemoteInputChannel或者LocalInputChannel，以实现分区更新。如果替换任务节点和下游任务节点位于不同的物理机，即两者为远程连接模式，下游任务节点在更新RemoteInputChannel后，还会发起对应替换任务节点requestSubpartition(partition request)，以从替换任务节点读取数据进行处理。

下游任务节点从替换任务节点读取数据后，可以通过预设的反序列化处理器对数据反序列化处理，以得出准确的整体数据。具体的，对每个读取的数据，反序列化处理器可以通过已接收数据上下文的序列标识来预测出本次读取数据的序列标识，进而判断读取数据中序列标识是否为预测标识。如果是，说明读取数据准确，可以执行对应的数据处理流程，则触发对应的处理程序，以对数据进行处理；如果否，则说明读取数据存在遗漏或丢失。由于替换任务节点为替换故障任务节点，在替换任务节点启动后通常是从新的整体数据进行传输，所以如果下游任务节点未能从故障任务节点中读取整体数据，即整体数据中部分数据还未收到，而替换任务节点启动后传输了新的整体数据，这时候就会导致下游任务节点判断出现数据丢失或遗漏，此时下游任务节点中在通过序列标识确定存在读取数据存在遗漏或丢失后，可以判断该读取数据的序列标识是否为目标值，目标值表示一个整体数据序列化拆分后第一个数据的序列标识(通常为0)。如果该读取数据的序列标识为目标值，则说明从替换任务节点重新接收的一个新的整体数据，替换任务节点可能是发生了故障替换，此时需要将反序列化处理器中缓存的前一个整体数据的数据清理，即可以触发数据清理事件(BufferLossEvent)，以清理反序列化处理器中缓存数据(即清理对应channel的反序列化器recordDeserializer)，然后再对读取的数据执行对应的数据处理程序；如果该读取数据的序列标识不为目标值，则可以发送提示消息，以提示数据读取存在错误，进而可以进行对应的故障处理等操作。

本发明实施例中，对任务节点的故障处理，配置了故障节点恢复策略和全部节点恢复策略，故障节点恢复策略表示只对故障的任务节点进行恢复处理，即只对故障的任务节点进行恢复，全部节点恢复策略表示对全部任务节点进行恢复，即对全部任务节点进行重启；所以触发的故障恢复策略为故障节点恢复策略，说明只需要对故障的任务节点进行恢复，建立故障任务节点对应的替换任务节点后，可以查询故障任务节点对应上游任务节点的工作状态；由于上游任务节点正常工作的情况下，下游任务节点才有可能正常的从上游任务节点读取数据并处理，所以为了保证替换任务节点启动后可以正常运行，可以先判断其上游任务节点的工作状态是否为预设状态；若是，说明上游任务节点工作正常，则可以向替换任务节点发送启动指令，以重启替换任务节点；若否，说明上游任务节点未能工作正常，则可以调用预设的监听模块，以对替换任务节点对应上游任务节点的工作状态进行监听，并在监听到替换任务节点对应上游任务节点的工作状态为预设状态后向替换任务节点发送启动指令，以便于进行正常的数据处理。如此本发明实施例中，通过配置的故障节点恢复策略，可以在单个任务节点出现故障后，只对故障节点进行恢复，对其他未故障的任务节点不造成影响，保证未故障的任务节点对业务数据正常处理，提高业务数据处理的实效性。

下面结合图1所示的系统架构，对本发明实施例中故障处理方法进行具体说明，如图3所示，该方法包括：

S301：JobManager确定任务节点1故障，触发对应的处理指令，获取任务节点1的节点信息，确定对应的故障恢复策略为故障节点恢复策略。

S302：JobManager触发故障节点恢复策略，构建任务节点1对应的替换任务节点，将替换任务节点更新至任务节点管理器，向替换任务节点发送调度指令。

S303：替换任务节点基于调度指令向对应的上游任务节点source发送分区更新请求。

S304：source查询任务节点1对应的分区，以确定为替换任务节点对应的分区；基于分区创建替换任务节点对应的分区视图对象，获取任务节点1对应分区视图对象中缓存队列参数，更新为替换任务节点对应分区视图对象的缓存队列参数。

S305：JobManager查询source的工作状态，以判断是否为运行或停止；若是，则向替换任务节点发送启动指令；若否，则调用预设的监听模块，以在监听到source的工作状态更新为运行后，向替换任务节点发送启动指令。

S306：JobManager查询替换任务节点对应下游任务节点sink的节点信息，向sink发送分区更新消息，以使下游任务节点。

S307：sink基于分区更新消息从替换任务节点读取数据。

需要说明的是，本发明实施例中数据处理的原理与图2所示实施例中对应数据处理原理相同，在此不再赘述。

本发明实施例中，通过配置的故障节点恢复策略，可以在单个任务节点出现故障后，只对故障节点进行恢复，对其他未故障的任务节点不造成影响，保证未故障的任务节点对业务数据正常处理，提高业务数据处理的实效性。

为了解决现有技术存在的问题，本发明实施例提供了一种故障处理装置400，如图4所示，该装置400包括：

确定单元401，用于响应于故障任务节点的处理指令，获取所述故障任务节点的节点信息，以确定对应的故障恢复策略并触发；

判断单元402，用于响应于所述故障恢复策略为故障节点恢复策略，建立所述故障任务节点对应的替换任务节点，查询所述故障任务节点对应上游任务节点的工作状态；

启动单元403，用于响应于所述工作状态为预设状态，向所述替换任务节点发送启动指令；响应于所述工作状态不为所述预设状态，在监听到所述故障任务节点对应上游任务节点的工作状态更新为预设状态后，向所述替换任务节点发送启动指令。

应理解的是，实施本发明实施例的方式与实施图2所示实施例的方式相同，在此不再赘述。

在一个实施例中，所述装置400还包括：

建立单元，用于响应于所述故障恢复策略为全部节点恢复策略，建立所述故障任务节点对应的替换任务节点；

所述启动单元403，还用于获取全部任务节点的关联关系，以基于所述关联关系依次向所述全部任务节点发送启动指令。

在又一个实施例中，所述故障恢复策略包括所述故障节点恢复策略和全部节点恢复策略；

所述确定单元401，具体用于：

基于所述节点信息判断所述故障任务节点是否为全部任务节点；

若是，则确定故障恢复策略为所述全部节点恢复策略；若否，则确定故障恢复策略为所述故障节点恢复策略。

在又一个实施例中，所述判断单元402，具体用于：

构建所述故障任务节点对应的替换任务节点，将所述替换任务节点更新至任务节点管理器，向所述替换任务节点发送调度指令，以使所述替换任务节点向对应的上游任务节点发送分区更新请求，其中，所述上游任务节点接收所述分区更新请求后，确定所述替换任务节点对应的分区，并建立所述分区与所述替换任务节点之间的映射关系。

在又一个实施例中，所述判断单元402，具体用于：

查询所述故障任务节点对应的分区，以确定为所述替换任务节点对应的分区；

基于所述分区创建所述替换任务节点对应的分区视图对象，获取所述故障任务节点对应分区视图对象中缓存队列参数，以更新为所述替换任务节点对应分区视图对象的缓存队列参数。

在又一个实施例中，所述装置400还包括：

发送单元，用于查询所述替换任务节点对应下游任务节点的节点信息，向所述下游任务节点发送分区更新消息，以使所述下游任务节点基于所述分区更新消息从所述替换任务节点读取数据。

在又一个实施例中，所述发送单元，还用于：

调用预设的反序列化处理器，获取所述数据中的序列标识，判断所述序列标识是否为预测标识；

若是，则触发对应的处理程序，以对所述数据进行处理；

若否，则判断所述序列标识是否为目标值，如果是则触发数据清理事件，以清理所述反序列化处理器中缓存数据，否则发送提示消息。

应理解的是，实施本发明实施例的方式与实施图2或图3所示实施例的方式相同，在此不再赘述。

本发明实施例中，通过配置的故障节点恢复策略，可以在单个任务节点出现故障后，只对故障节点进行恢复，对其他未故障的任务节点不造成影响，保证未故障的任务节点对业务数据正常处理，提高业务数据处理的实效性。

根据本发明的实施例，本发明实施例还提供了一种电子设备和一种可读存储介质。

本发明实施例的电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明实施例所提供的故障处理方法。

图5示出了可以应用本发明实施例的故障处理方法或故障处理装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种客户端应用。

终端设备501、502、503可以是但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的故障处理方法一般由服务器505执行，相应地，故障处理装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的计算机系统600的结构示意图。图6示出的计算机系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个单元、程序段、或代码的一部分，上述单元、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括确定单元、判断单元和启动单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，确定单元还可以被描述为“故障恢复策略确定功能的单元”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行本发明所提供的故障处理方法。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。