一种基于流量复制的异常处理方法和系统

技术领域

本发明涉及计算机技术领域，具体涉及一种基于流量复制的异常处理方法和系统。

背景技术

在跨平台交互中，通常需要与第三方系统进行交互，如电商的订单与第三方的支付平台交互进行支付并获取支付信息，再如订单与物流平台交互更换物流信息。但是不同平台之间的不可避免的会出现系统错误，导致出现重复信息、丢单、收到系统错误通知等情况，导致订单的数据错误。经常需要进人工核查，导致工作效率低下和用户体验差。

例如用户发起订单、支付等流程，提交第三方的支付平台支付，获得返回的支付结果，但是后台未接收到异步支付结果通知，或者收到后因为系统异常，无法及时处理。而订单数据的准确性要求高，但是订单数据准确性一方面依赖于第三方系统的准确性，另一方面后台一些程序异常也会导致无法接收第三方系统的数据。

发明内容

针对现有技术中存在的上述技术问题，本发明提供一种基于流量复制的异常处理方法和系统，通过对与第三方系统的交互进行流量复制，出现异常时，从复制信息中进行提取交互请求，同时向所述第三方系统重发所述交互请求，以获得精确的第三方数据。

本发明公开了一种基于流量复制的异常处理方法，所述方法包括：基于订单与第三方系统交互；对所述交互进行流量复制，获得复制信息；对所述订单进行监测；判断是否监测到异常交互数据；若是，从所述复制信息中提取相应的交互请求，并向所述第三方系统重发所述交互请求。

优选的，本发明的方法还包括通过Nginx服务器与第三方系统交互的方法：基于订单，通过Nginx服务器与第三方系统进行交互；通过Nginx服务器对所述交互进行流量复制。

优选的，流量复制的工具包括：GoReplay或TCPcopy。

优选的，将复制信息保存在存储器中，判断是否监测到异常数据；若是，从所述存储器的复制信息中提取交互请求，并向所述第三方系统重发所述交互请求。

优选的，所述存储器包括ES存储，所述复制信息的存储格式包括以下一种或它们的组合：数据表、参数表和配置表。

优选的，所述复制信息包括http请求对应的Cookie数据、入参请求和请求时间。

本发明还提供一种用于实现上述异常处理方法的系统，包括订单模块、交互模块、流量复制模块和调度模块；

所述交互模块用于基于订单与第三方系统交互；

所述流量复制模块用于对所述交互进行流量复制，获得复制信息；

所述订单模块用于保存和管理订单以及订单数据；

所述调度模块用于对所述订单进行监测，并判断是否监测到异常交互数据；若是，从所述复制信息中提取相应的交互请求，并向所述第三方系统重发所述交互请求。

优选的，所述交互模块通过Nginx服务器与第三方系统进行交互，所述流量复制模块通过Nginx服务器对所述交互进行流量复制。

优选的，所述交互模块还包括业务应用，所述业务应用用于与用户交互，并基于订单通过Nginx服务器向第三方系统发送交互请求；

接收到第三方系统的交互数据时，将所述交互数据保存在订单模块的订单信息中。

优选的，所述调度模块基于分布式的方法，实时监测订单的状态。

与现有技术相比，本发明的有益效果为：通过对与第三方系统的交互进行流量复制，出现异常数据时，从复制信息中进行提取交互请求，同时向所述第三方系统重发所述交互请求，以获得精确的第三方数据，以修正异常数据，减小了人工审核和修正异常数据的步骤，提高异常数据处理效率；同时解决了数据准确性的问题，而对所述订单进行实时监测，还可以解决数据实时性的问题，以提高用户体验。

附图说明

图1是本发明的基于流量复制的异常处理方法流程图；

图2是本发明的系统逻辑框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图对本发明做进一步的详细描述：

一种基于流量复制的异常处理方法，如图1所示，所述方法包括：

步骤101：基于订单与第三方系统交互。例如基于订单向第三方系统的支付平台进行支付交互，或者向第三方系统的物流平台请求物流信息，但不限于此。

步骤102：对所述交互进行流量复制，获得复制信息。可以使用以下工具进行流量复制：GoReplay或TCPcopy。

在一个具体实施例中，对第三方系统的请求进行流量复制，所述请求可以包括Cookie数据、入参请求和请求时间等参数，但不限于此。

步骤103：对所述订单进行监测。

步骤104：判断是否监测到异常交互数据。异常交互数据包括错误交互数据或长时间未接收到交互数据，其中交互数据是指第三方系统返回的数据。

若是，执行步骤105：从所述复制信息中提取相应的交互请求，并向所述第三方系统重发所述交互请求。可以把异常数据相应的请求流量重发一次，以重发交互请求，也可以从请求流量中提取交互请求的参数，生成交互请求后再发送。

通过对与第三方系统的交互进行流量复制，出现异常数据时，从复制信息中进行提取交互请求，同时向所述第三方系统重发所述交互请求，以获得精确的第三方数据，以修正异常数据，减小了人工审核和修正异常数据的步骤，提高异常数据处理效率；同时解决了数据准确性的问题，而对所述订单进行实时监测，还可以解决数据实时性的问题，以提高用户体验。

其中，GoReplay是一个开源网络监控工具，可以将实时HTTP流量捕获并重放到测试环境，其为使用者提供了重用现有通信量进行测试的简单方法，它可以在不改动产品基础结构、且不影响现有流量的情况下，对这些流量进行分析和记录，从而增强使用者对代码部署、配置和基础结构进行更改的信心。TCPCopy是一种请求复制工具，可以把在线流量导入到测试系统中去，曾应用于广告投放系统、Nginx hmux协议等系统，TCPCopy的TCPCopyclient运行在在线服务器上面，用来捕获在线请求数据包。

其中，可以通过Nginx服务器与第三方系统交互：基于订单，通过Nginx服务器与第三方系统进行交互；通过Nginx服务器对所述交互进行流量复制。而GoReplay或TCPcopy可以部署在Nginx服务器上。Nginx是一个高性能的HTTP和反向代理WEB服务器，普遍应用在网站部署架构上。

其中，复制信息可以保存在存储器中，如ES存储器，判断是否监测到异常数据；若是，从所述存储器的复制信息中提取交互请求，并向所述第三方系统重发所述交互请求。复制信息的存储格式包括以下一种或它们的组合：数据表、参数表和配置表。

实施例1

在商城创建订单成功，并且支付完成，进行物流配送；

第三方的物流系统通知订单系统，因为订单系统故障，导致无法收到请求，物流系统间隔重发几次请求，还是无法收到，于是不再重发，而此笔订单归属物流已签收，但是系统还是未完成状态，可能导致给用户进行到第三方的物流系统进行查询，用户体验差，甚至产生用户投诉；

通过GoReplay进行流量复制，并进行存储；

监测到异常订单后，从复制信息中提取请求流量，并重新补发一次，以保障了订单状态的准确性和及时性。

实施例2

用户发起订单、支付的流程，后台通知第三方系统进行支付；

第三方系统返回支付结果，但是后台的异步支付结果通知未收到，或者收到后因为系统异常，无法及时处理；

通过TCPcopy对该异常流量进行复制和保存，在一定时间内没有接收到支付结果时，重发请求一次，以保障订单状态的准确性和及时性。

如图2所示，本发明还提供一种用于实现上述方法的系统：包括订单模块1、交互模块2、流量复制模块3和调度模块4；

交互模块2用于基于订单与第三方系统交互；

流量复制模块3用于对所述交互进行流量复制，获得复制信息；

订单模块1用于保存和管理订单以及订单数据；

调度模块4用于对所述订单进行监测，并判断是否监测到异常交互数据，若是，从所述复制信息中提取相应的交互请求，并向所述第三方系统重发所述交互请求。

其中，交互模块2通过Nginx服务器21与第三方系统9进行交互，流量复制模块3通过Nginx服务器21对所述交互进行流量复制。交互模块4还包括业务应用22，业务应用22用于与用户交互，并基于订单通过Nginx服务器21向第三方系统9发送交互请求；接收到第三方系统9的交互数据时，将所述交互数据保存在订单模块1的订单信息中。

本发明的系统还可以包括ES存储器5，ES存储器5用于保存复制信息，调度模块4可以基于分布式的应用，实时监测订单的状态。将调度模块分布在不同计算机上，通过网络来共同完成任务，保证业务24小时不间断运行，对订单状态异常的数据进行实时监控，从ES存储器5中获取第三方系统的原始请求流量，及时更新数据状态等，从而保障订单数据的准确性和及时性。

在一个具体实施例中，采用的分布式调度模块：配置数据统一管理，提供配置数据的统一录入接口。实现负载均衡，实现分布式应用的自动扩展，即动态增加或删除主机，实现失效转移。确保分布式应用稳定运行、同时提供后台监控界面，通过内置命令，可以实时看到分布式应用的运行情况，包括：进程已经处理了多少数据；有多少异常，异常详情；启动时间；主机上进程的分配情况等。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。