一种数据处理系统、方法、设备及存储介质

技术领域

本申请涉及大数据领域及金融领域，具体涉及一种数据处理系统、方法、设备及存储介质。

背景技术

现有的一些系统都是单线运行，在需要针对系统进行一次升级迭代时，如果内容较少，所需时间较短，一般会先暂停线上服务，然后更新产品代码，更新完成后再启动服务，这样一定会有一个空窗期，对于用户来说，会影响用户的使用体验，尤其是遇到紧急情况，会影响用户的工作或者生活。如果所需时间长的话，公司一般会停止线上，部署旧系统，然后在另一个链路上部署新系统，老版本的系统不一定能完美兼容新系统，从而使得系统稳定性堪忧。

因此，如何提供一种数据处理系统，使得系统在更新维护时无需暂停线上服务或切换到其他系统进行数据处理，从而避免切换到其他系统导致的版本不兼容的问题让系统稳定处理输入数据，是本领域技术人员急需解决的技术问题。

发明内容

基于上述问题，本申请提供了一种数据处理系统、方法、设备及存储介质，可以使得系统在更新维护时无需暂停线上服务或切换到其他系统进行数据处理，从而避免切换到其他系统导致的版本不兼容的问题让系统稳定处理输入数据。

本申请实施例公开了如下技术方案：

一种数据处理系统，所述系统包括：目标系统；

所述目标系统包括第一关键系统和第二关键系统；所述第一关键系统与所述第二关键系统并行在所述目标系统中；所述第二关键系统为所述第一关键系统的复制版本或所述第一关键系统的更新版本；

所述第一关键系统，用于对输入数据进行数据处理得到输出数据；

所述第二关键系统，用于对输入数据进行数据处理得到输出数据和/或当所述第一关键系统进行更新维护时，用于对所述第一关键系统中未处理完的输入数据进行数据处理得到输出数据。

在一些可能的实现方式中，所述系统还包括：输入数据管理模块；所述输入数据管理模块分别与所述第一关键系统和所述第二关键系统相连；

所述输入数据管理模块，用于根据目标比例将所述输入数据分别输入到所述第一关键系统与所述第二关键系统中。

在一些可能的实现方式中，所述系统还包括：目标系统维护模块；所述目标系统维护模块与所述输入数据管理模块相连；

所述目标系统维护模块，用于控制所述输入数据输入到所述第一关键系统和/或所述第二关键系统的时间节点。

在一些可能的实现方式中，所述系统还包括：比例智能分析模块；所述比例智能分析模块与所述输入数据管理模块相连；

所述比例智能分析模块，用于生成所述目标比例。

在一些可能的实现方式中，所述系统还包括：输出数据管理模块；所述输出数据管理模块分别与所述第一关键系统和所述第二关键系统相连；

所述输出数据管理模块，用于接收所述输出数据，并将所述输出数据进行整合得到整合数据。

在一些可能的实现方式中，所述系统还包括：案例库；所述案例库与所述输出数据管理模块相连；

所述案例库，用于存储所述整合数据。

一种数据处理方法，所述方法包括：

获取待处理数据；

将所述待处理数据作为输入数据输入到数据处理系统中进行数据处理得到输出数据，其中，所述数据处理系统为如上所述的数据处理系统。

在一些可能的实现方式中，所述方法还包括：将所述输出数据存储到案例库中。

一种数据处理设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的数据处理方法。

一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的数据处理方法。

相较于现有技术，本申请具有以下有益效果：

本申请提供的数据处理系统，系统中包括：目标系统，目标系统包括第一关键系统和第二关键系统。第一关键系统与第二关键系统并行在目标系统中。第二关键系统为第一关键系统的复制版本或第一关键系统的更新版本。第一关键系统用于对输入数据进行数据处理得到输出数据。第二关键系统用于对输入数据进行数据处理得到输出数据和/或当第一关键系统进行更新维护时用于对第一关键系统中未处理完的输入数据进行数据处理得到输出数据。本申请中的目标系统由关键系统与关键系统的复制版本或更新版本组成，利用本申请的目标系统对输入数据进行数据处理，所以在系统更新维护时可以直接切换到复制版本或更新版本进行数据处理，可以避免系统在更新维护时需要暂停线上服务或切换到其他系统进行数据处理，从而避免数据处理效率下降的问题。同时，避免了切换到其他系统导致的版本不兼容的问题，从而使得输入数据可以稳定地进行数据处理。

附图说明

为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据处理系统的结构示意图；

图2为本申请实施例提供的另一种数据处理系统的结构示意图；

图3为本申请实施例提供的另一种数据处理系统的结构示意图；

图4为本申请实施例提供的另一种数据处理系统的结构示意图；

图5为本申请实施例提供的另一种数据处理系统的结构示意图；

图6为本申请实施例提供的另一种数据处理系统的结构示意图；

图7为本申请实施例提供的一种数据处理方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为便于理解本申请实施例提供的技术方案，下面将先对本申请实施例涉及的背景技术进行说明。

现有的一些系统都是单线运行，在需要针对系统进行一次升级迭代时，如果内容较少，所需时间较短，一般会先暂停线上服务，然后更新产品代码，更新完成后再启动服务，这样一定会有一个空窗期，对于用户来说，会影响用户的使用体验，尤其是遇到紧急情况，会影响用户的工作或者生活。如果所需时间长的话，公司一般会停止线上，部署旧系统，然后在另一个链路上部署新系统，老版本的系统不一定能完美兼容新系统，从而使得系统稳定性堪忧。

其中，单线运行是指系统或程序一次只能处理一个任务或请求的运行方式。在单线运行的系统中，任务按照顺序依次执行，每个任务必须等待前一个任务完成后才能开始执行。这种模式下，系统无法同时处理多个任务，而是按照固定的顺序逐个执行。单线运行的特点包括：串行执行：每个任务按照顺序依次执行，执行顺序不可变。当一个任务在执行时，其他任务必须等待。阻塞效应：如果某个任务遇到了阻塞或长时间运行，后续任务将被阻塞，无法继续执行。这可能导致整个系统的停滞和延迟。③资源利用率低：由于只能处理一个任务，系统中的其他资源(如处理器、内存等)在等待期间处于闲置状态，导致资源利用率较低。④不适应高并发：单线运行的系统往往难以应对大量并发请求。当系统面临高并发压力时，容易出现系统崩溃或性能下降的情况。

为了解决这一问题，在本申请实施例提供了一种数据处理系统，系统中包括目标系统。目标系统中包括第一关键系统和第二关键系统。第一关键系统与第二关键系统在目标系统中并行运行。第二关键系统为第一关键系统的复制版本或第一关键系统的更新版本。第一关键系统用于对输入数据进行数据处理得到输出数据。第二关键系统用于对输入数据进行数据处理得到输出数据和/或当第一关键系统进行更新维护时用于对第一关键系统中未处理完的输入数据进行数据处理得到输出数据。。本申请中的目标系统由关键系统与关键系统的复制版本或更新版本组成，利用本申请的目标系统对输入数据进行数据处理，所以在系统更新维护时可以直接切换到复制版本或更新版本进行数据处理，可以避免系统在更新维护时需要暂停线上服务或切换到其他系统进行数据处理，从而避免数据处理效率下降的问题。同时，避免了切换到其他系统导致的版本不兼容的问题，从而使得输入数据可以稳定地进行数据处理。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1，该图为本申请实施例提供的一种数据处理系统的结构示意图，如图1所示，该系统包括目标系统110。

目标系统110包括第一关键系统111和第二关键系统112。所述第一关键系统111与所述第二关键系统112并行在所述目标系统中；所述第二关键系统为所述第一关键系统的复制版本或所述第一关键系统的更新版本。

在一些可能的实现方式中，本申请使用了并行处理的方式来同时运行第一关键系统111和第二关键系统112，以提高系统的处理效率和响应速度。并行处理是指同一时间内多个任务或操作同时执行，而不是按照顺序一个接一个地进行。在本申请提供的数据处理系统中，通过将输入数据划分为两个部分，并分别传递给第一关键系统111和第二关键系统112，实现了并行处理。第一关键系统111和第二关键系统112可以在各自的环境中独立地进行处理，而不会相互干扰或阻塞。这样可以利用多核处理器或分布式系统的优势，以更高的效率同时处理多个任务。

并行处理可以提供以下优势：

提高系统吞吐量：通过同时处理多个任务，可以更快地完成大量工作，提高系统的吞吐量和处理能力。

加速任务完成时间：并行处理可以减少任务的等待时间，加快任务的完成速度，从而提高系统的响应性和用户体验。

提高系统可靠性：通过并行处理，即使其中一个系统出现问题或需要维护更新，另一个系统仍然可以继续工作，保持系统的可用性和稳定性。

充分利用资源：并行处理可以充分利用多核处理器或分布式系统的计算资源，提高系统的利用率和效率。

需要注意的是，并行处理需要适当的任务划分和资源管理，以避免资源竞争和冲突。同时，对于一些依赖于顺序执行的任务，可能不适合并行处理，需要进行额外的考虑和调整。

在一些可能的实现方式中，第二关键系统112是第一关键系统111的一个副本，或者是在第一关键系统111基础上进行了一些更新和改进的版本。通过这种设计，可以实现系统的冗余和容错能力。当第一关键系统111发生故障或出现问题时，可以切换到第二关键系统112以保持系统的正常运行。同时，第二关键系统112还可以用于测试新功能、进行系统升级或者备份数据等操作，而不会影响到目标系统110的正常使用。

所述第一关键系统111，用于对输入数据进行数据处理得到输出数据；

所述第二关键系统112，用于对输入数据进行数据处理得到输出数据和/或当所述第一关键系统111进行更新维护时，用于对所述第一关键系统111中未处理完的输入数据进行数据处理得到输出数据。

在一些可能的实现方式中，第一关键系统111可以是但不限于以下中间系统：在银行系统中可能存在以下几种中间系统：

测试管理系统：测试管理系统是一种用于软件测试流程和测试项目管理的系统。它为软件测试团队提供了一个集中化的平台，用于计划、跟踪和管理测试活动和任务。

核心银行系统：核心银行系统是银行的主要信息系统，负责处理账户管理、交易处理、存款与贷款管理、支付结算等核心业务功能。

风险管理系统：风险管理系统用于监控和管理银行的风险状况，包括信用风险、市场风险、操作风险等。它可以帮助银行评估和监控风险水平，并采取相应的风险控制措施。

支付系统：支付系统负责处理银行的各种支付业务，包括跨行转账、电子支付、POS机交易、网上银行支付等。它与其他银行、支付机构和商户之间进行交互，确保支付安全和便捷性。

大数据与防护系统：银行系统面临来自网络攻击、恶意软件等安全威胁。大数据与防护系统用于监测和预防安全事件，包括入侵检测系统、防火墙、反病毒系统等，以确保银行系统的安全性和可靠性。

客户关系管理系统：客户关系管理系统用于管理银行与客户之间的关系，包括客户信息、客户投诉、市场营销等。它能够帮助银行更好地理解客户需求，提供个性化的服务，并进行客户关系的维护和管理。

数据分析与业务智能系统：数据分析与业务智能系统负责对银行系统中的数据进行分析和挖掘，提供相关的业务洞察和决策支持。它可以帮助银行发现业务趋势、风险预警和市场机会，优化业务运营和客户体验。

这些中间系统在银行的日常运营中起到重要的作用，每个系统都有特定的功能和任务，互相配合，共同支持银行的各项业务和运营需求。

参见图2，基于上述图1对应的实施例，本申请实施例提供的数据处理系统还可以包括输入数据管理模块120。所述输入数据管理模块120分别与所述第一关键系统111和所述第二关键系统112相连。

所述输入数据管理模块120，用于根据目标比例将所述输入数据分别输入到所述第一关键系统111与所述第二关键系统112中。

为避免单个系统负载过重和第一关键系统112发生故障的情况发生，输入数据管理模块120可以根据目标比例将输入数据分别输入到第一关键系统111和第二关键系统112中。

通过输入数据管理模块120按目标比例将输入数据分别输入到第一关键系统111和第二关键系统112中，可以实现负载均衡、故障恢复以及系统升级和功能扩展等优点，为目标系统110提供更高的可靠性、性能和灵活性。

参见图3，基于上述图2对应的实施例，本申请实施例提供的数据处理系统还可以包括目标系统维护模块130。所述目标系统维护模块130与所述输入数据管理模块120相连。

所述目标系统维护模块130，用于控制所述输入数据输入到所述第一关键系统111和/或所述第二关键系统112的时间节点。

输入数据在输入到目标系统110进行数据处理时都具有特定的时间节点，目标系统维护模块130可以控制输入数据输入到第一关键系统111和/或第二关键系统112的时间节点。

利用目标系统维护模块130控制输入数据输入到第一关键系统111和第二关键系统112的时间节点，可以提高系统稳定性、优化数据处理效率、灵活控制数据流、可定制性强以及方便维护和排错等优点，为目标系统提供更高的可靠性、性能和灵活性。

参见图4，基于上述图2对应的实施例，本申请实施例提供的数据处理系统还可以包括：比例智能分析模块140。所述：比例智能分析模块140与所述输入数据管理模块120相连。

所述比例智能分析模块140，用于生成所述目标比例。

在一些可能的实现方式中，所述比例智能分析模块140具体用于根据实际需求生成目标比例。

例如，(A为第一关键系统111，B为第二关键系统112)

在进行A系统维护更新时：将维护的系统A:B比例调整为0:1。

在日常阶段：将维护的系统A:B比例调整为9:1。

在高并发阶段：将维护的系统A:B比例调整为7:3。

主要是参考A:B系统的算力比例，以及运行效率。以不影响系统的正常运行为基础的提高系统的运行响应速度。

比例智能分析模块140具备自动化、精确性、弹性调整、数据驱动和可扩展性。比例智能分析模块140的这些特性有助于实现更高效、智能和可靠的目标比例生成，提升系统的性能和用户体验。

参见图5，基于上述图1对应的实施例，本申请实施例提供的数据处理系统还可以包括输出数据管理模块150。所述输出数据管理模块150分别与所述第一关键系统111和所述第二关键系统112相连。

所述输出数据管理模块150，用于接收所述输出数据，并将所述输出数据进行整合得到整合数据。

在一些可能的实现方式中，整合的过程可以包括数据清洗、格式转换、数据关联等操作，以确保最终的整合数据具有一致性和可用性。

输出数据管理模块150的优点包括接收和整合、数据分发和路由、数据过滤和清洗、数据存储和备份、监控和报警，以及灵活配置和扩展。这些优点有助于实现高效、可靠和安全的输出数据管理，提升系统的数据处理和分发能力。

参见图6，基于上述图5对应的实施例，本申请实施例提供的数据处理系统还可以包括案例库160。所述案例库160与所述输出数据管理模块150相连。

所述案例库160，用于存储所述整合数据。

案例库160对数据管理模块150输出的整合数据进行存储可以方便后续的检索、知识共享和传递、案例分析和挖掘、数据备份和恢复，以及学习和优化。这有助于提高系统的问题处理和决策能力，促进知识的积累和传递，提升系统的智能化水平和性能。

本申请提供的一种数据处理系统，该系统包括：目标系统110。目标系统110中包括第一关键系统111和第二关键系统112。第一关键系统与第二关键系统在目标系统110中并行运行。第二关键系统112为第一关键系统111的复制版本或第一关键系统111的更新版本。第一关键系统111用于对输入数据进行数据处理得到输出数据。第二关键系统112用于对输入数据进行数据处理得到输出数据和/或当第一关键系统111进行更新维护时用于对第一关键系统11中未处理完的输入数据进行数据处理得到输出数据。本申请中的目标系统110由关键系统与关键系统的复制版本或更新版本组成，利用本申请的目标系统110对输入数据进行数据处理，所以在目标系统110更新维护时可以直接切换到复制版本或更新版本进行数据处理，可以避免系统在更新维护时需要暂停线上服务或切换到其他系统进行数据处理，从而避免数据处理效率下降的问题。同时，避免了切换到其他系统导致的版本不兼容的问题，从而使得输入数据可以稳定地进行数据处理。

参见图7所示，该图为本申请实施例提供的一种数据处理方法的流程图，包括S701-S702：

S701：获取待处理数据。

为实现对数据的处理，数据处理系统首先需要获取待处理数据。

在一些可能的实现方式中，待处理数据可以来自多个来源，具体取决于系统的应用场景和需求。以下是一些常见的数据来源：用户输入：用户在与系统进行交互时，提供的输入数据可以作为待处理数据。例如，在一个客服机器人系统中，用户的问题、请求或指令都可以作为待处理数据进行后续处理和响应。外部接口：系统可以与外部的数据源或接口进行连接，获取待处理数据。这些外部接口可以包括传感器、数据库、第三方API等。例如，一个气象预报系统可以通过接口获取实时的天气数据作为待处理数据。③数据采集和爬取：系统可以通过数据采集和网络爬虫技术，从互联网上收集和提取数据作为待处理数据。这些数据可以来自各类网站、社交媒体、新闻等。例如，一个舆情监测系统可以采集社交媒体上的用户评论作为待处理数据。④内部系统：系统内部的其他模块或子系统可以产生待处理数据，并传递给输出数据管理模块。这些数据可以是系统运行状态、日志记录、错误报告等。例如，在一个智能监控系统中，各个监测设备的数据可以作为待处理数据。⑤预测模型和算法输出：系统中的预测模型和算法可以产生输出结果，这些结果可以作为待处理数据。例如，在一个推荐系统中，推荐算法产生的推荐列表可以作为待处理数据用于显示给用户。

待处理数据可以来自用户输入、外部接口、数据采集和爬取、内部系统，以及预测模型和算法输出等多个来源。系统需要根据具体的应用场景和需求，从这些来源中采集和获取待处理数据，并进行后续的处理和分析。

S702：将所述待处理数据作为输入数据输入到数据处理系统中进行数据处理得到输出数据，其中，所述数据处理系统为如上所述的数据处理系统。

在获取到待处理数据之后，数据处理系统则可以将待处理数据作为输入数据输入到数据处理系统中进行数据处理得到输出数据，其中，数据处理系统为如上所述的数据处理系统。

另外，本申请实施例还提供了一种数据处理设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的数据处理方法。

另外，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的数据处理方法。

基于上述S701-S702的内容可知，通过将待处理数据作为输入数据输入到数据处理系统中进行数据处理，所以在系统更新维护时可以直接切换到复制版本或更新版本进行数据处理可以避免系统在更新维护时需要暂停线上服务或切换到其他系统进行数据处理。同时，避免了切换到其他系统导致数据版本不兼容的问题。

以上对本申请所提供的一种数据处理系统、方法、设备及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

需要说明的是，本发明提供的数据处理系统、方法、设备及存储介质可用于大数据领域或金融领域，上述仅为示例，并不对本发明提供的数据处理系统、方法、设备及存储介质的应用领域进行限定。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。