一种银行金融信息同步方法、系统、设备及存储介质
文献发布时间:2024-04-18 19:58:30
技术领域
本发明涉及数据处理技术领域,尤其涉及一种银行金融信息同步方法、系统、设备及存储介质。
背景技术
信息同步的重要性随着对基于云的数据的可访问性的增加以及对移动设备的访问的增加而增长,其能够提供实时的信息和洞察力,帮助企业管理者做出迅速、准确的决策,对各个行业的重要性不言而喻。以涉及银行金融信息为例,金融信息的同步可以确保财务数据及时更新,提高核算准确性和财务报告的可靠性,但目前尚无有效的信息同步方案。
发明内容
有鉴于此,本申请的目的之一在于提供一种银行金融信息同步方法、系统、计算机设备及计算机可读存储介质,能够至少解决上述部分技术问题。
第一方面,本申请实施例提供了一种银行金融信息同步方法,所述方法包括:
获取源消息集群中的待同步消息,并确定用于路由所述待同步消息的消息主题的初始标识;
遍历预设标识库得到与所述初始标识相同的目标标识,并将所述目标标识的消息主题所在的消息集群作为目标消息集群,所述预设标识库包括所述目标标识及与所述目标标识存在映射关系的消息集群;
基于所述源消息集群、所述目标消息集群和预配置同步服务集群确定至少一条信息同步路径,并根据至少一条所述信息同步路径同步所述待同步消息至所述目标消息集群。
在一种可能的实施方式中,所述根据至少一条所述信息同步路径同步所述待同步消息至所述目标消息集群,包括:
获取所述待同步消息的唯一标识符,所述唯一标识符记录了所述待同步消息在所述源消息集群中的存储位置;
根据至少一条所述信息同步路径和所述唯一标识符同步所述待同步消息至所述目标消息集群的目标消息队列。
在一种可能的实施方式中,所述预配置同步服务集群包括至少一个同步服务节点,所述基于所述源消息集群、所述目标消息集群和预配置同步服务集群确定至少一条信息同步路径,包括:
获取各所述同步服务节点的监测信息,并根据各所述监测信息计算各所述同步服务节点的负载评分;
将至少一个负载评分小于或等于预设分值的同步服务节点作为目标服务节点;
基于所述源消息集群、所述目标消息集群和至少一个所述目标服务节点确定至少一条所述信息同步路径。
在一种可能的实施方式中,所述监测信息包括CPU利用率、内存使用率、磁盘IO速率和网络带宽中的至少一种,所述获取各所述同步服务节点的监测信息,并根据各所述监测信息计算各所述同步服务节点的负载评分,包括:
基于预配置zookeeper集群监测各同步服务节点得到所述监测信息,其中,所述预配置zookeeper集群还用于监测各所述信息同步路径的同步进度;
分别为各所述同步服务节点的CPU利用率、内存使用率、磁盘IO速率和网络带宽配置权重,得到第一分值、第二分值、第三分值和第四分值,并计算所述第一分值、所述第二分值、所述第三分值和所述第四分值的和值,得到各所述同步服务节点的负载评分。
在一种可能的实施方式中,所述基于所述源消息集群、所述目标消息集群和预配置同步服务集群确定至少一条信息同步路径之后,所述方法还包括:
为每一条所述信息同步路径配置一个使能开关,并监测每个所述使能开关的状态标识;其中,
每一个所述使能开关的状态标识包括第一字符和第二字符,所述第一字符表示开启状态,所述第二字符表示关闭状态,处于开启状态的使能开关所在的信息同步路径用于同步所述待同步消息。
在一种可能的实施方式中,至少一条所述信息同步路径的数量小于或等于所述目标标识对应的消息主题所包括的消息队列的数量。
在一种可能的实施方式中,所述根据至少一条所述信息同步路径同步所述待同步消息至所述目标消息集群之前,所述方法还包括:
根据预设心跳检测法和/或预设哈希表对至少一条所述信息同步路径进行有效性检测;
在检测通过的情形下执行所述根据至少一条所述信息同步路径同步所述待同步消息至所述目标消息集群的步骤;
在检测不通过的情形下对检测不通过的信息同步路径进行标识,并生成警示指令,用于提醒无法正常按被标识的信息同步路径进行信息同步。
第二方面,本申请实施例提供了一种银行金融信息同步系统,所述系统包括:
获取模块,用于获取源消息集群中的待同步消息,并确定用于路由所述待同步消息的消息主题的初始标识;
查询模块,用于遍历预设标识库得到与所述初始标识相同的目标标识,并将所述目标标识的消息主题所在的消息集群作为目标消息集群,所述预设标识库包括所述目标标识及与所述目标标识存在映射关系的消息集群;
确定模块,用于基于所述源消息集群、所述目标消息集群和预配置同步服务集群确定至少一条信息同步路径,并根据至少一条所述信息同步路径同步所述待同步消息至所述目标消息集群。
第三方面,本申请实施例提供了一种计算机设备,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述计算机程序在被所述处理器执行时,实现第一方面提供的银行金融信息同步方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序在被一个或多个处理器执行时,实现第一方面提供的银行金融信息同步方法。
本申请实施例提供信息同步方法,通过获取源消息集群中的待同步消息,并确定用于路由待同步消息的消息主题的初始标识;遍历预设标识库得到与初始标识相同的目标标识,并将目标标识的消息主题所在的消息集群作为目标消息集群,预设标识库包括目标标识及与目标标识存在映射关系的消息集群;基于源消息集群、目标消息集群和预配置同步服务集群确定至少一条信息同步路径,并根据至少一条信息同步路径准确同步待同步消息至目标消息集群,特别是在处理的待同步消息为银行金融信息时,能够准确保证金融信息的同步更新,进而提高金融财报数据核算的准确性,保证财务数据的可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,应当理解,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种银行金融信息同步方法的方法流程图;
图2为本申请提供的一种银行金融信息同步系统的功能模块示意图;
图3为本申请实施例提供的一种计算机设备内部结构图。
附图标记说明:
银行金融信息同步系统200,获取模块210,查询模块220,确定模块230。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的各种实施例汇中,表述“或”或“A或/和B中的至少一个”包括同时列出的文字的任何组合或所有组合。例如,表述“A或B”或“A或/和B中的至少一个”可包括A、可包括B或可包括A和B二者。
在本申请的描述中,需要说明的是,若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。
此外,若出现术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在不冲突的情况下,本申请的实施例中的特征可以相互结合。
请参见图1,图1为本申请实施例提供的一种金融信息同步方法的方法流程图,以下将对该方法的各个步骤进行详细阐述。
S110,获取源消息集群中的待同步消息,并确定用于路由待同步消息的消息主题的初始标识。
在本实施例中,源消息集群可以指消息的来源集群,在本实施例中还可以称为生产者集群,源消息集群通常由多个消息生产者组成,这些消息生产者可以是应用程序、服务或其他消息生成的实体,它们将消息发送到消息中间件,然后可以通过消息中间件负责将消息传递给目标消息集群或消费者。本实施例中的源消息集群具备高可用性和可扩展性,能够保证消息的产生和传递的稳定性和可靠性,源消息集群是消息同步中的一个重要组成部分。
源消息集群包括多个消息主题,其中,消息主题是消息队列中的一个逻辑概念,可用于对消息进行分类和组织,一个主题可以包含多个消息,而源消息集群可以管理多个消息主题的消息,不同的消息主题可以有不同的消费者和订阅者,进而实现对消息的灵活处理和分发,本实施例中源消息集群中的每个消息主题均分配有唯一的初始标识。消息主题可以路由待同步消息,可以理解为将消息按主题进行划分和存储,能够提高消息的可管理性和可扩展性。
在一些实施例中,初始标识可以是消息主题的主题名称,或者是由纯数字、纯字母、纯符号或者由数字、字母和符号中的至少一种所组成,仅需保证初始标识是唯一的即可。
可以通过下述实施例中的计算机设备来获取源消息集群中的待同步消息,计算机设备是具备一定的数据处理能力,可以是个人电脑、服务器、移动设备、嵌入式系统或云计算平台。
S120,遍历预设标识库得到与初始标识相同的目标标识,并将目标标识的消息主题所在的消息集群作为目标消息集群,预设标识库包括目标标识及与目标标识存在映射关系的消息集群。
在本实施例中,预设标识库包括目标标识,及与目标标识存在映射关系的消息集群,目标消息集群为需要同步所述待同步消息的消息集群。本实施例通过预设标识库查询目标标识能够快速确定目标消息群,进而提高待同步消息的同步效率。
S130,基于源消息集群、目标消息集群和预配置同步服务集群确定至少一条信息同步路径,并根据至少一条信息同步路径同步待同步消息至目标消息集群。
在本实施例中,预配置同步服务集群可以是一组专门用于消息同步的服务器集群,可以是独立的物理服务器或虚拟服务器,也可以是在云平台上部署的一组计算资源。预配置同步服务集群的主要作用可以是接收源消息集群发送的待同步消息,并将其同步至目标消息集群,预配置同步服务集群可以负责接收、处理和转发待同步消息,确保消息在不同集群之间的一致性。其中,信息同步路径可用于待同步信息的传输,通过本实施例确定的信息同步路径能够提高待同步消息的同步效率。
在一种可能的实施方式中,至少一条信息同步路径的数量小于或等于目标标识对应的消息主题所包括的消息队列的数量。具体的,在需要处理的待同步消息的数量较多的情形下,可通过确定多条信息同步路径来完成待同步信息的同步,但是信息同步路径的数量需要小于待同步消息对应的消息主题所包括的消息队列的数量,能够避免系统出现过载现象。
由上述分析可知,本申请实施例提供信息同步方法,通过获取源消息集群中的待同步消息,并确定用于路由待同步消息的消息主题的初始标识;遍历预设标识库得到与初始标识相同的目标标识,并将目标标识的消息主题所在的消息集群作为目标消息集群,预设标识库包括目标标识及与目标标识存在映射关系的消息集群;基于源消息集群、目标消息集群和预配置同步服务集群确定至少一条信息同步路径,并根据至少一条信息同步路径准确同步待同步消息至目标消息集群,特别是在处理的待同步消息为银行金融信息时,能够准确保证金融信息的同步更新,进而提高银行金融财报数据核算的准确性,保证银行财务数据的可靠性。
在一种可能的实施方式中,根据至少一条信息同步路径同步待同步消息至目标消息集群,包括:
获取待同步消息的唯一标识符,唯一标识符记录了待同步消息在源消息集群中的存储位置;
根据至少一条信息同步路径和唯一标识符同步待同步消息至目标消息集群的目标消息队列。
在本实施例中,唯一标识符记录了待同步消息在源消息集群中的存储位置,该存储位置具体到源消息集群中的消息队列中的存储区域,在将待同步消息发送至目标消息集群时,可以根据该唯一标识确定目标消息集群中的目标消息队列,并将待同步消息同步至目标消息队列中,保证了消息同步的准确性。
可选的,预配置同步服务集群包括至少一个同步服务节点,基于源消息集群、目标消息集群和预配置同步服务集群确定至少一条信息同步路径,包括:
获取各同步服务节点的监测信息,并根据各监测信息计算各同步服务节点的负载评分;
将至少一个负载评分小于或等于预设分值的同步服务节点作为目标服务节点;
基于源消息集群、目标消息集群和至少一个目标服务节点确定至少一条信息同步路径。
在本实施例中,预配置同步服务集群中可包括多个同步服务节点,可根据实际需求进行配置和扩展,可以通过增加服务器数量或调整集群规模来提高信息同步性能可信息同步的可靠性,其中调整集群规模可以是增加或删减同步服务节点的数量。
具体的,计算机设备能够获取各个同步服务节点的监测信息,进而计算各个同步服务节点的负载评分,接着通过与预设分值进行比较来确定目标服务节点,进而再根据至少一个目标服务节点确定出至少一条信息同步路径,其中,预设分值可以根据实际的消息同步情况进行调整,此处不做限定。
在一种可能的实施方式中,监测信息包括CPU利用率、内存使用率、磁盘IO速率和网络带宽中的至少一种,获取各同步服务节点的监测信息,并根据各监测信息计算各同步服务节点的负载评分,包括:
基于预配置zookeeper集群监测各同步服务节点得到监测信息,其中,预配置zookeeper集群还用于监测各信息同步路径的同步进度;
分别为各同步服务节点的CPU利用率、内存使用率、磁盘IO速率和网络带宽配置权重,得到第一分值、第二分值、第三分值和第四分值,并计算第一分值、第二分值、第三分值和第四分值的和值,得到各同步服务节点的负载评分。
在本实施例中,可以通过具体的监测信息如CPU利用率、内存使用率、磁盘IO速率和网络带宽来计算各个同步服务节点的负载评分,具体的,可以通过为上述不同类型的监测信息分配权重值来计算负载评分。可选的,可以为CPU利用率和内存使用率分配较高的权重值,为除CPU利用率和内存使用率之外的其他类型的监测信息分配较低的权重值,在本示例中仅为一个可选示例,具体可视实际需求进行分配,此处不做限定。
在一种可能的实施方式中,基于源消息集群、目标消息集群和预配置同步服务集群确定至少一条信息同步路径之后,方法还包括:
为每一条信息同步路径配置一个使能开关,并监测每个使能开关的状态标识;其中,
每一个使能开关的状态标识包括第一字符和第二字符,第一字符表示开启状态,第二字符表示关闭状态,处于开启状态的使能开关所在的信息同步路径用于同步待同步消息。
在本实施例中,通过改变第一字符和第二字符的组成,可以改变使能开关的状态,进而表示信息同步路径是否能够正常用于传输信息。
在一种可能的实施方式中,根据至少一条信息同步路径同步待同步消息至目标消息集群之前,方法还包括:
根据预设心跳检测法和/或预设哈希表对至少一条信息同步路径进行有效性检测;
在检测通过的情形下执行根据至少一条信息同步路径同步待同步消息至目标消息集群的步骤;
在检测不通过的情形下对检测不通过的信息同步路径进行标识,并生成警示指令,用于提醒无法正常按被标识的信息同步路径进行信息同步。
在本实施例中,对待同步信息进行同步之前,还会对信息同步路径的有效性进行检测,可以采用心跳法或者预设哈希表进行检测。其中,心跳法则是可以采用实验数据进行测试信息同步路径是否能够正常用于信息同步,具体可参考现有的心跳法算法,此处不再赘述。通过预设哈希表进行有效性检测,可以先创建一个空的哈希表,然后遍历给定的路径中的每个节点,对于每个节点,检查其在哈希表中是否已经存在,如果存在,表示路径中存在环路或重复节点,路径无效,如果不存在,将该节点添加到哈希表中。完成路径遍历后,检查哈希表中的节点数量是否与路径中的节点数量相同,如果相同,表示路径是有效的,如果不同,表示路径中存在断链或缺少节点,路径无效。
由上述分析可知,本申请实施例提供的银行金融信息同步方法,通过获取源消息集群中的待同步消息,并确定用于路由待同步消息的消息主题的初始标识;并遍历预设标识库得到与初始标识相同的目标标识,并将目标标识的消息主题所在的消息集群作为目标消息集群,预设标识库包括目标标识及与目标标识存在映射关系的消息集群;最后基于源消息集群、目标消息集群和预配置同步服务集群确定至少一条信息同步路径,并根据至少一条信息同步路径准确同步待同步消息至目标消息集群,特别是在处理的待同步消息为银行金融信息时,能够准确保证金融信息的同步更新,进而提高金融财报数据核算的准确性,保证财务数据的可靠性。
与上述方法实施例相对应,本申请还提供一种银行金融信息同步系统,请参见图2,图2为一种银行金融信息同步系统的功能模块示意图,该银行金融信息同步系统200包括:
获取模块210,用于获取源消息集群中的待同步消息,并确定用于路由待同步消息的消息主题的初始标识;
查询模块220,用于遍历预设标识库得到与初始标识相同的目标标识,并将目标标识的消息主题所在的消息集群作为目标消息集群,预设标识库包括目标标识及与目标标识存在映射关系的消息集群;
确定模块230,用于基于源消息集群、目标消息集群和预配置同步服务集群确定至少一条信息同步路径,并根据至少一条信息同步路径同步待同步消息至目标消息集群。
本申请实施例提供信息同步系统,基于获取模块通过获取源消息集群中的待同步消息,并确定用于路由待同步消息的消息主题的初始标识;并通过查询模块遍历预设标识库得到与初始标识相同的目标标识,并将目标标识的消息主题所在的消息集群作为目标消息集群,预设标识库包括目标标识及与目标标识存在映射关系的消息集群;最后通过确定模块基于源消息集群、目标消息集群和预配置同步服务集群确定至少一条信息同步路径,并根据至少一条信息同步路径准确同步待同步消息至目标消息集群,特别是在处理的待同步消息为银行金融信息时,能够准确保证金融信息的同步更新,进而提高金融财报数据核算的准确性,保证财务数据的可靠性。
本申请还提供一种计算机设备,请参见图3,图3为本申请实施例提供的一种计算机设备内部结构图。其中,计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统,还可存储有计算机程序,该计算机程序被处理器执行时,可使得处理器实现上述实施例中应用于计算机设备的银行金融信息同步方法。该内存储器中也可储存有计算机程序,该计算机程序被处理器执行时,可使得处理器执行银行金融信息同步方法。本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,实现如方法实施例中的银行金融信息同步方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRA M)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRD RAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
- 一种平行链数据同步方法、设备和存储介质
- 一种线阵相机触发时序同步方法、装置、设备和存储介质
- 一种账号数据同步方法及其设备、存储介质、终端
- 一种数据同步方法、装置、设备及可读存储介质
- 一种数据同步方法、设备和计算机可存储介质
- 一种金融用户信息防护方法、系统、终端设备及存储介质
- 一种金融交易信息的回测方法、系统、设备及存储介质