一种数据库指纹模型的版本同步方法及装置
文献发布时间:2024-04-18 20:01:23
技术领域
本发明涉及数据库指纹模型领域,特别是涉及一种数据库指纹模型的版本同步方法及装置。
背景技术
相关技术中的数据库指纹模型同步方法,最开始时是通过收集样本文件,通过数据库指纹模型训练服务器对样本文件进行训练后生成智慧模型,通过拷贝智慧模型到数据库指纹模型预测服务器从而预测数据库指纹,当样本文件积累到一定数量后再通过数据库指纹模型训练服务器训练生成模型来不断提高模型准确率。而为了提高模型准确率,数据库指纹又出现了一种定时任务的数据库指纹样本采集方法,从而定时生成数据库指纹模型;但并未对处理流程进行优化,使得将数据库指纹模型下发到数据库指纹模型预测服务器的流程较为繁琐。
此外,上述技术方案虽然解决了将数据库指纹模型同步到数据库指纹模型预测服务器的基本问题;但对于网络环境而言,因为网络环境的不稳定性,往往无法保证100%的可靠性,而且对于定时任务类型的数据库指纹任务,数据库指纹模型是间隔一段时间定时生成的;那么模型同步的发生次数也会相对增多,这就导致无法保证每次数据库指纹模型下发都能100%成功,从而使数据库指纹模型训练服务器与数据库指纹模型预测服务器之间数据库指纹模型版本信息的不一致概率大大增加。
发明内容
鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种数据库指纹模型的版本同步方法及装置,包括:
一种数据库指纹模型的版本同步方法,应用于数据库指纹预测服务器,所述方法包括:
根据分布式流处理平台中的数据库指纹模型识别信息,将数据库指纹训练服务器所存储的数据库指纹模型获取至本地缓存中;其中,所述数据库指纹训练服务器用于生成所述数据库指纹模型,存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至所述分布式流处理平台;
定时获取缓存服务中的数据库指纹模型版本信息;并将所述数据库指纹模型版本信息推送至所述分布式流处理平台;
根据所述缓存服务中的数据库指纹模型版本信息,与本地缓存中的数据库指纹模型版本信息进行比对,若存在版本差异,则更新所述本地缓存中的数据库指纹模型版本信息。
可选的,所述定时获取缓存服务中的数据库指纹模型版本信息的步骤包括:
从所述缓存服务中获取数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息,并将所述数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息推送至分布式流处理平台。
可选的,所述从所述缓存服务中获取数据库指纹模型大版本信息之前,还包括:
判断所述缓存服务中是否存在数据库指纹模型大版本信息,若存在数据库指纹模型大版本信息,则从所述缓存服务中获取数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息。
可选的,所述定时获取缓存服务中的数据库指纹模型版本信息的步骤还包括:
通过管理平台中的定时任务定时获取缓存服务中的数据库指纹模型版本信息;其中,所述管理平台用于定时获取缓存服务中的数据库指纹模型版本信息,并将所述数据库指纹模型版本信息推送至所述分布式流处理平台。
一种数据库指纹模型的版本同步方法,应用于数据库指纹训练服务器,所述方法包括:
生成所述数据库指纹模型,存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至分布式流处理平台;
监听所述分布式流处理平台,并实时将所述分布式流处理平台中数据库指纹模型版本信息与所述存储的数据库指纹模型版本信息进行比对,若存在版本差异,则将与所述分布式流处理平台中数据库指纹模型版本信息存在所述版本差异的所述数据库指纹模型识别信息推送至所述分布式流处理平台。
可选的,所述存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至分布式流处理平台的步骤包括:
通过对象存储服务存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至分布式流处理平台。
一种数据库指纹模型的版本同步装置,应用于数据库指纹预测服务器,所述装置包括:
数据库指纹模型获取模块,用于根据分布式流处理平台中的数据库指纹模型识别信息,将数据库指纹训练服务器所存储的数据库指纹模型获取至本地缓存中;其中,所述数据库指纹训练服务器用于生成所述数据库指纹模型,存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至所述分布式流处理平台;
数据库指纹模型版本信息获取模块,用于定时获取缓存服务中的数据库指纹模型版本信息;并将所述数据库指纹模型版本信息推送至所述分布式流处理平台;
数据库指纹模型版本信息比对模块,用于根据所述缓存服务中的数据库指纹模型版本信息,与本地缓存中的数据库指纹模型版本信息进行比对,若存在版本差异,则更新所述本地缓存中的数据库指纹模型版本信息。
一种数据库指纹模型的版本同步装置,应用于数据库指纹训练服务器,所述装置包括:
数据库指纹模型生成模块,用于生成所述数据库指纹模型,存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至分布式流处理平台;
分布式流处理平台监听模块,用于监听所述分布式流处理平台,并实时将所述分布式流处理平台中数据库指纹模型版本信息与所述存储的数据库指纹模型版本信息进行比对,若存在版本差异,则将与所述分布式流处理平台中数据库指纹模型版本信息存在所述版本差异的所述数据库指纹模型识别信息推送至所述分布式流处理平台。
一种电子设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上所述的数据库指纹模型的版本同步方法。
一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如上所述的数据库指纹模型的版本同步方法。
本发明实施例具有以下优点:
在本发明实施例中,通过提出一种数据库指纹模型的版本同步方法,应用于数据库指纹预测服务器,根据分布式流处理平台中的数据库指纹模型识别信息,将数据库指纹训练服务器所存储的数据库指纹模型获取至本地缓存中;同时定时获取缓存服务中的数据库指纹模型版本信息;并将数据库指纹模型版本信息推送至分布式流处理平台;随后根据缓存服务中的数据库指纹模型版本信息,与本地缓存中的数据库指纹模型版本信息进行比对,若存在版本差异,则更新本地缓存中的数据库指纹模型版本信息,实现了数据库指纹模型版本的自动同步与数据库指纹模型的实时更新,有效地减少了手动处理的麻烦和出现错误的可能性,避免了因模型版本不同而可能导致的预测不准确问题,提高了系统对数据库指纹模型版本更新的响应速度,优化了数据库指纹模型的同步过程,实现了将数据库指纹模型自动下发到数据库指纹模型预测服务器,提升了工作效率,减少了错误的几率。
附图说明
为了更清楚地说明本发明的技术方案,下面将对本发明的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种数据库指纹模型的版本同步方法的步骤流程图;
图2是本发明一实施例提供的一种数据库指纹模型的版本同步方法的步骤流程图;
图3是本发明提供的总体技术方案流程图;
图4是本发明一实施例提供的另一种数据库指纹模型的版本同步方法的步骤流程图;
图5是本发明提供的系统数据流向示意图;
图6是本发明一实施例提供的一种数据库指纹模型的版本同步装置的结构示意图;
图7是本发明另一实施例提供的一种数据库指纹模型的版本同步装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
相关技术中的数据库指纹模型同步方法,最开始时是通过收集样本文件,通过数据库指纹模型训练服务器对样本文件进行训练后生成智慧模型,通过拷贝智慧模型到数据库指纹模型预测服务器从而预测数据库指纹,当样本文件积累到一定数量后再通过数据库指纹模型训练服务器训练生成模型来不断提高模型准确率。而为了提高模型准确率,数据库指纹又出现了一种定时任务的数据库指纹样本采集方法,从而定时生成数据库指纹模型;但并未对处理流程进行优化,使得将数据库指纹模型下发到数据库指纹模型预测服务器的流程较为繁琐。
此外,上述技术方案虽然解决了将数据库指纹模型同步到数据库指纹模型预测服务器的基本问题;但对于网络环境而言,因为网络环境的不稳定性,往往无法保证100%的可靠性,而且对于定时任务类型的数据库指纹任务,数据库指纹模型是间隔一段时间定时生成的;那么模型同步的发生次数也会相对增多,这就导致无法保证每次数据库指纹模型下发都能100%成功,从而使数据库指纹模型训练服务器与数据库指纹模型预测服务器之间数据库指纹模型版本信息的不一致概率大大增加。
为了解决上述问题,本发明基于数据库指纹训练服务器以及数据库指纹预测服务器对相关技术中数据库指纹模型的版本同步方法进行了改进,以下将结合附图对本发明进行详细地说明:
对于数据库指纹模型的版本同步方法(应用于数据库指纹预测服务器):
参照图1,示出了本发明一实施例提供的一种数据库指纹模型的版本同步方法的步骤流程图,应用于数据库指纹预测服务器,具体可以包括如下步骤:
步骤101,根据分布式流处理平台中的数据库指纹模型识别信息,将数据库指纹训练服务器所存储的数据库指纹模型获取至本地缓存中;其中,所述数据库指纹训练服务器用于生成所述数据库指纹模型,存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至所述分布式流处理平台;
首先,需要强调的是,在本发明技术方案中所定义的数据库指纹的信息粒度为数据库中某个表中选取的某几个列的数字信息,而将所述信息作为一个整体的数据库指纹样本信息,进而通过训练生成的指纹模型文件即为数据库指纹模型。
而CAP定理(Consistence Availability Partition Tolerance Theorem),又被称作布鲁尔定理(Brewer's Theorem)是分布式计算领域公认的一个定理;主要内容为在一个分布式系统(即互相连接并共享数据的节点的集合)中,当涉及读写操作时,只能保证C(Consistence,一致性)、A(Availability,可用性)、P(Partition Tolerance,分区容错性)三者中的两个,另外一个必须被牺牲。
虽然CAP理论定义中强调三个要素只能取两个,但若放到分布式环境下来思考,实际上会发现分区容错性要素是必须选择的,因为网络本身是无法做到100%可靠的,有可能会出现故障,也就是说分区是必然的现象。如果我们选择了一致性和可用性而放弃了分区容错性,那么在发生分区现象时,为了保证一致性,系统需要禁止写入,当有写入请求时,系统会返回error(错误)(例如,当前系统不允许写入),这又和可用性冲突了,因为可用性要求返回no error和no timeout(超时)。因此,分布式系统理论上不可能选择CA架构,只能选择CP或者AP架构。
在具体实现中,可以直接将数据库指纹模型信息作为数据库指纹模型识别信息;并可以在数据库指纹预测服务器与数据库指纹训练服务器之间新增一个管理平台,管理平台可以根据推送给分布式流处理平台(例如kafka平台中的对应主题)的数据库指纹模型识别信息,从数据库指纹训练服务器中获取数据库指纹模型,并可以通过服务开发框架(例如thrift)文件流的方式把所述数据库指纹模型下发到数据库指纹预测服务器,数据库指纹预测服务器可以将数据库指纹预测服务器获取到本地缓存中并重新加载最新下发的数据库指纹模型以使其生效,其中,所述数据库指纹训练服务器可以用于生成所述数据库指纹模型,存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至所述分布式流处理平台。
步骤102,定时获取缓存服务中的数据库指纹模型版本信息;并将所述数据库指纹模型版本信息推送至所述分布式流处理平台;
在具体实现中,可以在数据库指纹预测服务器与数据库指纹训练服务器之间新增一个管理平台,并可以在管理平台中添加一个数据库指纹模型版本比对线程,所述线程可以为定时线程,定时获取缓存服务(例如Redis缓存)中的数据库指纹模型版本信息,并将获取到的数据库指纹模型版本信息推送到分布式流处理平台。
在本发明一实施例中,所述定时获取缓存服务中的数据库指纹模型版本信息的步骤包括:
从所述缓存服务中获取数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息,并将所述数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息推送至分布式流处理平台。
在实际应用中,可以从所述缓存服务中获取数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息,并将所述数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息推送至分布式流处理平台;例如可以首先从redis缓存中获取数据库指纹模型大版本信息,如果所述数据库指纹模型大版本信息为null则证明系统从未生成过数据库指纹模型,线程可以直接返回;而如果大版本信息不为null,则从redis缓存中获得各个数据库指纹模型的小版本信息,并将上述数据库指纹模型版本信息推送至kafka平台中的对应主题。
在本发明一实施例中,所述从所述缓存服务中获取数据库指纹模型大版本信息之前,还包括:
判断所述缓存服务中是否存在数据库指纹模型大版本信息,若存在数据库指纹模型大版本信息,则从所述缓存服务中获取数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息。
在具体实现中,可以判断所述缓存服务中是否存在数据库指纹模型大版本信息,若存在数据库指纹模型大版本信息,则从所述缓存服务中获取数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息;例如可以首先从redis缓存中获取数据库指纹模型大版本信息,如果所述数据库指纹模型大版本信息为null则证明系统从未生成过数据库指纹模型,线程可以直接返回;而如果大版本信息不为null,则从redis缓存中获得各个数据库指纹模型的小版本信息,并将上述数据库指纹模型版本信息推送至kafka平台中的对应主题。
在本发明一实施例中,所述定时获取缓存服务中的数据库指纹模型版本信息的步骤还包括:
通过管理平台中的定时任务定时获取缓存服务中的数据库指纹模型版本信息;其中,所述管理平台用于定时获取缓存服务中的数据库指纹模型版本信息,并将所述数据库指纹模型版本信息推送至所述分布式流处理平台。
在具体实现中,可以在数据库指纹预测服务器与数据库指纹训练服务器之间新增一个管理平台,并可以在管理平台中添加一个数据库指纹模型版本比对线程,所述线程可以为定时线程,进而定时获取Redis缓存中的数据库指纹模型版本信息,并将获取到的数据库指纹模型版本信息推送到分布式流处理平台。
步骤103,根据所述缓存服务中的数据库指纹模型版本信息,与本地缓存中的数据库指纹模型版本信息进行比对,若存在版本差异,则更新所述本地缓存中的数据库指纹模型版本信息。
在实际应用中,可以在数据库指纹预测服务器上添加一个数据库指纹模型拉取线程,用于从redis缓存中获得数据指纹模型版本的集合,与本地缓存的数据库指纹模型版本信息进行比对,如果版本存在差异,则更新本地缓存的数据库指纹模型版本信息,并组装参数信息,调用数据库指纹的模型下发接口,进行数据库指纹模型版本的更新操作。
对于数据库指纹模型的版本同步方法(应用于数据库指纹训练服务器):
参照图2,示出了本发明另一实施例提供的一种数据库指纹模型的版本同步方法的步骤流程图,应用于数据库指纹训练服务器,具体可以包括如下步骤:
步骤201,生成所述数据库指纹模型,存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至分布式流处理平台;
首先,需要强调的是,本发明中所提到的数据库指纹训练、数据库指纹预测以及数据库指纹模型同步等相关服务,数据库指纹的模型训练以及模型同步等都可以是在数据库指纹训练服务器上由相应的线程来完成的;模型同步则可以由数据库指纹预测服务器上相关的进程的线程,调用管理平台的下发接口,从分布式对象存储系统(例如MinIO数据库)上拉取数据库指纹模型,使用thrift文件流传输到数据库指纹预测服务器上的指定目录下来实现的。
在实际应用中,可以直接将数据库指纹模型信息作为数据库指纹模型识别信息;进而可以通过进入数据库指纹菜单,建立数据库指纹样本采集任务的方式进行样本采集,采集完成后可以自动调用数据库指纹训练服务器上的数据库指纹服务进行训练,生成数据库指纹模型;而在数据库指纹模型生成后可以推送到MinIO中进行存储,并将数据库指纹模型信息推送到kafka平台中的对应主题。
在本发明一实施例中,所述存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至分布式流处理平台的步骤包括:
通过对象存储服务存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至分布式流处理平台。
在具体实现中,在数据库指纹模型生成后可以推送到MinIO中进行存储,并将数据库指纹模型信息推送到kafka平台中的对应主题。
步骤202,监听所述分布式流处理平台,并实时将所述分布式流处理平台中数据库指纹模型版本信息与所述存储的数据库指纹模型版本信息进行比对,若存在版本差异,则将与所述分布式流处理平台中数据库指纹模型版本信息存在所述版本差异的所述数据库指纹模型识别信息推送至所述分布式流处理平台。
在实际应用中,可以直接将数据库指纹模型信息作为数据库指纹模型识别信息;进而可以在数据库指纹训练服务器上添加一个监听线程,监听kafka平台中数据库指纹模型版本信息的主题;将数据库指纹模型信息与训练时存储于数据库中的模型信息进行比对,如果有不一致的情况,则将不一致的数据库指纹模型信息,重新推送数据库指纹模型信息到kafka平台中的对应主题以供管理平台同步模型使用。
在上述内容的基础上,为了便于理解以及更详细地说明本发明的技术方案,参照图3,示出了本发明提供的总体技术方案流程图,所述流程主要分为在数据库指纹预测服务器、数据库指纹训练服务器、管理平台服务器中的对应流程,可以总结为以下步骤:
(1)管理平台服务器
在管理平台上添加数据库指纹模型版本比对线程。所述线程为定时任务线程,用于定时获取redis缓存中的数据库指纹模型版本信息;具体获取方式可以为:首先从redis缓存中获取数据库指纹模型大版本信息,如果大版本信息为null则证明系统从未生成过数据库指纹模型,线程直接返回;如果大版本信息不为null,则从redis缓存中获得各个数据库指纹模型的小版本信息,将数据库指纹模型版本信息推送kafka主题;
(2)数据库指纹预测服务器
在数据库指纹预测服务器上添加数据库指纹模型拉取线程,所述线程从redis缓存中获得数据指纹模型版本的集合,与本地缓存中的数据库指纹模型版本信息进行比对,如果版本存在差异,则更新本地缓存的数据库指纹模型版本信息,并组装参数信息,调用数据库指纹的模型下发接口,进行数据库指纹模型版本的更新。
(3)数据库指纹训练服务器
首先,可以直接将数据库指纹模型信息作为数据库指纹模型识别信息;并在数据库指纹训练服务器上添加监听kafka平台中数据库指纹模型版本信息的主题的监听线程,通过从kafka平台中对应主题获得的数据库指纹模型版本信息与存储在MinIO数据库中的数据库指纹模型版本信息进行比对,当不一致的时候会重新推送数据库指纹模型信息到kakfa平台中的对应主题,供管理平台同步模型使用。
参照图4,示出了本发明一实施例提供的另一种数据库指纹模型的版本同步方法的步骤流程图,应用于数据库指纹预测服务器,具体可以包括如下步骤:
步骤401,根据分布式流处理平台中的数据库指纹模型识别信息,将数据库指纹训练服务器所存储的数据库指纹模型获取至本地缓存中;其中,所述数据库指纹训练服务器用于生成所述数据库指纹模型,存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至所述分布式流处理平台;
在具体实现中,可以直接将数据库指纹模型信息作为数据库指纹模型识别信息;并可以在数据库指纹预测服务器与数据库指纹训练服务器之间新增一个管理平台,管理平台可以根据推送给kafka平台中的对应主题的数据库指纹模型识别信息,从数据库指纹训练服务器中获取数据库指纹模型,并可以通过thrift文件流的方式把所述数据库指纹模型下发到数据库指纹预测服务器,数据库指纹预测服务器可以将数据库指纹预测服务器获取到本地缓存中并重新加载最新下发的数据库指纹模型以使其生效,其中,所述数据库指纹训练服务器可以用于生成所述数据库指纹模型,存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至所述分布式流处理平台。
步骤402,定时获取缓存服务中的数据库指纹模型版本信息;并将所述数据库指纹模型版本信息推送至所述分布式流处理平台;其中,所述定时获取缓存服务中的数据库指纹模型版本信息的步骤包括:从所述缓存服务中获取数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息,并将所述数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息推送至分布式流处理平台。
在具体实现中,可以从所述缓存服务中获取数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息,并将所述数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息推送至分布式流处理平台;例如可以首先从redis缓存中获取数据库指纹模型大版本信息,如果所述数据库指纹模型大版本信息为null则证明系统从未生成过数据库指纹模型,线程可以直接返回;而如果大版本信息不为null,则从redis缓存中获得各个数据库指纹模型的小版本信息,并将数据库指纹模型版本信息推送至kafka平台中的对应主题。
步骤403,根据所述缓存服务中的数据库指纹模型版本信息,与本地缓存中的数据库指纹模型版本信息进行比对,若存在版本差异,则更新所述本地缓存中的数据库指纹模型版本信息。
在实际应用中,可以在数据库指纹预测服务器上添加一个数据库指纹模型拉取线程,用于从redis缓存中获得数据指纹模型版本的集合,与本地缓存的数据库指纹模型版本信息进行比对,如果版本存在差异,则更新本地缓存的数据库指纹模型版本信息,并组装参数信息,调用数据库指纹的模型下发接口,进行数据库指纹模型版本的更新操作。
在上述内容的基础上,为了便于理解以及更详细地说明本发明的技术方案,参照图5,示出了本发明提供的系统数据流向示意图;其中内容可以概括如下:
(1)进入数据库指纹菜单,建立数据库指纹样本采集任务进行样本采集,采集完成后自动调用数据库指纹训练服务器上的数据库指纹服务进行训练,生成数据库指纹模型;数据库指纹模型生成后会被推送到MinIO数据库进行存储,并将数据库指纹模型信息推送到kafka平台中的对应主题。
(2)管理平台根据推送给kafka平台中的对应主题的模型信息,从MinIO上拉取数据库指纹模型,并通过thrift文件流的方式把数据库指纹模型下发到数据库指纹预测服务器,数据库指纹预测服务则重新加载最新下发的模型,使其生效;且管理平台中含有定时从redis中获取数据库指纹模型的版本信息的定时任务线程,并将数据库指纹模型的版本信息推送给kafka平台中的对应主题;
(3)数据库指纹训练服务器上包含监听线程,用于监听kafka平台中数据库指纹模型版本信息的主题;将数据库指纹模型信息与训练时存储于MinIO数据库中的数据库指纹模型信息进行比对,如果有不一致的情况,则将不一致的数据库指纹模型信息重新推送至kafka平台中的对应主题;从而重复上述的业务流程。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图6,示出了本发明一实施例提供的一种数据库指纹模型的版本同步装置的结构示意图,应用于数据库指纹预测服务器,具体可以包括如下模块:
数据库指纹模型获取模块601,用于根据分布式流处理平台中的数据库指纹模型识别信息,将数据库指纹训练服务器所存储的数据库指纹模型获取至本地缓存中;其中,所述数据库指纹训练服务器用于生成所述数据库指纹模型,存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至所述分布式流处理平台;
数据库指纹模型版本信息获取模块602,用于定时获取缓存服务中的数据库指纹模型版本信息;并将所述数据库指纹模型版本信息推送至所述分布式流处理平台;
数据库指纹模型版本信息比对模块603,用于根据所述缓存服务中的数据库指纹模型版本信息,与本地缓存中的数据库指纹模型版本信息进行比对,若存在版本差异,则更新所述本地缓存中的数据库指纹模型版本信息。
在本发明另一实施例中,所述数据库指纹模型版本信息获取模块602包括:
数据库指纹模型版本信息获取子模块,用于从所述缓存服务中获取数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息,并将所述数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息推送至分布式流处理平台。
在本发明另一实施例中,所述数据库指纹模型版本信息获取模块602还包括:
数据库指纹模型大版本信息判断子模块,用于判断所述缓存服务中是否存在数据库指纹模型大版本信息,若存在数据库指纹模型大版本信息,则从所述缓存服务中获取数据库指纹模型大版本信息和各个数据库指纹模型的小版本信息。
在本发明另一实施例中,所述数据库指纹模型版本信息获取模块602还包括:
数据库指纹模型版本信息定时获取子模块,用于通过管理平台中的定时任务定时获取缓存服务中的数据库指纹模型版本信息;其中,所述管理平台用于定时获取缓存服务中的数据库指纹模型版本信息,并将所述数据库指纹模型版本信息推送至所述分布式流处理平台。
参照图7,示出了本发明另一实施例提供的一种数据库指纹模型的版本同步装置的结构示意图,应用于数据库指纹训练服务器,具体可以包括如下模块:
数据库指纹模型生成模块701,用于生成所述数据库指纹模型,存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至分布式流处理平台;
分布式流处理平台监听模块702,用于监听所述分布式流处理平台,并实时将所述分布式流处理平台中数据库指纹模型版本信息与所述存储的数据库指纹模型版本信息进行比对,若存在版本差异,则将与所述分布式流处理平台中数据库指纹模型版本信息存在所述版本差异的所述数据库指纹模型识别信息推送至所述分布式流处理平台。
在本发明另一实施例中,所述数据库指纹模型生成模块701包括:
数据库指纹模型存储子模块,用于通过对象存储服务存储所述数据库指纹模型并将所述数据库指纹模型识别信息推送至分布式流处理平台。
本发明一实施例还提供了一种电子设备,可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序,计算机程序被处理器执行时实现如上数据库指纹模型的版本同步方法。
本发明一实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储计算机程序,计算机程序被处理器执行时实现如上数据库指纹模型的版本同步方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括上述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对所提供的一种数据库指纹模型的版本同步方法及装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。
- 用于使用双金属氰化物催化剂制备环氧丙烷/环氧乙烷共聚物的方法和如此制备的共聚物
- 用于使用双金属氰化物催化剂制备环氧丙烷/环氧乙烷共聚物的方法和如此制备的共聚物