掌桥专利:专业的专利平台
掌桥专利
首页

数据的多存储方法、装置、电子设备及计算机存储介质

文献发布时间:2023-06-19 10:27:30


数据的多存储方法、装置、电子设备及计算机存储介质

技术领域

本发明涉及云存储技术领域,尤其涉及一种数据的多存储方法、装置、电子设备及计算机可读存储介质。

背景技术

随着信息时代的来临,数据成为企业最重要的资产,对企业来讲数据多存储是一个很重要的需求。所述数据多存储是指将企业中数据存储至多个服务器中,保证一处服务器损坏时,其他服务器还能保证数据的安全。目前行业内具有,例如分布式文件系统TFS、对象存储系统BOS等等多种文件存储服务,但是这些存储服务都有各自的优缺点,企业不适合将数据保存到其中一个存储服务里,因为所有数据存储至同一类型的数据库中,容易造成数据丢失,此外所述存储服务发生意外时,容灾性差。

发明内容

本发明提供一种数据的多存储方法、装置、电子设备及计算机可读存储介质,其主要目的在于实现智能化的数据多存储,增加数据存储容灾性,解决存储效率低的问题。

为实现上述目的,本发明提供的一种数据的多存储方法,包括:

根据预设的不同存储逻辑的产品存储服务构建多个云数据库;

获取预设工作系统中的产品数据,并对所述产品数据进行删重及分块处理,得到数据块集;

构建存储策略模型,利用所述存储策略模型计算每个所述数据块与所述产品存储服务的适合度;

根据所述适合度,将所述数据块存储至适合度最高的产品存储服务对应的云数据库中。

可选的,所述构建存储策略模型,包括:

获取样本数据集,其中所述样本数据集包括所述预设工作系统的历史数据,以及所述历史数据对应的不同产品存储服务的匹配度集;

利用所述样本数据集中的历史数据以及对应的匹配度集对预先构建的存储策略模型进行训练,得到训练完成的存储策略模型。

可选的,所述利用所述样本数据集中的历史数据以及对应的匹配度集对预先构建的存储策略模型进行训练,得到训练完成的存储策略模型,包括:

将所述样本数据集进行量化及清洗操作,得到量化数据;

利用动量算法,设置训练过程中梯度下降方向;

根据所述梯度下降方向,利用所述量化数据对所述存储策略模型进行K折交叉校验训练,得到训练完成的存储策略模型。

可选的,所述根据所述梯度下降方向,利用所述量化数据对所述存储策略模型进行K折交叉校验训练,得到训练完成的存储策略模型,包括:

步骤I将所述量化数据等比例划分成K份;

步骤II、选择其中的K-1份量化数据作为训练数据以及剩余的1份量化数据作为测试数据,利用所述存储策略模型对所述训练数据进行分类计算,得到所述训练数据中的历史数据与不同产品存储服务的适合度;

步骤III、根据计算得到的适合度与所述匹配度集计算所述存储策略模型的误差值,并判断所述误差值与预设的误差阈值的大小关系;

步骤IV、若所述误差值大于所述误差阈值,调整所述存储策略模型的内部参数,根据所述梯度下降方向,返回上述的步骤II,直至所述误差值小于所述误差阈值,执行步骤V;

步骤V、利用所述测试数据对所述存储策略模型进行验证,在验证不合格时,返回上述的步骤II,并在所述步骤II重复了K次时,得到训练完成的存储策略模型。

可选的,所述对所述产品数据进行删重及分块处理,得到数据块集,包括:

在所述产品数据中检索并删除重复的产品数据,得到简洁数据;

利用预构建的纠删码将所述简洁数据拆分为X份数据块,得到数据块集。

可选的,所述利用预构建的纠删码将所述简洁数据拆分为X份数据块,得到数据块集,包括:

将所述简洁数据进行编码,得到编译数据;

分割所述编译数据,得到Z份数据块,利用所述纠删码对所述Z份数据块与预设编码矩阵进行矩阵乘积运算,得到Y份校验块;

将Z份所述数据块与Y份所述校验块进行集合,得到包含X份数据块,得到所述数据块集。

可选的,所述获取预设工作系统中的产品数据,包括:

连接预构建的客户端及本地私有云,通过所述客户端存储用户的校验密码数据,并利用所述本地私有云进行数据传输管理;

利用所述工作系统的数据管理接口连接所述客户端;

利用所述客户端中存储的所述校验密码数据对用户的数据存储请求进行验证;

在所述用户的数据存储请求验证成功时,从预设的工作系统中获取所述产品数据。

为了解决上述问题,本发明还提供一种数据的多存储装置,所述装置包括:

数据库构建模块,用于根据预设的不同存储逻辑的产品存储服务构建多个云数据库;

数据处理模块,用于获取预设工作系统中的产品数据,并对所述产品数据进行删重及分块处理,得到数据块集;

存储模块,用于构建存储策略模型,利用所述存储策略模型计算每个所述数据块与所述产品存储服务的适合度,及根据所述适合度,将所述数据块存储至适合度最高的产品存储服务对应的云数据库中。

为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的计算机程序指令,所述计算机程序指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述所述的数据的多存储方法。

为了解决上述问题,本发明还提供一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储创建的数据,存储程序区存储有计算机程序;其中,所述计算机程序被处理器执行时实现上述所述的数据的多存储方法。

本发明实施例将不同存储逻辑的产品存储服务接口整合,构建云数据库,方便产品数据进行多存储,通过产品数据删重、分块,可以得到整洁的数据,增加数据存储效率,通过构建的存储策略模型可以判断不同数据块存储在不同云数据块中的适合度,可以选择最合适的存储方式保证数据安全性。因此,本发明实施例目的在于实现智能化的的数据多存储,增加数据存储容灾性,解决存储效率低的问题。

附图说明

图1为本发明一实施例提供的数据的多存储方法的流程示意图;

图2为本发明一实施例提供的数据的多存储装置的模块示意图;

图3为本发明一实施例提供的实现数据的多存储方法的电子设备的内部结构示意图;

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本申请实施例提供一种数据的多存储方法。所述数据的多存储方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述数据的多存储方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。

参照图1所示,为本发明一实施例提供的数据的多存储方法的流程示意图。在本实施例中,所述数据的多存储方法包括:

S1、根据预设的不同存储逻辑的产品存储服务构建多个云数据库。

本发明实施例将预构建的多种不同存储逻辑的产品存储服务进行抽象,对应得到多种云数据库。

本发明实施例中,所述产品存储服务是将存储设备连接到现有的网络上来提供产品数据和文件存储的服务,包括分布式文件系统TFS、对象存储系统BOS等,不同的产品服务具有不同的存储逻辑,存储不同类型的文件。本发明实施例将所述产品存储服务的所述存储逻辑抽象出来,构建所述云数据库。所述云数据库是指被优化或部署到一个虚拟计算环境中的数据库。

详细地,本发明实施例中,所述S1,包括:

对多个所述产品存储服务进行视图抽象,得到不同存储逻辑结构的所述云数据库,并将所述云数据库进行主备关系映射管理;针对所述存储逻辑结构进行包装,得到通用存储接口;将所述通用存储接口连接至各个所述云数据库上。

本发明实施例通过包装所述存储逻辑结构,得到通用存储接口,使得不同数据类型的数据可以通过所述通用存储接口分配至任意一个所述云数据库。

本发明较佳实施例中,每个所述存储逻辑结构称为一个视图。本发明实施例利用所述视图抽象提取出所述产品存储服务的所述存储逻辑结构,并根据所述存储逻辑结构,构建所述云数据库。

本发明其中一个实施例进一步构建备份数据库并在所述备份数据库中设置所述云数据库的自动调用权限,当所述云数据库中存储数据时,通过所述自动调取权限,可以将所述数据备份至所述备份数据库,防止因为所述云数据库损坏而造成的数据丢失,以增加数据的容灾性。

S2、获取预设工作系统中的产品数据,并对所述产品数据进行删重及分块处理,得到数据块集。

本发明实施例中,所述预设工作系统可以是企业的用于管理日常交易记录的系统,或企业用于编写应用程序的平台等,企业中日常使用的系统。

详细地,本发明实施例中,所述获取预设工作系统中的产品数据,包括:

连接预构建的客户端及本地私有云,通过所述客户端存储用户的校验密码数据,并利用所述本地私有云进行数据传输管理;

利用所述工作系统的数据管理接口连接所述客户端;

利用所述客户端中存储的所述校验密码数据对用户的数据存储请求进行验证;

在所述用户的数据存储请求验证成功时,从预设的工作系统中获取所述产品数据。

其中,所述本地私有云为一个能单独使用而构建的云,能够提供对数据的安全性和服务质量的最有效控制。本发明实施例中,所述本地私有云部署在企业数据中心的防火墙内,是一种企业的专有资源。

本发明实施例通过所述客户端,待所述用户完成所述客户端的注册工作,获取用户输入的所述校验密码数据。

本发明实施例中,当用户通过所述客户端发起数据存储请求时,将用户输入的登陆账号密码与所述所述校验密码数据进行校验;当校验未通过时,禁止调取所述工作系统中的数据;当校验通过时,利用私有云中的秘密共享算法,对将所述工作系统中的数据进行加密,并传输给所述客户端。

本发明实施例中,所述秘密共享算法的秘密共享是将秘密数据以适当的方式拆分,拆分后的每一个份额由不同的秘密持有者,单个秘密持有者无法恢复秘密数据,只有若干个秘密持有者一同协作才能恢复所述秘密数据。

本发明实施例中,当所述客户端接收到所述数据存储请求,接收用户输入的登陆账号密码,当所述登陆账号密码与所述校验密码数据相一致,完成校验过程。

进一步的,本发明实施例中,所述对所述产品数据进行删重及分块处理,得到数据块集,包括:

在所述产品数据中检索并删除重复的产品数据,得到简洁数据;利用预构建的纠删码将所述简洁数据拆分为X份数据块,得到数据块集。

本发明实施例利用python中pandas库的对所述产品数据进行空值处理,将所述产品数据中空白部分利用左右的平均值进行替换,利用所述python中duplicated(keep=False)函数查看是否具有重复值。并利用函数drop_duplicates(keep=False,inplace=True)对所述产品数据中重复数据进行删除,得到所述简洁数据。

进一步的,本发明实施例中,所述利用预构建的纠删码将所述简洁数据拆分为X份数据块,得到数据块集,包括:

将所述简洁数据进行编码,得到编译数据;

分割所述编译数据,得到Z份数据块,利用所述纠删码对所述Z份数据块与预设编码矩阵进行矩阵乘积运算,得到Y份校验块;

将Z份所述数据块与Y份所述校验块进行集合,得到包含X份数据块,得到所述数据块集。

本发明实施例通过编码器对所述简洁数据进行编码,所述编码器为一种可以对所述简洁数据进行编制、转换为可用以通讯、传输和存储的信号形式的设备。

本发明实施例可以通过纠删码,将所述产品数据分割成Y份数据块与Z份校验块。所述纠删码可以将数据分割为片段即所述Y份数据块,并存储至不同区域,其中Z份校验块是根据Y份数据块的矩阵运算产生的,本发明实施例将所述Y份数据块与所述Z份校验块统一为X份所述数据块,其中X=Y+Z,本发明实施例设置所述X等于8、所述Y等于5、所述Z等于3。

S3、构建存储策略模型,利用所述存储策略模型计算每个所述数据块与产品存储服务的适合度。

详细地,本发明实施例中,所述S3中所述构建存储策略模型,包括:

获取样本数据集,其中所述样本数据集包括所述预设工作系统的历史数据,以及所述历史数据对应的不同产品存储服务的匹配度集;利用所述样本数据集对预先构建的待训练存储策略模型进行训练,得训练完成的存储策略模型。

本发明实施例中,所述样本数据集为企业工作系统中历史各种类型的数据存储模式及存储效率。其中,所述工作系统用于存储企业日常工作的产品数据、交易记录等。

进一步地,本发明实施例中,所述S3中所述利用所述样本数据集对预先构建的待训练存储策略模型进行训练,得到训练完成的存储策略模型,包括:

将所述样本数据集进行量化及清洗操作,得到量化数据;利用动量算法,设置训练过程中梯度下降方向;根据所述梯度下降方向,利用所述量化数据对所述存储策略模型进行K折交叉校验训练,得到训练完成的存储策略模型。

本发明实施例利用所述向量化操作可以使文件数据类型发生改变来增加训练效率,所述清洗操作可以对数据中缺失值进行补充、重复数据进行删除等。本发明实施例中所述的量化及清洗过程可以通过Python中特有函数完成。

所述动量算法,可以确定所述训练过程的梯度下降方向,根据梯度下降的惯性,减少噪声等因素的干扰,增加梯度下降的稳定性。

本发明实施例中,所述动量算法使得相邻时间步的自变量更新在方向上更加一致,加快梯度下降速度。所述时间步为训练的次数,所述自变量为训练过程中训练结果与期望结果的差值。详细地,设所述动量算法的训练时间步t的自变量为x

γv

x

其中,所述γ为动量参数,满足0≤γ<1,g

步骤I、将所述量化数据等比例划分成K份;

步骤II、选择其中的K-1份量化数据作为训练数据以及剩余的1份量化数据作为测试数据,利用所述存储策略模型对所述训练数据进行分类计算,得到所述训练数据中的历史数据与不同产品存储服务的适合度。

本发明实施例利用K折交叉验证的训练方法是将所述量化数据等比例划分成K份,以其中的一份作为测试数据,其他的K-1份数据作为训练数据,为一次训练,并执行K次训练,从而使所述存储策略模型达到最优的过程。

步骤III、根据计算得到的适合度与所述匹配度集,计算所述存储策略模型的误差值,并判断所述误差值与预设的误差阈值的大小关系。

本发明实施例利用平方差公式计算所述适合度与所述匹配度集的误差值。

步骤IV、若所述误差值大于所述误差阈值,调整所述存储策略模型的内部参数,根据所述梯度下降方向,返回上述的步骤II,直至所述误差值小于所述误差阈值,执行步骤V。

本发明实施例根据所述动量算法产生所述梯度下降方向,加快所述步骤II至下述步骤V的训练过程,减少训练次数。步骤V、利用所述测试数据对所述存储策略模型进行验证,在验证不合格时,返回上述的步骤II,并在所述步骤II重复了K次时,得到训练完成的存储策略模型。

本发明实施例利用所述策略分析模型计算每个所述数据块与产品存储服务的适合度。

S4、根据所述适合度,将所述数据块存储至适合度最高的产品存储服务对应的云数据库中。

本发明实施例根据所述策略分析模型得到所述数据块集的适合度,其中一块所述数据块T在云数据库1至云数据库5的适合度分别为[0,80%,92%,30%,35%],通过比较所述存储适合度,则云数据库3及云数据库2具有较高适合度,则可以将所述数据块T存储至所述云数据库3及云数据库2中。

本发明实施例将不同存储逻辑的产品存储服务接口整合,构建云数据库,方便产品数据进行多存储,通过产品数据删重、分块,可以得到整洁的数据,增加数据存储效率,通过构建的存储策略模型可以判断不同数据块存储在不同云数据块中的适合度,可以选择最合适的存储方式保证数据安全性。因此,本发明实施例目的在于实现智能化的的数据多存储,增加数据存储容灾性,解决存储效率低的问题。

如图2所示,是本发明数据的多存储装置的模块示意图。

本发明所述数据的多存储装置100可以安装于电子设备中。根据实现的功能,所述数据的多存储装置可以包括数据库构造模块101、数据处理模块102、存储模块103。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。

在本实施例中,关于各模块/单元的功能如下:

所述数据库构造模块101,用于根据预设的不同存储逻辑的产品存储服务构建多个云数据库。

本发明实施例将预构建的多种不同存储逻辑的产品存储服务进行抽象,对应得到多种云数据库。

本发明实施例中,所述产品存储服务是将存储设备连接到现有的网络上来提供产品数据和文件存储的服务,包括分布式文件系统TFS、对象存储系统BOS等,不同的产品服务具有不同的存储逻辑,存储不同类型的文件。本发明实施例将所述产品存储服务的所述存储逻辑抽象出来,构建所述云数据库。所述云数据库是指被优化或部署到一个虚拟计算环境中的数据库。

详细地,本发明实施例中,所述数据库构造模块101用于:

对多个所述产品存储服务进行视图抽象,得到不同存储逻辑结构的所述云数据库,并将所述云数据库进行主备关系映射管理;针对所述存储逻辑结构进行包装,得到通用存储接口;将所述通用存储接口连接至各个所述云数据库上。

本发明实施例通过包装所述存储逻辑结构,得到通用存储接口,使得不同数据类型的数据可以通过所述通用存储接口分配至任意一个所述云数据库。

本发明较佳实施例中,每个所述存储逻辑结构称为一个视图。本发明实施例利用所述视图抽象,抽象提取出所述产品存储服务的所述存储逻辑结构,并根据所述存储逻辑结构,构建所述云数据库。

本发明其中一个实施例进一步构建备份数据库并在所述备份数据库中设置所述云数据库的自动调用权限,当所述云数据库中存储数据时,通过所述自动调取权限,可以将所述数据备份至所述备份数据库,防止因为所述云数据库损坏而造成的数据丢失,以增加数据的容灾性。

所述数据处理模块102,用于获取预设工作系统中的产品数据,并对所述产品数据进行删重及分块处理,得到数据块集。

本发明实施例中,所述预设工作系统可以是企业的用于管理日常交易记录的系统,或企业用于编写应用程序的平台等,企业中日常使用的系统。

详细地,本发明实施例中,所述获取预设工作系统中的产品数据,包括:

步骤A、连接预构建的客户端及本地私有云,通过所述客户端存储用户的校验密码数据,并利用所述本地私有云进行数据传输管理;

步骤B、利用所述工作系统的数据管理接口连接所述客户端;

步骤C、利用所述客户端中存储的所述校验密码数据对用户的数据存储请求进行验证;

步骤D、在所述用户的数据存储请求验证成功时,从预设的工作系统中获取所述产品数据。其中,所述本地私有云为一个能单独使用而构建的云,能够提供对数据的安全性和服务质量的最有效控制。本发明实施例中,所述本地私有云部署在企业数据中心的防火墙内,是一种企业的专有资源。

本发明实施例通过所述客户端,待所述用户完成所述客户端的注册工作,获取用户输入的所述校验密码数据。

进一步的,本发明实施例中,所述步骤A中所述利用所述本地私有云进行数据传输管理,包括:

当用户通过所述客户端发起数据存储请求时,将用户输入的登陆账号密码与所述所述校验密码数据进行校验;当校验未通过时,禁止调取所述工作系统中的数据;当校验通过时,利用私有云中的秘密共享算法,对将所述工作系统中的数据进行加密,并传输给所述客户端。

本发明实施例中,所述秘密共享算法的秘密共享是将秘密数据以适当的方式拆分,拆分后的每一个份额由不同的秘密持有者,单个秘密持有者无法恢复秘密数据,只有若干个秘密持有者一同协作才能恢复所述秘密数据。

本发明实施例中,当所述客户端接收到所述数据存储请求,接收用户输入的登陆账号密码,当所述登陆账号密码与所述校验密码数据相一致,完成校验过程。

进一步的,本发明实施例中,所述对所述产品数据进行删重及分块处理,得到数据块集,包括:在所述产品数据中检索并删除重复的产品数据,得到简洁数据;利用预构建的纠删码将所述简洁数据拆分为X份数据块,得到数据块集。

本发明实施例利用python中pandas库的对所述产品数据进行空值处理,将所述产品数据中空白部分利用左右的平均值进行替换,利用所述python中duplicated(keep=False)函数查看是否具有重复值。并利用函数drop_duplicates(keep=False,inplace=True)对所述产品数据中重复数据进行删除,得到所述简洁数据。

进一步的,本发明实施例中,所述利用预构建的纠删码将所述简洁数据拆分为X份数据块,得到数据块集,包括:

将所述简洁数据进行编码,得到编译数据;

分割所述编译数据,得到Z份数据块,利用所述纠删码对所述Z份数据块与预设编码矩阵进行矩阵乘积运算,得到Y份校验块;

将Z份所述数据块与Y份所述校验块进行集合,得到包含X份数据块,得到所述数据块集。

本发明实施例通过编码器对所述简洁数据进行编码,所述编码器为一种可以对所述简洁数据进行编制、转换为可用以通讯、传输和存储的信号形式的设备。

本发明实施例可以通过纠删码,将所述产品数据分割成Y份数据块与Z份校验块。所述纠删码可以将数据分割为片段即所述Y份数据块,并存储至不同区域,其中Z份校验块是根据Y份数据块的矩阵运算产生的,本发明实施例将所述Y份数据块与所述Z份校验块统一为X份所述数据块,其中X=Y+Z,本发明实施例设置所述X等于8、所述Y等于5、所述Z等于3。

所述存储模块103,用于构建存储策略模型,利用所述存储策略模型计算每个所述数据块与产品存储服务的适合度,及根据所述适合度,将所述数据块存储至适合度最高的产品存储服务对应的云数据库中。

详细地,本发明实施例中,所述存储模块103用于:

获取样本数据集,其中所述样本数据集包括所述预设工作系统的历史数据,以及所述历史数据对应的不同产品存储服务的匹配度集;利用所述样本数据集对预先构建的待训练存储策略模型进行训练,得训练完成的存储策略模型。

本发明实施例中,所述样本数据集为企业工作系统中历史各种类型的数据存储模式及存储效率。其中,所述工作系统用于存储企业日常工作的产品数据、交易记录等。

进一步地,本发明实施例中,所述S3中所述利用所述样本数据集对预先构建的待训练存储策略模型进行训练,得到训练完成的存储策略模型,包括:

将所述样本数据集进行量化及清洗操作,得到量化数据;利用动量算法,设置训练过程中梯度下降方向;根据所述梯度下降方向,利用所述量化数据对所述存储策略模型进行K折交叉校验训练,得到训练完成的存储策略模型。

本发明实施例利用所述向量化操作可以使文件数据类型发生改变来增加训练效率,所述清洗操作可以对数据中缺失值进行补充、重复数据进行删除等。本发明实施例中所述的量化及清洗过程可以通过Python中特有函数完成。

所述动量算法,可以确定所述训练过程的梯度下降方向,根据梯度下降的惯性,减少噪声等因素的干扰,增加梯度下降的稳定性。

本发明实施例中,所述动量算法使得相邻时间步的自变量更新在方向上更加一致,加快梯度下降速度。所述时间步为训练的次数,所述自变量为训练过程中训练结果与期望结果的差值。详细地,设所述动量算法的训练时间步t的自变量为x

γv

x

其中,所述γ为动量参数,满足0≤γ<1,g

进一步的,本发明实施例中,所述根据所述梯度下降方向,利用所述量化数据对所述存储策略模型进行K折交叉校验训练,得到训练完成的存储策略模型,包括:

步骤I、将所述量化数据等比例划分成K份;

步骤II、选择其中的K-1份量化数据作为训练数据以及剩余的1份量化数据作为测试数据,利用所述存储策略模型对所述训练数据进行分类计算,得到所述训练数据中的历史数据与不同产品存储服务的适合度。

本发明实施例利用K折交叉验证的训练方法是将所述量化数据等比例划分成K份,以其中的一份作为测试数据,其他的K-1份数据作为训练数据,为一次训练,并执行K次训练,从而使所述存储策略模型达到最优的过程。

步骤III、根据计算得到的适合度与所述匹配度集,计算所述存储策略模型的误差值,并判断所述误差值与预设的误差阈值的大小关系。

本发明实施例利用平方差公式计算所述适合度与所述匹配度集的误差值。

步骤IV、若所述误差值大于所述误差阈值,调整所述存储策略模型的内部参数,根据所述梯度下降方向,返回上述的步骤II,直至所述误差值小于所述误差阈值,执行步骤V。

本发明实施例根据所述动量算法产生所述梯度下降方向,加快所述步骤II至下述步骤V的训练过程,减少训练次数。

步骤V、利用所述测试数据对所述存储策略模型进行验证,在验证不合格时,返回上述的步骤II,并在所述步骤II重复了K次时,得到训练完成的存储策略模型。

本发明实施例将所述数据块通过所述策略分析模型,经过所述策略分析模型运行,得到所述每个所述数据块与所述产品存储服务的适合度。

本发明实施例根据所述策略分析模型得到所述数据块集的适合度,其中一块所述数据块T在云数据库1至云数据库5的适合度分别为[0,80%,92%,30%,35%],通过比较所述存储适合度,则云数据库3及云数据库2具有较高适合度80%,则将所述数据块T存储至所述云数据库3及云数据库2中。

如图3所示,是本发明实现数据的多存储方法的电子设备的结构示意图。

所述电子设备1可以包括处理器10、存储器11和总线,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如数据的多存储程序12。

其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如数据的多存储程序12的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如执行数据的多存储程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。

所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。

图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。

例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。

进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。

可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的数据的多存储程序12是多个计算机程序的组合,在所述处理器10中运行时,可以实现:

根据预设的不同存储逻辑的产品存储服务构建多个云数据库;

获取预设工作系统中的产品数据,并对所述产品数据进行删重及分块处理,得到数据块集;

构建存储策略模型,利用所述存储策略模型计算每个所述数据块与所述产品存储服务的适合度;

根据所述适合度,将所述数据块存储至适合度最高的产品存储服务对应的云数据库中。

进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。

进一步地,所述计算机可用存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。

本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:

根据预设的不同存储逻辑的产品存储服务构建多个云数据库;

获取预设工作系统中的产品数据,并对所述产品数据进行删重及分块处理,得到数据块集;

构建存储策略模型,利用所述存储策略模型计算每个所述数据块与所述产品存储服务的适合度;

根据所述适合度,将所述数据块存储至适合度最高的产品存储服务对应的云数据库中。

在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。

因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图表记视为限制所涉及的权利要求。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。

最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

相关技术
  • 数据存储方法和装置、数据查询方法和装置、数据结构、电子设备及计算机可读存储介质
  • 数据存储方法、装置、电子设备和计算机可读存储介质
技术分类

06120112554408