掌桥专利:专业的专利平台
掌桥专利
首页

基于区块链的数据获取方法、装置以及计算机设备

文献发布时间:2023-06-19 10:11:51


基于区块链的数据获取方法、装置以及计算机设备

技术领域

本发明涉及区块链领域,特别涉及一种基于区块链的数据获取方法、装置以及计算机设备。

背景技术

金融公司对于数据非常敏感,在实际业务管理上,对数据分析,数据可视化的依赖非常大。但是有的数据涉及到客户的隐私,不能直接进行使用,目前都是通过逐级收集原始数据,收集完毕后,再根据原始数据进行人为的编造数据,在原始数据收集的过程中数据可能会发生泄露。

发明内容

本发明的主要目的为提供一种基于区块链的数据获取方法、装置以及计算机设备,旨在解决在原始数据收集的过程中数据可能会发生泄露的问题。

本发明提供了一种基于区块链的数据获取方法,包括:

第一区块链节点接收用户终端获取数据的指令,并将所述指令同步至所述第一区块链节点所在的区块链上;

根据所述指令得到对应的待获取数据信息;

将所述待获取数据信息发送给第二区块链节点;其中,所述第二区块链节点为所述区块链上的节点;

接收所述第二区块链节点基于所述待获取数据信息获取到的相应的原始数据;

将所述原始数据进行脱敏预处理后得到对应的脱敏数据;

根据所述脱敏数据计算所述指令中对应的指标值;

将所述指标值发送至所述用户终端。

进一步地,所述根据所述指令得到对应的待获取数据信息的步骤,包括:

根据预设的相似度计算公式分别计算所述指令与多个预设的指令类别的相似度;

选择相似度最大的所述指令类别为目标指令类别,并选取所述目标指令类别对应的指令识别模型;

将所述指令输入至所述指令识别模型中进行识别,得到所述指令对应的所需计算的指标;

根据所述所需计算的指标,按照预设的数据对应关系得到所述待获取数据信息。

进一步地,所述将所述指标值发送至所述用户终端的步骤之前,还包括:

将所述指标值发送至数据管理方对应的第三区块链节点进行敏感值的核对;其中,所述第三区块链节点为所述区块链上的节点;

若核对结果为所述指标值不包含敏感数据,则认定所述指标值允许发送至所述用户终端。

进一步地,所述将所述指标值发送至数据管理方对应的第三区块链节点进行敏感值的核对的步骤之后,还包括:

若核对结果为所述指标值包含敏感数据;

则分析所述指标值中的敏感数据,得到所述敏感数据的类型;

根据所述敏感数据的类型对所述敏感数据进行脱敏处理。

进一步地,所述第一区块链节点接收用户终端获取数据的指令,并将所述指令同步至所述第一区块链节点所在的区块链上的步骤之前,还包括:

接收用户终端发送的数据获取协议;

向所述第二区块链节点发送所述数据获取协议;

若收到所述第二区块链节点返回的对所述数据获取协议的确认消息,则所述第一区块链节点根据所述数据获取协议生成所述智能合约并同步到所述区块链。

进一步地,所述将所述指标值发送至所述用户终端的数据的步骤之后,还包括:

获取所述用户终端基于所述指标值的测试方法和测试结果;

按照所述测试方法对所述原始数据进行相应的计算,得到对应的实际结果;

根据公式

所述测试结果的损失值;其中,y

判断所述损失值是否超过了预设损失值;

若没有超过所述预设损失值,则认定所述测试结果无误。

本发明还提供了一种基于区块链的数据获取装置,包括:

指令接收模块,用于接收用户终端获取数据的指令,并将所述指令同步至所述第一区块链节点所在的区块链上;

获取模块,用于根据所述指令得到对应的待获取数据信息;

发送模块,用于将所述待获取数据信息发送给第二区块链节点;其中,所述第二区块链节点为所述区块链上的节点;

原始数据接收模块,用于接收所述第二区块链节点基于所述待获取数据信息获取到的相应的原始数据;

脱敏模块,用于将所述原始数据进行脱敏预处理后得到对应的脱敏数据;

指标值计算模块,用于根据所述脱敏数据计算所述指令中对应的指标值;

指标值发送模块,用于将所述指标值发送至所述用户终端。

进一步地,获取模块,包括:

相似度计算子模块,用于根据预设的相似度计算公式分别计算所述指令与多个预设的指令类别的相似度;

目标指令选择子模块,用于选择相似度最大的所述指令类别为目标指令类别,并选取所述目标指令类别对应的指令识别模型;

指令识别子模块,用于将所述指令输入至所述指令识别模型中进行识别,得到所述指令对应的所需计算的指标;

获取子模块,用于根据所述所需计算的指标,按照预设的数据对应关系得到所述待获取数据信息。

本发明还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

本发明的有益效果:通过区块链的节点获取用户终端的获取数据的指令,从而获取到对应的原始数据,将原始数据进行脱敏预处理后得到的脱敏数据,并根据脱敏数据计算得到的指标值发送给对应的用户终端,用户终端无法直接得到真实的原始数据,保证了数据的安全性,进一步保证了客户的权益。

附图说明

图1是本发明一实施例的一种基于区块链的数据获取方法的流程示意图;

图2是本发明一实施例的一种基于区块链的数据获取结构的结构示意框图;

图3为本申请一实施例的计算机设备的结构示意框图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明,本发明实施例中所有方向性指示(诸如上、下、左、右、前、后等)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变,所述的连接可以是直接连接,也可以是间接连接。

本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。

另外,在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。

参照图1,本发明提出一种基于区块链的数据获取方法,包括:

S1:第一区块链节点接收用户终端获取数据的指令,并将所述指令同步至所述第一区块链节点所在的区块链上;

S2:根据所述指令得到对应的待获取数据信息;

S3:将所述待获取数据信息发送给第二区块链节点;其中,所述第二区块链节点为所述区块链上的节点;

S4:接收所述第二区块链节点基于所述待获取数据信息获取相应的原始数据;其中,所述第二区块链节点为所述区块链上的节点;

S5:将所述原始数据进行脱敏预处理后得到对应的脱敏数据;

S6:根据所述脱敏数据计算所述指令中对应的指标值;

S7:将所述指标值发送至所述用户终端。

如上述步骤S1所述,第一区块链节点接收用户终端获取数据的指令,并将所述指令同步至所述第一区块链节点所在的区块链上。用户终端会发出一个获取数据的指令,该指令中包含了用户终端所需要获取的数据信息,区块链中至少包括第一区块链节点以及第二区块链节点,第一区块链节点主要用于与用户终端数据连接,进行数据的往复,第二区块链节点主要用于在各个数据平台中搜集原始数据。

如上述步骤S2所述,根据所述指令得到对应的待获取数据信息。其中,指令中可以直接包含有对应的待获取数据信息,例如指令包含各业务的金额信息,则待获取数据信息为对应的金额信息。也可以是一些数据指标,例如为各个月份的总绩效值,则带获取数据信息为每天业务的绩效值。若为数据指标,后续实施例中有更加具体地带获取数据信息的获取方法此处不再赘述。

如上述步骤S3所述,将所述待获取数据信息发送给所述第二区块链节点,由第二区块链节点去获取对应的数据信息,而第一区块链节点无法获取对应的待获取数据信息,也使得用户终端无法从第一区块链节点处直接获取数据,从而保证了数据的保密性。

如上述步骤S4所述,接收所述第二区块链节点基于所述待获取数据信息获取相应的原始数据。即将待获取数据信息发送给第二区块链节点,由第二区块链节点对数据进行获取,获取的方式可以是通过爬虫技术进行获取,另外获取对应的原始数据为与待获取数据信息相关的数据,无关的数据可以进行获取以备用,也可以不用获取。

如上述步骤S5所述,将所述原始数据进行脱敏预处理后得到对应的脱敏数据,脱敏预处理的方式可以是进行数据的替换,赋值等脱敏预处理,将敏感数据进行修饰后再用于计算。例如姓名,则可以通过替换姓名中的一个字或者多个字,交易金额则可以事先设置几个等级,然后通过等级对金额进行替换。

如上述步骤S6所述,根据所述脱敏数据计算所述指令中对应的指标值。计算的方式根据指令中所需的指标进行计算,例如为平均值,方差值等进行对应的计算即可。

如上述步骤S7所述,将所述指标值发送至所述用户终端。将预处理后的指标值发送给用户终端,使用户终端没有获取到原始数据,原始数据并未发生了泄露,保证了原始数据的保密性,另外,用户终也获取到了可以用于计算的指标值,根据指标值的分析结果依然不失其真实性,依然可以对公司的数据进行分析。

在一个实施例中,所述根据所述指令得到对应的待获取数据信息的步骤S2,包括:

S201:根据预设的相似度计算公式分别计算所述指令与多个预设的指令类别的相似度;

S202:选择相似度最大的所述指令类别为目标指令类别,并选取所述目标指令类别对应的指令识别模型;

S203:将所述指令输入至所述指令识别模型中进行识别,得到所述指令对应的所需计算的指标;

S204:根据所述所需计算的指标,按照预设的数据对应关系得到所述待获取数据信息。

如上述步骤S201-S204所述,实现了根据指令获取对应的待获取数据信息。即先根据预设的相似度计算公式计算指令与各个指令类别的相似度,其中相似度计算公式可以为任意算法,例如为WMD算法(word mover’s distance)、simhash算法、基于余弦相似度的算法、基于SVM向量模型。然后可以筛选出相似度最高的指令类别作为指令的类别,根据获取的数据不同,指令也划分为多个类别,例如为计算各个部门的绩效,则可以指令的类别为绩效类别,然后通过预先训练好的绩效类别对应的指令识别模型进行识别,其中,各个类别对应的指令识别模型基于其所属类别的数据训练而成,其中,具体地训练方式为,输入指令以及指令所对应的指标,即输入指令后使未经训练的指令识别模型的输出结果为该指令所对应的指标,多次训练后,即可以得到训练好的指令识别模型。不同类别的指令识别模型通过对应类别的训练数据进行训练,因此,得到的指令识别模型可以更好的从指令中获取所需的指标,根据指标与待获取数据信息的数据对应关系,得到指标对应的待获取数据信息,由于指标值可能是部门的月总绩效值,则对应的待获取数据信息则为每天的绩效值,数据对应关系由各个平台统计的数据以及指标值的信息所确定。

在一个实施例中,所述将所述指标值发送至所述用户终端的步骤S7之前,还包括:

S601:将所述指标值发送至数据管理方对应的第三区块链节点进行敏感值的核对;其中,所述第三区块链节点为所述区块链上的节点;

S602:若核对结果为所述指标值不包含敏感数据,则认定所述指标值允许发送至所述用户终端。

如上述步骤S601-S602所述,即使对原始数据进行了脱敏处理,但是根据原始数据生成的指标值仍可能具有泄露客户信息的可能性,因此需要通过第三区块链节点对指标值进行核对,核对的方式可以是预先建立敏感信息配置表,检测指标值中是否存在有敏感信息配置表中的数据,其中敏感信息配置表中包括有各种易泄露信息的维度信息,当核对结果为所述指标值不包含敏感数据后才能将指标值发送给用户终端。从而进一步保证了数据的安全性和保密性。

在一个实施例中,所述将所述指标值发送至数据管理方第三区块链节点进行核对的步骤S601之后,还包括:

S6021:若核对结果为所述指标值包含敏感数据;

S6022:则分析所述指标值中的敏感数据,得到所述敏感数据的类型;

S6023:根据所述敏感数据的类型对所述敏感数据进行脱敏处理。

如上述步骤S6021-S46023所述,实现了对敏感数据的处理,即若第三区块链节点核对的结果为指标值包含了敏感数据,则将敏感数据进行提取,然后检测敏感数据的类型,若类型为姓名,则将所述姓名进行替换,若为金额,则将金额转化为对应标准的等级等脱敏处理,再将脱敏后的指标值发送至第三区块链节点进行核对,直至核对结果为允许发送至用户终端,才可将指标值发送给用户终端。避免数据泄露的可能性,进一步保证数据的安全,又可以自动对数据进行脱敏处理,减少人为的处理量。

在一个实施例中,所述第一区块链节点接收用户终端获取数据的指令,并将所述指令同步至所述第一区块链节点所在的区块链上的步骤S1之前,还包括:

S101:接收用户终端发送的数据获取协议;

S102:向所述第二区块链节点发送所述数据获取协议;

S103:若收到所述第二区块链节点返回的对所述数据获取协议的确认消息,则所述第一区块链节点根据所述数据获取协议生成所述智能合约并同步到所述区块链。

如上述步骤S101-S103所述,实现了对用户终端获取数据的消息记录。即用户需要发送一个数据获取协议,该数据获取协议中包含了用户终端所需要获取的指标值的信息,计算指标值所需要的原始数据信息等,当第二区块链节点确认数据获取协议无误后,第一区块链节点根据该数据获取协议生成对应的智能合约,该智能合约一方面可以对用户终端获取的数据进行记录,另外也可以实现第二区块链节点获取原始数据,避免区块链中没有此项功能而导致的无法获取原始数据。

在一个实施例中,所述将所述指标值发送至所述用户终端的数据的步骤S7之后,还包括:

S801:获取所述用户终端基于所述指标值的测试方法和测试结果;

S802:按照所述测试方法对所述原始数据进行相应的计算,得到对应的实际结果;

S803:根据公式

S804:判断所述损失值是否超过了预设损失值;

S805:若没有超过所述预设损失值,则认定所述测试结果无误。

如上述步骤S801-S805所述,实现了对用户终端的测试结果的检测,即先获取到用户终端基于指标值的测试方法和测试结果,按照测试方法对原始数据进行相应的计算,得到的实际结果的维度与测试结果的维度是相同的,因此,可以采取上述公式计算损失值,计算损失值是否超过了预设损失值,若是,则认定测试结果可以进行使用,在上述的过程中,用户终端不能获取到对应的原始数据,只能获取到最终的损失值计算结果,或者是判断结果,从而实现对测试结果的检测,可以判断用户终端的测试结果的可信度。

在一个实施例中,所述接收所述第二区块链节点基于所述待获取数据信息获取相应的原始数据的步骤S4之前,包括:

S301:第二区块链节点分析所述待获取数据信息的各个维度所属的平台;

S302:根据爬虫技术从各个所述平台中获取相应的数据,得到各个维度对应的数据列表;

S303:按照预设的提取方式从各所述数据列表中提取所述原始数据。

如上述步骤S301-S303所述,实现了对原始数据的获取,即先对带获取数据信息的各个数据进行分析,得到其所属的平台,其中分析的方式具体为,事先建立好各个数据的维度所在的平台的信息,然后根据数据的维度得到各个数据所属的平台。然后通过爬虫技术得到各个维度对应的数据列表,预设的提取方式可以是进行抽取,或者是获取某一时间段内的数据等提取方式,得到原始数据。从而实现了对原始数据的获取。

本发明的有益效果:通过区块链的节点获取用户终端的获取数据的指令,从而获取到对应的原始数据,将原始数据进行预处理后得到的指标值发送给对应的用户终端,用户终端无法直接得到真实的原始数据,保证了数据的安全性,进一步保证了客户的权益。

参照图2,本发明提供了一种基于区块链的数据获取装置,包括:

指令接收模块10,用于接收用户终端获取数据的指令,并将所述指令同步至所述第一区块链节点所在的区块链上;

获取模块20,用于根据所述指令得到对应的待获取数据信息;

发送模块30,用于将所述待获取数据信息发送给第二区块链节点;其中,所述第二区块链节点为所述区块链上的节点;

原始数据接收模块40,用于接收所述第二区块链节点基于所述待获取数据信息获取到的相应的原始数据;

脱敏模块50,用于将所述原始数据进行脱敏预处理后得到对应的脱敏数据;

指标值计算模块60,用于根据所述脱敏数据计算所述指令中对应的指标值;

指标值发送模块70,用于将所述指标值发送至所述用户终端。

在一个实施例中,获取模块20,包括:

相似度计算子模块,用于根据预设的相似度计算公式分别计算所述指令与多个预设的指令类别的相似度;

目标指令选择子模块,用于选择相似度最大的所述指令类别为目标指令类别,并选取所述目标指令类别对应的指令识别模型;

指令识别子模块,用于将所述指令输入至所述指令识别模型中进行识别,得到所述指令对应的所需计算的指标;

获取子模块,用于根据所述所需计算的指标,按照预设的数据对应关系得到所述待获取数据信息。

在一个实施例中,基于区块链的数据获取装置,还包括:

核对模块,用于将所述指标值发送至数据管理方对应的第三区块链节点进行敏感值的核对;其中,所述第三区块链节点为所述区块链上的节点;

认定模块,用于若核对结果为所述指标值不包含敏感数据,则认定所述指标值允许发送至所述用户终端。

在一个实施例中,基于区块链的数据获取装置,还包括:

类型获取模块,用于若核对结果为所述指标值包含敏感数据,则分析所述指标值中的敏感数据,得到所述敏感数据的类型;

脱敏模块,用于根据所述敏感数据的类型对所述敏感数据进行脱敏处理。

在一个实施例中,基于区块链的数据获取装置,还包括:

数据协议接收模块,用于接收用户终端发送的数据获取协议;

数据协议发送模块,用于向所述第二区块链节点发送所述数据获取协议;

智能合约生成模块,用于若收到所述第二区块链节点返回的对所述数据获取协议的确认消息,则所述第一区块链节点根据所述数据获取协议生成所述智能合约并同步到所述区块链。

在一个实施例中,基于区块链的数据获取装置,还包括:

测试方法获取模块,用于获取所述用户终端基于所述指标值的测试方法和测试结果;

实际结果计算模块,用于按照所述测试方法对所述原始数据进行相应的计算,得到对应的实际结果;

根据公式

损失值判断模块,用于判断所述损失值是否超过了预设损失值;

测试结果认定模块,用于若没有超过所述预设损失值,则认定所述测试结果无误。

参照图3,本申请实施例中还提供一种计算机设备,该计算机设备可以是服务器,其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储各种指标值等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时可以实现上述任一实施例所述的基于区块链的数据获取方法。

本领域技术人员可以理解,图3中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定。

本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时可以实现上述任一实施例所述的基于区块链的数据获取方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储与一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM一多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

相关技术
  • 基于区块链网络的数据获取方法、装置以及计算机设备
  • 基于区块链的数据获取方法、装置、计算机设备和存储介质
技术分类

06120112456763