一种智能金融大数据处理系统
文献发布时间:2023-06-19 11:14:36
技术领域
本发明属于数据处理技术领域,尤其涉及一种智能金融大数据处理系统。
背景技术
目前:随着经济和互联网的飞速发展,越来越多的金融业务开始在互联网上展开。其中,金融数据安全是金融业务在互联网上开展的前提,但传统的金融大数据处理系统大多以本地服务器为数据储存器,所以一旦本地服务器被不法分子恶意篡改,则后果不堪设想。同时,为保障客户端与客服端之间通讯的安全性,一般在客户端与客服端之间通讯前都会先进行通讯验证,通讯验证安全合格后才会建立客户端与客服端之间的通讯。但现有的通讯验证方法可靠性较差,不符合金融大数据通讯的高可靠性要求;并且进行金融数据的存储杂乱,难以满足使用调取需求。
通过上述分析,现有技术存在的问题及缺陷为:现有的通讯验证方法可靠性较差,不符合金融大数据通讯的高可靠性要求;并且进行金融数据的存储杂乱,难以满足使用调取需求。
发明内容
针对现有技术存在的问题,本发明提供了一种智能金融大数据处理系统。
本发明是这样实现的,一种智能金融大数据处理系统,所述智能金融大数据处理系统包括:
金融数据获取模块,与中央控制模块连接,用于通过金融数据获取程序获取金融数据存储数据库中的金融数据;
辅助信息获取模块,与中央控制模块连接,用于通过辅助信息获取程序从网页中进行辅助信息的获取;
所述通过辅助信息获取程序从网页中进行辅助信息的获取,包括:
由移动节点构成一个网络,网络中一个数据ID定义一种类型的数据,网络中能够提供同一种类型数据的移动节点构建成一个k-anycast组,所述k-anycast组由定义所述种类型数据的数据ID唯一标识,一个k-anycast组里的移动节点称为骨干节点;
在一个包含X个骨干节点且能提供数据C的k-anycast组中,其中,X≥2,骨干节点B
其中,X≥x≥1;
骨干节点或者移动节点的地址包括两个部分:i比特的网络前缀和j比特的节点ID;网络前缀包括k比特的数据ID和(i-k)比特的骨干ID,节点ID包括k比特的数据ID和(j-k)比特的内部ID,i,j和k为小于64的正整数;
骨干节点B启动后,创建一个临时地址,所述临时地址的网络前缀为i比特的随机数,节点ID为j比特的随机数;骨干节点B
骨干节点B
网络前缀为y的骨干节点根据公式
数据加密模块,与中央控制模块连接,用于通过数据加密程序对获取的金融数据进行加密,得到加密数据;
数据传输模块,与中央控制模块连接,用于通过数据传输程序进行加密数据的传输;
中央控制模块,与金融数据获取模块、辅助信息获取模块、数据加密模块、数据传输模块连接,用于通过主控机对各连接模块的运行进行控制,保证各个模块正常运行。
进一步,所述智能金融大数据处理系统还包括:
数据接收模块,与中央控制模块连接,用于通过数据接收程序进行加密数据的接收,并对接收的加密数据的解密,得到解密后的金融数据;
归一化处理模块,与中央控制模块连接,用于通过归一化处理程序对解密后的数据进行归一化处理,得到归一化数据;
数据分析模块,与中央控制模块连接,用于通过数据分析程序进行归一化数据的分析,得到数据分析结果;
分类整理模块,与中央控制模块连接,用于通过分类整理程序依据数据分析结果进行归一化数据的分类整理,得到整理后的金融数据;
数据库更新模块,与中央控制模块连接,用于通过数据库更新程序将整理后的金融数据导入数据库,进行金融数据存储数据库的更新,得到更新后的数据库。
进一步,所述辅助信息为与所述获取的金融数据具有直接相关性的信息。
进一步,所述通过金融数据获取程序获取金融数据存储数据库中的金融数据,包括:
进行金融数据所在的金融数据存储数据库的确定,所述金融数据存储数据库包括一个或多个数据元;
基于所述数据元对应的信息的提取路径,获取所述数据元对应的一个或多个金融数据的信息;所述金融数据的信息至少包括金融数据名称;
基于所述金融数据名称,将一个或多个所述金融数据的信息按照对应的金融数据名称进行关联;
基于关联的信息得到对应的结构化数据;基于所述数据元与所述金融数据的信息之间的对应关系,将所述结构化数据进行转化,得到对应所述数据元中的标准数据;
基于所述金融数据名称,将对应于同一所述金融数据名称的各所述标准数据分别与各所述标准数据对应的各所述数据元进行关联存储。
进一步,所述将所述结构化数据进行转化,得到对应所述数据元中的标准数据,包括:
配置JSON模板;
解析所述JSON模板到结构体数组;
根据所述结构体数组读取数组源,基于生成JSON文件的流程得到JSON文件。
进一步,所述通过归一化处理程序对解密后的数据进行归一化处理,得到归一化数据,包括:接收用户输入的实体归一化策略相关的规则参数;根据所述规则参数以及预设的代码生成规则,生成实体归一化策略对应的程序代码;运行所述实体归一化策略对应的程序代码,对预设的实体数据集合中的实体进行归一判定,以将相同实体进行聚类。
进一步,所述规则参数包括至少一个待比较的目标属性、所述目标属性对应的比较条件参数、以及各目标属性对应的比较条件之间组合的比较规则。
进一步,所述根据所述规则参数以及预设的代码生成规则,生成实体归一化策略对应的程序代码,包括:针对任意一个待比较的目标属性,根据所述目标属性的类型、以及所述目标属性对应的比较条件参数,获取所述目标属性的比较函数;根据每一比较规则,调用对应的比较函数、并确定逻辑运算类型,得到所述比较规则的程序代码;根据各比较规则的程序代码得到所述实体归一化策略对应的程序代码。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品,包括计算机可读程序,供于电子装置上执行时,提供用户输入接口以应用所述智能金融大数据处理系统。
本发明的另一目的在于提供一种计算机可读存储介质,储存有指令,当所述指令在计算机上运行时,使得计算机应用所述智能金融大数据处理系统。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明通过进行数据库中的金融数据的获取以及网页中与金融数据具有直接关联的信息的获取,实现对相关金融信息的绘制,便于进行金融大数据的分析,实现对金融数据的整理,得到的金融数据更加简洁、有条理,进行金融数据的使用更方便;通过进行金融数据的加密后的传输实现金融数据传输的安全性的增强,减少金融数据泄露的风险,实现金融数据安全保护。本发明提供的智能金融大数据处理系统结构简单,能够实现对金融数据的分析处理,以及对金融数据的传输存储的保护。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的智能金融大数据处理系统结构框图。
图2是本发明实施例提供的智能金融大数据处理方法流程图。
图3是本发明实施例提供的通过金融数据获取程序获取金融数据存储数据库中的金融数据流程图。
图4是本发明实施例提供的将所述结构化数据进行转化,得到对应所述数据元中的标准数据流程图。
图5是本发明实施例提供的根据所述规则参数以及预设的代码生成规则,生成实体归一化策略对应的程序代码流程图。
图中:1、金融数据获取模块;2、辅助信息获取模块;3、数据加密模块;4、数据传输模块;5、中央控制模块;6、数据接收模块;7、归一化处理模块;8、数据分析模块;9、分类整理模块;10、数据库更新模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种智能金融大数据处理系统,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的智能金融大数据处理系统包括:
金融数据获取模块1,与中央控制模块5连接,用于通过金融数据获取程序获取金融数据存储数据库中的金融数据;
辅助信息获取模块2,与中央控制模块5连接,用于通过辅助信息获取程序从网页中进行辅助信息的获取;
数据加密模块3,与中央控制模块5连接,用于通过数据加密程序对获取的金融数据进行加密,得到加密数据;
数据传输模块4,与中央控制模块5连接,用于通过数据传输程序进行加密数据的传输;
中央控制模块5,与金融数据获取模块1、辅助信息获取模块2、数据加密模块3、数据传输模块4、数据接收模块6、归一化处理模块7、数据分析模块8、分类整理模块9、数据库更新模块10连接,用于通过主控机对各连接模块的运行进行控制,保证各个模块正常运行;
数据接收模块6,与中央控制模块5连接,用于通过数据接收程序进行加密数据的接收,并对接收的加密数据的解密,得到解密后的金融数据;
归一化处理模块7,与中央控制模块5连接,用于通过归一化处理程序对解密后的数据进行归一化处理,得到归一化数据;
数据分析模块8,与中央控制模块5连接,用于通过数据分析程序进行归一化数据的分析,得到数据分析结果;
分类整理模块9,与中央控制模块5连接,用于通过分类整理程序依据数据分析结果进行归一化数据的分类整理,得到整理后的金融数据;
数据库更新模块10,与中央控制模块5连接,用于通过数据库更新程序将整理后的金融数据导入数据库,进行金融数据存储数据库的更新,得到更新后的数据库。
如图2所示,本发明实施例提供的智能金融大数据处理方法包括以下步骤:
S101,通过金融数据获取模块利用金融数据获取程序获取金融数据存储数据库中的金融数据;通过辅助信息获取模块利用辅助信息获取程序从网页中进行辅助信息的获取;
S102,通过数据加密模块利用数据加密程序对获取的金融数据进行加密,得到加密数据;通过数据传输模块利用数据传输程序进行加密数据的传输;
S103,通过中央控制模块利用主控机对各连接模块的运行进行控制,保证各个模块正常运行;通过数据接收模块利用数据接收程序进行加密数据的接收,并对接收的加密数据的解密,得到解密后的金融数据;
S104,通过归一化处理模块利用归一化处理程序对解密后的数据进行归一化处理,得到归一化数据;
S105,通过数据分析模块利用数据分析程序进行归一化数据的分析,得到数据分析结果;通过分类整理模块利用分类整理程序依据数据分析结果进行归一化数据的分类整理,得到整理后的金融数据;
S106,通过数据库更新模块利用数据库更新程序将整理后的金融数据导入数据库,进行金融数据存储数据库的更新,得到更新后的数据库。
本发明实施例提供的辅助信息为与所述获取的金融数据具有直接相关性的信息。
如图3所示,本发明实施例提供的通过金融数据获取程序获取金融数据存储数据库中的金融数据,包括:
S201,进行金融数据所在的金融数据存储数据库的确定,所述金融数据存储数据库包括一个或多个数据元;
S202,基于所述数据元对应的信息的提取路径,获取所述数据元对应的一个或多个金融数据的信息;所述金融数据的信息至少包括金融数据名称;
S203,基于所述金融数据名称,将一个或多个所述金融数据的信息按照对应的金融数据名称进行关联;
S204,基于关联的信息得到对应的结构化数据;基于所述数据元与所述金融数据的信息之间的对应关系,将所述结构化数据进行转化,得到对应所述数据元中的标准数据;
S205,基于所述金融数据名称,将对应于同一所述金融数据名称的各所述标准数据分别与各所述标准数据对应的各所述数据元进行关联存储。
如图4所示,本发明实施例提供的将所述结构化数据进行转化,得到对应所述数据元中的标准数据,包括:
S301,配置JSON模板;
S302,解析所述JSON模板到结构体数组;
S303,根据所述结构体数组读取数组源,基于生成JSON文件的流程得到JSON文件。
本发明实施例提供的通过金融数据获取程序获取金融数据存储数据库中的金融数据,包括:
由移动节点构成一个网络,网络中一个数据ID定义一种类型的数据,网络中能够提供同一种类型数据的移动节点构建成一个k-anycast组,所述k-anycast组由定义所述种类型数据的数据ID唯一标识,一个k-anycast组里的移动节点称为骨干节点;
在一个包含X个骨干节点且能提供数据C的k-anycast组中,其中,X≥2,骨干节点B
其中,X≥x≥1;
骨干节点或者移动节点的地址包括两个部分:i比特的网络前缀和j比特的节点ID;网络前缀包括k比特的数据ID和(i-k)比特的骨干ID,节点ID包括k比特的数据ID和(j-k)比特的内部ID,i,j和k为小于64的正整数;
骨干节点B启动后,创建一个临时地址,所述临时地址的网络前缀为i比特的随机数,节点ID为j比特的随机数;骨干节点B
骨干节点B
网络前缀为y的骨干节点根据公式
本发明实施例提供的通过归一化处理程序对解密后的数据进行归一化处理,得到归一化数据,包括:接收用户输入的实体归一化策略相关的规则参数;根据所述规则参数以及预设的代码生成规则,生成实体归一化策略对应的程序代码;运行所述实体归一化策略对应的程序代码,对预设的实体数据集合中的实体进行归一判定,以将相同实体进行聚类。
本发明实施例提供的规则参数包括至少一个待比较的目标属性、所述目标属性对应的比较条件参数、以及各目标属性对应的比较条件之间组合的比较规则。
如图5所示,本发明实施例提供的根据所述规则参数以及预设的代码生成规则,生成实体归一化策略对应的程序代码,包括:
S401,针对任意一个待比较的目标属性,根据所述目标属性的类型、以及所述目标属性对应的比较条件参数,获取所述目标属性的比较函数;
S402,根据每一比较规则,调用对应的比较函数、并确定逻辑运算类型,得到所述比较规则的程序代码;
S403,根据各比较规则的程序代码得到所述实体归一化策略对应的程序代码。
以上所述,仅为本发明较优的具体的实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
- 一种智能金融大数据处理系统
- 一种区块链金融大数据处理系统及方法