一种大数据数据颗粒算法系统

技术领域

本发明涉及数据深度挖掘技术领域，尤其涉及一种大数据数据颗粒算法系统。

背景技术

大数据IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有数据量大、速度快、类型多、价值高、真实性强的特点。大数据作为时下最火热的IT行业的词汇，随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点，随着大数据的逐渐运用，大数据挖掘算法系统也应运而生，大数据挖掘将获取的海量信息进行搜索查找和删除，获得用户所需数据信息，但是在对大数据筛选提取中由于数据量庞大，因此会遗漏数据中的有效信息，造成资源的流失，为了深度将大数据中的有效信息提取，我们提出一种大数据数据颗粒算法系统。

发明内容

本发明提出的一种大数据数据颗粒算法系统，解决现有数据提取算法中由于数据量庞大对，会遗漏数据中的有效信息，造成资源的流失等问题。

为了实现上述目的，本发明采用了如下技术方案：

一种大数据数据颗粒算法系统，包括一层计算系统、二层计算系统和三层计算系统，所述一层计算系统包括数据提取模块，所述数据提取模块的输出端连接有过滤去除模块，所述过滤去除模块的输出端连接有数据获取模块，所述数据获取模块的输出端连接有检索计算模块，所述检索计算模块的输出端连接有备份传输模块，所述备份传输模块的输出端连接有检验查重模块，所述检验查重模块的输出端连接有结果显示模块，所述二层计算系统包括筛选获得模块、深度挖掘模块和定向传输模块，所述三层计算系统包括数据剥离模块、破解检索模块和筛选备份模块。

优选的，所述结果显示模块包括展示单元、列表单元、图表单元和分析单元，所述展示单元包括展示面板，所述列表单元用于将多层算法获得的大数据计算结果全部展示，所述图表单元用于将大数据计算结果通过图表化显示，所述分析单元用于对大数据计算结果对照分析，获得结果直接的差异。

优选的，所述一层计算系统与二层计算系统之间连接有数据传输模块，所述数据传输模块将过滤去除模块中删除的数据上传至二层计算系统进行深度计算。

优选的，所述二层计算系统和三层计算系统的输出端均与检验查重模块的输入端连接，所述检验查重模块用于对一层计算系统、二层计算系统和三层计算系统获得的数据结果进行合并后查重，并将重复结果删除保留一组数值。

优选的，所述数据提取模块用于需要计算的数组进行有效信息提取，有效信息用户自定义设置关键词查询，所述过滤去除模块将提取有效数据后的无效数据集中去除，并将无效数据上传至数据传输模块中，所述数据获取模块识别有效数据同步将信息上传至检索计算模块，所述检索计算模块对有效数据进行检索查找并将查找结果上传至备份传输模块，备份传输模块将检索结果备份后传输至检验查重模块。

优选的，所述检验查重模块具有暂停传输数据的功能，所述三层计算系统中的数据剥离模块用于将有效数据再次剥离分解，获得数据颗粒，并将数据打乱重组，所述破解检索模块用于对重组数据进行再次查找检索，所述筛选备份模块筛选重组的有效数据，并将重组的有效数据备份后上传至检验查重模块。

优选的，所述二层计算系统中的筛选获得模块用于对删除的数据再次检索数据并将检索获得的数据上传是深度挖掘模块，所述深度挖掘模块在检索数据中将数据划分颗粒再次查找挖掘有效数据，并将获得的有效数据通过定向传输模块打包后上传至检验查重模块中。

与现有的技术相比，本发明的有益效果是：本发明通过一层计算系统初步将大数据中的有效信息提取，并将无效数据通过数据传输模块上传至二层计算系统中，二层计算系统对删除数据再次深度挖掘，将数据重新分解至更深一层，获得颗粒数据后对颗粒数据再次提取挖掘，使得数据获得的更加深层，三层计算系统将一层计算系统将有效数据再次剥离分解，获得数据颗粒，并将数据打乱重组，对数据重组会获得不同的数据组，从数据组中再次查找是否含有有效信息，一层计算系统、二层计算系统和三层计算系统将所有查找计算出的有效数据上传至检验查重模块中汇总查找，并将重复数据删除至一组，用过结果显示模块将有效数据多种方式显示，便于用户观察分析；

综上所述，该发明计算方法深层，将数据深层挖掘重组计算，获得大数据中隐藏信息，提高大数据有效信息获取率，避免资源流失，适合推广使用。

附图说明

图1为本发明提出的一种大数据数据颗粒算法系统的原理框图；

图2为本发明提出的一种大数据数据颗粒算法系统的部分原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

参照图1-2，一种大数据数据颗粒算法系统，包括一层计算系统、二层计算系统和三层计算系统，一层计算系统包括数据提取模块，数据提取模块的输出端连接有过滤去除模块，过滤去除模块的输出端连接有数据获取模块，数据获取模块的输出端连接有检索计算模块，检索计算模块的输出端连接有备份传输模块，备份传输模块的输出端连接有检验查重模块，检验查重模块的输出端连接有结果显示模块，二层计算系统包括筛选获得模块、深度挖掘模块和定向传输模块，三层计算系统包括数据剥离模块、破解检索模块和筛选备份模块。

本实施例中，结果显示模块包括展示单元、列表单元、图表单元和分析单元，展示单元包括展示面板，列表单元用于将多层算法获得的大数据计算结果全部展示，图表单元用于将大数据计算结果通过图表化显示，分析单元用于对大数据计算结果对照分析，获得结果直接的差异。

本实施例中，一层计算系统与二层计算系统之间连接有数据传输模块，数据传输模块将过滤去除模块中删除的数据上传至二层计算系统进行深度计算。

本实施例中，二层计算系统和三层计算系统的输出端均与检验查重模块的输入端连接，检验查重模块用于对一层计算系统、二层计算系统和三层计算系统获得的数据结果进行合并后查重，并将重复结果删除保留一组数值。

本实施例中，数据提取模块用于需要计算的数组进行有效信息提取，有效信息用户自定义设置关键词查询，过滤去除模块将提取有效数据后的无效数据集中去除，并将无效数据上传至数据传输模块中，数据获取模块识别有效数据同步将信息上传至检索计算模块，检索计算模块对有效数据进行检索查找并将查找结果上传至备份传输模块，备份传输模块将检索结果备份后传输至检验查重模块。

本实施例中，检验查重模块具有暂停传输数据的功能，三层计算系统中的数据剥离模块用于将有效数据再次剥离分解，获得数据颗粒，并将数据打乱重组，破解检索模块用于对重组数据进行再次查找检索，筛选备份模块筛选重组的有效数据，并将重组的有效数据备份后上传至检验查重模块。

本实施例中，二层计算系统中的筛选获得模块用于对删除的数据再次检索数据并将检索获得的数据上传是深度挖掘模块，深度挖掘模块在检索数据中将数据划分颗粒再次查找挖掘有效数据，并将获得的有效数据通过定向传输模块打包后上传至检验查重模块中。

本实施例中，通过一层计算系统初步将大数据中的有效信息提取，并将无效数据通过数据传输模块上传至二层计算系统中，二层计算系统对删除数据再次深度挖掘，将数据重新分解至更深一层，获得颗粒数据后对颗粒数据再次提取挖掘，使得数据获得的更加深层，三层计算系统将一层计算系统将有效数据再次剥离分解，获得数据颗粒，并将数据打乱重组，对数据重组会获得不同的数据组，从数据组中再次查找是否含有有效信息，一层计算系统、二层计算系统和三层计算系统将所有查找计算出的有效数据上传至检验查重模块中汇总查找，并将重复数据删除至一组，用过结果显示模块将有效数据多种方式显示。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。