一种基于大数据的信息收集分析系统

技术领域

本发明涉及大数据分析领域，具体涉及一种基于大数据的信息收集分析系统。

背景技术

在大数据时代，网络中的信息量呈现爆炸式增长，如何实现这些数据的利用，从而是发挥其价值，是当前研究的热点。

目前，现有的信息收集分析系统直观显示数据较为单一，且多是利用人工计算对优质数据进行筛选，筛选计算方式较为单一，不能有效实时的获取需要的目标数据的同时，存在很大的信息采集漏洞，大大降低了大数据的可利用价值。

发明内容

为解决上述问题，本发明提供了一种基于大数据的信息收集分析系统，可以实现目标数据的实时高效采集、分析，将其转换成具有商业价值的可用数据，从而尽可能的发挥其价值。

为实现上述目的，本发明采取的技术方案为：

一种基于大数据的信息收集分析系统，包括：

数据挖掘模型构建模块，用于基于数据收集规则生成对应的数据挖掘模型；

数据分析模型构建模块，用于基于录入的数据分析目标生成对应的数据分析模型；

数据挖掘模块，用于采用网络爬虫模块基于数据挖掘模型实现目标数据的挖掘，生成目标数据集；

数据分析模块，用于为每一个目标数据集配置一个计算节点，并为每一个计算节点配置对应的数据分析模型，基于Hadoop同步运行数据分析模型实现目标数据集的分布式分析，得到对应的数据分析结果。

进一步地，所述数据挖掘模型构建模块内载数据挖掘模型训练程序和数据模型更新程序，每更新一次数据收集规则，数据挖掘模型训练程序/数据模型更新程序运行一次。

进一步地，所述数据分析模型构建模块内载数据分析模型训练程序和数据分析模型更新程序，每更新一次数据分析目标，数据分析模型训练程序/数据分析模型更新程序运行一次。

进一步地，还包括：

数据填充模块，用于基于NMKNN填充算法实现所采集到的目标数据的填充处理。

进一步地，还包括：

分析报表编制模块，用于基于预设的模板实现数据分析报表的编制，每一条分析条目均包括源目标数据集、数据分析目标及对应的分析结果。

进一步地，还包括：数据收集规则编制模块，用于根据录入的数据分析目标，基于网络爬虫模块根据数据分析目标实现与其存在关联关系的数据的挖掘，然后基于主成分法获取所挖掘到的数据的特征参数，即得数据收集规则。

进一步地，所述数据收集规则编制模块基于Bi-LSTM+Attention模型实现与其存在关联关系的数据的挖掘。

进一步地，还包括：自定义分析模块，用于根据用户预设的时间/数据对象/数据量区间，在到达预设的时间/或发现预设的数据对象/或到达预设的数据量区间时，启动对应的数据分析模型实现自定义区间内的目标数据集的分析。

本发明具有以下有益效果：

1)可以根据录入的数据分析目标实现各种目标数据的实时高效采集和分析，并将这些数据转换成具有商业价值的可用数据，从而尽可能的发挥其价值。

2)自带自定义分析功能，可以根据用户预设的时间/数据对象/数据量区间，在到达预设的时间/或发现预设的数据对象/或到达预设的数据量区间时，启动对应的数据分析模型实现自定义区间内的目标数据集的分析，从而实现特定的数据分析需求，进一步扩大系统功能。

3)自带数据采集规则生成功能，可以根据用户录入的数据分析目标在大数据内挖掘与所述数据分析目标存在关联关系的所有数据，从而可以实现数据采集规则的全面化，尽可能的减少甚至避免信息收集的漏洞。

附图说明

图1为本发明实施例一种基于大数据的信息收集分析系统的系统框图。

图2为本发明实施例一种基于大数据的信息收集分析系统的系统框图。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，一种基于大数据的信息收集分析系统，包括：

数据收集规则编制模块，用于根据录入的数据分析目标，基于网络爬虫模块根据数据分析目标实现与其存在关联关系的数据的挖掘，然后基于主成分法获取所挖掘到的数据的特征参数，即得数据收集规则；

数据挖掘模型构建模块，用于基于数据收集规则生成对应的数据挖掘模型；

数据分析模型构建模块，用于基于录入的数据分析目标生成对应的数据分析模型；

数据挖掘模块，用于采用网络爬虫模块基于数据挖掘模型实现目标数据的挖掘，生成目标数据集；

数据填充模块，用于基于NMKNN填充算法实现所采集到的目标数据的填充处理；

数据分析模块，用于为每一个目标数据集配置一个计算节点，并为每一个计算节点配置对应的数据分析模型，基于Hadoop同步运行数据分析模型实现目标数据集的分布式分析，得到对应的数据分析结果；

分析报表编制模块，用于基于预设的模板实现数据分析报表的编制，每一条分析条目均包括源目标数据集、数据分析目标及对应的分析结果；

中央处理模块，用于协调上述模块工作。

本实施例中，所述数据挖掘模型构建模块内载数据挖掘模型训练程序和数据模型更新程序，每更新一次数据收集规则，数据挖掘模型训练程序/数据模型更新程序运行一次。具体的，当更新的数据收集规则与原有规则存在关联关系时，则运行数据模型更新程序实现数据挖掘模型的更新，更新时，首先将构建新的数据收集规则与原始数据收集规则之间的关联关系，然后将关联关系作为限制条件微调原始的数据挖掘模型，即实现数据挖掘模型的更新，若更新的数据收集规则与原始数据收集规则不存在关联关系，则需启动数据挖掘模型训练程序进行新的数据挖掘模型的构建。

本实施例中，所述数据分析模型构建模块内载数据分析模型训练程序和数据分析模型更新程序，每更新一次数据分析目标，数据分析模型训练程序/数据分析模型更新程序运行一次。具体的，当更新的数据分析目标与原有数据分析目标存在关联关系时，则运行数据分析模型更新程序实现数据分析模型的更新，更新时，首先将构建新的数据分析目标与原始数据分析目标之间的关联关系，然后将关联关系作为限制条件微调原始的数据分析模型，即实现数据分析模型的更新，若更新的数据分析目标与原有数据分析目标不存在关联关系，则需启动数据分析模型训练程序进行新的数据挖掘模型的构建。

本实施例中，所述数据收集规则编制模块基于Bi-LSTM+Attention模型实现与其存在关联关系的数据的挖掘。

实施例2

如图2所示，一种基于大数据的信息收集分析系统，包括：

数据收集规则编制模块，用于根据录入的数据分析目标，基于网络爬虫模块根据数据分析目标实现与其存在关联关系的数据的挖掘，然后基于主成分法获取所挖掘到的数据的特征参数，即得数据收集规则；

数据挖掘模型构建模块，用于基于数据收集规则生成对应的数据挖掘模型；

数据分析模型构建模块，用于基于录入的数据分析目标生成对应的数据分析模型；

数据挖掘模块，用于采用网络爬虫模块基于数据挖掘模型实现目标数据的挖掘，生成目标数据集；

数据填充模块，用于基于NMKNN填充算法实现所采集到的目标数据的填充处理；

数据分析模块，用于为每一个目标数据集配置一个计算节点，并为每一个计算节点配置对应的数据分析模型，基于Hadoop同步运行数据分析模型实现目标数据集的分布式分析，得到对应的数据分析结果；

分析报表编制模块，用于基于预设的模板实现数据分析报表的编制，每一条分析条目均包括源目标数据集、数据分析目标及对应的分析结果；

自定义分析模块，用于根据用户预设的时间/数据对象/数据量区间，在到达预设的时间/或发现预设的数据对象/或到达预设的数据量区间时，启动对应的数据分析模型实现自定义区间内的目标数据集的分析；

中央处理模块，用于协调上述模块工作。

本实施例中，所述数据挖掘模型构建模块内载数据挖掘模型训练程序和数据模型更新程序，每更新一次数据收集规则，数据挖掘模型训练程序/数据模型更新程序运行一次。具体的，当更新的数据收集规则与原有规则存在关联关系时，则运行数据模型更新程序实现数据挖掘模型的更新，更新时，首先将构建新的数据收集规则与原始数据收集规则之间的关联关系，然后将关联关系作为限制条件微调原始的数据挖掘模型，即实现数据挖掘模型的更新，若更新的数据收集规则与原始数据收集规则不存在关联关系，则需启动数据挖掘模型训练程序进行新的数据挖掘模型的构建。

本实施例中，所述数据分析模型构建模块内载数据分析模型训练程序和数据分析模型更新程序，每更新一次数据分析目标，数据分析模型训练程序/数据分析模型更新程序运行一次。具体的，当更新的数据分析目标与原有数据分析目标存在关联关系时，则运行数据分析模型更新程序实现数据分析模型的更新，更新时，首先将构建新的数据分析目标与原始数据分析目标之间的关联关系，然后将关联关系作为限制条件微调原始的数据分析模型，即实现数据分析模型的更新，若更新的数据分析目标与原有数据分析目标不存在关联关系，则需启动数据分析模型训练程序进行新的数据挖掘模型的构建。

本实施例中，所述数据收集规则编制模块基于Bi-LSTM+Attention模型实现与其存在关联关系的数据的挖掘。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。