一种基于大数据平台的数据处理方法及装置

技术领域

本发明涉及大数据分析领域，具体涉及一种基于大数据平台的数据处理方法及装置。

背景技术

在大数据时代，网络中的信息量呈现爆炸式增长，如何实现这些数据的利用，从而是发挥其价值，是当前研究的热点。目前，传统的大数据处理系统对数据处理时，各数据分析模型均处于一种独立状态，需人为进行当前数据量的监测，以及当前数据的录入，数据分析效率低下的同时，容易出错，同时，数据分析模型构建的过程大多以人为经验为主，未充分利用现有大数据内载的研究成果，数据分析结果片面的同时，精确度较低。

发明内容

为解决上述问题，本发明提供了一种基于大数据平台的数据处理方法及装置，可以实现各数据分析模型的全程自动唤醒和休眠，从而实现各种目标数据的主动获取，大大提高数据分析效率和分析结果的准确率。

为实现上述目的，本发明采取的技术方案为：

一种基于大数据平台的数据处理方法，包括如下步骤：

S1、根据数据分析目标生成数据采集规则集，并生成对应的数据分类模型；

S2、基于网络爬虫模块根据数据采集规则集在预设的网络基站上爬取对应的目标参数，生成目标参数集；

S3、基于目标参数集及对应的数据分析目标构建数据分析模型集，并构建各数据分析模型之间的关联关系；

S4、基于所述关联关系构建用于驱动各数据分析模型的运行脚本，实现数据分类模型及各数据分析模型的串联；

S5、基于完成串联的数据分类模型及各数据分析模型实现数据的处理。

进一步地，所述步骤S1中，基于数据挖掘模块根据数据分析目标在大数据平台挖掘与其存在关联关系的数据，然后基于人工和机器学习相结合的方式生成数据采集规则集，最后基于各数据采集规则集对应的特征数据生成对应的数据分类模型。

进一步地，所述步骤S1中，所述数据分类模型采用Bi-LSTM+Attention模型。

进一步地，所述步骤S4中，通过运行脚本的运行实现数据分类模型以及各数据分析模型的唤醒，未唤醒的数据分类模型和数据分析模型处于休眠状态。

进一步地，所述步骤S5中，数据经数据分类模型分类后自动输入对应的数据分析模型串，生成数据分析报表，数据分类模型的分类结果及每一个数据分析模型所得的数据分析结果均自动登记在分析报表内。

进一步地， 还包括基于深度学习的不完整数据填充算法实现数据填充的步骤。

进一步地，每一个数据分析模型均配置一数据量监测模型，即用于实现当前待输入数据量的监测，当监测到的数据量达到预设的区间时，运行脚本运行驱动数据分析模型实现数据的自动输入和分析。

本发明还提供了一种基于大数据平台的数据处理装置，采用上述的方法实现数据的处理。

本发明具有以下有益效果：

1）基于大数据内载的研究成果实现数据分析模型的构建，大大提高数据分析结果的精确度。

2）可以实现各数据分析模型的全程自动唤醒和休眠，从而实现各种目标数据的主动获取，大大提高数据分析效率和分析结果的准确率。

3）以报表的形式实现数据分类模型分类结果以及各数据分析模型分析结果的汇总，分析结果一目了然，大大方便了用户后续对数据的调用。

附图说明

图1为本发明实施例1一种基于大数据平台的数据处理方法的流程图。

图2为本发明实施例2一种基于大数据平台的数据处理方法的流程图。。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，一种基于大数据平台的数据处理方法，包括如下步骤：

S1、根据数据分析目标生成数据采集规则集，并生成对应的数据分类模型；

S2、基于网络爬虫模块根据数据采集规则集在预设的网络基站上爬取对应的目标参数，生成目标参数集；

S3、基于目标参数集及对应的数据分析目标构建数据分析模型集，并构建各数据分析模型之间的关联关系；

S4、基于所述关联关系构建用于驱动各数据分析模型的运行脚本，实现数据分类模型及各数据分析模型的串联；

S5、基于完成串联的数据分类模型及各数据分析模型实现数据的处理。

本实施例中，所述步骤S1中，基于数据挖掘模块根据数据分析目标在大数据平台挖掘与其存在关联关系的数据，然后基于人工和机器学习相结合的方式生成数据采集规则集，最后基于各数据采集规则集对应的特征数据生成对应的数据分类模型。

本实施例中，所述步骤S1中，所述数据分类模型采用Bi-LSTM+Attention模型。

本实施例中，所述步骤S4中，通过运行脚本的运行实现数据分类模型以及各数据分析模型的唤醒，未唤醒的数据分类模型和数据分析模型处于休眠状态。

本实施例中，所述步骤S5中，数据经数据分类模型分类后自动输入对应的数据分析模型串，生成数据分析报表，数据分类模型的分类结果及每一个数据分析模型所得的数据分析结果均自动登记在分析报表内。

本实施例中，每一个数据分析模型均配置一数据量监测模型，即用于实现当前待输入数据量的监测，当监测到的数据量达到预设的区间时，运行脚本运行驱动数据分析模型实现数据的自动输入和分析。

实施例2

如图2所示，一种基于大数据平台的数据处理方法，包括如下步骤：

S1、根据数据分析目标生成数据采集规则集，并生成对应的数据分类模型；

S2、基于网络爬虫模块根据数据采集规则集在预设的网络基站上爬取对应的目标参数，生成目标参数集；

S3、基于目标参数集及对应的数据分析目标构建数据分析模型集，并构建各数据分析模型之间的关联关系；

S4、基于所述关联关系构建用于驱动各数据分析模型的运行脚本，实现数据分类模型及各数据分析模型的串联；

S5、基于深度学习的不完整数据填充算法实现数据填充；

S6、基于完成串联的数据分类模型及各数据分析模型实现数据的处理。

本实施例中，所述步骤S1中，基于数据挖掘模块根据数据分析目标在大数据平台挖掘与其存在关联关系的数据，然后基于人工和机器学习相结合的方式生成数据采集规则集，最后基于各数据采集规则集对应的特征数据生成对应的数据分类模型。

本实施例中，所述步骤S1中，所述数据分类模型采用Bi-LSTM+Attention模型。

本实施例中，所述步骤S4中，通过运行脚本的运行实现数据分类模型以及各数据分析模型的唤醒，未唤醒的数据分类模型和数据分析模型处于休眠状态。

本实施例中，所述步骤S5中，数据经数据分类模型分类后自动输入对应的数据分析模型串，生成数据分析报表，数据分类模型的分类结果及每一个数据分析模型所得的数据分析结果均自动登记在分析报表内。

本实施例中，每一个数据分析模型均配置一数据量监测模型，即用于实现当前待输入数据量的监测，当监测到的数据量达到预设的区间时，运行脚本运行驱动数据分析模型实现数据的自动输入和分析。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。