一种大数据分析处理方法以及系统

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种大数据分析处理方法以及系统。

背景技术

利用大数据进行分析预测是一种基于数据驱动的决策过程，它可以通过利用大数据的特性来揭示隐藏在数据中的规律、趋势和模式，并以此为依据对数据发展进行预测，大数据具有数据量大、速度快、类型多、价值高和真实性的特点，由于信息的爆炸式增长，信息分析、预测的工作量过于庞杂，需要较高的算力支持，所以一般会通过组建分布式架构的方式进行。

但是在日常运用过程中，因为综合运营的需要，常常会对节点进行调整，这就需要对节点中的数据进行迁移，继而导致所需要迁移的数据量巨大，耗费大量人力物力，因此，如何降低数据在迁移过程中的工作量是本发明所要解决的技术问题。

发明内容

本发明的目的在于提供一种大数据分析处理方法，以解决上述背景技术中提出的如何降低数据在迁移过程中的工作量的问题。

为实现上述目的，本发明提供如下技术方案：

一种大数据分析处理方法，所述方法包括：

获取待处理数据并提炼出待处理数据中的关键词；利用哈希函数对关键词进行哈希操作；

得到关键词所对应的哈希值；

确定节点，构建分布式架构，将待处理数据归入到节点中，并利用已构建的分布式架构对归入到节点中的数据进行大数据分析处理；

建立哈希值与各节点的对应关系，将哈希值映射到对应的节点中；

划分哈希值范围，若哈希值超出划分范围，则对哈希值中超出范围的部分进行取模，构建哈希环；若哈希值并未超出划分范围，直接将哈希值首尾相连，构建哈希环；

当需要删除某个节点时，将此节点上的数据迁移到哈希环上的下一个节点中；

基于迁移完成后重新确定的分布式架构，对待处理数据进行大数据分析处理。

进一步的，所述获取待处理数据并提炼出待处理数据中的关键词；并利用哈希函数对关键词进行哈希操作；得到关键词所对应的哈希值的步骤包括：

对获取到的数据进行清洗和预处理，将数据中的文本转化为可操作信息；

从可操作信息中提取关键词；

构建哈希函数，并利用哈希函数对关键词进行哈希操作；

计算关键词所对应的哈希值。

进一步的，所述确定节点，构建分布式架构，将待处理数据归入到节点中，并利用已构建的分布式架构对归入到节点中的数据进行大数据分析处理；建立哈希值与各节点的对应关系，将哈希值映射到对应的节点中的步骤包括：

基于所述节点，构建分布式架构，将获取到的数据存储到每个节点中；

对存储在节点中的数据进行大数据分析处理；

遍历关键词、节点和哈希值的对应关系，将关键词所对应的哈希值赋予到每个节点中；完成哈希值与每个节点的哈希映射。

进一步的，所述构建哈希环的步骤包括：

对哈希值中超出范围的部分进行取模，定义哈希值模数，利用哈希值模数对哈希值超出划分范围的部分进行取模；基于取模后获得的值域，构建哈希环；

若哈希值并未超出划分范围，直接将哈希值首尾相连，构建哈希环。

进一步的，所述当需要删除某个节点时，将此节点上的数据迁移到哈希环上的下一个节点中的步骤包括：

确定待删除节点，定义待删除节点上的数据为跃迁数据；

标记待删除节点位于哈希环上的下一个节点；

对跃迁数据的哈希值进行偏移，并将跃迁数据迁移到下一个节点中。

进一步的，所述基于迁移完成后重新确定的分布式架构，对待处理数据进行大数据分析处理的步骤包括：

在完成所述跃迁数据迁移后，基于待删除节点，重新确定节点的分布式架构；

利用重新确定的分布式架构对获取到的数据进行分析处理。

进一步的，所述方法还包括：

当需要添加某个新节点时，获取新节点的新哈希值；

在哈希环上找到第一个比新哈希值大的位置，将新节点插入到所述位置；

如果没有找到所述位置，则将新节点写入到哈希环的起始位置。

进一步的，所述系统包括：

计算模块，用于获取待处理数据并提炼出待处理数据中的关键词；利用哈希函数对关键词进行哈希操作；得到关键词所对应的哈希值；

构建模块，用于确定节点，构建分布式架构，将待处理数据归入到节点中；建立哈希值与各节点的对应关系，将哈希值映射到对应的节点中；划分哈希值范围，若哈希值超出划分范围，则对哈希值中超出范围的部分进行取模，构建哈希环；若哈希值并未超出划分范围，直接将哈希值首尾相连，构建哈希环；

大数据处理模块，可以利用已构建的分布式架构对归入到节点中的数据进行大数据分析处理

预测模块，能够在当需要删除某个节点时，将此节点上的数据迁移到哈希环上的下一个节点中；基于迁移完成后重新确定的分布式架构，对待处理数据进行大数据分析处理。

进一步的，所述计算模块包括：

关键词提取单元，能够对获取到的数据进行清洗和预处理，将数据中的文本转化为可操作信息；从可操作信息中提取关键词；

哈希值计算单元，用于构建哈希函数，并利用哈希函数对关键词进行哈希操作；计算关键词所对应的哈希值。

进一步的，所述构建模块包括：

数据存储单元，能够基于节点，构建分布式架构，将获取到的数据存储到节点中；

映射单元，能够遍历关键词、节点和哈希值的对应关系，将关键词所对应的哈希值赋予到每个节点中；完成哈希值与每个节点的哈希映射。

与现有技术相比，本发明的有益效果是：

通过构建分布式架构，对数据进行分布式分析处理，并根据处理结果，对数据的发展趋势进行预测，极大地提高了数据的处理速率；在分布式架构的基础上，通过利用节点构建哈希环，极大地降低了分布式架构在调整过程中的数据迁移量，在提高了分布式架构数据处理效果的同时，也进一步提高了数据处理的便利性。

附图说明

图1为本发明实施例提供的大数据分析处理方法的流程框图；

图2为本发明实施例提供的大数据分析处理方法的第一子流程框图；

图3为本发明实施例提供的大数据分析处理方法的第二子流程框图；

图4为本发明实施例提供的大数据分析处理方法的第三子流程框图；

图5为本发明实施例提供的大数据分析处理系统的组成框图；

图6为本发明实施例提供的大数据分析处理系统中计算模块的组成框图；

图7为本发明实施例提供的大数据分析处理系统中构建模块的组成框图；

图8为本发明实施例提供的大数据分析处理系统中预测模块的组成框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在实施例1中，图1示出了本发明实施例提供的大数据分析处理方法以及系统实现流程，以下对大数据分析处理系统进行详述，如下：

S100：获取待处理数据并提炼出待处理数据中的关键词；利用哈希函数对关键词进行哈希操作；得到关键词所对应的哈希值。

获取待处理数据，此处的待处理数据可以是数据库中的数据，也可以为人工输入的数据，提炼出待处理数据中的关键词，例如在金融领域，银行、证券公司等金融机构通过对大量客户数据进行分析，可以得出客户的信用评级、消费习惯和风险偏好等方面的规律，为金融机构的信贷和投资决策提供支持；当接收到客户数据时，提取出客户数据中的关键词，此处的关键词可以为客户年龄、职业、籍贯等，通过提炼关键词，可对客户数据进行初步处理，将客户数据输入到哈希函数中，可得到关键词所对应的哈希值，其中哈希值为一个固定长度的字符串，也可以为数字1、2、3等。

S200：确定节点，构建分布式架构，将待处理数据归入到节点中,建立哈希值与各节点的对应关系，将哈希值映射到对应的节点中；划分哈希值范围，若哈希值超出划分范围，则对哈希值中超出范围的部分进行取模，构建哈希环；若哈希值并未超出划分范围，直接将哈希值首尾相连，构建哈希环。

确定可以用于进行大数据处理的节点，利用这些节点组建分布式架构，将获得的哈希值对应到节点中，确定好节点和哈希值的对应关系；由于哈希值和关键词存在对应关系，所以也就完成了关键词和节点的对应关系，利用这样的对应关系对数据进行分类，将数据归入到不同的节点中；通过对数据进行分类，并利用节点，对数据进行大数据处理，极大地提高了数据的处理速率；

确定哈希值的范围，避免哈希值跨度过大，超出节点的承受范围，如果所计算出的哈希值超出划定好的范围，则对哈希值进行取模，从而构建哈希环；此外，由于哈希环的连续性，所以哈希环上相邻两个节点中的数据近似；

此处以哈希值为数字举例，当计算出的哈希值为1~10，可用于进行数据处理的节点的数量为8，则应划定哈希值的范围为1~8，并对9和10两个哈希值进行取模，得到一个由1~8哈希值组成的哈希环，从而构建节点的闭环。

例如：在金融领域，在完成对客户数据的关键词提取后，利用哈希函数，获得关键词的哈希值，并通过转换对应关系，对数据进行分类，将不同分类的数据归入到不同的节点中，从而在保证大数据运算速率的同时，减少各节点的算力消耗，得以满足更为庞杂的大数据处理需求。

S300：当需要删除某个节点时，将此节点上的数据迁移到哈希环上的下一个节点中；基于迁移完成后重新确定的分布式架构，对待处理数据进行大数据分析处理。

当需要删除某个节点时，该节点上的数据需要迁移到哈希环上的下一个节点中，（由于哈希环上相邻两个节点的数据存在相似性，所以并不会存在相斥现象，即数据种类差别过大）无需对哈希环上其他节点中的数据进行迁移，降低了数据迁移的工作量；在完成了数据迁移后，重新确定节点架构，并利用新的节点架构对获取到的数据进行分析处理。

S400：并利用已构建的分布式架构对归入到节点中的数据进行大数据分析处理；

当分布式架构构建完成后，利用节点，对其中的数据进行大数据分析处理。

在实施例2中，图2示出了本发明实施例提供的大数据分析处理方法以及系统实现流程，以下对获取待处理数据并提炼出待处理数据中的关键词；并利用哈希函数对关键词进行哈希操作；得到关键词所对应的哈希值的步骤进行详述，如下：

S101：对获取到的数据进行清洗和预处理，将数据中的文本转化为可操作信息；从可操作信息中提取关键词。

在收集到大量的待获取数据后，对获取到的数据进行清洗和预处理，以去除其中的噪声和不准确信息，提高数据的准确性，再将数据文本转化为可操作信息，通过利用gensim库、nltk库等现有的Python自然语言处理库，可轻而易举地将关键词从可操作信息中提取出；将获取到的数据转化为可操作信息，是为了降低关键词提取的工作量。

S102：构建哈希函数，并利用哈希函数对关键词进行哈希操作；计算关键词所对应的哈希值。

选择合适的哈希函数，利用哈希函数对关键词进行哈希操作，获取关键词所对应哈希值。

在实施例3中，图3示出了本发明实施例提供的大数据分析处理方法以及系统实现流程，以下对确定节点，构建分布式架构，将待处理数据归入到节点中，并利用已构建的分布式架构对归入到节点中的数据进行大数据分析处理；建立哈希值与各节点的对应关系，将哈希值映射到对应的节点中的步骤进行详述，如下：

S201：基于节点，构建分布式架构，将获取到的数据存储到每个节点中。

首先获取可以用于进行大数据处理的节点数量，并根据节点数量，构建分布式架构，其中节点架构中应包括用于进行数据处理的节点、为节点提供冗余的副本等；获取到的数据在经过关键词提取后，归入到对应的节点中。

S202：遍历关键词、节点和哈希值的对应关系，将关键词所对应的哈希值赋予到每个节点中；完成哈希值与每个节点的哈希映射；

遍历是指沿着某条搜索路线，依次对结构中每个节点均做一次访问，在本实施例中是指确认关键词、节点和哈希值的对应关系。

在实施例4中，图3示出了本发明实施例提供的大数据分析处理方法以及系统实现流程，以下对构建哈希环的步骤进行详述，如下：

S203：判断哈希值是否超出划分范围；

S2031：若哈希值并未超出划分范围，直接将哈希值首尾相连，并构建哈希环。

S2032：若所述哈希值超出划分范围，定义哈希值模数，利用哈希值模数对哈希值超出划分范围的部分进行取模，基于取模后的值域，构建哈希环。

如果哈希值并未超出划分范围，将哈希值的首尾相连，即可构建哈希环，如果计算出的哈希值并未超出划分范围，哈希值全部在划分范围内，则直接将哈希值的首尾连接，形成一个闭环，获得哈希环；

如果哈希值超出预先设定的范围（此范围应根据节点数量而决定），则定义哈希值模数，确定超出范围的哈希值，并利用超出范围的哈希值除以模数，对该部分哈希值进行取模，并根据取模后的数据，确定全体哈希值的值域，根据此值域构建哈希环。

在实施例5中，图4示出了本发明实施例提供的大数据分析处理方法以及系统实现流程，以下对当需要删除某个节点时，将此节点上的数据迁移到哈希环上的下一个节点中的步骤进行详述，如下：

S301：确定待删除节点，定义待删除节点上的数据为跃迁数据。

如果需要删除某个节点，则直接将该节点上的全部数据确定为跃迁数据，跃迁数据也就是需要转移到其他节点上的数据；

S302：标记待删除节点位于哈希环上的下一个节点。

当确定好跃迁数据后，在哈希环上确定删除的节点中的下一个节点；

S303：对跃迁数据的哈希值进行偏移，并将跃迁数据迁移到下一个节点中。

将跃迁数据的关键词的哈希值进行偏移，使得跃迁数据得以迁移到下一个节点中，且不会发生数据冲突；

如何减少跃迁数据的转移工作量，在本领域中，常用的操作方式为封包全部数据，重新组建新的分布式架构，再将封包数据重新分配到新的分布式架构中；由此可见，这样的操作方式会产生巨大的工作量，在本发明中，通过组建哈希环，当某个节点需要删除时，直接将该节点中的数据迁移到哈希环中的下一个节点即可；当需要频繁删除节点时，这样的操作方式会极大地降低数据迁移的工作量。

在实施例5中，图4示出了本发明实施例提供的大数据分析处理方法以及系统实现流程，以下对基于迁移完成后重新确定的分布式架构，对待处理数据进行大数据分析处理的步骤进行详述，如下：

S304：在完成所述跃迁数据迁移后，基于待删除节点，重新确定节点的分布式架构；

S305：利用重新确定的分布式架构对获取到的数据进行分析处理。

当跃迁数据迁移完成后，去除待删除节点，将剩下的其他节点重新确定为新的节点架构，最后利用新的节点架构对节点中的数据进行分析处理，从而实现对获取到的数据进行大数据处理。

在实施例6中，与实施例1不同的是，在本发明实施例中，

所述方法还包括：

当需要添加某个新节点时，获取新节点的新哈希值；

在哈希环上找到第一个比新哈希值大的位置，将新节点插入到所述位置；

如果没有找到所述位置，则将新节点写入到哈希环的起始位置。

在日常运行过程中，常常也会需要向分布式架构中添加节点，在添加前，需要获得新节点中数据的关键词，通过利用相同方法，获取新节点的哈希值，将新节点的哈希值插入到第一个比他大的位置，从而获得新的哈希环，如果没有找到更大的哈希值，则将新节点写入到哈希环的起始位置，从而最终实现对节点的添加。

图5示出了本发明实施例提供的大数据分析处理方法以及系统的组成结构框图，所述大数据分析处理方法以及系统1包括：

计算模块11，用于获取待处理数据并提炼出待处理数据中的关键词；利用哈希函数对关键词进行哈希操作；得到关键词所对应的哈希值；

构建模块12，用于确定节点，构建分布式架构，将待处理数据归入到节点中；建立哈希值与各节点的对应关系，将哈希值映射到对应的节点中；划分哈希值范围，若哈希值超出范围，则对哈希值中超出范围的部分进行取模，构建哈希环；

预测模块13，能够在需要删除某个节点时，将此节点上的数据迁移到哈希环上的下一个节点中；基于迁移完成后重新确定的分布式架构，对待处理数据进行大数据分析处理；

大数据处理模块14，可以利用已构建的分布式架构对归入到节点中的数据进行大数据分析处理。

图6示出了本发明实施例提供的大数据分析处理方法以及系统的组成结构框图，所述计算模块11包括：

关键词提取单元111，能够对获取到的数据进行清洗和预处理，将数据中的文本转化为可操作信息；从可操作信息中提取关键词；

哈希值计算单元112，用于构建哈希函数，并利用哈希函数对关键词进行哈希操作；计算关键词所对应的哈希值。

图7示出了本发明实施例提供的大数据分析处理方法以及系统的组成结构框图，所述构建模块12包括：

数据存储单元121，能够基于节点，构建分布式架构，将获取到的数据存储到节点中；

映射单元122，能够遍历关键词、节点和哈希值的对应关系，将关键词所对应的哈希值赋予到节点中；完成哈希值与节点的哈希映射。

判断单元123，判断哈希值是否超出划分范围；

连接单元124，可以判断若所述哈希值超出划分范围，定义哈希值模数，利用模数对哈希值超出范围的部分进行取模；基于取模后的值域，构建哈希环。

可以判断若哈希值并未超出划分范围，直接将哈希值首尾相连，构建哈希环。

图8示出了本发明实施例提供的大数据分析处理方法以及系统的组成结构框图，所述预测模块13包括：

定义单元131，能够确定待删除节点，定义待删除节点上的数据为跃迁数据；

标记单元132，可以标记待删除节点位于哈希环上的下一个节点；

迁移单元133，能够对跃迁数据的哈希值进行偏移，并将跃迁数据迁移到下一个节点中；

重构单元134，可以在完成所述跃迁数据迁移后，基于待删除节点，重新确定节点架构。

处理单元135，利用重新确定的节点架构对获取到的数据进行分析和预测。

其中，计算模块11用于完成步骤S100，构建模块12用于完成步骤S200，预测模块13用于完成步骤S300；大数据处理模块14主要用于完成步骤S400；

关键词提取单元111主要用于完成步骤S101，可以对数据进行初步处理，并从中提取出关键词；哈希值计算单元112主要用于完成步骤S102，能够计算出关键词所对应的哈希值；

数据存储单元121主要用于完成步骤S201，将数据存储到分布式架构中，映射单元122主要用于完成S202，确定哈希值与节点的对应关系，映射单元122用于完成S203，用于对哈希值是否超出范围进行判断，连接单元124用于完成S2031和S2032，主要用于构建哈希环；

定义单元131主要用于完成S301，从而确定跃迁数据，标记单元132主要用于完成S302，从而标记出哈希环上待删除节点的下一个节点，迁移单元133主要用于完成S303，将跃迁数据迁移到下一个节点中，重构单元134主要用于完成S304，从而重新确定节点架构，处理单元135主要用于完成S305，对获取到的数据进行处理分析。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。