一种多源异构数据统一汇聚方法及系统

技术领域

本发明涉及多源异构数据处理领域，尤其涉及一种多源异构数据统一汇聚方法及系统。

背景技术

目前随着物联网技术的高速发展，各种终端、基础采集设备的数量和种类不断增加，每时每刻都会产生大量数据，这些数据种类繁多，来源多样，即为多源异构数据，这些多源异构数据数量庞大，应用传统的统一汇聚方法处理导致数据融合度不高，不利于后续的数据使用。

发明内容

(一)发明目的

为解决背景技术中存在的技术问题，本发明提出一种多源异构数据统一汇聚方法及系统。本发明通过数据采集模块采集多源数据信息，数据处理模块对数据进行分组、消除异构，并制作得到数据池，数据决策模型对数据池中数据的融合度进行检验，同时对数据池中的数据进行调整，直至达到预估融合度，再进行融合，实现对多源异构数据的统一汇聚，汇聚的融合度高，无效数据少，利于大量数据的分类存储，有效提高了后续查询的效率。

(二)技术方案

为解决上述问题，本发明提供了一种多源异构数据统一汇聚系统，系统包括客户端、云端服务器和存储器；客户端、云端服务器和存储器之间通过网络连接；客户端上设置有数据采集模块；云端服务器上设置有数据处理模块和数据融合模块；数据采集模块通过客户端采集多源数据信息，包括文字采集单元、图片采集单元和影音采集单元；数据处理模块与数据采集模块连接，包括数据分类单元、数据处理单元和数据匹配单元，数据处理模块将数据采集模块中的数据进行分组、消除异构，并根据类别分别提取出对应的数据特征群，再将数据特征群与已有数据特征群进行匹配，找出达到设定相关度的数据特征；数据融合模块包括数据汇聚单元、数据决策模型、数据调整单元和数据融合单元，数据融合模块通过新的数据、原有数据的数据特征汇聚，制作得到数据池，数据决策模型对数据池中数据的融合度进行检验，同时对数据池中的数据进行调整，直至达到预估融合度，再进行融合，融合结果返回存储器。

优选的，还包括监控模块；监控模块对系统中所有的数据行为进行监控、记录，并存储在存储器中，包括监控单元、记录单元和数据传输单元。

优选的，存储器包括数据存储单元、备份单元、加密单元和更新单元。

优选的，客户端上设置有查询模块；查询模块包括身份验证单元、查询申请单元和结果反馈单元。

优选的，云端服务器上设置有查询处理模块；查询处理模块用于查询模块和存储器的数据流通。

优选的，数据决策模型采用OWA的权重向量计算方法对数据池中的模糊数据进行处理；处理方式如下：

设：F：R

w

本发明又提供了一种多源异构数据统一汇聚方法，包括上述系统，方法步骤如下：

S1、用户通过客户端，输入所有的多源异构数据；

S2、对多源异构数据进行分类、消除异构，提取对应的数据特征，按照类别构成新的数据特征群；

S3、对新的数据特征群、原有数据特征群进行相关度查询，找出相关度达到设定值的原有数据特征群；

S4、将新的数据特征群与原有数据特征群放入一个数据池中；

S5、数据决策模型对数据池中的数据进行检验、调整，直至达到预估融合度，再进行融合；

S6、融合后的数据返回存储器；

S7、客户查询信息时，先经过身份验证，验证通过后，查询处理模块对客户端、存储器进行对接；

S8、客户获取查询信息。

优选的，在S5中数据决策模型将数据池中的重叠数据、错误数据进行剔除，对模糊数据进行量化。

本发明的上述技术方案具有如下有益的技术效果：

本发明通过数据采集模块采集多源数据信息，采集的类型全面、多样，接着数据处理模块对数据进行分组、消除异构，并根据类别分别提取出对应的数据特征群，再将数据特征群与已有数据特征群进行匹配，找出达到设定相关度的数据特征，然后数据融合模块通过新的数据、原有数据的数据特征汇聚，制作得到数据池，数据决策模型对数据池中数据的融合度进行检验，同时对数据池中的数据进行调整，直至达到预估融合度，再进行融合，实现对多源异构数据的统一汇聚，汇聚的融合度高，无效数据少，利于大量数据的分类存储，有效提高了后续查询的效率。

附图说明

图1为本发明提出的一种多源异构数据统一汇聚系统的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

实施例1

如图1所示，本发明提出的一种多源异构数据统一汇聚系统，系统包括客户端、云端服务器和存储器；客户端、云端服务器和存储器之间通过网络连接；客户端上设置有数据采集模块；云端服务器上设置有数据处理模块和数据融合模块；数据采集模块通过客户端采集多源数据信息，包括文字采集单元、图片采集单元和影音采集单元；数据处理模块与数据采集模块连接，包括数据分类单元、数据处理单元和数据匹配单元，数据处理模块将数据采集模块中的数据进行分组、消除异构，并根据类别分别提取出对应的数据特征群，再将数据特征群与已有数据特征群进行匹配，找出达到设定相关度的数据特征；数据融合模块包括数据汇聚单元、数据决策模型、数据调整单元和数据融合单元，数据融合模块通过新的数据、原有数据的数据特征汇聚，制作得到数据池，数据决策模型对数据池中数据的融合度进行检验，同时对数据池中的数据进行调整，直至达到预估融合度，再进行融合，融合结果返回存储器。

在一个可选的实施例中，还包括监控模块；监控模块对系统中所有的数据行为进行监控、记录，并存储在存储器中，包括监控单元、记录单元和数据传输单元。

在一个可选的实施例中，存储器包括数据存储单元、备份单元、加密单元和更新单元。

在一个可选的实施例中，客户端上设置有查询模块；查询模块包括身份验证单元、查询申请单元和结果反馈单元。

在一个可选的实施例中，云端服务器上设置有查询处理模块；查询处理模块用于查询模块和存储器的数据流通。

在一个可选的实施例中，数据决策模型采用OWA的权重向量计算方法对数据池中的模糊数据进行处理；处理方式如下：

设：F：R

w

实施例2

本发明又提供了一种多源异构数据统一汇聚方法，包括上述系统，方法步骤如下：

S1、用户通过客户端，输入所有的多源异构数据；

S2、对多源异构数据进行分类、消除异构，提取对应的数据特征，按照类别构成新的数据特征群；

S3、对新的数据特征群、原有数据特征群进行相关度查询，找出相关度达到设定值的原有数据特征群；

S4、将新的数据特征群与原有数据特征群放入一个数据池中；

S5、数据决策模型对数据池中的数据进行检验、调整，直至达到预估融合度，再进行融合；

S6、融合后的数据返回存储器；

S7、客户查询信息时，先经过身份验证，验证通过后，查询处理模块对客户端、存储器进行对接；

S8、客户获取查询信息。

在一个可选的实施例中，在S5中数据决策模型将数据池中的重叠数据、错误数据进行剔除，对模糊数据进行量化。

本发明通过数据采集模块采集多源数据信息，采集的类型全面、多样，接着数据处理模块对数据进行分组、消除异构，并根据类别分别提取出对应的数据特征群，再将数据特征群与已有数据特征群进行匹配，找出达到设定相关度的数据特征，然后数据融合模块通过新的数据、原有数据的数据特征汇聚，制作得到数据池，数据决策模型对数据池中数据的融合度进行检验，同时对数据池中的数据进行调整，直至达到预估融合度，再进行融合，实现对多源异构数据的统一汇聚，汇聚的融合度高，无效数据少，利于大量数据的分类存储，有效提高了后续查询的效率。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。