一种多系统数据分析系统及方法

技术领域

本发明属于数据处理技术领域，具体涉及一种多系统数据分析系统及方法。

背景技术

在日常生产、销售等活动中，往往需要大量的业务系统，分别用于不同的应用场景；而这些系统彼此独立，无法实现快速、有效的信息共享。

由于各系统信息分散，缺乏集中管理手段，不能结合动态数据和静态数据进行实时分析，无法为优化管理、智能决策和互联网应用提供数据支持。

发明内容

本发明的目的在于提供一种多系统数据分析系统，克服了现有技术的不足，通过采集多个系统的数据，经过数据清洗、融合之后将多系统的数据融合在一起，再对数据进行分析，并将分析结果可视化展示，实现多系统的协同。

为解决上述问题，本发明所采取的技术方案如下：

一种多系统数据分析系统，包括

数据采集模块，用于分别连接多个系统，获取多个系统上传的数据；

数据清洗模块，与数据采集模块连接，用于获取数据采集模块所采集的数据，并将数据按照统一名称、格式及类型进行清洗；

数据融合模块，与数据清洗模块连接，用于将清洗之后的数据整理融合，并根据数据的业务属性进行关联；

数据分析模块，与数据融合模块连接，用于将融合关联后的数据进行综合分析；

可视化展示模块，与数据分析模块连接，用于根据综合分析的结果，将数据制成直观反馈的图表。

进一步，所述系统还包括数据存储模块以及随机抽检模块，所述数据存储模块分别与数据清洗模块、数据融合模块以及数据分析模块连接，用于分类存储各个模块的数据，所述随机抽检模块与数据存储模块连接，用于获取不同模块对应的数据，对其质量进行检测。

进一步，所述数据清洗模块对数据进行清洗，包括以下步骤：

步骤一、对获取的数据进行遍历，删除其中重复、空置以及逻辑错误的数据；

步骤二、根据数据编码规范，建立数据字典编码，形成数据与编码的键值对映射，通过数据字典关联出与代码数据项对应的数据，将不同类型的数据转换成同一类型的数据；

步骤三、将同一类型、不同格式的数据，配置清洗规则，通过 ETL 过程， 转换形成相同的数据格式。

进一步，所述数据融合模块根据业务模型，将清洗标准化后的来源数据基于业务数据进行关联，根据数据的业务属性汇聚形成多个窄表，每一个表只存储某个业务属性的数据，形成一个数据集。

进一步，所述数据分析模块采用基于深度学习的多元回归模型，所述多元回归模型的表达式为：

其中，a,α,β为系数，x

进一步，所述多元回归模型的训练方法包括：

将数据分为测试集和训练集，比例根据工业生产产品的不同作出适当调整，然后开始训练，根据BP算法对权值不断进行逆向更新，直到总的损失函数低于设置的阈值，在训练过程中，设定每训练10次进行一次测试，即用测试集进行测试对比结果。

进一步，所述可视化展示模块包括图表单元、操作单元以及统计单元，

所述图表单元采用Highcharts绘图插件，用于将数据进行绘图并展示；

所述操作单元与图表单元连接，用于根据操作单元中的不同操作，使图表单元将数据重新绘图并展示；

所述统计单元与操作单元连接，用于根据操作单元中的不同操作，对数据进行分析，并生成可视化的图表。

本发明还保护了一种多系统数据分析方法，包括以下步骤：

步骤一、通过数据采集模块与多个系统连接，获取多个系统上传的数据；

步骤二、将获取的数据传输至数据清洗模块，将数据按照统一名称、格式及类型进行清洗；

步骤三、将清洗后的数据传输至数据融合模块，将数据信息整理融合，并根据数据的业务属性进行关联；

步骤四、将关联后的数据进行综合分析，得出需要的数据；

步骤五、将数据传输至可视化展示模块，将数据制成柱状图、饼状图或折线图。

本发明与现有技术相比较，具有以下有益效果：

本发明所述一种多系统数据分析系统，通过将多系统的数据采集之后，将其按照统一名称、格式及类型进行清洗，然后再进行融合，使其与对应的业务属性关联，再通过业务需求对对应的数据进行分析，最后将分析结果以图表的形式反馈；解决了多系统之间信息不互通，统计分析困难的问题，实现了多系统的协同工作。

附图说明

图1为一种多系统数据分析系统的结构原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本实施例公开了一种多系统数据分析系统，包括

数据采集模块，用于分别连接多个系统，获取多个系统上传的数据；

数据清洗模块，与数据采集模块连接，用于获取数据采集模块所采集的数据，并将数据按照统一名称、格式及类型进行清洗；

数据融合模块，与数据清洗模块连接，用于将清洗之后的数据整理融合，并根据数据的业务属性进行关联；

数据分析模块，与数据融合模块连接，用于将融合关联后的数据进行综合分析；

可视化展示模块，与数据分析模块连接，用于根据综合分析的结果，将数据制成直观反馈的图表。

系统还包括数据存储模块以及随机抽检模块，数据存储模块分别与数据清洗模块、数据融合模块以及数据分析模块连接，用于分类存储各个模块的数据，随机抽检模块与数据存储模块连接，用于获取不同模块对应的数据，对其质量进行检测；随机抽检模块定时或者按照客户选择，随机抽取数据清洗模块内数据清洗前后对应数据、数据融合模块处理的数据以及数据分析模块分析的数据，对照对应数据的清洗、融合及分析结果，从而对数据处理的准确性进行验证，如果有偏差可以及时发现问题，进行对应的修正。

数据清洗模块对数据进行清洗，包括以下步骤：

步骤一、对获取的数据进行遍历，删除其中重复、空置以及逻辑错误的数据；

步骤二、根据数据编码规范，建立数据字典编码，形成数据与编码的键值对映射，通过数据字典关联出与代码数据项对应的数据，将不同类型的数据转换成同一类型的数据；

步骤三、将同一类型、不同格式的数据，配置清洗规则，通过 ETL 过程， 转换形成相同的数据格式。

数据融合模块根据业务模型，将清洗标准化后的来源数据基于业务数据进行关联，根据数据的业务属性汇聚形成多个窄表，每一个表只存储某个业务属性的数据，形成一个数据集。

数据分析模块采用基于深度学习的多元回归模型，多元回归模型的表达式为：

其中，a,α,β为系数，x

多元回归模型的训练方法包括：

将数据分为测试集和训练集，比例根据工业生产产品的不同作出适当调整，然后开始训练，根据BP算法对权值不断进行逆向更新，直到总的损失函数低于设置的阈值，在训练过程中，设定每训练10次进行一次测试，即用测试集进行测试对比结果。

可视化展示模块包括图表单元、操作单元以及统计单元，

图表单元采用Highcharts绘图插件，用于将数据进行绘图并展示；

操作单元与图表单元连接，用于根据操作单元中的不同操作，使图表单元将数据重新绘图并展示；

统计单元与操作单元连接，用于根据操作单元中的不同操作，对数据进行分析，并生成可视化的图表。

实施例2

本实施例在实施例1的基础上公开了一种多系统数据分析方法，包括以下步骤：

步骤一、通过数据采集模块与多个系统连接，获取多个系统上传的数据；

步骤二、将获取的数据传输至数据清洗模块，将数据按照统一名称、格式及类型进行清洗；

步骤三、将清洗后的数据传输至数据融合模块，将数据信息整理融合，并根据数据的业务属性进行关联；

步骤四、将关联后的数据进行综合分析，得出需要的数据；

步骤五、将数据传输至可视化展示模块，将数据制成柱状图、饼状图或折线图。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。