一种基于物联网和大数据的商用数据诊断分析方法

技术领域

本发明属于商用数据处理技术领域，特别是涉及一种基于物联网和大数据的商用数据诊断分析方法。

背景技术

近年来，随着国内中小企业的快速发展，企业融资难问题越来越受到政府和相关部门的关注。从2004年开始，连续7个“中央一号”要求稳步推进小额贷款业务，在宏观政策前提下增加对中小企业的有效信贷投入；完善利率风险定价机制，提供中小企业授信风险定价能力。

传统的授信风险定价一般是金融机构通过对企业的财务数据核查、企业的规模、员工的数量及日常的运营状况主观上判断企业的好坏及偿还能力。传统的监理活动往往难以快速、便捷地完成数据采集、信息反馈工作，在与工程项目相关各方的沟通、协调中存在大量低效、繁杂的工作，降低了监理作为知识密集型工种的技术性和智慧性，其中繁琐的过程也会损耗一定的人力、物力，同时受工程实际情况影响,在一些条件下传统的监理手段也很难有效开展，例如在缺陷责任期对隐蔽工程无有效可行的监理手段，存在监理工作的空白和短板，制约着监理机构真正意义上实现全过程监理、无死角监理也无法真正、全面做到事前控制的监理模式。

目前监理行业现有的最普遍最成熟的“智慧”监理技术是依赖计算机进行辅助管理的一种软件系统。其系统本身缺乏相应的智慧感知、问题分析和智能方案生成能力，不具备监理作为知识密集型行业的“判断”、“思考”、“建议”能力，应用范围也往往局限在一个地区或一个企业，也不能将监理行业的“智慧”有效的汇集起来。

发明内容

本发明的目的在于提供一种基于物联网和大数据的商用数据诊断分析方法，通过物联网技术将终端设备的数据采集到数据库中，利用大数据的分析技术并结合各种数据清洗软件，并输入至智能诊断算法模型为企业做进一步的数据分析和整理，解决了现有的企业信息采集不准确、诊断效率低、诊断结果准确的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于物联网和大数据的商用数据诊断分析方法，包括如下步骤：

步骤S1：物联网技术采集终端设备的数据，并将数据储存到数据库中；

步骤S2：对采集的数据结合大数据的分析技术进行清洗；

步骤S3：将数据清洗后得到可用的结果数据；

步骤S4：将可用的数据导入到智能诊断算法模型中；

步骤S5：智能诊断算法模型输出数据诊断结果并在物联网云平台进行展示。

优选地，所述步骤S1中，采集终端设备数据的物联网系统包括webs显示模块、设备数据采集模块、无线通信模块、视频监控模块、数据存储模块和物联网云平台；

所述webs显示模块，采用基于GoAhead的webservice服务器，用于实时显示采集的物联网设备数据，，同时支持对终端的设备管理，如设备升级、文件上传于下载等，对采集的数据进行展示，并验证访客的合法性；

所述设备数据采集模块，用于采集终端设备数据和数字外界环境数据；

所述视频监控模块，用于对外部环境的实时视频监控；

所述数据存储模块，用于对采集的数据进行实时本地缓冲储存和存储的数据进行导出；

所述物联网云平台，用于将采集的数据实时无线接入到物联网云平台。

优选地，所述设备数据采集模块内设置有轮询程序，设置轮询周期为1s以及中断处理函数，并将最后一次采集的信息显示在webs显示模块上。

优选地，所述轮询程序的工作流程如下：

当主程序进行轮询判断时，在没有外部终端的情况下执行环境数据的采集和webs显示模块的数据显示，并将数据打包发送给物联网云平台；

当有外部RFID刷卡时，数据采集正常仅RFID终端函数同时对磁卡数据进行采集和校验数据的有效性，并发送给物联网云平台；

当有ZigBee接收数据的中断产生时，其他数据正常采集，ZigBee接收数据的中断处理函数接收物联网云平台发送过来的指令，执行不同的设备。

优选地，所述步骤S2中，大数据的分析技术根据预设的清洗策略对不同类型的商用数据进行清洗，并将清洗后的设备数据导出并存储；所述大数据的分析技术包括数据清洗模块、清洗数据导出模块和清洗数据存储模块；所述数据清洗模块，用于预设的清洗策略对不同类型的设备数据进行数据清洗，得到经数据清洗后的设备数据；所述清洗数据导出模块，连接数据清洗模块，用于提供给用户导出清洗后的所述设备数据；所述清洗数据存储模块，连接数据清洗模块，用于存储清洗后的设备数据。

优选地，所述数据清洗模块以代码块或配置文件的形式配置到设备上；所述清洗策略通过正则表达式模式匹配出设备数据对应的数据类型。

优选地，所述步骤S4中，智能诊断算法模型的建立步骤如下：

步骤S41：根据各个终端设备采集异常数据信息；

步骤S42：对异常数据信息进行体验分析确定关联规则；

步骤S43：根据管理规则建立专家样本库；

步骤S44：根据专家样本库，建立智能诊断算法模型。

优选地，所述步骤S44中，建立智能诊断算法模型的步骤之后，还包括一下步骤：

通过智能诊断算法模型对实时监控的异常信息进行诊断，确定诊断异常类型及诊断异常程度；接收诊断异常类型及诊断异常程度是否准确的诊断结果判定信息；根据诊断结果判定信息更新异常数据信息，并更新关联规则、专家样本库及智能诊断算法模型。

优选地，所述智能诊断算法模型为决策树模型，根据专家样本库，建立智能诊断算法模型的步骤，具体包括：

获取所述专家样本库的每列异常属性,分别根据每列异常属性的异常属性值进行异常分类,并进行统计,根据统计结果确定每列异常属性的信息增益值；根据信息增益值确定每列异常属性在决策树模型中的节点位置。

本发明具有以下有益效果：

本发明通过物联网技术将终端设备的数据采集到数据库中，利用大数据的分析技术并结合各种数据清洗软件，并输入至智能诊断算法模型为企业做进一步的数据分析和整理，提高了数据采集效率，能够准确对商用数据进行评估诊断，降低企业发展的风险。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于物联网和大数据的商用数据诊断分析方法步骤图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1所示，本发明为一种基于物联网和大数据的商用数据诊断分析方法，包括如下步骤：

步骤S1：物联网技术采集终端设备的数据，并将数据储存到数据库中；

步骤S2：对采集的数据结合大数据的分析技术进行清洗；

步骤S3：将数据清洗后得到可用的结果数据；

步骤S4：将可用的数据导入到智能诊断算法模型中；

步骤S5：智能诊断算法模型输出数据诊断结果并在物联网云平台进行展示。

其中，步骤S1中，采集终端设备数据的物联网系统包括webs显示模块、设备数据采集模块、无线通信模块、视频监控模块、数据存储模块和物联网云平台；

webs显示模块，用于实时显示采集的物联网设备数据，对采集的数据进行展示，并验证访客的合法性；

设备数据采集模块，用于采集终端设备数据和数字外界环境数据；

视频监控模块，用于对外部环境的实时视频监控；

数据存储模块，用于对采集的数据进行实时本地缓冲储存和存储的数据进行导出，可以通过外挂的大容量设备如SD卡、U盘等，支持采集数据的实时本地缓存与数据的导出便于后续一步的数据分析；

物联网云平台，用于将采集的数据实时无线接入到物联网云平台，方便用户远程访问数据与处理分析数据。

其中，设备数据采集模块内设置有轮询程序，设置轮询周期为1s以及中断处理函数，并将最后一次采集的信息显示在webs显示模块上。

其中，轮询程序的工作流程如下：

当主程序进行轮询判断时，在没有外部终端的情况下执行环境数据的采集和webs显示模块的数据显示，并将数据打包发送给物联网云平台；

当有外部RFID刷卡时，数据采集正常仅RFID终端函数同时对磁卡数据进行采集和校验数据的有效性，并发送给物联网云平台；

当有ZigBee接收数据的中断产生时，其他数据正常采集，ZigBee接收数据的中断处理函数接收物联网云平台发送过来的指令，执行不同的设备。

其中，步骤S2中，大数据的分析技术根据预设的清洗策略对不同类型的商用数据进行清洗，并将清洗后的设备数据导出并存储；大数据的分析技术包括数据清洗模块、清洗数据导出模块和清洗数据存储模块；数据清洗模块，用于预设的清洗策略对不同类型的设备数据进行数据清洗，得到经数据清洗后的设备数据；清洗数据导出模块，连接数据清洗模块，用于提供给用户导出清洗后的设备数据；清洗数据存储模块，连接数据清洗模块，用于存储清洗后的设备数据。

其中，数据清洗模块以代码块或配置文件的形式配置到设备上；清洗策略通过正则表达式模式匹配出设备数据对应的数据类型。

其中，步骤S4中，智能诊断算法模型的建立步骤如下：

步骤S41：根据各个终端设备采集异常数据信息；

步骤S42：对异常数据信息进行体验分析确定关联规则；

步骤S43：根据管理规则建立专家样本库；

步骤S44：根据专家样本库，建立智能诊断算法模型。

其中，步骤S44中，建立智能诊断算法模型的步骤之后，还包括一下步骤：

通过智能诊断算法模型对实时监控的异常信息进行诊断，确定诊断异常类型及诊断异常程度；接收诊断异常类型及诊断异常程度是否准确的诊断结果判定信息；根据诊断结果判定信息更新异常数据信息，并更新关联规则、专家样本库及智能诊断算法模型。

其中，智能诊断算法模型为决策树模型，根据专家样本库，建立智能诊断算法模型的步骤，具体包括：

获取专家样本库的每列异常属性,分别根据每列异常属性的异常属性值进行异常分类,并进行统计,根据统计结果确定每列异常属性的信息增益值；根据信息增益值确定每列异常属性在决策树模型中的节点位置。

值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。