一种数据异常的信息研判模型及方法

技术领域

本发明属于数据分析技术领域，具体涉及一种数据异常的信息研判模型及方法。

背景技术

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。而在数据分析过程中，一般需将数据进行研判、分析，实现异常数据的采集，以便于正常数据的采集、分析，达到数据高效分析的目的。

但是目前市场上数据异常的信息研判模型及方法存在不能实时更新数据异常研判模型的问题，使得数据异常研判模型的更新效率低，从而导致数据异常研判模型不能快速有效的研判数据信息中的异常数据，造成数据信息研判效率低、范围小，影响数据信息的研判、分析。

发明内容

本发明的目的在于提供一种数据异常的信息研判模型及方法，以解决上述背景技术中提出的问题，能够实现数据异常研判模型的实时更新，有效的提高了数据异常研判模型的更新效率，达到数据信息的快速有效的研判的效果。

为实现上述目的，本发明提供如下技术方案：

1、一种数据异常的信息研判方法，该方法具体包括如下步骤：

S1、获取数据信息；

S2、将S1中获取的数据信息进行预处理，并存储于数据库；

S3、建立正则表达式库，并对数据进行处理；

S4、建立异常数据研判模型；

S5、将实时数据信息输入S4中建立的异常数据研判模型，通过异常数据研判模型将实时数据信息进行分析、研判；

S6、将S5中研判出的异常数据进行实时在环检测，并将异常数据进行整合分析；

S7、将S6中整合分析的异常数据剔除，并将异常数据研判模型进行参数调整，更新异常数据研判模型；

S8、将S7中更新的异常数据研判模型进行评估，以保证异常数据研判模型的精准度。

优选的，S2中所述获取的数据信息预处理的步骤如下：

步骤a、先将获取的数据信息汇总；

步骤b、再将数据信息进行数据清洗、数据转换以及数据集成工作；

步骤c、然后将步骤b中处理后的数据上传至数据库。

优选的，S3中所述正则表达式库的建立方法如下：

A、根据预处理后的数据信息，分析数据信息构成规则，以确定数据信息的特征集合；

B、根据特征集合的类型和属性，以设计各特征集合的正则表达式，构成正则表达式库；

C、根据建立的正则表达式库，分析获取的数据信息中的异常录入数据进行修正，以建立数据库D1。

优选的，S5中所述异常数据研判模型的建立方法具体如下：

(1)、针对数据库D1中的数量属性字段，识别异常数据；

(2)、整合数据库D1中未建立异常数据识别规则的字段，建立数据库D2，并对数据库D2中的数量属性字段进行离散化；

(3)、根据Apriori算法，生成候选项集Ck和频繁项集Lk；

(4)、当数据库D2增加新的数据集d时，引入参数i(1；

(5)、计算强关联规则；

(6)、根据强关联规则和历史数据信息，建立数据异常研判模型。

优选的，所述识别异常数据的判定方式如下：

1)、通过极大极小值建立字段的正常逻辑范围，当该字段的输入数据超出正常范围时，则判定为异常数据；

2)、利用线性模型，对存在一元线性关系的字段，建立线性模型，偏离直线的数值判定为异常数据；

3)、通过确定性的函数关系模型，对存在其他确定性函数关系的字段，建立函数关系，利用函数关系判断数据异常。

优选的，S7中所述异常数据研判模型的更新步骤具体如下：

S71、先通过数据筛选模块筛选出异常数据；

S72、再通过交叉验证法或网格搜索法将异常数据研判模型的参数进行调整；

S73、然后通过数据更新模块将异常数据研判模型进行更新。

优选的，S8中所述异常数据研判模型的评估方法包括兰德指数算法和轮廓系数算法。

2、一种数据异常的信息研判模型，该模型应用于上述的一种数据异常的信息研判方法，所述模型包括：

获取模块，用于实现数据信息的获取；

数据处理模块，用于实现数据信息的处理；

建模模块，用于实现数据模型的建立；

数据分析研判模块，用于实现数据信息的分析、研判；

实时在环检测模块，用于实现异常数据的整合分析。

优选的，所述模型包括模型更新单元，所述模型更新单元包括数据筛选模块和数据更新模块，且所述模型更新单元用于实现异常数据研判模型的更新。

优选的，所述模型还包括评估模块，所述评估模块用于实现更新后的异常数据研判模型的评估。

与现有技术相比，本发明的有益效果是：

(1)本发明能够实现数据异常研判模型的实时更新，有效的提高了数据异常研判模型的更新效率，从而实现数据异常研判模型快速有效的研判数据信息中的异常数据，提高了数据信息的研判效率，大大的增加了数据信息的研判范围，以便于数据信息的研判、分析。

(2)本发明能够实现数据异常研判模型的实时评估，从而有效的提高了数据异常研判模型的研判精确度，实现数据异常研判模型的精确研判，进一步提高数据信息中异常数据的研判效率，值得推广使用。

附图说明

图1为本发明所提供的数据异常的信息研判方法的流程图；

图2为本发明所提供的数据异常的信息研判模型的结构框图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供如下技术方案：

1、请参阅图1所示，一种数据异常的信息研判方法，该方法具体包括如下步骤：

S1、获取数据信息；

S2、将S1中获取的数据信息进行预处理，并存储于数据库；

S3、建立正则表达式库，并对数据进行处理；

S4、建立异常数据研判模型；

S5、将实时数据信息输入S4中建立的异常数据研判模型，通过异常数据研判模型将实时数据信息进行分析、研判；

S6、将S5中研判出的异常数据进行实时在环检测，并将异常数据进行整合分析；

S7、将S6中整合分析的异常数据剔除，并将异常数据研判模型进行参数调整，更新异常数据研判模型；

S8、将S7中更新的异常数据研判模型进行评估，以保证异常数据研判模型的精准度。

本实施例中，优选地，S2中获取的数据信息预处理的步骤如下：

步骤a、先将获取的数据信息汇总；

步骤b、再将数据信息进行数据清洗、数据转换以及数据集成工作；

步骤c、然后将步骤b中处理后的数据上传至数据库。

本实施例中，优选地，S3中正则表达式库的建立方法如下：

A、根据预处理后的数据信息，分析数据信息构成规则，以确定数据信息的特征集合；

B、根据特征集合的类型和属性，以设计各特征集合的正则表达式，构成正则表达式库；

C、根据建立的正则表达式库，分析获取的数据信息中的异常录入数据进行修正，以建立数据库D1。

本实施例中，优选地，S5中异常数据研判模型的建立方法具体如下：

(1)、针对数据库D1中的数量属性字段，识别异常数据；

(2)、整合数据库D1中未建立异常数据识别规则的字段，建立数据库D2，并对数据库D2中的数量属性字段进行离散化；

(3)、根据Apriori算法，生成候选项集Ck和频繁项集Lk；

(4)、当数据库D2增加新的数据集d时，引入参数i(1；

(5)、计算强关联规则；

(6)、根据强关联规则和历史数据信息，建立数据异常研判模型。

本实施例中，优选地，识别异常数据的判定方式如下：

1)、通过极大极小值建立字段的正常逻辑范围，当该字段的输入数据超出正常范围时，则判定为异常数据；

2)、利用线性模型，对存在一元线性关系的字段，建立线性模型，偏离直线的数值判定为异常数据；

3)、通过确定性的函数关系模型，对存在其他确定性函数关系的字段，建立函数关系，利用函数关系判断数据异常。

本实施例中，优选地，S7中异常数据研判模型的更新步骤具体如下：

S71、先通过数据筛选模块筛选出异常数据；

S72、再通过交叉验证法或网格搜索法将异常数据研判模型的参数进行调整；

S73、然后通过数据更新模块将异常数据研判模型进行更新。

本实施例中，优选地，S8中异常数据研判模型的评估方法包括兰德指数算法和轮廓系数算法。

2、请参阅图2所示，一种数据异常的信息研判模型，该模型应用于上述的一种数据异常的信息研判方法，模型包括：

获取模块，用于实现数据信息的获取；

数据处理模块，用于实现数据信息的处理；

建模模块，用于实现数据模型的建立；

数据分析研判模块，用于实现数据信息的分析、研判；

实时在环检测模块，用于实现异常数据的整合分析。

本实施例中，优选地，模型包括模型更新单元，模型更新单元包括数据筛选模块和数据更新模块，且模型更新单元用于实现异常数据研判模型的更新。

本实施例中，优选地，模型还包括评估模块，评估模块用于实现更新后的异常数据研判模型的评估。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。