一种基于物联网网络告警话单的价值挖掘方法及系统

技术领域

本发明涉及网络安全技术领域，特别是涉及一种基于物联网网络告警话单的价值挖掘方法及系统。

背景技术

随着物联网技术的持续发展，为提升各大运营商安全能力，工业与信息化部安全管理局根据物联网专网的现状制定了“省级基础电信企业网络与信息安全考核网络安全技术手段相关测试规范”。各大运营上为满足考核要求并提升自身安全能力，投入大量的人力、物力、财力，使用各种技术手段建立了一整套完整的系统或平台。这些系统或平台都会根据考核规范要求生成对应的告警话单，在物联网专网领域，如何利用这些系统或平台实时产生的数以亿计的告警话单，让其具备一定的商用价值，为运营商或终端客户提供有用的信息，是当前亟待解决的问题。

现有技术要么基于某特定场景的物联网进行价值挖掘如：基于物联网的智慧城市能耗数据价值挖掘；要么基于一些物联网挖掘客户的行为兴趣点，根据用户的行为兴趣点推送对应的物联网页面内容信息。因此，现有技术在物联网专网告警话单价值分析领域的使用较少，且这些技术都是在某些特定场景对某些特定群体的行为等进行价值分析，分析算法或多或少都存在一定的局限性，分析结果主要适用于特定场景的特定人群。因此，只能为某些特定条件下提供特定的价值分析并不能完全适用于物联网专网告警话单价值挖掘。

发明内容

为了克服现有技术的不足，本发明提供一种基于物联网网络告警话单的价值挖掘方法及系统，对现有物联网网络告警话单数据进行分析，挖掘了现有物联网话单中存在的商用价值；分析维度丰富，可以进行单维度数据分析或多维度组合分析；可根据用户的实际需求动态扩展分析维度，分析准确度、精度较高，为客户挖掘商用价值提供强有力的保障。

为解决上述技术问题，本发明提供如下技术方案：一种基于物联网网络告警话单的价值挖掘方法，所述价值挖掘方法包括以下步骤：

S1、首先采集现有物联网告警话单；

S2、对物联网告警话单的字段进行提取，并以物联网网络告警话单为基础，对所有网络告警话单进行多层次价值挖掘分析；

S3、第一层采用单维度数据分析算法，按照事件类型、事件等级、地域划分、时间维度等单维度进行数据分析，得到对应的数据分析结果集；

S4、在第一层价值挖掘的数据分析结果集基础上，再通过多维度组合分析算法进行第二层多维度组合分析，得到对应的组合分析结果集；

S5、输出组合分析对应的分析结果集；

优选的，在S2步骤中，具体操作为：从50余个字段中提取出：事件一级分类、事件二级分类、事件三级分类、危险等级、攻击阶段、源IP国家代码、源IP地区代码、目的IP国家代码、目的IP地区代码、发现时间、上行流量、下行流量、上行数据包、下行数据包等关键字段；

优选的，事件类型主要包括：网络攻击事件、主机受控事件、有害程序事件三大类事件，规定每类事件的值为：01、02、03，对所有物联网告警话单中的网络攻击事件字段eventType按照安全事件的值进行数据统计分析，获得每类事件的集合E＝{{总数量，主机受控}，{总数量，网络攻击}，{总数量，有害程序}}，此时，可清楚的发现每类事件在所有物联网告警话单中的比例，有助于对占比较高的事件采用对应的安全防护手段进行重点防护；

优选的，事件等级主要包括：高危、中危、低危3种等级，先规定每个等级有1个唯一的值为：01、02、03，对所有物联网告警话单中的事件等级字段sever ity按照事件等级值进行数据统计分析，获得每类事件等级的集合G＝{{总数量，高危}，{总数量，中危}，{总数量，低危}}，此时，可清楚的发现每个安全等级在所有物联网告警话单中的比例，有助于分析当前告警话单安全的整体趋势，对高危话单采用对应的安全技术进行重点防护；

优选的，发生地域分析按两层进行分析，第一层是按国家维度进行分析，第二层对重点国家按照地区维度进行再次分析，第一层按国家对全世界197个国家进行分析，对所有物联网告警话单中的源IP国家代码字段src I pCountryCode或目的IP国家代码字段dst IpCountryCode按国家编码进行统计分析，分析出每个国家的攻击集合C＝{{总数量，A}，{总数量，B}，{总数量，C}，{总数量，D}，{总数量，E}，......}，对所有物联网告警话单中的源IP地区代码字段src I pProvi nce或目的IP地区代码字段dst I pProvi nce安全地区编码进行统计分析，分析出每个国家、每个地区的攻击集合C＝{{总数量，A，A1}，{总数量，A，A2}，{总数量，A，A3}，{总数量，A，A4}，......}，分析出哪些国家的哪些地区攻击占比最高，对这些国家和地区的网络访问进行重点防护；

优选的，发生时间分析按三个层次从小到大进行逐层分析，可按小时、按天、按月进行分析，第一层按小时进行分析，将一天划分成24小时，对所有物联网告警话单中的发现时间字段foundTime进行统计分析，分析出每小时的攻击数据集合T＝{{总数量，1}，{总数量，2}，{总数量，3}，{总数量，4}，......，{总数量，24}}，通过按小时分析可清楚的发现每天那个时间段的攻击频率最高，哪个时间段的攻击频率最低，第二层按天进行分析，在按小时分析的基础上，对每天的数据进行累计分析，分析出已有每天、每小时的整体趋势集合D＝{{总数量，1}，{总数量，2}，{总数量，3}，{总数量，4}，......}，对每天相同时段的攻击数据进行趋势分析，挖掘出每天哪个重点时间段需要进行重点防护；第3层按月进行分析，对每月的攻击总量进行分析集合M＝{{总数量，1}，{总数量，2}，{总数量，3}，{总数量，4}，......，{总数量，12}}，分析出哪个月攻击的频率高，哪个月攻击的频率低，根据分析的结果在重点时间段进行重点防护；

优选的，以“安全事件”+“发生地域”+“发生时间”为例，多维度组合分析算法步骤如下：

S1、该组合分析的第一层是“安全事件”，安全事件分析得到三个分析结果集合E＝{{总数量，主机受控}，{总数量，网络攻击}，{总数量，有害程序}}；

S2、第二层分析在第一层安全事件分析结果集合E的基础上增加发生地域分析条件，对每个子集中的每条告警记录再按照：源IP国家代码字段src I pCountryCode或目的IP国家代码字段dst I pCountryCode、源IP地区代码字段src I pProvi nce或目的IP地区代码字段dst I pProvi nce进行第二次分析得到新的分析结果集合E1＝{{总数量，主机受控+地域1}，{总数量，主机受控+地域2}，{总数量，主机受控+地域n}，......，{总数量，网络攻击+地域1}，{总数量，网络攻击+地域2}，{总数量，网络攻击+地域n}，......，{总数量，有害程序+地域1}，{总数量，有害程序+地域2}，{总数量，有害程序+地域n}，......}；

S3、第三层分析在第二层安全事件+地域的分析结果集合E1的基础上增加时间分析条件，对每个子集中的每条告警记录再按照：发现时间字段foundTime进行第三次分析，得到新的分析结果集合E2＝{{总数量，主机受控+地域1+时间1}，{总数量，主机受控+地域1+时间2}，{总数量，主机受控+地域1+时间n}，......，{总数量，主机受控+地域2+时间1}，{总数量，主机受控+地域2+时间2}，{总数量，主机受控+地域2+时间n}，......，{总数量，主机受控+地域n+时间1}，{总数量，主机受控+地域n+时间2}，{总数量，主机受控+地域n+时间m}，......}；

S4、将组合分析的结果按照集合的方式进行存储，为后续的使用提供支撑。

本发明还提供一种基于物联网网络告警话单的价值挖掘系统，所述价值挖掘系统采用如上述内容所述的价值挖掘方法，包括采集单元，所述采集单元用于采集现有物联网告警话单；提取单元，所述提取单元用于对物联网告警话单的字段进行提取；单维度分析单元，所述单维度分析单元用于按照事件类型、事件等级、地域划分、时间维度等单维度进行数据分析；多维度分析单元，所述多维度分析单元用于在单维度分析的基础上，进行多维度组合分析；输出单元，所述输出单元用于输出组合分析对应的分析结果集。

与现有技术相比，本发明能达到的有益效果是：

本发明对现有物联网网络告警话单数据进行分析，挖掘了现有物联网话单中存在的商用价值；分析维度丰富，即可以对单维度的数据进行分析，也可通过灵活组合的方式进行多维度组合分析；由于该方案采用多层级分析维度，可根据用户的实际需求动态灵活的扩展分析维度；分析准确度、精度较高，为客户挖掘商用价值提供强有力的保障。

附图说明

图1为本发明结构示意图；

图2为本发明总体处理流程示意图；

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施例，进一步阐述本发明，但下述实施例仅仅为本发明的优选实施例，并非全部。基于实施方式中的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得其它实施例，都属于本发明的保护范围。下述实施例中的实验方法，如无特殊说明，均为常规方法，下述实施例中所用的材料、试剂等，如无特殊说明，均可从商业途径得到。

实施例

请参照图1、图2所示，本发明提供一种基于物联网网络告警话单的价值挖掘方法及系统，价值挖掘系统采用如上述内容的价值挖掘方法，包括采集单元，采集单元用于采集现有物联网告警话单；提取单元，提取单元用于对物联网告警话单的字段进行提取；单维度分析单元，单维度分析单元用于按照事件类型、事件等级、地域划分、时间维度等单维度进行数据分析；多维度分析单元，多维度分析单元用于在单维度分析的基础上，进行多维度组合分析；输出单元，输出单元用于输出组合分析对应的分析结果集，而价值挖掘方法则包括以下步骤：

S1、首先采集现有物联网告警话单；

S2、对物联网告警话单的字段进行提取，从50余个字段中提取出：事件一级分类、事件二级分类、事件三级分类、危险等级、攻击阶段、源IP国家代码、源IP地区代码、目的IP国家代码、目的IP地区代码、发现时间、上行流量、下行流量、上行数据包、下行数据包等关键字段，并以物联网网络告警话单为基础，对所有网络告警话单进行多层次价值挖掘分析；

S3、第一层采用单维度数据分析算法，按照事件类型、事件等级、地域划分、时间维度等单维度进行数据分析，得到对应的数据分析结果集，事件类型主要包括：网络攻击事件、主机受控事件、有害程序事件三大类事件，规定每类事件的值为：01、02、03，对所有物联网告警话单中的网络攻击事件字段eventType按照安全事件的值进行数据统计分析，获得每类事件的集合E＝{{总数量，主机受控}，{总数量，网络攻击}，{总数量，有害程序}}，此时，可清楚的发现每类事件在所有物联网告警话单中的比例，有助于对占比较高的事件采用对应的安全防护手段进行重点防护，事件等级主要包括：高危、中危、低危3种等级，先规定每个等级有1个唯一的值为：01、02、03，对所有物联网告警话单中的事件等级字段severity按照事件等级值进行数据统计分析，获得每类事件等级的集合G＝{{总数量，高危}，{总数量，中危}，{总数量，低危}}，此时，可清楚的发现每个安全等级在所有物联网告警话单中的比例，有助于分析当前告警话单安全的整体趋势，对高危话单采用对应的安全技术进行重点防护，发生地域分析按两层进行分析，第一层是按国家维度进行分析，第二层对重点国家按照地区维度进行再次分析，第一层按国家对全世界197个国家进行分析，对所有物联网告警话单中的源IP国家代码字段src I pCountryCode或目的IP国家代码字段dst IpCountryCode按国家编码进行统计分析，分析出每个国家的攻击集合C＝{{总数量，A}，{总数量，B}，{总数量，C}，{总数量，D}，{总数量，E}，......}，对所有物联网告警话单中的源IP地区代码字段src I pProvi nce或目的IP地区代码字段dst I pProvi nce安全地区编码进行统计分析，分析出每个国家、每个地区的攻击集合C＝{{总数量，A，A1}，{总数量，A，A2}，{总数量，A，A3}，{总数量，A，A4}，......}，分析出哪些国家的哪些地区攻击占比最高，对这些国家和地区的网络访问进行重点防护，发生时间分析按三个层次从小到大进行逐层分析，可按小时、按天、按月进行分析，第一层按小时进行分析，将一天划分成24小时，对所有物联网告警话单中的发现时间字段foundTime进行统计分析，分析出每小时的攻击数据集合T＝{{总数量，1}，{总数量，2}，{总数量，3}，{总数量，4}，......，{总数量，24}}，通过按小时分析可清楚的发现每天那个时间段的攻击频率最高，哪个时间段的攻击频率最低，第二层按天进行分析，在按小时分析的基础上，对每天的数据进行累计分析，分析出已有每天、每小时的整体趋势集合D＝{{总数量，1}，{总数量，2}，{总数量，3}，{总数量，4}，......}，对每天相同时段的攻击数据进行趋势分析，挖掘出每天哪个重点时间段需要进行重点防护；第3层按月进行分析，对每月的攻击总量进行分析集合M＝{{总数量，1}，{总数量，2}，{总数量，3}，{总数量，4}，......，{总数量，12}}，分析出哪个月攻击的频率高，哪个月攻击的频率低，根据分析的结果在重点时间段进行重点防护；

S4、在第一层价值挖掘的数据分析结果集基础上，再通过多维度组合分析算法进行第二层多维度组合分析，得到对应的组合分析结果集，以“安全事件”+“发生地域”+“发生时间”为例，多维度组合分析算法步骤如下：

1)、该组合分析的第一层是“安全事件”，安全事件分析得到三个分析结果集合E＝{{总数量，主机受控}，{总数量，网络攻击}，{总数量，有害程序}}；

2)、第二层分析在第一层安全事件分析结果集合E的基础上增加发生地域分析条件，对每个子集中的每条告警记录再按照：源IP国家代码字段src I pCountryCode或目的IP国家代码字段dst I pCountryCode、源IP地区代码字段src I pProvi nce或目的IP地区代码字段dst I pProvi nce进行第二次分析得到新的分析结果集合E1＝{{总数量，主机受控+地域1}，{总数量，主机受控+地域2}，{总数量，主机受控+地域n}，......，{总数量，网络攻击+地域1}，{总数量，网络攻击+地域2}，{总数量，网络攻击+地域n}，......，{总数量，有害程序+地域1}，{总数量，有害程序+地域2}，{总数量，有害程序+地域n}，......}；

3)、第三层分析在第二层安全事件+地域的分析结果集合E1的基础上增加时间分析条件，对每个子集中的每条告警记录再按照：发现时间字段foundT ime进行第三次分析，得到新的分析结果集合E2＝{{总数量，主机受控+地域1+时间1}，{总数量，主机受控+地域1+时间2}，{总数量，主机受控+地域1+时间n}，......，{总数量，主机受控+地域2+时间1}，{总数量，主机受控+地域2+时间2}，{总数量，主机受控+地域2+时间n}，......，{总数量，主机受控+地域n+时间1}，{总数量，主机受控+地域n+时间2}，{总数量，主机受控+地域n+时间m}，......}；

4)、将组合分析的结果按照集合的方式进行存储，为后续的使用提供支撑；

S5、输出组合分析对应的分析结果集。

工作原理：本发明以物联网网络告警话单为基础，对所有网络告警话单进行多层次价值挖掘分析，第1层先按照事件类型、事件等级、发生地域、发生时间等单维度进行价值挖掘，得到对应的数据分析结果集；在第1层价值挖掘的数据分析结果集基础上，再通过组合分析方法进行第2层多维度组合分析，得到对应的组合分析结果集，挖掘了现有物联网话单中存在的商用价值；分析维度丰富，本发明即可以对单维度的数据进行分析，也可通过灵活组合的方式进行多维度组合分析；由于该方案采用多层级分析维度，可根据用户的实际需求动态灵活的扩展分析维度；本发明分析准确度、精度较高，为客户挖掘商用价值提供强有力的保障。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。