一种拨测系统

技术领域

本发明涉及通信技术，更具体地说是一种拨测系统。

背景技术

随着5G网络时代的到来，市场竞争越发激烈，质量是企业的生命线。移动互联网时代移动面临的不仅是通信行业的竞争，还有众多互联网公司的竞争，用户选择是业务成功的标志，而业务品质是影响用户行为选择最核心的因素。随着移动互联网时代的发展，只有基于良好用户体验的自动传播，数据业务才能真正赢得客户，为数据业务赢得立身之本，而数量庞大，种类众多的数据业务应用和服务给运营商的维护优化工作带来了新挑战，所以移动通信网网络维护优化及分析保障变的越来越重要，在目前的网络分析优化工作中，拨测分析是运营商发现、核实网络故障，排除网络隐患，提高网络服务质量不可或缺的重要手段，为保证数据业务品质，通过日常的业务拨测来监测数据业务质量。

现有技术中，运营商一般采用人工或自动拨测方式。人工拨测方式是通过大量人员参与的方式，通过在特定的地点或场合采集数据，然后根据相关业务特征对数据进行人工分析或加工从而得出最终的结果，但此方法是以大量人力的消耗为代价，时间和人力成本较高。传统人工的拨测方式通过人工操作对业务进行测试并整理测试结果进而发现业务存在的问题，即耗费时间又耗费人力。

随着通信数据业务类型的不断丰富和扩大，目前现有的自动拨测系统已经不具备测试新的数据业务的能力，缺少监测手段、故障发现反馈时间长、处理缓慢、不能从用户感知体验角度反映用户感受到的业务质量等问题，同时由于业务系统的复杂性，拨测系统不健全，有些情况下业务中断或者业务已受影响，但无告警产生，直到业务质量严重劣化，用户投诉大量产生时，系统故障才被发现。同时，相比于传统的人工拨测技术，自动拨测技术将拨测流程完全实现了自动化，大大节约了人力和时间成本，但是缺乏人工的参与，整个拨测数据的准确性相比于人工拨测有所降低。

发明内容

本发明的目的在于克服现有技术的不足，提供一种拨测系统。

为实现上述目的，本发明采用以下技术方案：

一种拨测系统，包括数据采集单元、数据预处理单元以及数据分析单元；

所述数据采集单元，用于获取拨测数据。

所述数据预处理单元，用于对采集到的拨测数据进行预处理；

所述数据分析单元，用于对经过预处理的数据进行数据分析。

其进一步技术方案为：所述数据预处理单元包括数据清理模块、变换模块以及特征的选择模块；

所述数据清理模块，用于对无效数据进行清理；

所述变换模块，用于将分散的数据变换为适应执行挖掘操作的数据；

所述特征的选择模块，用于通过特征工程的方法进行特征的选择。

其进一步技术方案为：所述特征的选择模块包括第一计算子模块、第二计算子模块以及选择子模块；

所述第一计算子模块，用于计算特征的信息增益；

所述第二计算子模块，用于计算信息增益率；

所述选择子模块，用于根据每个特征的信息增益率以及实际拨测需要设置信息阈值，选择出用于分析的特征。

其进一步技术方案为：所述数据分析单元包括第一引入模块、第二引入模块、计算模块以及决策树生成模块；

所述第一引入模块，用于引入特征分析的信息增益；

所述第二引入模块，用于引入分裂属性概念；

所述计算模块，用于计算计算Gini指标；

所述决策树生成模块，用于将最大增益率的属性作为决策树的第一个节点，重复分类，以生成决策树。

其进一步技术方案为：还包括手动配置单元；

所述手动配置单元，用于进行手动配置拨测。

其进一步技术方案为：还包括告警管理单元；

所述告警管理单元，用于进行告警管理。

其进一步技术方案为：所述告警管理单元包括搜索模块、告警门限设置模块、告警邮箱配置模块以及信息发送模块；

所述搜索模块，用于搜索告警信息；

所述告警门限设置模块，用于设置告警门限值；

所述告警邮箱配置模块，用于配置告警邮箱；

所述信息发送模块，用于将告警信息发送至配置的邮箱中。

其进一步技术方案为：还包括控制调度单元；

所述控制调度单元，用于通过控制命令对拨测终端进行远程控制。

其进一步技术方案为：所述控制命令通过TCP/IP网络、GPRS网络或WLAN方式，并采用socket通道对拨测终端实时下达。

其进一步技术方案为：所述拨测数据包括终端信息、业务信息、网络信息、指标结果信息以及测试场景信息。

本发明与现有技术相比的有益效果是：本发明设置有数据采集单元、数据预处理单元和数据分析单元，在进行数据预处理时，数据预处理单元采用特征选择算法，可以避免引入过多特征而造成的结果不准确，可以更准确的进行数据规约，减少数据训练时间。在进行数据分析时，数据分析单元采用决策树算法建立数据分析模型，利用决策树算法分析各个属性和业务指标之间的联系，进而确认具体影响业务指标的因素，有目的的优化数据业务，同时提升业务品质，进一步提升客户满意度。另外，通过设置的手动配置单元可用于进行手动配置拨测，对于特定场景采取手动配置，使本发明的拨测系统结合了人工拨测与自动拨测的优点。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征及优点能够更明显易懂，以下特举较佳实施例，详细说明如下。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明具体实施例提供的一种拨测系统的方框示意图一；

图2为本发明具体实施例提供的一种拨测系统的方框示意图二；

图3为本发明具体实施例提供的一种拨测系统的方框示意图三；

图4为本发明具体实施例提供的一种拨测系统的方框示意图四；

图5为本发明具体实施例提供的一种拨测系统的方框示意图五；

图6为本发明具体实施例提供的一种拨测系统的方框示意图六；

图7为本发明具体实施例提供的一种拨测系统的方框示意图七；

图8为本发明具体实施例提供的一种拨测系统的方框示意图八；

图9为本发明具体实施例提供的经过数据预处理后的部分数据集。

附图标记

1、拨测系统；110、数据采集单元；120、数据预处理单元；121、数据清理模块；122、变换模块；123、特征的选择模块；1231、第一计算子模块；1232、第二计算子模块；1233、选择子模块；130、数据分析单元；131、第一引入模块；132、第二引入模块；133、计算模块；134、决策树生成模块；140、手动配置单元；150、告警管理单元；151、搜索模块；152、告警门限设置模块；153、告警邮箱配置模块；154、信息发送模块；160、控制调度单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

本发明实施例提供了一种拨测系统，如图1所示，该系统包括数据采集单元110、数据预处理单元120以及数据分析单元130。数据采集单元110，用于获取拨测数据，数据预处理单元120，用于对采集到的拨测数据进行预处理，数据分析单元130，用于对经过预处理的数据进行数据分析。

具体的，数据采集单元110用于进行选取待测试的域名资源，按照特定的时间间隔对不同资源进仿用户的拨测测试，获取拨测数据。拨测数据包括终端信息(终端品牌，终端型号，终端imsi号等)、业务信息(业务名称、业务编号，指标名称，指标编号等)、网络信息(网络名称，网络类型、网络编号等、时延、抖动、丢包率、下载速度等)、指标结果信息(指标编号，指标名称，指标结果、终端型号、测试时间等)、测试场景信息(场景编号、场景名称等)等信息。数据预处理单元120用于对采集到的数据进行数据预处理，具体包括对数据清理以及变换以及特征的选择。数据分析单元130用于对经过与处理的数据进行数据分析，分析网络质量，具体通过建立决策树分析模型，利用决策树算法分析各个属性和业务指标之间的联系，进而确认具体影响业务指标的因素，有目的的优化数据业务，同时提升业务品质，提升客户感知，进一步提升客户满意度。

在一实施例中，如图2所示，数据预处理单元120包括数据清理模块121、变换模块122以及特征的选择模块123。数据清理模块121，用于对无效数据进行清理，变换模块122，用于将分散的数据变换为适应执行挖掘操作的数据，特征的选择模块123，用于通过特征工程的方法进行特征的选择。

具体的，由于采集的数据量非常大，在针对具体需求执行挖掘操作时，如果直接针对数据源中的所有数据进行分析，将会浪费大量时间。通过对数据执行特征选择可以避免此情况产生，同时执行数据规约不影响数据的完整性，使用特征选择后的数据执行分析得到的结果和使用原数据分析的结果基本相同。数据清理是将原数据中不完整的数据、前后矛盾的数据、失真的数据等无效数据进行有效的清理，保留下来有效数据，使得针对清理后的数据执行挖掘得到的结果更满足需求。数据变换：数据变换是将分散的数据改变数据方式，使得改变后的数据更适合执行挖掘操作。数据变换通常使用数据概化及规范化、平滑聚集等方式来执行。针对实数型数据执行数据变换时，也可以使用数据的离散化方式或概念分层方式执行。

在一实施例中，如图3所示，特征的选择模块123包括第一计算子模块1231、第二计算子模块1232以及选择子模块1233。第一计算子模块1231，用于计算特征的信息增益，第二计算子模块1232，用于计算信息增益率，选择子模块1233，用于根据每个特征的信息增益率以及实际拨测需要设置信息阈值，选择出用于分析的特征。

具体的，特征的选择模块123通过特征工程的方法进行特征的选择过程如下：

计算特征的信息增益，信息增益表示由于已知特征X的信息而致使Y信息不确定性减少的程度，若特征A对训练数据集D的信息增益为g(D,A)，则其计算过程如下：

g(D,A)＝H(D)-H(D|A)；式中，H(D)为集合D的熵，计算过程如下：

H(D|A)为特征A在给定条件下的条件熵，其计算过程如下：

其中，|D|为样本大小，变量A的取值有n个。

计算信息增益率，信息增益率为特征A对训练数据集D的信息增益，计算方法如下式：

式中，/>

根据上述计算出的每个特征的信息增益率，根据实际拨测需要设置信息阈值l，选择出g

在一实施例中，如图4所示，数据分析单元130包括第一引入模块131、第二引入模块132、计算模块133以及决策树生成模块124。第一引入模块131，用于引入特征分析的信息增益，第二引入模块132，用于引入分裂属性概念，计算模块133，用于计算计算Gini指标，决策树生成模块124，用于将最大增益率的属性作为决策树的第一个节点，重复分类，以生成决策树。

具体的，用于对经过处理的数据进行数据分析，分析网络质量，通过建立决策树分析模型，利用决策树算法分析各个属性和业务指标之间的联系，进而确认具体影响业务指标的因素，有目的的优化数据业务，同时提升业务品质，提升客户感知，进一步提升客户满意度。

更具体的，进行决策树算法建模的过程如下：

引入特征分析的信息增益In，信息增益实际上是ID3算法中用来进行属性选择度量的。它选择具有最高信息增益的属性来作为节点N的分裂属性。该属性使结果划分中的元组分类所需信息量最小。对D中的元组分类所需的期望信息为下式：

假定按照属性A划分D中的元组，且属性A将D划分成v个不同的类，再划分之后，为了得到准确分类还需要计算下式：

则特征分析的信息增益In定义为原来的信息需求(即仅基于类比例)与新需求(即对A划分之后得到的)之间的差，具体参见下式：

In(D)＝I(D)-I

引入分裂属性概念，计算信息增益率，信息增益率使用“分裂信息”值将信息增益规范化，分裂信息定义如下：

这个值表示通过将训练数据集D划分成对应于属性A测试的v个输出的v个划分产生的信息。本发明中信息增益率定义如下式：

选择具有最大增益率的属性作为分裂属性。

计算Gini指标，Gini指标度量数据划分或训练元组集D的不纯度，计算方式如下：

计算每个属性的信息增益比。具有最高信息增益比的属性选作给定集合S的测试属性。创建一个节点，并以该属性标记，对属性的每个值创建分枝，并据此划分样本。

将最大增益率的属性作为决策树的第一个节点，对该节点分裂，对引出的每一个分支，重复用上述方法进行分类，再引出分支，重复上述过程，生成决策树。

如图9所示，图9为经过数据预处理后的部分数据集记录，从该指标等级共有合格和不合格两类。通过系统数据分析模块进行分析的过程如下：

从图9中可以看出，训练集共有4项属性，分别是：场景、网络类型、终端类型和测试时间，则属性集合可以表示为A＝{场景，网络类型，终端类型，测试时间}，有合格和不合格两类，类标签集合可表示为B＝{合格，不合格}，合格说明指标达标，不合格说明不达标。其中合格样本有9个，不合格样本有5个，其计算其过程如下：

同理，分别针对属性集合中每项属性计算I值，分别为I(场景)、I(网络类型)、I(终端类型)以及I(测试时间)，然后根据公式In(D)＝I(D)-I

In(场景)＝I(D)-I(场景)；

In(网络类型)＝I(D)-I(网络类型)；

In(终端类型)＝I(D)-I(终端类型)；

In(测试时间)＝I(D)-I(测试时间)；

然后，根据公式

比较各GR(场景)、GR(网络类型)、GR(终端类型)、GR(测试时间)各值的大小，将最大的作为决策树的第一个节点，对该节点分裂，对引出的每一个分支，重复用上述方法进行分类，再引出分支，重复上述步骤，生成决策树。

将决策树挖掘技术运用于业务指标评估中，并完整的实现了决策树挖掘技术在其中的应用全过程，生成决策树，最后由决策树产生分类规则将分类规则应用到系统中，利用决策树算法分析各个属性和业务指标之间的联系，进而确认具体影响业务指标的因素，有目的的优化数据业务，同时提升业务品质，提升客户感知，进一步提升客户满意度。

在一实施例中，如图5所示，拨测系统100还包括手动配置单元140。手动配置单元140用于进行手动配置拨测。

具体地，用于进行手动配置拨测，主要用于特定业务性能的测试。当网络出现特定问题时，相关人员针对某个节点进行拨测，以回溯节点存在的问题，人工填入要进行拨测业务的URL文件，通过前台拨测终端人工导入测试内后，进行拨测动作。

在一实施例中，如图6所示，拨测系统100还包括告警管理单元150，告警管理单元150用于进行告警管理。

在一实施例中，如图7所示，告警管理单元150包括搜索模块151、告警门限设置模块152、告警邮箱配置模块153以及信息发送模块154。搜索模块151，用于搜索告警信息，告警门限设置模块152，用于设置告警门限值，告警邮箱配置模块153，用于配置告警邮箱，信息发送模块154，用于将告警信息发送至配置的邮箱中。

具体的，告警管理单元150用于进行告警管理，系统搜索告警信息，并设置相应的告警门限值进行设置并配置告警接收的邮箱，将告警信息发送至配置的邮箱中。

在一实施例中，如图8所示，拨测系统100还包括控制调度单元160。

控制调度单元160用于通过控制命令对拨测终端进行远程控制。

具体的，操作人员可以通过拨测系统100的控制调度模块对拨测终端进行远程控制，控制命令可以通过TCP/IP网络、GPRS网络、WLAN方式，采用socket通道对拨测终端实时下达。

本发明在进行数据预处理时，采用特征选择算法，可以避免引入过多特征而造成的结果不准确，可以更准确的进行数据规约，减少数据训练时间。在进行数据分析时，数据分析单元采用决策树算法建立数据分析模型，利用决策树算法分析各个属性和业务指标之间的联系，进而确认具体影响业务指标的因素，有目的的优化数据业务，同时提升业务品质，进一步提升客户满意度。另外，通过设置的手动配置单元可用于进行手动配置拨测，对于特定场景采取手动配置，使本发明的拨测系统100结合了人工拨测与自动拨测的优点。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。