一种基于大数据的运维平台远程数据采集系统

技术领域

本发明属于数据采集领域，涉及远程采集技术，具体是一种基于大数据的运维平台远程数据采集系统。

背景技术

公开号为CN106027523A的专利公开一种数据采集方法和分布式数据系统，该方法包括：管理数据中心与远程终端相互分享各自的分享密钥，接收远程终端发送的第一随机数，并将自行生成的第二随机数发送给远程终端；管理数据中心根据分享密钥、第一随机数、第二随机数和预存的第一签名信息，生成第一校验值；管理数据中心将第一校验值发送至远程终端，以供远程终端验证第一校验值，并且接收远程终端的第二校验值；当校验第一校验值和第二校验值成功，且接收到远程终端发送的校验成功信号时，管理数据中心将采集远程终端上传目标数据的数据采集任务平均分配给各个辅助数据中心执行。本发明避免出现目标数据错发至非法终端或采集非法目标数据的现象，提高了目标数据信息安全。

但是，其对数据进行采集，仅仅通过相关方式验证用户身份，是否存在错误，或者信息安全出现错误的问题；而缺乏一种能够自主的根据用户需要，进行自主采集数据的，并会根据用户身份，对数据进行不同程度的筛选。为了解决这一缺陷，现提供一种解决方案。

发明内容

本发明的目的在于提供一种基于大数据的运维平台远程数据采集系统。

本发明的目的可以通过以下技术方案实现：

一种基于大数据的运维平台远程数据采集系统，包括意向录入单元、对象检索单元、可信分析单元、数据滤除单元、准入核实单元、身份验证单元、身份库、控制器、显示单元、存储单元和管理单元；

其中，所述意向录入单元用于录入目标要求数据，目标要求数据即为用户所需采集的数据要求，该数据要求包括数据方向、关键词和内容简介；所述意向录入单元用于将目标要求数据传输到对象检索单元，所述对象检索单元接收意向录入单元传输的目标要求数据，并根据目标要求数据自主获取到所有的相关数据，相关数据即为所有的出现过关键词的数据；所述对象检索单元用于将获取到的相关数据传输到可信分析单元，所述可信分析单元用于对相关数据进行可信分析处理，得到相关数据的复量值Fj、被引用次数Yj和隔差时间Gj；

所述可信分析单元用于将相关数据的复量值Fj、被引用次数Yj和隔差时间Gj传输到数据滤除单元，所述数据滤除单元内置有滤除规则；

所述准入核实单元用于让用户上传身份信息，身份信息包括身份标识、密码和间隔时间，间隔时间为用户录入每一个密码之间的间隔时间；

所述准入核实单元用于将身份信息传输到身份验证单元，所述身份验证单元接收准入核实单元传输的身份信息，并对其进行验证处理，根据处理过程产生通过信号和勉通信号；

所述身份验证单元用于将用户及其对应的通过信号和勉通信号传输到数据滤除单元，所述数据滤除单元接收可信分析单元传输的用户及其对应的通过信号和勉通信号，并结合滤除规则、复量值Fj、被引用次数Yj和隔差时间Gj对相关数据进行滤除处理，具体滤除处理步骤为：

SS1：首先获取到相关数据及其对应的复量值Fj、被引用次数Yj和隔差时间Gj；

SS2：利用公式计算相关数据的可取值Kq，具体计算公式为：

Kq＝0.411*Fj+0.356*Yj+0.233*Gj；

式中，0.411、0.356和0.233均为权值；

SS3：根据Kq值从大到小的顺序，将排名前百分之二十的标记为优质数据；

排名处于前百分之四十到前百分之二十的标记为中级数据；

剩余标记为随机数据；

SS4：当接收到用户的为通过信号时，自主获取到对应预设的用户权限，用户权限包括高级、中级和低级，分别对应能够仅获取到优质数据、中级数据及其以上的数据和随机数据及其以上的数据；

SS5：获取到用户权限给予对应的数据进行标记为展示数据；

SS6：当接收用户的为勉通信号时，获取到用户权限对应的数据，并会随机去除一半数据之后进行标记为展示数据。

进一步地，所述可信分析处理的具体处理过程为：

步骤一：首先获取到相关数据；

步骤二：任选一相关数据；

步骤三：获取到该相关数据的所有内容，同时获取到目标要求数据中所有的关键词；

步骤四：任选一关键词；

步骤五：将该关键词与相关数据进行匹配，获取到该关键词的出现次数，将该出现次数标记为C1；

步骤六：任选下一关键词，重复步骤五，得到第二个关键词的出现次数C2；

步骤七：重复步骤六，得到所有关键词的出现次数Ci，i＝1...n；

步骤八：获取到关键词中出现次数不为零的关键词个数占所有关键词个数的比例，将该比例标记为出现比Cb；

步骤九：利用公式计算复量值F，具体计算公式为：

式中，X1和X2均为预设的权值，且满足X1+X2＝1，且0

步骤十：得到该相关数据的复量值F，并将其标记为F1；

步骤十一：任选下一相关数据，重复步骤三-步骤十一，得到所有相关数据的复量值Fj，j＝1...m；

步骤十二：获取到所有相关数据的被引用次数Yj，Yj与Fj一一对应；

步骤十三：获取到所有相关数据的上传时间，根据上传时间自动获取到距离当下的时间，将该时间标记为隔差时间Gj，j＝1...m，其中Gj与Fj一一对应；

步骤十四：得到相关数据的复量值Fj、被引用次数Yj和隔差时间Gj。

进一步地，步骤十二中被引用次数获取方式为：

S1：获取到该相关数据被下载的次数和被访问次数；

S2：利用公式求取：被引用次数＝被下载的次数+(被访问次数-被下载的次数)/2；将被引用次数标记为Yj，j＝1...m；其中Yj与Fj一一对应。

进一步地，所述验证处理的具体过程为：

S1：获取到身份信息内的间隔时间；

S2：获取到该用户的登录次数，当登录次数低于预设次数时直接对身份标识对应的密码进行核实，正确时产生通过信号；否则进入下一步；

S3：首先对身份标识对应的密码进行核实，通过之后获取到该用户近X3-1次在录入身份信息是的间隔时间；则加上本次一共录入身份信息X3次；

S4：除去本次录入的间隔时间，对所有剩余的间隔时间进行均值求取，得到平均间隔，将其标记为Po，o＝1...n；

S5：将本次录入的间隔时间标记为Bo，o＝1...n；

S6：利用公式求取离差值Lc，具体计算公式为：

式中，0.588和0.412均为预设的权值；

S7：当离差值Lc≤X4时，产生通过信号；当X4＜Lc≤X5时，产生勉通信号。

进一步地，所述数据滤除单元用于将展示数据传输到控制器，所述控制器接收数据滤除单元传输的展示数据时将其传输到显示单元进行实时显示；所述控制器用于将展示数据传输到存储单元进行实时存储；

所述管理单元与控制器通信连接，所述管理单元用于录入所有的预设值。

本发明的有益效果：

本发明首先借助相关的对象检索单元获取到大量跟用户目标相关的数据，之后借助可信分析单元用于对相关数据进行可信分析处理，得到相关数据的复量值Fj、被引用次数Yj和隔差时间Gj，之后传输到数据滤除单元；

同时利用准入核实单元让用户上传身份信息；之后利用身份验证单元接收准入核实单元传输的身份信息，并对其进行验证处理，根据处理过程产生通过信号和勉通信号；最后利用数据滤除单元内置的滤除规则；对通过信号和勉通信号、复量值Fj、被引用次数Yj和隔差时间Gj对相关数据进行滤除处理；根据用户的不同权限给予不同的数据展示，并针对身份可能存疑的对数据进行随机去除，保证存疑用户不能获取到全部的信息。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明的系统框图。

具体实施方式

如图1所示，一种基于大数据的运维平台远程数据采集系统，包括意向录入单元、对象检索单元、可信分析单元、数据滤除单元、准入核实单元、身份验证单元、身份库、控制器、显示单元、存储单元和管理单元；

其中，所述意向录入单元用于录入目标要求数据，目标要求数据即为用户所需采集的数据要求，该数据要求包括数据方向、关键词和内容简介；所述意向录入单元用于将目标要求数据传输到对象检索单元，所述对象检索单元接收意向录入单元传输的目标要求数据，并根据目标要求数据自主获取到所有的相关数据，相关数据即为所有的出现过关键词的数据；所述对象检索单元用于将获取到的相关数据传输到可信分析单元，所述可信分析单元用于对相关数据进行可信分析处理，具体处理过程为：

步骤一：首先获取到相关数据；

步骤二：任选一相关数据；

步骤三：获取到该相关数据的所有内容，同时获取到目标要求数据中所有的关键词；

步骤四：任选一关键词；

步骤五：将该关键词与相关数据进行匹配，获取到该关键词的出现次数，将该出现次数标记为C1；

步骤六：任选下一关键词，重复步骤五，得到第二个关键词的出现次数C2；

步骤七：重复步骤六，得到所有关键词的出现次数Ci，i＝1...n；

步骤八：获取到关键词中出现次数不为零的关键词个数占所有关键词个数的比例，将该比例标记为出现比Cb；

步骤九：利用公式计算复量值F，具体计算公式为：

式中，X1和X2均为预设的权值，因为两个因素对最终结果影响不同，故引入权值予以体现，且满足X1+X2＝1，且0

步骤十：得到该相关数据的复量值F，并将其标记为F1；

步骤十一：任选下一相关数据，重复步骤三-步骤十一，得到所有相关数据的复量值Fj，j＝1...m；

步骤十二：获取到所有相关数据的被引用次数，被引用次数获取方式为：

S1：获取到该相关数据被下载的次数和被访问次数；

S2：利用公式求取：被引用次数＝被下载的次数+(被访问次数-被下载的次数)/2；将被引用次数标记为Yj，j＝1...m；其中Yj与Fj一一对应；

步骤十三：获取到所有相关数据的上传时间，根据上传时间自动获取到距离当下的时间，将该时间标记为隔差时间Gj，j＝1...m，其中Gj与Fj一一对应；

步骤十四：得到相关数据的复量值Fj、被引用次数Yj和隔差时间Gj；

所述可信分析单元用于将相关数据的复量值Fj、被引用次数Yj和隔差时间Gj传输到数据滤除单元，所述数据滤除单元内置有滤除规则；

所述准入核实单元用于让用户上传身份信息，身份信息包括身份标识、密码和间隔时间，间隔时间为用户录入每一个密码之间的间隔时间；

所述准入核实单元用于将身份信息传输到身份验证单元，所述身份验证单元接收准入核实单元传输的身份信息，并对其进行验证处理，具体验证处理过程为：

S1：获取到身份信息内的间隔时间；

S2：获取到该用户的登录次数，当登录次数低于预设次数时直接对身份标识对应的密码进行核实，正确时产生通过信号；否则进入下一步；

S3：首先对身份标识对应的密码进行核实，通过之后获取到该用户近X3-1次在录入身份信息是的间隔时间；则加上本次一共录入身份信息X3次；

S4：除去本次录入的间隔时间，对所有剩余的间隔时间进行均值求取，得到平均间隔，将其标记为Po，o＝1...n；

S5：将本次录入的间隔时间标记为Bo，o＝1...n；

S6：利用公式求取离差值Lc，具体计算公式为：

式中，0.588和0.412均为预设的权值，因为不同因素对结果影响不同，故此引入；

S7：当离差值Lc≤X4时，产生通过信号；当X4＜Lc≤X5时，产生勉通信号；

所述身份验证单元用于将用户及其对应的通过信号和勉通信号传输到数据滤除单元，所述数据滤除单元接收可信分析单元传输的用户及其对应的通过信号和勉通信号，并结合滤除规则、复量值Fj、被引用次数Yj和隔差时间Gj对相关数据进行滤除处理，具体滤除处理步骤为：

SS1：首先获取到相关数据及其对应的复量值Fj、被引用次数Yj和隔差时间Gj；

SS2：利用公式计算相关数据的可取值Kq，具体计算公式为：

Kq＝0.411*Fj+0.356*Yj+0.233*Gj；

式中，0.411、0.356和0.233均为权值，为了突出不同因素的影响，故引入；

SS3：根据Kq值从大到小的顺序，将排名前百分之二十的标记为优质数据；

排名处于前百分之四十到前百分之二十的标记为中级数据；

剩余标记为随机数据；

SS4：当接收到用户的为通过信号时，自主获取到对应预设的用户权限，用户权限包括高级、中级和低级，分别对应能够仅获取到优质数据、中级数据及其以上的数据和随机数据及其以上的数据；

SS5：获取到用户权限给予对应的数据进行标记为展示数据；

SS6：当接收用户的为勉通信号时，获取到用户权限对应的数据，并会随机去除一半数据之后进行标记为展示数据；

所述数据滤除单元用于将展示数据传输到控制器，所述控制器接收数据滤除单元传输的展示数据时将其传输到显示单元进行实时显示；所述控制器用于将展示数据传输到存储单元进行实时存储；

所述管理单元与控制器通信连接，所述管理单元用于录入所有的预设值。

一种基于大数据的运维平台远程数据采集系统，首先借助相关的对象检索单元获取到大量跟用户目标相关的数据，之后借助可信分析单元用于对相关数据进行可信分析处理，得到相关数据的复量值Fj、被引用次数Yj和隔差时间Gj，之后传输到数据滤除单元；

同时利用准入核实单元让用户上传身份信息；之后利用身份验证单元接收准入核实单元传输的身份信息，并对其进行验证处理，根据处理过程产生通过信号和勉通信号；最后利用数据滤除单元内置的滤除规则；对通过信号和勉通信号、复量值Fj、被引用次数Yj和隔差时间Gj对相关数据进行滤除处理；根据用户的不同权限给予不同的数据展示，并针对身份可能存疑的对数据进行随机去除，保证存疑用户不能获取到全部的信息。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。