一种基于大数据分析的数据通信监测系统及方法

技术领域

本发明涉及数据通信监测技术领域，具体为一种基于大数据分析的数据通信监测系统及方法。

背景技术

在数据通信和大数据分析过程中监测实时数据非常重要，通过采集、整合和分析实时数据，及时的反映数据的价值和意义。数据监测是在数据通信的过程中，监测通信数据的实时变化，当数据出现错误时，进行预警提示，及时发现异常，数据监测还要能够将数据的过去和现在的情况进行对比，提高大数据分析的安全性和准确性。

大数据分析使得我们的生活更加智能、便捷和高效率，可以利用大数据分析技术来为用户推荐新闻、商品、服务以及室外出行地点等。现有技术中对于室外出行地点的推荐，大数据给出的结果往往显得不尽人意，这是由于在以往的大数据推荐算法上多是根据用户常去的景点类型，用户到景点的距离以及用户的消费水平，事实上，人们并不会热衷于每次都去同一种类型的景点，交通的便利性也使得距离不再是出行的阻碍因素，这些推荐方法凸显出了大数据分析容易停留在表面而难以抓住事物内在联系，使得推荐的用户群体不够精准。

发明内容

本发明的目的在于提供一种基于大数据分析的数据通信监测系统及方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：

一种基于大数据分析的数据通信监测系统，该系统包括以下模块：通信数据预处理模块、通信协议处理模块、通信数据传输模块、通信数据分析模块和监测模块；

所述通信数据预处理模块用于采集数据并将采集到的数据分片为数据包；所述通信协议处理模块用于将数据包封装为数据帧或将数据帧解封为数据包；所述通信数据传输模块用于将数据帧中的信息比特流和高频信号相互转换并传输高频信号；所述通信数据分析模块用于将接收到的数据分析处理；所述监测模块用于当通信数据分析模块分析处理后的数据监测的数据偏差大时，发出预警提示信号；

所述通信数据预处理模块的输出端与所述通信协议处理模块的输入端相连接；所述通信协议处理模块的输出端与所述通信数据传输模块的输入端、所述通信数据分析模块的输入端相连接；所述通信数据传输模块的输出端与所述通信协议处理模块的输入端相连接；所述通信数据分析模块的输出端与所述监测模块的输入端相连接。

根据上述技术方案，所述通信数据预处理模块包括数据采集单元和数据分片单元；

所述数据采集单元用于采集终端的数据信息；所述数据分片单元用于将大数据分为多个数据包传输；

所述采集终端的数据信息为用户公开发布的照片信息、出行地点信息、天气信息和特别景观信息；

所述数据采集单元的输出端与所述数据分片单元的输入端相连接；所述数据分片单元的输出端与所述通信协议处理模块相连接。

根据上述技术方案，所述通信协议处理模块包括数据帧封装单元和数据帧解封装单元；

所述数据帧封装单元用于将分片所得数据包封装为数据帧；所述数据帧解封装单元用于将数据帧解封为数据包；

所述数据帧封装单元的输出端与数据传输模块的输入端相连接；所述数据传输模块的输出端和数据帧解封装单元的输入端相连接。

根据上述技术方案，所述数据传输模块包括发送设备、接收设备和传输线设备；

所述发送设备用于数据帧中的信息比特流编码后调制为高频信号；所述接收设备用于将接收到的高频信号解调后译码恢复为数据帧；所述传输线设备用于构建传输网络，传输高频信号；

所述发送设备的输出端与所述传输线设备的输入端相连接；所述传输线设备的输出端与所述接收设备的输入端相连接。

根据上述技术方案，所述数据分析模块包括分析单元、计算单元和智能推荐单元；

所述分析单元用于分析接收设备接收到的通信数据中用户对于拍人像照片的喜爱程度；所述计算单元用于计算出行地点对用户的推荐指数；所述智能推荐单元用于为用户推荐最佳推荐出行地点页面；

所述分析单元的输出端与所述计算单元的输入端相连接；所述计算单元的输出端和所述智能推荐单元的输入端相连接；所述智能推荐单元的输出端与所述数据监测模块的输入端相连接。

根据上述技术方案，所述数据监测模块包括用户行为记录单元和预警信息提示单元；

所述用户行为记录单元用于在所述智能推荐单元为用户推荐最佳推荐出行地点页面后，记录点开页面的用户数；所述预警信息提示单元用于输出预警信号；

所述用户行为记录单元的输出端与所述预警信息提示单元的输入端相连接。

一种基于大数据分析的数据通信监测方法，该方法包括以下步骤：

S1、通信数据预处理模块采集通信数据，并将采集到的通信数据分片为数据包；

S2、根据TCP/IP协议将数据包封装为数据帧，并将数据帧中的信息比特流调制为高频信号；

S3、将高频信号由传输线设备传输至接收设备，接收设备将接收到的高频信号恢复为通信数据；

S4、分析通信数据，计算用户对于拍人像照片的喜爱程度指数，计算用户对任一出行地点的推荐指数；

S5、根据推荐指数为用户推荐最佳出行地点；

S6、监测为用户推荐出行地点后用户的操作行为，当用户在阈值时间内无操作时，再次为用户推荐页面，将用户的操作行为记录下来；

S7、当系统为用户推荐两次出行地点推荐页面，但依然未点开页面的用户过多时，预警单元发送预警信号提示系统偏差大；

根据上述技术方案，在步骤S1-S3中，所述数据通信方法包括以下步骤：

S8-1、采集用户信息数据和出行地点的指标数据，将数据分片成多个数据包，将数据包加上帧头和帧尾封装成数据帧；

S8-2、将包含用户信息和出行地点信息指标数据的数据帧根据TCP/IP协议，按照MAC地址分发至传输网络中；

S8-3、由发送设备将数据帧编码调制为高频信号，接收设备接收高频信号，解调解码后恢复为用户信息数据和出行地点指标数据。

根据上述技术方案，在步骤S4-S7中，计算适合拍照的最佳出行地点步骤如下：

S9-1、采集喜爱出行游玩的用户数据，建立数据组[N

S9-2、计算第y个用户对拍人像照片的喜爱程度指数P

根据现有研究表明拍摄人像照对光线的要求最高，而室外拍照最大的影响因素是天气，对于喜爱出行游玩的用户所发布的照片类型，若用户所发布照片大多为风景照，拍摄风景照对天气和光线的要求并不高，认为此类人群出行游玩的心理不在于拍照打卡，若发布的人像照片多，且大多为集体照，大合照，此类人群有很大概率是旅行团等集体出行爱好者，拍摄人像照为留念，乐趣在于行程，对拍照的要求也不高，若用户发布照片多为单一人像照，此类人群出行游玩心理有很大概率在于拍照，且对所拍摄照片要求高，因此可以根据用户发布照片中单一人像的数目与发布照片总数的比值来表示用户对拍人像照片的喜爱程度指数；

S9-3、采集第y个用户所在地区的所有出行地点；在所有出行地点中任选一个出行地点，记为M1，采集出行地点M1的天气信息，采集出行地点吸引游客的特别景观，建立一个数据组[H1

S9-4、计算出行地点天气信息量H1

根据信息论可知，一个事件发生的概率越小它所包含的信息量就越大，因此用信息量的来衡量出行地点的推荐指数；而吸引用户出行游玩拍照的最大影响因素是出行地点的特殊景观，将天气、特殊景观和用户对拍人像照的喜爱程度作为考虑因素来确定出行地点的推荐指数K；

S9-5、根据H1

K

S9-6、获取出行地点M1的预测天气信息，根据H1

K

S9-7、判断K

当K

S9-8、对当前地区每一个出行地点计算第y个用户的K

由于K值受到天气、特殊景观和用户对拍人像照的喜爱程度三个因素的影响，当某地点的天气或特殊景观所包含的信息量很大时，对于拍人像照片的喜爱程度指数低的用户K值也会增大，若此时用户的K值大于K值的平均值，则对于拍人像照片的喜爱程度指数低的用户也会被系统推荐最佳出行地点；

S9-9、设置阈值T0，在T0内，打开系统推荐的出行地点页面的用户数记为z1，当时间超出T0时，用户还未打开过页面，则为未打开页面的用户再次推荐出行地点推荐页面，在T0内，打开系统第二次推荐的出行地点页面的用户数记为z2，当时间超出T0时，还未打开过页面的用户数记为z0；

S9-10、当z0>z1+z2时，认为系统分析模块偏差大，触发预警信息提示单元发出预警提示信号。

当z0>z1+z2时，说明推荐的最佳出行地点准确率低，可能是系统的数据获取信息模块出现错误，也可能是通信数据分析模块出现故障等，此时发出预警提示信号提醒维修人员对系统进行检修。

与现有技术相比，本发明所达到的有益效果是：本发明能够将不同终端采集到的信息集中处理，通过数据通信能够将不同类型的信息结合，发现深层次的内在联系，本系统将用户公开发布照片的信息结合天气变化，特殊景观的出现，实时为用户推荐最佳出行地点，所利用的推荐方法更加合理，提高了出行地点推荐的准确性，对于喜好拍人像照程度高的用户推荐指数高，推荐的频次也会更多，对于喜爱拍人像照程度低的用户推荐指数低，推荐的频次会更少，但是当出行地点的适合拍照的推荐指数高于平均推荐指数时，对于拍人像照片喜爱程度低的用户也会被推荐，这种推荐方式不仅不会给用户增加低效推荐的次数，也不会使大部分用户错过平常难得一见的景观，本发明中的数据监测模块可以监测用户的操作行为，发现异常时及时发出预警信号，提醒系统可能出错，需要检修。

附图说明

图1是本发明一种基于大数据分析的数据通信监测系统及方法的模块连接示意图；

图2是本发明一种基于大数据分析的数据通信监测系统及方法的通信数据分析和监测流程示意图。

具体实施方式

下面结合具体实施例对本发明进一步进行描述。

请参阅图1-图2，本发明提供技术方案：

一种基于大数据分析的数据通信监测系统，该系统包括以下模块：所述系统包括以下模块：通信数据预处理模块、通信协议处理模块、通信数据传输模块、通信数据分析模块和监测模块；

所述通信数据预处理模块用于采集数据并将采集到的数据分片为数据包；所述通信协议处理模块用于将数据包封装为数据帧或将数据帧解封为数据包；所述通信数据传输模块用于将数据帧中的信息比特流和高频信号相互转换并传输高频信号；所述通信数据分析模块用于将采集到的数据分析处理；所述监测模块用于监测通信数据分析模块分析处理后的数据，当通信数据分析模块分析处理后的数据监测的数据偏差大时，发出预警提示信号；

所述通信数据预处理模块的输出端与所述通信协议处理模块的输入端相连接；所述通信协议处理模块的输出端与所述通信数据传输模块、所述通信数据分析模块的输入端相连接；所述通信数据传输模块的输出端与所述通信协议处理模块的输入端相连接；所述通信协议处理模块的输出端与所述通信数据分析模块的输入端相连接；所述通信数据分析模块的输出端与所述监测模块的输入端相连接。

所述通信数据预处理模块包括数据采集单元和数据分片单元；

所述数据采集单元用于采集终端的数据信息；所述数据分片单元用于将大数据分为多个数据包传输；

所述采集终端的数据信息为用户公开发布的照片信息、出行地点信息、天气信息和特别景观信息；

所述数据采集单元的输出端与所述数据分片单元的输入端相连接；所述数据分片单元的输出端与所述通信协议处理模块相连接。

所述通信协议处理模块包括数据帧封装单元和数据帧解封装单元；

所述数据帧封装单元用于将分片所得数据包封装为数据帧；所述数据帧解封装单元用于将数据帧解封为数据包；

所述数据帧封装单元的输出端与所述数据传输模块的输入端相连接；所述数据传输模块的输出端和所述数据帧解封装单元的输入端相连接。

所述数据传输模块包括发送设备、接收设备和传输线设备；

所述发送设备用于数据帧中的信息比特流编码后调制为高频信号；所述接收设备用于将接收到的高频信号解调后译码恢复为数据帧；所述传输线设备用于构建传输网络，传输高频信号；

所述发送设备的输出端与所述传输线设备的输入端相连接；所述传输线设备的输出端与所述接收设备的输入端相连接。

所述数据分析模块包括分析单元、计算单元和智能推荐单元；

所述分析单元用于分析接收设备接收到的通信数据中用户对于拍人像照片的喜爱程度；所述计算单元用于计算出行地点对用户的推荐指数；所述智能推荐单元用于为用户推荐最佳推荐出行地点页面；

所述分析单元的输出端与所述计算单元的输入端相连接；所述计算单元的输出端和所述智能推荐单元的输入端相连接；所述智能推荐单元的输出端与所述数据监测模块的输入端相连接。

所述数据监测模块包括用户行为记录单元和所述预警信息提示单元；

所述用户行为记录单元用于在所述智能推荐单元为用户推荐最佳推荐出行地点页面后，记录点开页面的用户数；所述预警信息提示单元用于输出预警信号；

所述用户行为记录单元的输出端与所述预警信息提示单元的输入端相连接。

一种基于大数据分析的数据通信监测方法，该方法包括以下步骤：

S1、通信数据预处理模块采集通信数据，并将采集到的通信数据分片为数据包；

S2、根据TCP/IP协议将数据包封装为数据帧，并将数据帧中的信息比特流调制为高频信号；

S3、将高频信号由传输线设备传输至接收设备，接收设备将接收到的高频信号恢复为通信数据；

S4、分析通信数据，计算用户对于拍人像照片的喜爱程度指数，计算用户对任一出行地点的推荐指数；

S5、根据推荐指数为用户推荐最佳出行地点；

S6、监测为用户推荐出行地点后用户的操作行为，当用户在阈值时间内无操作时，再次为用户推荐页面，将用户的操作行为记录下来；

S7、当系统为用户推荐两次出行地点推荐页面，但依然未点开页面的用户过多时，预警单元发送预警信号提示系统偏差大；

在步骤S1-S3中，所述数据通信方法包括以下步骤：

S8-1、采集用户信息数据和出行地点的指标数据，将数据分片成多个数据包，将数据包加上帧头和帧尾封装成数据帧；

S8-2、将包含用户信息和出行地点信息指标数据的数据帧根据TCP/IP协议，按照MAC地址分发至传输网络中；

S8-3、由发送设备将数据帧编码调制为高频信号，接收设备接收高频信号，解调解码后恢复为用户信息数据和出行地点指标数据。

在步骤S4-S7中，计算适合拍照的最佳出行地点步骤如下：

S9-1、采集喜爱出行游玩的用户数据，建立数据组[N

S9-2、计算第y个用户对拍人像照片的喜爱程度指数P

S9-3、采集第y个用户所在地区的所有出行地点；在所有出行地点中任选一个出行地点，记为M1，采集出行地点M1的天气信息，采集出行地点吸引游客的特别景观，建立一个数据组[H1

S9-4、计算出行地点天气信息量H1

S9-5、根据H1

K

S9-6、获取出行地点M1的预测天气信息，根据H1

K

S9-7、判断K

当K

S9-8、对当前地区每一个出行地点计算第y个用户的K

S9-9、设置阈值T0，在T0内，打开系统推荐的出行地点页面的用户数记为z1，当时间超出T0时，用户还未打开过页面，则为未打开页面的用户再次推荐出行地点推荐页面，在T0内，打开系统第二次推荐的出行地点页面的用户数记为z2，当时间超出T0时，还未打开过页面的用户数记为z0；

S9-10、当z0>z1+z2时，认为系统分析模块偏差大，触发预警信息提示单元发出预警提示信号。

在本实施例中：

获取历史数据中爱好出行游玩的用户，获取用户在社交平台上公开发布的出行游玩照片，用户1在社交平台上发布照片100次，共642张，在发布的所有照片中单一人像照片为200张，用户2在社交平台上公开发布照片100次，共296张，在发布的所有照片中单一人像照片为210张，用户3在社交平台上公开发布照片100次，共940张，在发布的所有照片中单一人像照片为360张，用户4在社交平台上发布照片100次，共160张，在发布的所有照片中单一人像照片为140张；计算用户对于拍人像照的喜爱程度指数P以及所有用户的喜爱程度平均值P

P

P

P

P

P

获取用户所在地区的所有出行地点，对于出行地点M，分析M的景点特征知M适合在晴天，小雨和大雾天气出行拍照，景点的特别景观为樱花盛开和枫叶变红，樱花盛开的花期为15天，枫叶的红色延续为30天，则适合M地出行天气1为晴天、出行天气2小雨和出行天气3为大雾，出现晴天天气的信息量为H1

H1

H1

H1

H1

H1

M地特别景观出现的信息量H2

H2

H2

H2

H2

用户对于出行地点M推荐指数的平均值K

K

则在樱花盛开的时节晴天天气，用户1、用户2、用户3、用户4对于出行地点M的推荐指数为K

K

K

K

K

则K

得到樱花盛开的晴天天气为用户1、用户2、用户3、用户4推荐出行地点M；

小雨天气且无特别景观时，用户1、用户2、用户3、用户4对于出行地点M的推荐指数分别为K

K

K

K

K

则K

得到小雨天气无特别景观时为用户4推荐出行地点M，不为用户1、用户2、用户3推荐出行地点M；

对当前地区每一个出行地点计算任一用户的K值，将出行地点按照K的值按照由大到小的顺序排列，则K的最大值对应的出行地点即为该用户的最佳推荐出行地点；

若为1000个用户推荐出行地点M后，4小时之内共有284人点击页面，则记录数值z1=284，当推荐后的时间T大于阈值T0，T0为4小时，则认为用户没有看见推荐页面，再为用户推荐一次，若第二次推荐后4小时内有180人点击页面，记录数值z2=180，未点开页面的用户人数为536人，记录数值z0=536，

z1+z2=464；z1+z2＜z0；触发预警信息提示单元发出预警提示信号。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。