一种基于5g边缘计算的数据传输系统

技术领域

本发明涉及数据管理技术领域，尤其是一种基于5g边缘计算的数据传输系统。

背景技术

基于5G边缘计算的数据传输系统是一种利用5G网络和边缘计算技术来实现高效、低延迟的数据传输的系统，它将数据处理和存储的计算资源部署在靠近数据源的边缘节点上，通过优化网络传输和资源管理来提供快速、安全的数据传输服务。

现有技术在传输数据时缺乏对传输路径和带宽进行动态管理和调整，无法根据实时网络状况选择最佳传输路径，影响数据传输的效率和稳定性，同时，在边缘节点管理和资源存储分配方面可能存在问题，无法根据实时需求动态管理和分配边缘节点的计算和存储资源，导致资源利用率低下，缺乏对数据流的优化和选择性传输，无法根据数据重要性和优先级进行有针对性的传输和存储，容易对系统性能造成持续影响。

发明内容

本发明为了解决上述存在的技术问题，提供一种基于5g边缘计算的数据传输系统。

本发明的技术方案是这样实现的：

一种基于5g边缘计算的数据传输系统，包括数据处理模块、网络监控模块、边缘节点管理模块、传输路径管理模块和数据流管理模块，所述数据处理模块输出端与数据流管理模块输入端连接，所述网络监控模块输出端与传输路径管理模块输入端连接，所述传输路径管理模块与数据流管理模块双向连接，所述数据流管理模块输出端与边缘节点管理模块输入端连接。

进一步地，所述数据处理模块包括数据轻量化单元、数据安全化单元和数据备份单元；

所述数据轻量化单元根据传输路径管理模块所搭建的传输路径分布情况与传输带宽分配情况，对数据进行轻量化处理，包括对数据进行压缩与分割，得到压缩数据包与分割数据包，传输至数据安全化单元进行数据安全处理；

所述数据安全化单元对压缩数据包与分割数据包进行安全化处理，输出得到安全处理后的数据，传输至数据备份单元进行备份，同时传输至数据流管理模块；

所述数据备份单元对安全处理后的数据进行定时备份处理，同时还对安全处理后的数据进行冗余和容错处理。

进一步地，所述网络监控模块包括网络实时监测单元、网络质量评估单元和传输路径判断单元；

所述网络实时监测单元对网络设备进行实时状况监测，将实时网络状况传输至网络质量评估单元进行网络质量评估；

所述网络质量评估单元对实时网络状况进行网络质量评估，评估其实时工作能力，并输出得到网络评估结果，传输至传输路径判断单元；

所述传输路径判断单元对网络评估结果进行判断，选择用于传输数据的传输路径并输出路径选择指令，发送至传输路径管理模块。

进一步地，所述边缘节点管理模块包括边缘节点分布单元、节点存储需求分析单元和资源存储分配单元；

所述边缘节点分布单元根据使用需求，分布设置边缘节点，用以对数据进行存储；

所述节点存储需求分析单元对经过数据流管理模块优化的优化数据流进行分析，分析其存储需求，并生成存储分布指令发送至资源存储分配单元；

所述资源存储分配单元根据存储分布指令，对优化数据流分布存储至边缘节点。

进一步地，所述传输路径管理模块包括路由管理单元、宽带管理单元、路径切换单元和故障排查单元；

所述路由管理单元对数据的传输路径进行分布，并配合宽带管理单元共同生成完整的传输路径；

所述宽带管理单元对数据的传输带宽进行分配，并配合路由管理单元共同生成完整的传输路径；

所述路径切换单元接入完整的传输路径，并根据路径选择指令，控制传输路径的切换，选择最佳传输路径，为优化数据流提供进行传输的途径，将选择的最佳传输路径传输至数据流管理模块，同时传输至故障排查单元，由故障排查单元对其进行故障排查；

所述故障排查单元对最佳传输路径进行故障排查，以便在最佳传输路径出现故障时，反馈给路径切换单元进行最佳传输路径的变更。

进一步地，所述数据流管理模块包括数据流流量控制单元、数据流优先级判定单元和数据流优化单元；

所述数据流流量控制单元根据最佳传输路径进行数据流流量控制；

所述数据流优先级判定单元对经过安全处理后的数据进行数据流优先级判断，得到数据流优先级，并传输至数据流优化单元；

所述数据流优化单元根据数据流优化单元，对数据流进行选择性传输前的优化，得到优化数据流，优化数据流传输至边缘节点管理模块进行节点存储需求分析，并经由传输路径管理模块进行传输。

本发明对比现有技术，具有一下有益效果：

1、本发明通过通过数据处理模块，对数据进行压缩、分割和安全化处理，相对于传统的无压缩和未安全处理的数据传输方式，该方案可以减少数据传输量，提高传输效率，并确保数据的安全性；

通过边缘节点管理模块合理配置和分配边缘节点的存储资源，相对于传统的集中式存储架构，可以更好地利用边缘节点的计算和存储资源，提高资源利用率和系统性能；

2、通过网络监控模块在对网络状况进行实时监测的同时，结合网络状态，配合以传输路径管理模块，分析生成最佳传输路径，解决了现有技术在传输数据时缺乏对传输路径和带宽进行动态管理和调整，无法根据实时网络状况选择最佳传输路径，影响数据传输的效率和稳定性的问题；

3、本发明还通过数据流管理模块，对数据流进行管理和优化，根据数据流的优先级和特性进行流量控制和优化传输，相对于传统的无差别传输方式，该方案可以根据数据重要性和优先级进行有针对性的传输，相比现有技术无法根据实时需求动态管理和分配边缘节点的计算和存储资源而言更具有进步性

附图说明

图1为本发明一种基于5g边缘计算的数据传输系统的系统框架图；

图2为本发明中数据处理模块的工作原理图；

图3为本发明中网络监控模块的工作原理图；

图4为本发明中边缘节点管理模块的工作原理图；

图5为本发明中传输路径管理模块的工作原理图；

图6为本发明中数据流管理模块的工作原理图。

具体实施方式

为使得本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

如图1-6所示，一种基于5g边缘计算的数据传输系统，包括数据处理模块、网络监控模块、边缘节点管理模块、传输路径管理模块和数据流管理模块，所述数据处理模块输出端与数据流管理模块输入端连接，所述网络监控模块输出端与传输路径管理模块输入端连接，所述传输路径管理模块与数据流管理模块双向连接，所述数据流管理模块输出端与边缘节点管理模块输入端连接。

进一步地，所述数据处理模块包括数据轻量化单元、数据安全化单元和数据备份单元；

所述数据轻量化单元根据传输路径管理模块所搭建的传输路径分布情况与传输带宽分配情况，对数据进行轻量化处理，包括对数据进行压缩与分割，得到压缩数据包与分割数据包，传输至数据安全化单元进行数据安全处理；

所述数据安全化单元对压缩数据包与分割数据包进行安全化处理，输出得到安全处理后的数据，传输至数据备份单元进行备份，同时传输至数据流管理模块；

所述数据备份单元对安全处理后的数据进行定时备份处理，同时还对安全处理后的数据进行冗余和容错处理。

所述对安全处理后的数据进行冗余的方法为通过将数据备份到多个不同的边缘节点或存储设备上，实现数据的冗余存储。

当一个节点或设备发生故障或数据丢失时，可以从其他备份节点或设备中恢复数据。这种冗余存储可以提高数据的可靠性和可用性。

所述对安全处理后的数据进行容错处理的方法为在数据备份过程中，使用差错检测和纠正码技术来保证数据的完整性和准确性。

差错检测技术可以检测到数据传输过程中可能发生的错误，而纠正码技术可以对错误的数据进行修复，从而确保数据备份的准确性和可靠性。

进一步地，所述网络监控模块包括网络实时监测单元、网络质量评估单元和传输路径判断单元；

所述网络实时监测单元对网络设备进行实时状况监测，将实时网络状况传输至网络质量评估单元进行网络质量评估；

对网络进行如下评估：

延迟评估：通过测量网络中数据包的往返时间(RTT)来评估网络的延迟，较低的延迟表示网络的实时性较好；

带宽评估：通过测量网络中数据传输的速率来评估网络的带宽，较高的带宽表示网络能够支持更高的数据传输速度；

丢包率评估：通过测量网络中数据包的丢失率来评估网络的可靠性，较低的丢包率表示网络对数据的保证能力较好；

抖动评估：通过测量网络中数据包的传输间隔的变化程度来评估网络的抖动性，较低的抖动表示网络的数据传输稳定性较好；

网络可用性评估：通过监测网络的连通性和故障恢复能力来评估网络的可用性，较高的可用性表示网络在故障发生时能够及时恢复；

所述网络质量评估单元对实时网络状况进行网络质量评估，评估其实时工作能力，并输出得到网络评估结果，传输至传输路径判断单元；

所述传输路径判断单元对网络评估结果进行判断，选择用于传输数据的传输路径并输出路径选择指令，发送至传输路径管理模块。

进一步地，所述边缘节点管理模块包括边缘节点分布单元、节点存储需求分析单元和资源存储分配单元；

所述边缘节点分布单元根据使用需求，分布设置边缘节点，用以对数据进行存储；根据使用需求，合理地分布设置边缘节点，可以提高数据存储的效率和性能，通过将数据存储在边缘节点上，可以减少数据传输的延迟和带宽占用，提高数据的响应速度；

所述节点存储需求分析单元对经过数据流管理模块优化的优化数据流进行分析，分析其存储需求，并生成存储分布指令发送至资源存储分配单元；通过对优化数据流进行分析，可以精确地分析其存储需求，这样可以根据实际需求和存储资源的可用性，进行合理的存储分配，提高存储资源的利用率；

所述资源存储分配单元根据存储分布指令，对优化数据流分布存储至边缘节点；根据存储分布指令，将优化数据流分布存储至边缘节点，这样可以实现数据的分布式存储，提高数据的可靠性和可用性，同时，也可以充分利用边缘节点的存储空间，减轻存储的负担。

进一步地，所述传输路径管理模块包括路由管理单元、宽带管理单元、路径切换单元和故障排查单元；

所述路由管理单元对数据的传输路径进行分布，并配合宽带管理单元共同生成完整的传输路径；通过对数据的传输路径进行分布，可以根据实际网络状况进行动态选择最优的传输路径。这样可以减少数据传输的延迟和丢包率，提高数据传输的效率和可靠性；

所述宽带管理单元对数据的传输带宽进行分配，并配合路由管理单元共同生成完整的传输路径；对数据的传输带宽进行分配，可以根据数据的重要性和网络负载情况，合理地分配带宽资源，这样可以避免带宽资源的浪费，提高数据传输的效率和质量；

所述路径切换单元接入完整的传输路径，并根据路径选择指令，控制传输路径的切换，选择最佳传输路径，为优化数据流提供进行传输的途径，将选择的最佳传输路径传输至数据流管理模块，同时传输至故障排查单元，由故障排查单元对其进行故障排查；路径切换单元可以根据最佳传输路径的选择指令，动态地切换传输路径，选择最优的传输路径进行数据传输；

所述故障排查单元对最佳传输路径进行故障排查，以便在最佳传输路径出现故障时，反馈给路径切换单元进行最佳传输路径的变更；故障排查单元可以对最佳传输路径进行故障排查，及时发现并反馈故障，从而实现快速的故障恢复和路径切换。

进一步地，所述数据流管理模块包括数据流流量控制单元、数据流优先级判定单元和数据流优化单元；

所述数据流流量控制单元根据最佳传输路径，对数据流的流量进行控制，可以合理地管理数据流的传输速率，避免网络拥塞和负载过载，提高数据传输的稳定性和可靠性；

所述数据流优先级判定单元对经过安全处理后的数据进行数据流优先级判断，得到数据流优先级，并传输至数据流优化单元；根据安全处理后的数据，对数据流进行优先级判断，可以根据不同的优先级，合理地调配网络资源，这样可以保证重要数据的传输优先级，提高数据的传输效率和安全性；

所述数据流优化单元对数据流进行选择性传输前的优化，得到优化数据流，优化过程包括对数据进行去重：识别和删除数据流中的重复数据，减少冗余；降噪：对数据流进行降噪处理，去除噪声或异常值，提高数据的质量和准确性；优化数据流传输至边缘节点管理模块进行节点存储需求分析，并经由传输路径管理模块进行传输；对数据流进行选择性传输前的优化，可以减少数据的冗余和冗长，提高数据传输的效率和速度，这样可以在边缘节点管理模块进行节点存储需求分析之前，对数据流进行优化，提高整体系统的性能和效能。

实施例二

一种基于5g边缘计算的数据传输系统，包括数据处理模块、网络监控模块、边缘节点管理模块、传输路径管理模块和数据流管理模块，所述数据处理模块输出端与数据流管理模块输入端连接，所述网络监控模块输出端与传输路径管理模块输入端连接，所述传输路径管理模块与数据流管理模块双向连接，所述数据流管理模块输出端与边缘节点管理模块输入端连接。

进一步地，所述数据处理模块包括数据轻量化单元、数据安全化单元和数据备份单元；

所述数据轻量化单元根据传输路径管理模块所搭建的传输路径分布情况与传输带宽分配情况，对数据进行轻量化处理，包括对数据进行压缩与分割，得到压缩数据包与分割数据包，传输至数据安全化单元进行数据安全处理；

所述数据安全化单元对压缩数据包与分割数据包进行安全化处理，输出得到安全处理后的数据，传输至数据备份单元进行备份，同时传输至数据流管理模块；

所述数据备份单元对安全处理后的数据进行定时备份处理，同时还对安全处理后的数据进行冗余和容错处理。

进一步地，所述网络监控模块包括网络实时监测单元、网络质量评估单元和传输路径判断单元；

所述网络实时监测单元对网络设备进行实时状况监测，将实时网络状况传输至网络质量评估单元进行网络质量评估；

所述网络质量评估单元对实时网络状况进行网络质量评估，评估其实时工作能力，并输出得到网络评估结果，传输至传输路径判断单元；

所述传输路径判断单元对网络评估结果进行判断，选择用于传输数据的传输路径并输出路径选择指令，发送至传输路径管理模块。

进一步地，所述边缘节点管理模块包括边缘节点分布单元、节点存储需求分析单元和资源存储分配单元；

所述边缘节点分布单元根据使用需求，分布设置边缘节点，用以对数据进行存储；

所述节点存储需求分析单元对经过数据流管理模块优化的优化数据流进行分析，分析其存储需求，并生成存储分布指令发送至资源存储分配单元；

所述资源存储分配单元根据存储分布指令，对优化数据流分布存储至边缘节点。

所述分析存储需求的步骤为：

S1、收集需要存储的数据，包括数据的类型、大小、数量信息；

S2、对收集到的数据进行分类，根据数据的特性将其分为不同的类别；

S3、对不同类别的数据进行需求评估，确定每种类型数据的存储需求；评估包括以下几个方面：

①估计每种类型数据的容量大小，通常以字节、千字节或兆字节为单位；

②预测数据的增长率，以便根据未来的数据增长情况调整存储资源；

③分析数据的访问频率，以确定存储数据的热度，决定数据是否需要快速访问或冷数据可以存储在较慢的介质上；

④评估数据的保留期限，决定数据需要存储的时间长度；

S4、根据数据需求评估的结果对存储容量进行规划，根据数据的类型和预测的增长率，计算所需的存储容量，并保留一定的余量以应对未来的数据增长；

S5、根据存储需求评估的结果，优化数据流的存储分布，确定哪些数据应该存储在边缘节点，哪些数据可以存储在中心节点或云节点；

S6、定期监控存储资源的使用情况，根据实际情况进行存储资源的调整和优化，以满足不断变化的存储需求。

本实施例中，分析存储需求可以确保存储系统按需分配资源，提高存储效率和性能，同时降低成本和风险，以满足不断增长的数据存储需求。