基于MQTT面向工业物联网的联邦学习通信方法和系统
文献发布时间:2024-04-18 20:02:18
技术领域
本发明提出了基于MQTT面向工业物联网的联邦学习通信方法和系统,属于联邦学习通信技术领域。
背景技术
现有的联邦学习通信技术,无法直接应用于工业物联网场景下,IIoT设备通常在带宽有限、延迟敏感的环境中运行,需要最小化的通信量来进行模型的传输。
发明内容
本发明提供了基于MQTT面向工业物联网的联邦学习通信方法和系统,用以解决现有技术中联邦学习通信技术,无法直接应用于工业物联网场景下的问题:
基于MQTT面向工业物联网的联邦学习通信方法,所述基于MQTT面向工业物联网的联邦学习通信方法包括:
利用联邦学习需求信息和通信需求信息对工业物联网场景中的用户终端的联邦学习模型进行训练;
当工业物联网的用户终端产生需要进行传输的数据信息时,通过用户终端的联邦学习模型进行数据压缩,获得压缩后的数据包;
将所述压缩后的数据包利用MQTT协议发送至工业物联网对应的物联网平台上。
进一步地,利用联邦学习需求信息和通信需求信息对工业物联网场景中的用户终端的联邦学习模型进行训练,包括:
提取工业物联网场景中的联邦学习需求信息;
提取采用MQTT协议进行通信的通信需求信息;
在工业物联网的用户终端采集本地数据,并利用本地数据对联邦学习对应的学习模型进行训练。
进一步地,在工业物联网的用户终端采集本地数据,并利用本地数据对联邦学习对应的学习模型进行训练,包括:
控制所述工业物联网的用户终端采集用户终端对应的本地数据;
对所述本地数据进行数据清洗,获得数据清洗后的本地数据,并将所述数据清洗后的本地数据作为样本数据,形成样本数据集;
其中,数据清洗过程中的异常值识别和剔除的过程如下:
步骤一:设需要进行异常值剔除的数据集中数据共有n个,第i个数据的值为V
其中Avg为此n个数据的均值;
步骤二:根据步骤一的计算结果,计算此n个数据的标准差,其计算公式为:
其中Std为此n个数据的标准差;
步骤三:根据步骤一和步骤二的计算结果,计算第i个数据的值为V
其中K
根据所述工业物联网的用户终端对应的联邦学习需求信息和通信需求信息从所述工业物联网的数据库中调取与所述用户终端的联邦学习需求信息和通信需求信息对应的联邦学习模型,作为目标学习模型;
将所述目标学习模型发送至对应的用户终端;
所述用户终端利用所述样本数据集对接收到的目标学习模型进行训练,获得训练后的目标学习模型。
进一步地,当工业物联网的用户终端产生需要进行传输的数据信息时,通过用户终端的联邦学习模型进行数据压缩,获得压缩后的数据包,包括:
当工业物联网的用户终端产生需要进行传输的数据信息时,提取待压缩数据信息;
将所述待压缩数据信息输入至联邦学习模型中,通过所述联邦学习模型按照压缩规则进行数据压缩,输出压缩后的数据包。
进一步地,压缩规则如下:
提取待压缩数据信息进行压缩处理对应的梯度信息;
对所述待压缩数据信息进行压缩处理对应的梯度信息使用绝对值的单一阈值对固定比例的梯度进行稀疏化处理;
使用8位无符号整形的线性量化方法将梯度映射为最小的整数值;
按照待压缩数据信息获取梯度映射对应的最小的整数值对所述待压缩数据信息进行压缩。
基于MQTT面向工业物联网的联邦学习通信系统,所述基于MQTT面向工业物联网的联邦学习通信系统包括:
学习模型训练模块,用于利用联邦学习需求信息和通信需求信息对工业物联网场景中的用户终端的联邦学习模型进行训练;
数据压缩模块,用于当工业物联网的用户终端产生需要进行传输的数据信息时,通过用户终端的联邦学习模型进行数据压缩,获得压缩后的数据包;
数据发送模块,用于将所述压缩后的数据包利用MQTT协议发送至工业物联网对应的物联网平台上。
进一步地,所述学习模型训练模块包括:
学习需求信息提取模块,用于提取工业物联网场景中的联邦学习需求信息;
通信需求信息提取模块,用于提取采用MQTT协议进行通信的通信需求信息;
训练执行模块,用于在工业物联网的用户终端采集本地数据,并利用本地数据对联邦学习对应的学习模型进行训练。
进一步地,所述训练执行模块包括:
本地数据采集模块,用于控制所述工业物联网的用户终端采集用户终端对应的本地数据;
样本数据集获取模块,用于对所述本地数据进行数据清洗,获得数据清洗后的本地数据,并将所述数据清洗后的本地数据作为样本数据,形成样本数据集;
其中,数据清洗过程中的异常值识别和剔除的过程如下:
步骤一:设需要进行异常值剔除的数据集中数据共有n个,第i个数据的值为V
其中Avg为此n个数据的均值;
步骤二:根据步骤一的计算结果,计算此n个数据的标准差,其计算公式为:
其中Std为此n个数据的标准差;
步骤三:根据步骤一和步骤二的计算结果,计算第i个数据的值为V
其中K
目标学习模型获取模块,用于根据所述工业物联网的用户终端对应的联邦学习需求信息和通信需求信息从所述工业物联网的数据库中调取与所述用户终端的联邦学习需求信息和通信需求信息对应的联邦学习模型,作为目标学习模型;
目标学习模型发送模块,用于将所述目标学习模型发送至对应的用户终端;
模型训练执行模块,用于所述用户终端利用所述样本数据集对接收到的目标学习模型进行训练,获得训练后的目标学习模型。
进一步地,所述数据压缩模块包括:
待压缩数据信息提取模块,用于当工业物联网的用户终端产生需要进行传输的数据信息时,提取待压缩数据信息;
数据包输出模块,用于将所述待压缩数据信息输入至联邦学习模型中,通过所述联邦学习模型按照压缩规则进行数据压缩,输出压缩后的数据包。
进一步地,压缩规则如下:
提取待压缩数据信息进行压缩处理对应的梯度信息;
对所述待压缩数据信息进行压缩处理对应的梯度信息使用绝对值的单一阈值对固定比例的梯度进行稀疏化处理;
使用8位无符号整形的线性量化方法将梯度映射为最小的整数值;
按照待压缩数据信息获取梯度映射对应的最小的整数值对所述待压缩数据信息进行压缩。
本发明有益效果:
本发明提出的基于MQTT面向工业物联网的联邦学习通信方法和系统采用多种方式进行压缩处理,采用梯度稀疏化技术(基于绝对值的单一阈值来稀疏固定比例的梯度)、梯度量化(采用8位无符号整形的线性量化方法)、梯度编码解码方法(位映射方法)。本发明提出的基于MQTT面向工业物联网的联邦学习通信方法和系统降低了模型训练的通信开销,降低了设备与服务器之间的通信传输量,提高了系统通信效率。
附图说明
图1为本发明所述方法的流程图;
图2为本发明所述系统的系统框图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明实施例提出了基于MQTT面向工业物联网的联邦学习通信方法,如图1所示,所述基于MQTT面向工业物联网的联邦学习通信方法包括:
S1、利用联邦学习需求信息和通信需求信息对工业物联网场景中的用户终端的联邦学习模型进行训练;
S2、当工业物联网的用户终端产生需要进行传输的数据信息时,通过用户终端的联邦学习模型进行数据压缩,获得压缩后的数据包;
S3、将所述压缩后的数据包利用MQTT协议发送至工业物联网对应的物联网平台上。
上述技术方案的工作原理为:训练联邦学习模型(S1):首先,使用联邦学习需求信息和通信需求信息,对工业物联网场景中的用户终端的联邦学习模型进行训练。这意味着用户终端可以协同学习而无需传输原始数据。
数据压缩(S2):当工业物联网的用户终端产生需要传输的数据信息时,数据不会直接传输。相反,数据会通过用户终端的联邦学习模型进行数据压缩,以获得压缩后的数据包。这一步骤有助于减小数据传输的大小,减少网络带宽的需求。
数据传输(S3):压缩后的数据包会利用MQTT(Message Queuing TelemetryTransport)协议发送至工业物联网对应的物联网平台上。MQTT是一种轻量级、高效的发布/订阅协议,适用于物联网设备之间的通信。
上述技术方案的效果为:减小数据传输量:通过在用户终端上使用联邦学习模型进行数据压缩,减小了需要通过网络传输的数据量。这有助于降低网络带宽的需求,减少数据传输的成本和延迟。
隐私保护:联邦学习允许用户终端在不共享原始数据的情况下进行模型训练。这有助于保护用户数据的隐私,因为敏感数据不会离开用户终端。
高效通信:使用MQTT协议进行数据传输可以确保高效的消息传递和通信管理,特别适用于工业物联网环境,其中需要实时或定期的数据传输。
降低网络成本:减小数据传输量和提高通信效率可降低与数据传输相关的网络成本,这在大规模工业物联网应用中尤为重要。
本发明的一个实施例,利用联邦学习需求信息和通信需求信息对工业物联网场景中的用户终端的联邦学习模型进行训练,包括:
S101、提取工业物联网场景中的联邦学习需求信息;
S102、提取采用MQTT协议进行通信的通信需求信息;
S103、在工业物联网的用户终端采集本地数据,并利用本地数据对联邦学习对应的学习模型进行训练。
上述技术方案的工作原理为:提取联邦学习需求信息(S101):在工业物联网场景中,首先需要确定联邦学习的需求信息。这包括确定需要联邦学习的任务、涉及的终端设备以及要训练的模型类型。这些需求信息会在后续的模型训练中起到关键的指导作用。
提取通信需求信息(S102):同时,也需要提取通信需求信息,包括确定使用MQTT协议进行通信的要求。这一步骤确定了通信协议,以确保用户终端之间的通信方式统一。
本地数据采集和模型训练(S103):用户终端在本地采集数据,这些数据将用于训练联邦学习模型。联邦学习模型可以是机器学习模型,例如神经网络,用于特定的任务,如预测、分类或异常检测。用户终端使用提取的需求信息进行模型训练,以满足工业物联网场景的特定需求。
上述技术方案的效果为:个性化模型训练:通过在每个用户终端上进行本地模型训练,可以根据用户终端的本地数据和需求信息创建个性化的模型。这使得每个终端能够根据其自身特征进行训练,而无需共享原始数据。
隐私保护:由于数据不离开用户终端,隐私得到了更好的保护。用户的敏感数据不会在网络上传输,只有模型参数或模型更新会在通信中传输。
定制化通信需求:通信需求信息的提取确保了使用MQTT协议进行通信,这有助于确保通信方式的一致性,同时也可以针对特定的通信需求进行定制。
本实施例的技术方案是通过联邦学习在终端上进行本地模型训练,从而实现模型的个性化,同时通过MQTT协议确保通信的高效性和一致性。
本发明的一个实施例,在工业物联网的用户终端采集本地数据,并利用本地数据对联邦学习对应的学习模型进行训练,包括:
S1031、控制所述工业物联网的用户终端采集用户终端对应的本地数据;
S1032、对所述本地数据进行数据清洗,获得数据清洗后的本地数据,并将所述数据清洗后的本地数据作为样本数据,形成样本数据集;
S1033、根据所述工业物联网的用户终端对应的联邦学习需求信息和通信需求信息从所述工业物联网的数据库中调取与所述用户终端的联邦学习需求信息和通信需求信息对应的联邦学习模型,作为目标学习模型;
S1034、将所述目标学习模型发送至对应的用户终端;
S1035、所述用户终端利用所述样本数据集对接收到的目标学习模型进行训练,获得训练后的目标学习模型。
由于从用户终端采集的本地数据参差不齐,包含很多异常值,例如使用时长超过1年,开始时间是1970年等等,对于此类异常值,若不能正确识别并予以剔除,将会对后续的模型训练带来很大干扰,对模型的准确率也有很大影响。为了能准确识别并剔除上述异常值,采用如下算法:
步骤一:设需要进行异常值剔除的数据集中数据共有n个,第i个数据的值为V
其中Avg为此n个数据的均值。
步骤二:根据步骤一的计算结果,计算此n个数据的标准差,其计算公式为:
其中Std为此n个数据的标准差。
步骤三:根据步骤一和步骤二的计算结果,计算第i个数据的值为V
其中K
该算法通过被检测数据与总体数据均值和方差的关系对异常数据予以准确识别,确保模型训练数据集的准确性,为模型训练提供良好的基础条件,也为模型的准确率提供了保证。
上述技术方案的工作原理为:控制本地数据采集(S1031):控制工业物联网的用户终端以采集本地数据。这些本地数据可能包括传感器数据、设备状态、操作记录等,取决于特定的工业物联网应用场景。
数据清洗(S1032):对采集到的本地数据进行数据清洗,以去除噪声、异常值或不必要的信息,从而获得干净的数据。这些清洗后的数据将作为训练联邦学习模型的样本数据。
调取目标学习模型(S1033):根据工业物联网的用户终端的联邦学习需求信息和通信需求信息,从工业物联网的数据库中获取与用户终端需求匹配的联邦学习模型。这个目标学习模型将用于训练本地数据。
发送目标学习模型(S1034):将获取的目标学习模型发送到对应的用户终端。这个目标模型将提供一个初始化的模型结构,用户终端将使用它进行训练。
本地模型训练(S1035):用户终端使用采集的样本数据集以及接收到的目标学习模型进行模型训练。本地模型的训练过程可以采用联邦学习等技术,以确保用户终端的数据不离开本地并且保持隐私。训练后,用户终端将获得一个个性化的模型,适用于其特定的数据和需求。
上述技术方案的效果为:个性化模型训练:用户终端可以根据其本地数据训练个性化的模型,这可以提高模型的性能和适应性,以满足不同的需求和数据特点。
隐私保护:数据不离开用户终端,因此隐私得到了更好的保护。用户的本地数据不会在网络上传输,只有模型参数或模型更新会在通信中传输。
通信效率:用户终端只需传输模型参数和更新,而不是原始数据,这可以减少通信开销,提高通信效率。
本实施例的技术方案是通过联邦学习,使用户终端能够在本地训练个性化的模型,同时确保数据隐私和通信效率。
本发明的一个实施例,当工业物联网的用户终端产生需要进行传输的数据信息时,通过用户终端的联邦学习模型进行数据压缩,获得压缩后的数据包,包括:
S201、当工业物联网的用户终端产生需要进行传输的数据信息时,提取待压缩数据信息;
S202、将所述待压缩数据信息输入至联邦学习模型中,通过所述联邦学习模型按照压缩规则进行数据压缩,输出压缩后的数据包。
其中,压缩规则如下:
提取待压缩数据信息进行压缩处理对应的梯度信息;
对所述待压缩数据信息进行压缩处理对应的梯度信息使用绝对值的单一阈值对固定比例的梯度进行稀疏化处理;
使用8位无符号整形的线性量化方法将梯度映射为最小的整数值;
按照待压缩数据信息获取梯度映射对应的最小的整数值对所述待压缩数据信息进行压缩。
上述技术方案的工作原理为:提取待压缩数据信息(S201):当用户终端产生需要传输的数据信息时,这些数据被提取作为待压缩的数据信息。
联邦学习模型进行数据压缩(S202):待压缩的数据信息通过联邦学习模型进行数据压缩。压缩规则如下:
梯度信息提取:待压缩的数据信息对应的梯度信息被提取,这些梯度信息通常用于更新联邦学习模型。
梯度稀疏化处理:使用绝对值的单一阈值对固定比例的梯度进行稀疏化处理。这意味着只有那些梯度绝对值超过一定阈值的部分会被保留,而其他梯度会被设为零。
线性量化:使用8位无符号整数线性量化方法将梯度映射为最小的整数值。这有助于减小数据的精度,从而减小数据的大小。
压缩数据生成:根据待压缩数据信息获取梯度映射对应的最小整数值,然后将其映射为压缩后的数据包。
上述技术方案的效果为:数据压缩:通过联邦学习模型进行数据压缩,将原始数据信息压缩为更小的数据包。这可以减小需要传输的数据量,从而减少通信开销。
梯度稀疏化:通过梯度稀疏化处理,可以保留重要的梯度信息,同时减小不太重要的梯度,以进一步减小数据大小。
线性量化:使用线性量化方法将梯度映射为整数值,减小了数据的精度,但仍然保留了足够的信息以支持联邦学习模型的训练。
本实施例的技术方案通过数据压缩,有助于降低数据传输的成本和通信延迟,同时保持足够的信息以支持联邦学习模型的更新。
本发明实施例提出了基于MQTT面向工业物联网的联邦学习通信系统,如图2所示,所述基于MQTT面向工业物联网的联邦学习通信系统包括:
学习模型训练模块,用于利用联邦学习需求信息和通信需求信息对工业物联网场景中的用户终端的联邦学习模型进行训练;
数据压缩模块,用于当工业物联网的用户终端产生需要进行传输的数据信息时,通过用户终端的联邦学习模型进行数据压缩,获得压缩后的数据包;
数据发送模块,用于将所述压缩后的数据包利用MQTT协议发送至工业物联网对应的物联网平台上。
上述技术方案的工作原理为:首先,使用联邦学习需求信息和通信需求信息,对工业物联网场景中的用户终端的联邦学习模型进行训练。这意味着用户终端可以协同学习而无需传输原始数据。
当工业物联网的用户终端产生需要传输的数据信息时,数据不会直接传输。相反,数据会通过用户终端的联邦学习模型进行数据压缩,以获得压缩后的数据包。这一步骤有助于减小数据传输的大小,减少网络带宽的需求。
压缩后的数据包会利用MQTT(Message Queuing Telemetry Transport)协议发送至工业物联网对应的物联网平台上。MQTT是一种轻量级、高效的发布/订阅协议,适用于物联网设备之间的通信。
上述技术方案的效果为:减小数据传输量:通过在用户终端上使用联邦学习模型进行数据压缩,减小了需要通过网络传输的数据量。这有助于降低网络带宽的需求,减少数据传输的成本和延迟。
隐私保护:联邦学习允许用户终端在不共享原始数据的情况下进行模型训练。这有助于保护用户数据的隐私,因为敏感数据不会离开用户终端。
高效通信:使用MQTT协议进行数据传输可以确保高效的消息传递和通信管理,特别适用于工业物联网环境,其中需要实时或定期的数据传输。
降低网络成本:减小数据传输量和提高通信效率可降低与数据传输相关的网络成本,这在大规模工业物联网应用中尤为重要。
本发明的一个实施例,所述学习模型训练模块包括:
学习需求信息提取模块,用于提取工业物联网场景中的联邦学习需求信息;
通信需求信息提取模块,用于提取采用MQTT协议进行通信的通信需求信息;
训练执行模块,用于在工业物联网的用户终端采集本地数据,并利用本地数据对联邦学习对应的学习模型进行训练。
上述技术方案的工作原理为:在工业物联网场景中,首先需要确定联邦学习的需求信息。这包括确定需要联邦学习的任务、涉及的终端设备以及要训练的模型类型。这些需求信息会在后续的模型训练中起到关键的指导作用。
同时,也需要提取通信需求信息,包括确定使用MQTT协议进行通信的要求。这一步骤确定了通信协议,以确保用户终端之间的通信方式统一。
用户终端在本地采集数据,这些数据将用于训练联邦学习模型。联邦学习模型可以是机器学习模型,例如神经网络,用于特定的任务,如预测、分类或异常检测。用户终端使用提取的需求信息进行模型训练,以满足工业物联网场景的特定需求。
上述技术方案的效果为:个性化模型训练:通过在每个用户终端上进行本地模型训练,可以根据用户终端的本地数据和需求信息创建个性化的模型。这使得每个终端能够根据其自身特征进行训练,而无需共享原始数据。
隐私保护:由于数据不离开用户终端,隐私得到了更好的保护。用户的敏感数据不会在网络上传输,只有模型参数或模型更新会在通信中传输。
定制化通信需求:通信需求信息的提取确保了使用MQTT协议进行通信,这有助于确保通信方式的一致性,同时也可以针对特定的通信需求进行定制。
本实施例的技术方案是通过联邦学习在终端上进行本地模型训练,从而实现模型的个性化,同时通过MQTT协议确保通信的高效性和一致性。
本发明的一个实施例,所述训练执行模块包括:
本地数据采集模块,用于控制所述工业物联网的用户终端采集用户终端对应的本地数据;
样本数据集获取模块,用于对所述本地数据进行数据清洗,获得数据清洗后的本地数据,并将所述数据清洗后的本地数据作为样本数据,形成样本数据集;
目标学习模型获取模块,用于根据所述工业物联网的用户终端对应的联邦学习需求信息和通信需求信息从所述工业物联网的数据库中调取与所述用户终端的联邦学习需求信息和通信需求信息对应的联邦学习模型,作为目标学习模型;
目标学习模型发送模块,用于将所述目标学习模型发送至对应的用户终端;
模型训练执行模块,用于所述用户终端利用所述样本数据集对接收到的目标学习模型进行训练,获得训练后的目标学习模型。
由于从用户终端采集的本地数据参差不齐,包含很多异常值,例如使用时长超过1年,开始时间是1970年等等,对于此类异常值,若不能正确识别并予以剔除,将会对后续的模型训练带来很大干扰,对模型的准确率也有很大影响。为了能准确识别并剔除上述异常值,采用如下算法:
步骤一:设需要进行异常值剔除的数据集中数据共有n个,第i个数据的值为V
其中Avg为此n个数据的均值。
步骤二:根据步骤一的计算结果,计算此n个数据的标准差,其计算公式为:
其中Std为此n个数据的标准差。
步骤三:根据步骤一和步骤二的计算结果,计算第i个数据的值为V
其中K
该算法通过被检测数据与总体数据均值和方差的关系对异常数据予以准确识别,确保模型训练数据集的准确性,为模型训练提供良好的基础条件,也为模型的准确率提供了保证。
上述技术方案的工作原理为:控制工业物联网的用户终端以采集本地数据。这些本地数据可能包括传感器数据、设备状态、操作记录等,取决于特定的工业物联网应用场景。
对采集到的本地数据进行数据清洗,以去除噪声、异常值或不必要的信息,从而获得干净的数据。这些清洗后的数据将作为训练联邦学习模型的样本数据。
根据工业物联网的用户终端的联邦学习需求信息和通信需求信息,从工业物联网的数据库中获取与用户终端需求匹配的联邦学习模型。这个目标学习模型将用于训练本地数据。
将获取的目标学习模型发送到对应的用户终端。这个目标模型将提供一个初始化的模型结构,用户终端将使用它进行训练。
用户终端使用采集的样本数据集以及接收到的目标学习模型进行模型训练。本地模型的训练过程可以采用联邦学习等技术,以确保用户终端的数据不离开本地并且保持隐私。训练后,用户终端将获得一个个性化的模型,适用于其特定的数据和需求。
上述技术方案的效果为:个性化模型训练:用户终端可以根据其本地数据训练个性化的模型,这可以提高模型的性能和适应性,以满足不同的需求和数据特点。
隐私保护:数据不离开用户终端,因此隐私得到了更好的保护。用户的本地数据不会在网络上传输,只有模型参数或模型更新会在通信中传输。
通信效率:用户终端只需传输模型参数和更新,而不是原始数据,这可以减少通信开销,提高通信效率。
本实施例的技术方案是通过联邦学习,使用户终端能够在本地训练个性化的模型,同时确保数据隐私和通信效率。
本发明的一个实施例,所述数据压缩模块包括:
待压缩数据信息提取模块,用于当工业物联网的用户终端产生需要进行传输的数据信息时,提取待压缩数据信息;
数据包输出模块,用于将所述待压缩数据信息输入至联邦学习模型中,通过所述联邦学习模型按照压缩规则进行数据压缩,输出压缩后的数据包。
其中,压缩规则如下:
提取待压缩数据信息进行压缩处理对应的梯度信息;
对所述待压缩数据信息进行压缩处理对应的梯度信息使用绝对值的单一阈值对固定比例的梯度进行稀疏化处理;
使用8位无符号整形的线性量化方法将梯度映射为最小的整数值;
按照待压缩数据信息获取梯度映射对应的最小的整数值对所述待压缩数据信息进行压缩。
上述技术方案的工作原理为:当用户终端产生需要传输的数据信息时,这些数据被提取作为待压缩的数据信息。
待压缩的数据信息通过联邦学习模型进行数据压缩。压缩规则如下:
梯度信息提取:待压缩的数据信息对应的梯度信息被提取,这些梯度信息通常用于更新联邦学习模型。
梯度稀疏化处理:使用绝对值的单一阈值对固定比例的梯度进行稀疏化处理。这意味着只有那些梯度绝对值超过一定阈值的部分会被保留,而其他梯度会被设为零。
线性量化:使用8位无符号整数线性量化方法将梯度映射为最小的整数值。这有助于减小数据的精度,从而减小数据的大小。
压缩数据生成:根据待压缩数据信息获取梯度映射对应的最小整数值,然后将其映射为压缩后的数据包。
上述技术方案的效果为:数据压缩:通过联邦学习模型进行数据压缩,将原始数据信息压缩为更小的数据包。这可以减小需要传输的数据量,从而减少通信开销。
梯度稀疏化:通过梯度稀疏化处理,可以保留重要的梯度信息,同时减小不太重要的梯度,以进一步减小数据大小。
线性量化:使用线性量化方法将梯度映射为整数值,减小了数据的精度,但仍然保留了足够的信息以支持联邦学习模型的训练。
本实施例的技术方案通过数据压缩,有助于降低数据传输的成本和通信延迟,同时保持足够的信息以支持联邦学习模型的更新。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
- 面向智慧城市物联网信物融合的联邦学习系统及联邦学习训练方法
- 面向智慧城市物联网信物融合的联邦学习系统及联邦学习训练方法