边云协同模型动态训练方法
文献发布时间:2023-11-17 06:30:03
技术领域
本发明涉及一种边(边缘侧设备)云(工业互联网平台)协同机制及模型动态训练方法,属于工业互联网平台边缘协同应用领域。
背景技术
在工业互联网各场景应用中,现场有大量数据需要采集,如配用电系统中,需采集电参量数据、环境数据、安防数据等;在生产制造领域,需采集生产设备数据、用能数据、环境及监控数据等。这些应用中,采集的原始数据中很多都是过程数据,直接使用对用户价值意义不大,需要经运算处理后才能带来价值,如果这些数据直接上传到平台会产生大量的“垃圾”数据,影响平台的性能。另外,许多行业中,如能源、制造业等,当运行中的设备出现故障或需要维护时,可能需要即时响应,如果通过现场的网关将故障信息传输至平台、由平台判断处理后并下发指令、通过网关传输给设备再进行执行,由于网络传输时延无法保持实时性,故障无法及时处理将造成故障面扩大,甚至带来致命风险。另外,目前学术界提出的联邦学习、迁移学习、联邦元学习等方式已在工业界部分场景中得到尝试应用,但实际应用中仍存在数据泛化程度不高、通信开销大等缺点,尤其是对于配用电中低压电器等类型的设备,属于特征数据少、瞬时数据量大、个体差异大的场景,无法完全适用。
发明内容
本发明的目的是:提供一种边缘侧设备与工业互联网平台相互协同的模型动态训练方法。
为了达到上述目的,本发明的技术方案是提供了一种边云协同模型动态训练方法,其特征在于,基于边缘侧设备与工业互联网平台的协同机制实现模型的动态训练,其中,在边缘侧设备与工业互联网平台的协同机制中,基于机理模型的边缘计算技术在边缘侧设备上实现数据分析计算,工业互联网平台基于静态基础机理模型基于大数据分析形成实时机理模型后,将该实时机理模型下发至边缘侧设备,由利用接收到的实时机理模型进行数据分析计算,并向云平台反馈分析计算执行结果,采用所述边云协同模型动态训练方法对实时机理模型进行动态训练,具体包括以下步骤:
步骤1、数据采集后预处理:边缘侧设备对与其相连的传感设备采集的数据进行预处理;
步骤2、模型选择:根据实际应用场景和需求,选择适合的静态基础机理模型结构和算法,并对其进行改进和优化;
步骤3、参数初始化:对上一步获得的机理模型的参数进行初始化;
步骤4、动态训练:在训练过程中,不断地加入新的数据对模型进行迭代更新;
步骤5、网络优化:通过调整模型的网络结构和优化算法,提高模型的准确率和训练效率,同时降低模型的复杂度和计算耗时;
步骤6、模型评估:对训练得到的模型进行评估和验证;
步骤7、模型更新:根据实时数据和反馈信息,对模型进行更新和迭代优化。
优选地,所述边缘侧设备基于边缘侧增值决策技术能够实时接受工业互联网平台下发的策略,也能根据边缘侧设备上实时机理模型的运算结果,在边缘侧设备本地进行策略执行,直接控制设备的对应操作,从而缩短设备的响应时间,实现实时决策,提高控制的实时性、安全性与可靠性,实现边缘侧设备与工业互联网平台的数据的可控化。
优选地,所述步骤1中,预处理包括数据清洗、特征提取和降维。
优选地,步骤6中,对模型进行评估和验证时,利用准确率、精确率、召回率、F1值指标,以及模型在不同场景下的性能表现。
本发明通过工业互联网平台远程对边缘侧设备(如网关)进行配置,实现边缘侧设备的机理模型管理,并通过边云协同技术实现模型动态训练等功能。本发明的重点是针对低压配电等特征数据少、瞬时数据量大、个体差异大的场景,提出边云协同的机制及模型动态训练的方法和过程。
相比传统的收集数据并开展集中训练,采用边缘协同技术,在配电场景中,边缘计算网关的机理模型动态训练方法具有以下行业特色和优势:
1.实时性:配用电的许多应用场景需要实时响应和决策,例如能源管理系统,使用边缘计算网关进行机理模型动态训练可以在本地进行实时的数据处理和决策,减少了数据传输和云端计算的时间,提高了响应速度和实时性。
2.稳定性:配用电的应用场景通常需要高度的可靠性和稳定性,例如智能家居和自动化生产线。使用边缘计算网关进行机理模型动态训练可以在本地进行训练和决策,即使在网络中断的情况下,也能够继续进行本地的数据处理和决策,从而增强了系统的稳定性和可靠性。
3.隐私安全性:配用电应用场景通常涉及大量的用户数据和隐私信息,例如智能家居和能源管理系统。使用边缘计算网关进行机理模型动态训练可以在本地进行数据处理和分析,不需要将数据传输到云端,从而提高了隐私和安全性,降低了数据泄露的风险。
4.自适应性:配用电的应用场景通常涉及复杂的环境变化和参数调整,例如能源管理和智能家居系统。使用边缘计算网关进行机理模型动态训练可以根据实际场景中的数据和反馈进行自适应的模型更新和优化,从而提高了模型的适应性和鲁棒性。
5.降低成本:边缘计算网关可以在本地进行训练和优化,避免了大量的数据传输和云端计算,只将需要的部分数据传输到云端进行训练,避免了大量数据的传输,减少了带宽和网络传输的压力,从而降低了成本和运营费用。
综上所述,边缘计算网关的机理模型动态训练方法在配用电的应用场景中具有很强的实时性、稳定性、隐私安全性和自适应性等行业特色和优势。
附图说明
图1为云边协同架构图;
图2示意了模型动态训练的流程。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本发明所附权利要求书所限定的范围。
将本发明公开的一种边云协同模型动态训练方法应用于典型配用电系统中,其架构如图1所示,其中,底层(端)为智能电器设备,包括各类电器、控制设备、配电柜HMI等。
本实施例中,边缘侧设备(边缘计算网关)在架构上分三级,分别是基础层、执行层、配置层。基础层包括嵌入式操作系统软件平台、嵌入式硬件。执行层包括机理模型执行和数据采集与分析,其中,机理模型执行包括模型获取、脚本执行和边缘决策功能,数据采集与分析包括数据采集、数据聚合、数据统计、数据过滤、语义解析、事件处理等功能。配置层包括边云协同的接口,实现配置下载、远程更新、数据上传、状态上报功能。
云侧(工业互联网云平台)在架构上也分三级,分别是基础层、平台层和应用层。基础层包括服务器、存储、网络、安全、虚拟化等设备或服务。平台层包括边云协同接口、大数据组件、开发工具、机理模型库,其中,边云协同接口包括配置下发、模型下发、数据接收等功能,大数据组件包括模型训练及数据管理功能,开发工具包括模型开发工具、APP开发工具、微服务组件等,机理模型库包括设计模型、制造模型、运维模型等。应用层包括健康分析评估、预测性维护、远程运维等工业APP。
在边缘侧设备和云侧的基础层之间、执行层与平台层之间、配置层和应用层之间,分别实现数据协同、智能协同及服务协同。而边缘侧设备(边缘计算网关)与端侧设备(智能电器设备)之间,通过“边”向“端”下发命令,采集“端”的数据,实现端侧设备数据上报至边缘计算网关,网关的“边缘决策”实现了对现场设备的直接控制和管理而无需经由平台,极大提升了响应的及时性。
本发明中,在边缘侧设备(边缘计算网关)中集成了CPU以及内存,可以通过Modbus、CAN、DL645等协议对其所连接的设备进行数据采集,对上可以通过Wifi、4G/5G进行上行通讯,与工业互联网平台进行数据通信。同时,在边缘侧设备中实现软网关功能,并采用Docker容器技术,进行部署,可实现项目应用场景中根据需要部署多个容器,每个容器运行不同的软网关程序。配合工业互联网平台,可以通过平台远程配置设备边缘计算的机理算法,并下发到边缘侧设备上,实现清洗、存储、预处理、诊断,以及不同的控制逻辑及运算需求。
基于平台边云协同机制及云端调度管理、配置下发、模型下载等技术,在云端通过AI算法实现边缘侧“粗加工”数据训练并定期迭代,使机理模型算法不断逼近配电场景下保护电器的实际运行特性。边云协同功能流程如下:
1)配电场景终端电器设备(传感器、配电电器、控制电器、表具、成套设备等),通过边缘计算网关上云;
2)边缘计算网关除完成一般的数据采集、数据聚合、基础计算等边缘计算功能外,配备边云协同接口,具备云端调度管理、配置下发、模型下载执行等功能,可接收云平台下发的机理模型,通过模型对现场采集数据开展本地实时计算;
3)云平台主要负责对于大量边缘计算网关的集群调度管理,主要根据平台App的实时需求部署各网关机理模型计算任务。同时,利用云端大数据平台完成低压电器设备复杂机理模型的在线计算,用于新模型创建或定期对现有机理模型参数更新。
如图2所示,本发明中,模型动态训练的流程如下:
数据采集后预处理:对输入数据进行预处理,包括数据清洗、特征提取和降维等操作,以便在模型中更好地表示数据。
模型选择:根据实际应用场景和需求,选择适合的模型结构和算法,并对其进行改进和优化。
参数初始化:对模型的参数进行初始化,以便在训练过程中更快地收敛和达到最优解。
动态训练:在训练过程中,不断地加入新的数据进行迭代更新,以保证模型的动态适应性和泛化能力。
网络优化:通过调整网络结构和优化算法,提高模型的准确率和训练效率,同时降低模型的复杂度和计算耗时。
模型评估:对模型进行评估和验证,包括准确率、精确率、召回率、F1值等指标,以及模型在不同场景下的性能表现。
模型更新:根据实时数据和反馈信息,对模型进行更新和迭代优化,以保证模型的持续优化和改进。
一)模型选择&初始化说明:
初始化参数,例如:x-额定电流倍数;L0-初始电气磨损;N-操作次数;L-电气磨损。
不同厂家、不同系列、不同规格的产品,上述参数会有产品,需要在新设备第一次接入后,进行参数初始化
二)模型评估说明
例如,采集电器的电流、温度、转角等数据,导入触头磨损模型,进行运算,得出触头剩余量,并与实际采集到的触头参数进行对比,对触头磨损模型进行优化)
三)网络优化说明
通过模型训练的过程,找出数据间的相关性,将具有相同或近似效果的参数进行整合,使动态训练网络进行降维处理,提升运算的效率。
本发明中应用的边缘计算网关模型是指将边缘计算和网关技术相结合的计算模型,用于在物联网、云计算等场景中实现数据的预处理、分析和决策。基于模型动态训练的边缘计算网关,可以将平台上的机理模型下发至网关中、通过模型的动态训练对模型进行优化,然后在边缘侧网关对现场采集的数据进行预处理,包括协议转换、数据点表统一化、根据网关中配置的优化后的模型进行运算,再将经数据清洗、数值运算处理后的有价值的数据上传到平台,不但减少了平台数据存储量,还减少了对平台运算的需求、减少对平台性能的影响;另外,由于无需通过平台进行集中数据计算,可以更快地在网关处识别故障并处理、下发设备进行执行,将大大提高响应的速度。
本发明:
1)通过工业互联网平台下发机理模型,在边缘计算网关上对数据进行预处理;通过边云协同,实现平台对边缘侧设备的算法进行配置和管理,对边缘计算网关上的模型进行动态训练;
2)在边缘计算网关上实现数据预处理、数据分析、数据存储、策略执行等功能。实现静态基础机理模型、云平台大数据分析形成实时机理模型下发后的运算脚本进行数据分析计算,并向云平台反馈分析计算执行结果。实现机理、数据间的全面边云协同互动;
3)配电中保护电器的暂态故障信息为毫秒级,至少需要采样频率达到10kHz以上的录波才可实现波型的准确分析,数据量大无法完整上传云端,采用本地故障波段识别、状态提取(如FFT)等手段进行压缩,以减少故障识别类模型的通信开销;
4)对配电中保护电器的寿命分析模型而言,存在较大的产品个体差异,难以通过统一的模型泛化。采用异步优化技术,在云端下发的通用模型基础上,动态追加产品运行数据进行训练校正,实现模型的自适应离线优化。