基于联邦学习的边缘侧机器协同与优化的系统

技术领域

本公开属于数字化系统集成技术领域，涉及一种基于联邦学习的边缘侧机器协同与优化的系统。

背景技术

万物互联的发展，边缘计算的兴起，工业互联网的快速普及，这些变化和发展都使得每个边缘侧、终端的设备、机器都成为一个大数据的主体。如车间的加床、自动搬运机器人(AGV)、工业机器人，矿山中的开采机、运输车，以及各种巡检机器人、无人驾驶的智能汽车，都是大数据的来源主体，也是数据计算与应用的载体。但这些大量的数据处于数据安全等方面的考虑，形成大量的数据孤岛，并未有效应用，没有能够形成数据对单机运行优化、系统运行、业务需求的支撑应用能力。

工业智能化的推进需要高价值的数据应用，工业应用程序app的开发，工业机理的建模，工厂工艺与流程的优化，特定场景工况的调整与响应，机器设备与业务需求的系统，系统中多机器之间的工作协同，都需要机器之间的数据有效共享与应用。当前智能机器可产生海量数据，但缺乏有效的工具与方式能够在保证数据安全可信的前提下，在边缘侧将每台设备和机器上的大数据有针对性的应用起来。

当下边缘侧机器设备的学习与优化，大多数采用人工智能(AI)建模与部署大多集中于云上进行训练和建模，然后边缘侧部署应用的方式。国内某工业互联网平台基于TensorFlow平台，开发出对机器轴承进行剩余使用寿命预测和健康评估分析的算法模型，将其部署到云端进行训练与预测，以应用程序编程接口(API)的方式为用户提供相应的服务。该服务要求用户将设备的运转数据实时上传，在系统平台数据服务层对数据进行清洗、转换和预处理操作。这种方式无法保证边缘侧的数据隐私，机器设备运行过程中产生的所有数据都将被AI服务商所收集。

当下很多企业存在“信息系统、智能系统越多、信息孤岛越多”的痛点。企业的数据最终目的是被理解和使用，但大量企业数据存储与应用体系缺乏与最新的大数据技术方案和生态对接，很难将数据有效的与业务需求匹配起来，很难将企业数据资源转化为数据资产。

随着物联网时代数据体量的不断增大，云计算的中心化模式在部分业务场景中的效果并不理想，如对时延较高的工业现场的机器设备，云管控中的通讯时延会影响到执行效能和用户体验。

发明内容

(一)要解决的技术问题

本公开提供了一种基于联邦学习的边缘侧机器协同与优化的系统，以至少部分解决以上所提出的技术问题。

(二)技术方案

本公开的一个方面提供了一种基于联邦学习的边缘侧机器协同与优化的系统。上述系统包括：R个联邦学习系统，R≥1，模型参数分发单元，以及模型训练和优化单元。R个联邦学习系统中第i个联邦学习系统包括M

根据本公开的实施例，M

根据本公开的实施例，运行经验低于预定要求包括以下的一种：所经历的运行场景的个数低于预定值；或者，运行数据量低于预定数量；或者，运行时间低于预定值。

根据本公开的实施例，当第i个联邦学习系统中的M

根据本公开的实施例，加密包括：同态加密，上述同态加密包括全同态加密。

根据本公开的实施例，上述系统还包括：机器选拔单元，任务模型参数分发单元，以及任务模型训练和优化单元。机器选拔单元用于选拔R个联邦学习系统内各个联邦学习系统中针对目标任务的执行表现分值高于预定值的边缘侧机器，得到任务训练联盟。任务模型参数分发单元用于向任务训练联盟中的各个边缘侧机器分发任务初始参数，接收由任务模型训练和优化单元发送的任务模型中间参数，以及将接收的任务模型中间参数进行聚合与更新，得到任务模型新参数。任务模型训练和优化单元分别设置于任务训练联盟中的各个边缘侧机器内，用于基于任务模型参数分发单元分发的任务初始参数和各自的运行数据对本地的针对目标任务的运行模型进行训练，将训练之后得到任务模型中间参数加密后发送至任务模型参数分发单元；以及根据任务模型新参数得到任务训练联盟的系统协同执行任务模型。其中，本地的针对目标任务的运行模型为在不同的运行环境下执行目标任务的模型。

根据本公开的实施例，模型参数分发单元还用于联邦学习系统内活动数据的记录与统计，联邦学习系统内活动数据的记录与统计包括：参与计算的边缘侧机器的数量、模型传递的次数、更新模型参数的发送和收敛性判断。

根据本公开的实施例，模型参数分发单元由M

根据本公开的实施例，模型参数分发单元由能够与M个边缘侧机器进行通信的云端服务器或边缘侧服务器充当。

根据本公开的实施例，R个联邦学习系统中第i个联邦学习系统内的M

(三)有益效果

从上述技术方案可以看出，本公开提供的基于联邦学习的边缘侧机器协同与优化的系统，具有以下有益效果：

(1)将边缘侧机器组成联邦学习系统，基于系统协同运行模型的训练可以提升单台机器的智能化水平，优化和提升单台机器运行效能，加快单机智能化进程，提升对工况环境的快速调整与适应能力，不断优化工作效能。

(2)促进智能机器之间的协同，有效分配与应用计算和存储资源，机器的高价值应用，提升硬件资产应用率，改善硬件资产贬值。

(3)促进数据应用与模型训练，加速AI场景化应用，加速数据向价值的转化。

(4)数据隔离，数据不会泄露到外部，满足用户隐私保护和数据安全的需求。

(5)破除数据孤岛，提升孤岛数据的协同应用。

(6)提升系统内的机器之间协同工作，优化系统任务的快速分解，系统应对更加复杂性、环境动态变化性工作任务的适应性增强，如生产制造环境下优化工艺与流程，提升系统的整体效能。

(7)基于任务训练联盟中各成员的共同训练得到的系统协同执行任务模型，可以提升整个系统效能，如同一集团企业可能拥有N家具有相同或类似机器设备和生产任务的工厂，但各个工厂的效能会有所差异，通过基于联邦学习的单机数据训练和建模的优化，进一步进行系统之间的机器数据训练与性能优化。

附图说明

图1为根据本公开一实施例所示的基于联邦学习的边缘侧机器协同与优化的系统的结构示意图。

图2为根据本公开另一实施例所示的基于联邦学习的边缘侧机器协同与优化的系统的结构框图。

图3为根据本公开实施例所示的基于联邦学习的边缘侧机器协同与优化的系统的结构和应用示意图。

图4为根据本公开实施例所示的基于联邦学习的边缘侧机器协同与优化的系统的框架示意图。

具体实施方式

联邦学习由谷歌在2016年率先提出，旨在数据不共享的情况下完成联合建模。即数据拥有方持有的数据不会离开本地，通过联邦系统中加密机制下的参数交换方式，建立基于分布式数据集的全局共享模型，建好的模型为本地的计算目标服务，模型信息能够以加密或者不加密形式在各方之间交换，但数据不能脱离本地，这样不会暴露数据的隐私，不会发生数据泄露。

国内部分公司也在部分行业展开研究并取得一定进展，有的将联邦学习技术应用于银行和保险等金融领域；有的利用联邦学习实现电商数据的多方协同和授权共享，应用于智能信贷和风控；有的将联邦学习应用于医疗、金融等领域。

但将联邦学习应用于机器设备以提升生产运营效能领域的研究和创新还较少。

基于云架构的边缘侧机器运行管控方式不能够快速、小数据样本的适应环境变化，其应对环境变化存在滞后和需要大量样本学习等不足。如对于某些如户外巡检机器人的功能性机器设备，其工作场景变化较大，生产商很难预先做好全方位的准备，所以需要这些机器能够具有学习和理解不同场景的能力。

本公开提出的基于联邦学习的边缘侧机器协同与优化的系统融合了联邦学习的优点，基于联邦学习在保证数据不脱离拥有方(可以是机器、工厂、企业)以及保证数据安全可信应用的基础上推进数据应用。将联邦学习应用边缘侧机器设备之间的数据协同建模，可有效加速边缘侧机器之间的数据流通与共享，推进工业机理的模型构建与训练，优化机器应对不同工况的工作质量，增强与环境和业务流程的协同，提升运行效能。可提升同类机器甚至是不同类设备应用小数据训练与学习的能力，提升对环境的适应与响应能力。

本公开通过联邦学习方式进行边缘侧机器之间的数据建模与应用，在保证数据安全可信的前提下，应用不同机器上的数据，进行模型训练和模型推理，保证数据在不泄密的前提下的边缘侧应用，改善传统数据集中于云端进行数据分析与建模的集中应用模式。本公开为促进不同机器之间数据应用与工业机理建模，并最终为优化机器运行、改善工况、提升单机及系统工作效能提供支撑。

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

本公开的第一个示例性实施例提供了一种基于联邦学习的边缘侧机器协同与优化的系统。

图1为根据本公开一实施例所示的基于联邦学习的边缘侧机器协同与优化的系统的结构示意图。图2为根据本公开另一实施例所示的基于联邦学习的边缘侧机器防同与优化的系统的结构框图。图3为根据本公开实施例所示的基于联邦学习的边缘侧机器协同与优化的系统的结构和应用示意图。

参照图1-图3所示，本公开的基于联邦学习的边缘侧机器协同与优化的系统，包括：R个联邦学习系统，R≥1，模型参数分发单元，以及模型训练和优化单元。R个联邦学习系统中第i个联邦学习系统包括M

上述R个联邦学习系统中第i个联邦学习系统包含的边缘侧机器与第j个联邦学习系统可以有重叠，j≠i，j＝1、2、……、R，根据实际场景和任务需要进行联邦学习系统的组织构建。

在图1中将M

模型参数分发单元用于向第i个联邦学习系统中的M

根据本公开的实施例，参照图2和图3所示，模型参数分发单元由M

根据本公开的实施例，参照图1和图3所示，模型参数分发单元由能够与M个边缘侧机器进行通信的云端服务器或边缘侧服务器充当。

参照图1和图2所示，模型训练和优化单元分别设置于M

根据本公开的实施例，M

根据本公开的实施例，运行经验低于预定要求包括以下的一种：所经历的运行场景的个数低于预定值；或者，运行数据量低于预定数量；或者，运行时间低于预定值。

建模将充分结合边缘侧智能机器的移动性、多场景性、数据快速更迭与及时获取性的特点。

本公开通过将运行经验分布不均匀的同一类/种机器进行跨场景的联邦建模，弥补了同一种/类机器在不同工况场景下不能够快速积累大量不同场景运行数据的不足，使得机器快速积累能够较高质量运行于多种工况和场景的运行能力，实现了小数据下机器对不同场景的学习和适应能力，拓展了机器的工作能力普适性，压缩了机器优化与迭代开发的成本，压缩了机器在新的工况下调试与试机的时间成本，降低了机器使用的成本，该机器在某一岗位完成任务后还可适用于更多新的工况环境。

同时，对于那些运行经验不足，例如运营/运行数据不足或者运行场景不丰富的新手机器而言，可充分利用那些长时间运行机器的运行数据协同联邦建模，实现小数据下的快速机器学习目标，优化单个机器的运行工况和环境响应能力，提升单个机器的智能化水平。

机器智能的一个重要特征是对环境的快递、高质量响应。本公开通过结合机器所在的具体工作场景进行联邦模型的选择、传递与部署，提高模型的精度与场景的适应度，优化了模型训练过程。

根据本公开的实施例，当第i个联邦学习系统中的M

当第i个联邦学习系统中的M

根据本公开的实施例，加密包括：同态加密，上述同态加密包括全同态加密。

对于同一企业或机构的机器间数据相对没有严格的保密，但不同的企业或机构之间的机器运行数据是具有相对严格的保密要求的，此时要求联合建模的数据被会彼此看到和使用，随着算法效率逐步提高，以及智能机器的算力增强，全同态加密在数据与运算加密方面展开逐步应用。在智能机器之间的数据协同建模过程中，全同态加密结合联邦学习，为了防止通过训练的模型反演来获得原始数据的可能性，通过同态加密来加密智能机器的原始数据，之后将加密数据进行模型训练，数据本身不会离开数据拥有方，也不会泄露用户隐私，充分保障了数据拥有方隐私信息及数据安全。模型训练的中间结果进行加密，从而保证模型训练过程的隐私与安全性。

本公开采用“隐私数据保护”与同一系统内数据相结合的方式进行模型训练。对于同一系统内，没有数据隐私保护要求的场景，可直接进行数据共享与传递，获得更多更好的训练数据。

图4为根据本公开实施例所示的基于联邦学习的边缘侧机器协同与优化的系统的框架示意图。图4中，在第i个联邦学习系统中，模型参数分发单元可以由M

根据本公开的实施例，参照图4所示，上述系统还包括：机器选拔单元，任务模型参数分发单元，以及任务模型训练和优化单元。

机器选拔单元用于选拔R个联邦学习系统内各个联邦学习系统中针对目标任务的执行表现分值高于预定值的边缘侧机器，得到任务训练联盟。

任务模型参数分发单元用于向任务训练联盟中的各个边缘侧机器分发任务初始参数，接收由任务模型训练和优化单元发送的任务模型中间参数，以及将接收的任务模型中间参数进行聚合与更新，得到任务模型新参数。

任务模型训练和优化单元分别设置于任务训练联盟中的各个边缘侧机器内，用于基于任务模型参数分发单元分发的任务初始参数和各自的运行数据对本地的针对目标任务的运行模型进行训练，将训练之后得到任务模型中间参数加密后发送至任务模型参数分发单元；以及根据任务模型新参数得到任务训练联盟的系统协同执行任务模型。

其中，本地的针对目标任务的运行模型为在不同的运行环境下执行目标任务的模型。

每个机器的工作要求、生产任务并非一成不变，是不断变化与调整的，系统协同执行任务模型的构建，通过联邦学习支撑下的单机之间的学习，实现系统任务最优化分解，单机自学习与任务分配，从而最高效与最优化的利用那些闲置性、与执行任务最匹配性的机器设备。

工业4.0重要的特征是柔性制造，多个制造工序里的机器设备可以根据订单的需求和当下运行状态智能化重新组成柔性化、满足当下订单需求的生产线。这对于过去那种通过预编程定义，来执行生产任务的机器设备是无法机动灵活实现的。本公开有助于系统任务分解与机器之间协同，增加工艺与流程的弹性与质量优化。

对于复杂工作场景常存在大量的机器设备，由于操作者或者工况变化导致同种机器设备之间的运行效率存在差异，如功耗、零部件损耗。通过系统内机器成员之间的学习与优化，独立机器可做出自主优化调整或者给出操作者合理化工作建议。

根据本公开的实施例，参照图3所示，模型参数分发单元还用于联邦学习系统内活动数据的记录与统计，联邦学习系统内活动数据的记录与统计包括：参与计算的边缘侧机器的数量、模型传递的次数、更新模型参数的发送和收敛性判断。

根据本公开的实施例，参照图3所示，R个联邦学习系统中第i个联邦学习系统内的M

为了保证数据传输的高效、稳定和及时，通过5G通信模组来提高数据的传输与响应速度，把时延控制在不影响机器运行效能和安全稳定的范围内。

以一实例来描述实现多个机器共同完成一个系统任务的过程。如垃圾分拣，高质量的垃圾分拣不但有利于回收利用，还有利于垃圾焚烧发电，提升进入焚烧炉的垃圾燃烧热能。但垃圾中充满了大量玻璃、塑料制品，这些垃圾不可能通过某一台设备某一次来完成鉴别和筛选。可将固定的分拣机械臂变为可在地面自由移动的机器臂，通过基于联邦学习的机器之间的学习与交流，分拣线后端的机器可通过前端机器发送的信息提前做好预期任务动作，同时后端机器也能够将后面的工况及时的反馈给前端机器，甚至前端的机器可移动到后端工序中，增加机器在整个系统的分拣效能。

综上所述，本公开实施例提供了一种基于联邦学习的边缘侧机器协同与优化的系统，将边缘侧机器组成联邦学习系统，基于系统协同运行模型的训练可以提升单台机器的智能化水平，优化和提升单台机器运行效能，加快单机智能化进程，提升对工况环境的快速调整与适应能力，不断优化工作效能。提升系统内的机器之间协同工作，优化系统任务的快速分解，系统应对更加复杂性、环境动态变化性工作任务的适应性增强，如生产制造环境下优化工艺与流程，提升系统的整体效能。基于任务训练联盟中各成员的共同训练得到的系统协同执行任务模型，可以提升整个系统效能，如同一集团企业可能拥有N家具有相同或类似机器设备和生产任务的工厂，但各个工厂的效能会有所差异，通过基于联邦学习的单机数据训练和建模的优化，进一步进行系统之间的机器数据训练与性能优化。

以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。