一种联邦学习的联合建模的处理方法、装置及设备

技术领域

本发明涉及通信技术领域，特别是指一种联邦学习的联合建模的处理方法、装置及设备。

背景技术

联邦学习有三大构成要素：数据源、联邦学习系统、用户；联邦学习任务的启动的前提条件和基础是参与各方达成合作意向，而合作意向的达成除了基于目前最常见的通过前期的沟通谈判达成合作意向和基础之外，与任务需求的匹配程度及数据合作的定价及激励机制直接相关。

目前，主要通过以下方式达成联邦学习的合作意向：1)线下谈判，这种方式效率低且缺乏统一可量化的衡量尺度；2)基于积分形式回馈奖励的数据共享激励方法，该方法在满足某一条件(如达成共识)的情况下，根据各参与方状态参数与参与度情况，进行积分奖励和分配，以此促进参与方进行数据共享，这种方式会导致回馈奖励逐渐向具有数据固有优势的参与方聚集，不利于发挥各数据参与方的作用；3)借鉴区块链中的共识机制，不同共识机制适用的场景和条件不同，但或多或少地存在一些问题。目前基于联邦学习的数据合作意向的达成方式还没有形成有效的、公平可复制的方式。

发明内容

本发明要解决的技术问题是提供一种联邦学习的联合建模的处理方法、装置及设备，以提高联合建模的处理效率与准确度。

为解决上述技术问题，本发明的技术方案如下：

本发明的实施例提供一种联邦学习的联合建模的处理方法，应用于管理系统，所述方法包括：

确定联合建模的至少一个候选供给方

接收所述至少一个候选供给方针对联合建模需求反馈的满足情况信息；

对所述满足情况信息进行评估，得到第一评估结果，所述第一评估结果用于指示满足所述联合建模需求的目标供给方；

根据所述联合建模需求和所述第一评估结果，生成合作方列表；

向需求方发送所述合作方列表，使所述需求方与所述合作方列表中的供给方通过联邦学习进行所述联合建模。

可选的，确定联合建模的至少一个候选供给方，包括：

接收所述需求方发起的所述联合建模需求；

根据至少一个供给方的历史供需数据，对所述联合建模需求进行需求评估，得到第二评估结果，所述第二评估结果用于表征所述至少一个供给方是否为满足所述联合建模需求所需条件的候选供给方；

根据所述第二评估结果，确定所述至少一个候选供给方。

可选的，所述联合建模需求是联合建模需求方根据联邦学习建模需求，按照统一的需求描述模板，对所需的相关数据进行处理，形成需求描述摘要，根据所述需求描述摘要生成的；

其中，所述相关数据包括以下至少一项：数据规模，数据质量，算法模型支持程度，网络及硬件配置，算力要求，响应时延，节点资质要求。

可选的，根据至少一个供给方的历史供需数据，对所述联合建模需求进行需求评估，得到第二评估结果，包括：

根据所述需求描述摘要，获取所述历史供需数据库与所述需求描述摘要的匹配程度；

当所述匹配程度大于一预设值时，获得表征所述至少一个供给方是满足所述联合建模需求所需条件的候选供给方的第二评估结果；

当所述匹配程度大于或小于一预设值时，获得表征所述至少一个供给方是不满足所述联合建模需求所需条件的候选供给方的第二评估结果。

可选的，对所述满足情况信息进行评估，得到第一评估结果，包括：

根据所述需求描述摘要，从所述满足情况信息中获取所述至少一个候选供给方根据自身节点能力描述的第一需求描述摘要；

获取所述第一需求描述摘要与所述需求描述摘要的符合度；

当所述符合度满足一预设阈值时，获得第一评估结果，所述第一评估结果用于指示所述至少一个候选供给方为所述目标供给方。

可选的，根据所述第一需求描述摘要，获取所述第一需求描述摘要与所述需求描述摘要的符合度，包括：

获取生成所述第一需求描述摘要的各项条件与生成所述需求描述摘要的各项条件的重叠度，并将所述重叠度确定为所述符合度。

可选的，所述历史供需数据存储于供需数据库中，所述的联邦学习的联合建模的处理方法，还包括：

接收需求方和/或供给方根据所述联合建模开展情况反馈的最新供需数据；

根据所述最新供需数据，对所述供需数据库进行更新。

本发明的实施例还提供一种联邦学习的联合建模的处理装置，所述装置包括：

第一处理模块，用于确定联合建模的至少一个候选供给方；

接收模块，用于接收所述候选供给方针对联合建模需求反馈的满足情况信息；

第二处理模块；用于对所述满足情况信息进行评估，得到第一评估结果，所述第一评估结果用于指示满足所述联合建模需求的目标供给方；

根据所述联合建模需求和所述第一评估结果，生成合作方列表；

发送模块，用于向需求方发送所述合作方列表，使所述需求方与所述合作方列表中的供给方通过联邦学习进行所述联合建模。

本发明的实施例还提供一种通信设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上述所述的方法。

本发明的实施例还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上述所述的方法。

本发明的上述方案至少包括以下有益效果：通过确定联合建模的至少一个候选供给方；接收所述至少一个候选供给方针对联合建模需求反馈的满足情况信息；对所述满足情况信息进行评估，得到第一评估结果，所述第一评估结果用于指示满足所述联合建模需求的目标供给方；根据所述联合建模需求和所述第一评估结果，生成合作方列表；向需求方发送所述合作方列表，使所述需求方与所述合作方列表中的供给方通过联邦学习进行所述联合建模，保证建模需求匹配的准确性，以提高联合建模的效率。

附图说明

图1是本发明实施例提供的联合建模的处理方法流程图；

图2是本发明实施例的联合建模的处理方法的实现流程图；

图3是本发明实施例的联合建模的处理设备的模块框示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

如图1所示，本发明的实施例提供一种联邦学习的联合建模的处理方法，应用于管理系统，所述方法包括：

步骤11，确定联合建模的至少一个候选供给方；

步骤12，接收所述至少一个候选供给方针对联合建模需求反馈的满足情况信息；

步骤13，对所述满足情况信息进行评估，得到第一评估结果，所述第一评估结果用于指示满足所述联合建模需求的目标供给方；

步骤14，根据所述联合建模需求和所述第一评估结果，生成合作方列表；

步骤15，向需求方发送所述合作方列表，使所述需求方与所述合作方列表中的供给方通过联邦学习进行所述联合建模。

该实施例中，确定联合建模的至少一个候选供给方，实现需求供给方的第一次筛选；所述管理系统为数据要素供需匹配的管理系统，所述满足情况信息是多个候选供给方根据所述联合建模需求，向所述管理系统反馈的所述联合建模需求所需要的数据信息；所述管理系统接收到所述满足情况信息后，对其进行评估，并得到第一评估结果，所述第一评估结果用于指示满足所述联合建模需求的目标供给方，实现对多个候选供给方的进一步筛选，提高联合建模处理的精度与效率；根据所述联合建模需求和所述第一评估结果，生成合作方列表，所述合作方列表中包括多个目标供给方，通过生成合作方列表，以供所述需求方进行直观的选择目标供给方；优选的，所述管理系统在接收到所述需求方发送的联合建模需求后，可以根据供需数据库中历史数据判断该需求的可实现性，并得到该需求可实现以及不可实现结果；

所述联合建模需求中包含：对数据规模、数据质量、算法模型支持程度、网络及硬件配置、响应时延等要求；通过对建模需求进行评估，并依据评估结果将可实现的联合建模需求发送给满足建模需求的供给方发送该建模需求，保证建模需求匹配的准确性，以提高后续联合建模的效率；

进一步的，所述管理系统向需求方发送所述合作方列表，以使联合建模需求方与所述合作方列表中的需求供给方通过联邦学习进行联合建模，并记录建模过程，记录的所述建模过程包括但不限于：每个需求供给方对联合建模任务的参与度和贡献度的情况。

本发明的一可选实施例中，上述步骤11，可以包括：

步骤111，接收所述需求方发起的所述联合建模需求；

步骤112，根据至少一个供给方的历史供需数据，对所述联合建模需求进行需求评估，得到第二评估结果，所述第二评估结果用于表征所述至少一个供给方是否为满足所述联合建模需求所需条件的候选供给方；

步骤113，根据所述第二评估结果，确定所述至少一个候选供给方。

该实施例中，所述第二评估结果包括满足所述联合建模需求所需条件的候选供给方，以及不满足所述联合建模需求所需条件的候选供给方，所述管理系统根据需求方发送的联合建模需求，根据系统中保存的多个供给方的历史供需数据，对所述联合建模需求进行评估，若所述历史供需数据满足所述联合建模需求的所需条件，则对应的供给方则确认为候选供给；通过利用历史供需数据对所述联合建模需求进行评估，确定候选供给方，实现供给方的初步筛选，避提高后续联合建模的效率与精度。

本发明的一可选实施例中，所述联合建模需求是联合建模需求方根据联邦学习建模需求，按照统一的需求描述模板，对所需的相关数据进行处理，形成需求描述摘要，根据所述需求描述摘要生成的；其中，所述相关数据包括以下至少一项：数据规模，数据质量，算法模型支持程度，网络及硬件配置，算力要求，响应时延，节点资质要求。

该实施例中，所述节点资质要求可以包括历史累计的建模贡献度、完成建模任务的数量和质量、信誉值等；所述需求描述摘要可以是需求方根据联邦学习建模需求，按照统一的模板，对所需的数据规模、数据质量、算法模型支持程度、网络及硬件配置、算力要求、响应时延、节点资质要求等进行定义处理，形成需求描述摘要；所述需求描述摘要也可以是需求方完全自定义，或者基于所述管理系统提供的需求描述模板的默认值进行适当修改得到的；根据所述需求描述摘要向所述管理系统发起联合建模需求，同时在发起的联合建模需求中携带所述需求描述摘要，进一步保证后续供给方匹配的精度。

本发明的一可选实施例中，上述步骤112，可以包括：

步骤1121，根据所述需求描述摘要，获取所述历史供需数据与所述需求描述摘要的匹配程度；

步骤1122，当所述匹配程度大于一预设值时，获得表征所述至少一个供给方是满足所述联合建模需求所需条件的候选供给方的第二评估结果；

步骤1123，当所述匹配程度大于或小于一预设值时，获得表征所述至少一个供给方是不满足所述联合建模需求所需条件的候选供给方的二评估结果。

该实施例中，所述历史供需数据为系统中保存的：供给方根据历史联合建模需求生成的历史需求描述摘要，所述联合建模需求所需条件为所述需求描述摘要是否满足阈值；所述管理系统根据所述联合建模需求中的要求，结合供需数据库中的历史供需数据，根据所述联合建模需求的需求描述摘要，在供需数据库中查找历史供需数据，并获取历史供需数据与所述需求描述摘要的匹配程度，根据所述匹配程度判断所述历史供需数据对应的供给方是否为满足所述需求描述摘要的供给方，若是，则确认该供给方为候选供给方，实现供给方的初步筛选，从而提高后续建模需求处理的效率；

优选的，可以根据所述匹配程度对多个供给方的数据节点的相似度进行排序，排序可以是基于需求描述摘要中所需要的数据的各个维度相似性的加权求和，也可以是按照需求描述摘要的重要程度进行逐级匹配度排序，当然也可以使用其它可以量化排序的方法；当相似度设定大于一预设的相似度阈值时，则满足相似度阈值的供给方即确定为候选供给方。

本发明的一可选实施例中，上述步骤13，可以包括：

步骤131，根据所述需求描述摘要，从所述满足情况中获取所述至少一个候选供给方根据自身节点能力描述的第一需求描述摘要；

步骤132，获取所述第一需求描述摘要与所述需求描述摘要的符合度；

步骤133，当所述符合度满足一预设阈值时，获得第一评估结果，所述第一评估结果用于指示所述至少一个候选供给方为所述目标供给方。

进一步的，获取生成所述第一需求描述摘要的各项条件与生成所述需求描述摘要的各项条件的重叠度，并将所述重叠度确定为所述符合度。

该实施例中，所述符合度为生成所述第一需求描述摘要的各项条件与生成所述需求描述摘要的各项条件的重叠度，当所述符合度满足一预设阈值时，则确认该符合度对应的供给方为目标供给方；具体的：多个供给方根据所述管理系统发送的需求方联合建模需求中携带的需求描述摘要，以及自身节点能力生成多个第一需求描述摘要，所述管理系统获取多个所述第一需求描述摘要后，将多个所述第一需求描述摘要进行排序，并与需求方联合建模需求中携带的需求描述摘要进行符合度评估，当符合度大于一预设阈值时，即确定该第一需求描述摘要对应的供给方为目标供给方，同时所述目标供给方为满足一定条件的目标供给方；该条件可以是Top N，或者是需求方特殊定义的筛选条件等。本发明的一可选实施例中，所述历史供需数据存储于供需数据库中，基于步骤11-15的基础上，所述的联邦学习的联合建模的处理方法，还包括：

步骤16，接收联合建模需求方和/或供给方根据所述联合建模开展情况反馈的最新供需数据；

步骤17，根据所述最新供需数据，对所述供需数据库进行更新。

该实施例中，所述最新供需数据包括但不限于：数据规模、数据质量、算法模型支持程度、网络及硬件配置、算力要求、响应时延等，以及经过此次建模任务验证，且能够满足上述需求的供给方节点信息，以便于所述管理系统对供需关系库的累积，以适应不同需求方的不同建模需求。

以下将以一具体示例对上述方法的实现过程进行说明，在该实施例中，所述管理系统为合作共识系统，所述合作共识系统可以包括：需求评估模块、供需数据库模块、供需匹配模块以及供给评估模块，如图2所示，具体实现过程包括：

步骤201，提出需求：联邦学习联合建模需求方向合作共识系统提出联合建模需求；所述需求中包括但不限于对数据规模、数据质量、算法模型支持程度、网络及硬件配置、算力要求、响应时延；

步骤202，需求评估：合作共识系统的需求评估模块结合供需数据库模块中的历史数据，评估需求的可实现性，评估可以是结合历史数据判断该需求的可实现性；

步骤203，合格需求反馈：通过可实现性评估的需求评价结果反馈给供需匹配模块；

步骤204，供需匹配模块结合供需数据库模块，优先向有满足建模需求记录的，且在合作共识系统中注册为供给方的数据节点发送需求方的建模需求；

步骤205，需求方的建模需求作为需求征询发送给相应的供给方节点；

步骤206，各个数据供给方将需求方建模需求的满足情况反馈给合作共识系统；

步骤207，合作共识系统的供给评估模块对各个有反馈的数据供给方节点的反馈信息进行评估；

步骤208，通过供给评估的供给方信息传递给供需匹配模块；

步骤209，供需匹配模块结合之前的需求方信息，以及可满足此建模需求的数据供给方信息，生成合作方列表；

步骤210，合作方列表反馈给需求方；

步骤211，需求方节点与合作方列表中的供给方节点开展联邦学习建模合作，并记录整个建模过程，所述建模过程包括但不限于每个合作方对联合建模任务的参与度和贡献度情况；

步骤212，需求方根据合作开展情况向合作共识系统的供需数据库模块反馈更新供需数据，所述更新供需数据包括但不限于数据规模、数据质量、算法模型支持程度、网络及硬件配置、算力要求、响应时延等，以及经过此次建模任务验证，能够满足上述需求的供给方节点信息。

该实施例中，在传统的联邦学习中增加基于供需关系评估和匹配的合作共识机制实现方法和系统；以提高联合建模处理的精度与效率；基于联合建模任务和效能的供需关系库累积和更新方法，以扩充管理系统供需关系数据库，应对不同建模需求的需求方。

如图3所示，本发明的实施例还一种联邦学习的联合建模的处理装置30，包括：

第一处理模块31，用于确定联合建模的至少一个候选供给方；

接收模块32，用于接收所述候选供给方针对联合建模需求反馈的满足情况信息；

第二处理模块33，用于对所述满足情况信息进行评估，得到第一评估结果，所述第一评估结果用于指示满足所述联合建模需求的目标供给方；根据所述联合建模需求和所述第一评估结果，生成合作方列表；

发送模块34，用于向所述联合建模的需求方发送所述合作方列表，使所述需求方与所述合作方列表中的供给方通过联邦学习进行所述联合建模。

可选的，所述第一处理模块31，用于确定联合建模的至少一个候选供给方，包括：

接收所述需求方发起的所述联合建模需求；

根据至少一个供给方的历史供需数据，对所述联合建模需求进行需求评估，得到第二评估结果，所述第二评估结果用于表征所述至少一个供给方是否为满足所述联合建模需求所需条件的候选供给方；

根据所述第二评估结果，确定所述至少一个候选供给方。

可选的，所述联合建模需求是联合建模需求方根据联邦学习建模需求，按照统一的需求描述模板，对所需的相关数据进行处理，形成需求描述摘要，根据所述需求描述摘要生成的；

其中，所述相关数据包括以下至少一项：数据规模，数据质量，算法模型支持程度，网络及硬件配置，算力要求，响应时延，节点资质要求。

可选的，所述第二处理模块33，用于根据至少一个供给方的历史供需数据，对所述联合建模需求进行需求评估，得到第二评估结果，包括：

根据所述需求描述摘，获取所述历史供需数据库与所述需求描述摘要的匹配程度；

当所述匹配程度大于一预设值时，获得表征所述至少一个供给方是满足所述联合建模需求所需条件的候选供给方的第二评估结果；

当所述匹配程度大于或小于一预设值时，获得表征所述至少一个供给是不满足所述联合建模需求所需条件的候选供给方的第二评估结果。

可选的，所述第二处理模块33，用于对所述满足情况信息进行评估，得到第一评估结果，包括：

根据所述需求描述摘要，从所述满足情况信息中获取所述至少一个候选供给方根据自身节点能力描述的第一需求描述摘要；

获取所述第一需求描述摘要与所述需求描述摘要的符合度；

当所述符合度满足一预设阈值时，获得第一评估结果，所述第一评估结果用于指示所述至少一个候选供给方为所述目标供给方。

可选的，根据所述第一需求描述摘要，获取所述第一需求描述摘要与所述需求描述摘要的符合度，包括：

获取生成所述第一需求描述摘要的各项条件与生成所述需求描述摘要的各项条件的重叠度，并将所述重叠度确定为所述符合度。

可选的，所述历史供需数据存储于供需数据库中，所述接收模块32还用于，接收联合建模需求方和/或供给方根据所述联合建模开展情况反馈的最新供需数据；

第二处理模块33还用于根据所述最新供需数据，对供需数据库进行更新。

需要说明的是，该装置是与上述应用管理系统的联邦学习的联合建模的处理方法相对应的装置，上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。

本发明的实施例还提供一种通信设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。

本发明的实施例还提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。