模型训练方法及装置、数据预测方法、介质、电子设备

技术领域

本发明实施例涉及机器学习技术领域，具体而言，涉及一种模型训练方法、模型训练装置、数据预测方法、计算机可读存储介质以及电子设备。

背景技术

隐私保护机器学习中的“跨特征”场景，隶属于知识联邦理论体系中的“跨特征联邦”，是指多机构所使用的训练或推理样本是一致的，而特征不同，只有一个机构持有标签，训练和推理可以在无数据的可信第三方机构的辅助下完成。

在一种隐私保护机器学习的模型中，将所有参与机构分为A、B以及C三类角色。其中，A类角色持有特征数据以及特征标签，B类角色仅持有特征，C类角色既未持有特征数据也未持有特征标签，其为辅助角色。具体的，在训练过程中，A类角色以及B类角色将加密权重和特征数据的内积发送至C类角色，然后在C类角色的辅助下完成对模型的训练。

但是，上述方案存在如下缺陷：如果A类角色以及C类角色合谋，则C类角色可以通过累积不同权重和固定的特征数据的内积构建方程，随着训练的进展可以求解出特征数据的实际内容，因此导致B类角色的特征数据的安全性较低；同理可以得知，A类角色的特征数据的安全性也较低。

因此，需要提供一种新的模型训练方法及装置。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种模型训练方法、模型训练装置、数据预测方法、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的特征数据的安全性较低的问题。

根据本公开的一个方面，提供一种模型训练方法，配置于多方机器学习中提供第一特征数据以及特征标签的第一数据持有者，用于对联合逻辑回归模型进行训练，所述模型训练方法包括：

根据目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密，得到第一加密数据；其中，所述目标公钥是根据第一数据持有者所持有的第一公钥以及多方机器学习中提供第二特征数据的第二数据持有者所持有的第二公钥计算得到的；

将所述第一加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第一加密数据，以及利用所述目标公钥对所述第二特征数据加密后得到第二加密数据生成的第一中间变量；

根据所述第一中间变量以及第一特征数据生成第一加密梯度，将所述第一加密梯度发送至所述第二数据持有者，并接收所述第二数据持有者发送的利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密，得到的解密后的第一加密梯度；

利用与所述第一公钥对应的第一私钥对所述解密后的第一加密梯度进行解密得到第一明文梯度，并利用所述第一明文梯度对所述第一本地模型参数进行更新。

在本公开的一种示例性实施例中，根据所述第一中间变量以及第一特征数据生成第一加密梯度，包括：

生成第一随机向量；

根据所述第一中间变量、第一特征数据以及所述第一随机向量，生成所述第一加密梯度。

在本公开的一种示例性实施例中，利用与所述第一公钥对应的第一私钥对所述解密后的第一加密梯度进行解密得到第一明文梯度，包括：

利用所述第一随机向量对所述解密后的第一加密梯度进行解密，得到第一待解密明文梯度；

利用与所述第一公钥对应的第一私钥对所述第一待解密明文梯度进行再次解密，得到所述第一明文梯度。

在本公开的一种示例性实施例中，将所述第一加密梯度发送至所述第二数据持有者，并接收所述第二数据持有者发送的利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密，得到的解密后的第一加密梯度，包括：

将所述第一加密梯度发送至所述多方机器学习中的辅助方，以使得所述辅助方将所述第一加密梯度发送至所述第二数据持有者；

接收所述辅助方发送的解密后的第一加密梯度；其中，所述解密后的第一加密梯度是所述第二数据持有者利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密得到，并发送给所述辅助方的。

根据本公开的一个方面，提供一种模型训练方法，配置于多方机器学习中提供第二特征数据的第二数据持有者，用于对联合逻辑回归模型进行训练，所述模型训练方法包括：

利用目标公钥对所述联合逻辑回归模型的第二本地模型参数以及所述第二特征数据进行加密，得到第二加密数据；其中，所述目标公钥是根据多方机器学习中提供第一特征数据以及特征标签的第一数据持有者所持有的第一公钥，以及所述第二数据持有者所持有的第二公钥计算得到的；

接收所述第一数据持有者发送的，利用所述目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密得到的第一加密数据，并根据所述第一加密数据以及所述第二加密数据进行生成第一中间变量；

根据所述第一中间变量以及所述第二特征数据生成第二加密梯度，将所述第二加密梯度发送至所述第一数据持有者，并接收所述第一数据持有者发送的利用与所述第一公钥对应的第一私钥对所述第二加密梯度进行解密，得到的解密后的第二加密梯度；

利用与所述第二公钥对应的第二私钥对所述解密后的第二加密梯度进行解密得到第二明文梯度，并利用所述第二明文梯度对所述第二本地模型参数进行更新。

根据本公开的一个方面，提供一种数据预测方法，配置于多方机器学习中提供第一待预测数据的第一数据持有者，用于根据对联合逻辑回归模型进行训练得到的数据预测模型进行数据预测，所述数据预测方法包括：

根据所述第一待预测数据以及所述数据预测模型的第一本地模型参数得到第三待加密数据，并根据目标公钥对所述第三待加密数据进行加密，得到第三加密数据；其中，所述数据预测模型是根据任意一项所述的模型训练方法对所述联合逻辑回归模型进行训练得到的；所述目标公钥是根据所述第一数据持有者所持有的第一公钥，以及所述多方机器学习中提供第二待预测数据的第二数据持有者所持有的第二公钥计算得到的；

将所述第三加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第三加密数据以及第四加密数据得到的目标待预测数据；其中，所述第四加密数据是所述第二数据持有者利用所述目标公钥对所述第二待预测数据进行加密得到的；

利用与所述第一公钥对应的第一私钥对所述目标待预测数据进行解密，并利用所述数据预测模型对解密后的目标待预测数据进行预测，得到预测结果。

在本公开的一种示例性实施例中，将所述第三加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第三加密数据以及第四加密数据得到的目标待预测数据，包括：

将所述第三加密数据发送至所述多方机器学习中的辅助方，以使得所述辅助方对所述第三加密数据以及所述第二数据持有者发送的第四加密数据进行拼接，得到所述目标待预测数据；

接收所述辅助方发送的所述目标待预测数据。

根据本公开的一个方面，提供一种模型训练装置，配置于多方机器学习中提供第一特征数据以及特征标签的第一数据持有者，用于对联合逻辑回归模型进行训练，所述模型训练装置包括：

第一加密模块，用于根据目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密，得到第一加密数据；其中，所述目标公钥是根据第一数据持有者所持有的第一公钥以及多方机器学习中提供第二特征数据的第二数据持有者所持有的第二公钥计算得到的；

第一接收模块，用于将所述第一加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第一加密数据，以及利用所述目标公钥对所述第二特征数据加密后得到第二加密数据生成的第一中间变量；

第一加密梯度生成模块，用于根据所述第一中间变量以及第一特征数据生成第一加密梯度，将所述第一加密梯度发送至所述第二数据持有者，并接收所述第二数据持有者发送的利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密，得到的解密后的第一加密梯度；

第一参数更新模块，用于利用与所述第一公钥对应的第一私钥对所述解密后的第一加密梯度进行解密得到第一明文梯度，并利用所述第一明文梯度对所述第一本地模型参数进行更新。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的模型训练方法，以及任一项所述的数据预测方法。

根据本公开的一个方面，提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的模型训练方法，以及任一项所述的数据预测方法。

本发明示例实施例提供的一种模型训练方法，一方面，通过根据目标公钥对联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密，得到第一加密数据；再将将第一加密数据发送至第二数据持有者，并接收第二数据持有者发送的根据第一加密数据，以及利用目标公钥对第二特征数据加密后得到第二加密数据生成的第一中间变量；然后根据第一中间变量以及第一特征数据生成第一加密梯度，将第一加密梯度发送至第二数据持有者，并接收第二数据持有者发送的利用与第二公钥对应的第二私钥对第一加密梯度进行解密，得到的解密后的第一加密梯度；最后利用与第一公钥对应的第一私钥对解密后的第一加密梯度进行解密得到第一明文梯度，并利用第一明文梯度对第一本地模型参数进行更新；由于第一加密梯度(也即加密权重和特征数据的内积)中所包括的第一加密数据以及第二加密数据是分别通过第一数据持有者所持有的第一公钥以及第二数据持有者所持有的第二公钥进行加密的，且与第一公钥对应的第一私钥以及与第二公钥对应的第二私钥分别是第一数据持有者以及第二数据持有者各自持有的，且具体的加密以及解密过程均是在第一数据持有者侧进行的，因此不会存在第一数据持有者或者第二数据持有者与第三方合谋进而获取另一方的特征数据的问题，因此可以解决现有技术中存在的如果A类角色以及C类角色合谋，则C类角色可以通过累积不同权重和固定的特征数据的内积构建方程，随着训练的进展可以求解出特征数据的实际内容，因此导致B类角色的特征数据的安全性较低；同理可以得知，A类角色的特征数据的安全性也较低的问题，提高了特征数据的安全性；另一方面，由于整体的训练过程是分布在多方进行的，进而避免由于需要在某一方进行训练进而导致的数据处理负担较重，训练效率较低的问题，提高了第一本地模型参数的更新效率，进而提高了模型的训练效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出根据本发明示例实施例的一种模型训练方法的流程图。

图2示意性示出根据本发明示例实施例的一种模型训练系统的框图。

图3示意性示出根据本发明示例实施例的一种根据第一中间变量、第一特征数据以及第一随机向量，生成第一加密梯度的方法流程图。

图4示意性示出根据本发明示例实施例的另一种模型训练方法的流程图。

图5示意性示出根据本发明示例实施例的一种数据预测方法的流程图。

图6示意性示出根据本发明示例实施例的另一种模型训练方法的流程图。

图7示意性示出根据本发明示例实施例的另一种数据预测方法的流程图。

图8示意性示出根据本发明示例实施例的一种模型训练装置的框图。

图9示意性示出根据本发明示例实施例的另一种模型训练装置的框图。

图10示意性示出根据本发明示例实施例的一种数据预测装置的框图。

图11示意性示出根据本发明示例实施例的一种用于实现上述模型训练方法以及数据预测方法的电子设备。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。

此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

隐私保护机器学习是机器学习的一条重要分支，旨在研究不暴露各个机构本地数据(包括特征数据和标签)的情况下，进行多机构联合训练和推理。隐私保护机器学习中的“跨特征”场景，隶属于知识联邦理论体系中的“跨特征联邦”，是指多机构所使用的训练或推理样本是一致的，而特征不同，只有一个机构持有标签，训练和推理可以在无数据的可信第三方机构的辅助下完成。鉴于逻辑回归算法的广泛应用，跨特征场景下的隐私保护逻辑回归在隐私保护机器学习领域也具有重要的地位。

在一种安全模型中，将所有参与机构分为A、B以及C三类角色。其中，A类角色持有特征数据以及特征标签，B类角色仅持有特征，C类角色既未持有特征数据也未持有特征标签，其为辅助角色。并且，在本发明示例实施例中，每次训练或者推理，A、C类角色都分别只由一个机构担任，记为A

基于上述安全模型，存在如下恶意合谋的情况：

一种是，A

一种是，

再一种是，

当前所提供的公开隐私保护逻辑回归方法对于上述恶意合谋情况的第一种以及第二中都缺少鲁棒性，其原因包括如下两种：

一种是：假设A

另一种是，由于A类角色和B类角色需要在C类角色的辅助下重新分配双方的秘密，如果A类角色和C类角色合谋，即可得到B类角色的特征数据，进而使得B类角色的特征数据的安全性较低；同理可以得知，A类角色的特征数据的安全性也较低。

基于此，本示例实施方式中首先提供了一种模型训练方法，该模型训练方法可以配置于多方机器学习中提供第一特征数据以及特征标签的第一数据持有者，可以用于对联合逻辑回归模型进行训练，该第一数据持有者可以是服务器、服务器集群或者云服务器等等；当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例性实施例中对此不做特殊限定。参考图1所示，该模型训练方法可以包括以下步骤：

步骤S110.根据目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密，得到第一加密数据；其中，所述目标公钥是根据第一数据持有者所持有的第一公钥以及多方机器学习中提供第二特征数据的第二数据持有者所持有的第二公钥计算得到的；

步骤S120.将所述第一加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第一加密数据，以及利用所述目标公钥对所述第二特征数据加密后得到第二加密数据生成的第一中间变量；

步骤S130.根据所述第一中间变量以及第一特征数据生成第一加密梯度，将所述第一加密梯度发送至所述第二数据持有者，并接收所述第二数据持有者发送的利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密，得到的解密后的第一加密梯度；

步骤S140.利用与所述第一公钥对应的第一私钥对所述解密后的第一加密梯度进行解密得到第一明文梯度，并利用所述第一明文梯度对所述第一本地模型参数进行更新。

上述模型训练方法中，一方面，通过根据目标公钥对联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密，得到第一加密数据；再将将第一加密数据发送至第二数据持有者，并接收第二数据持有者发送的根据第一加密数据，以及对第二特征数据加密后得到第二加密数据生成的第一中间变量；然后根据第一中间变量以及第一特征数据生成第一加密梯度，将第一加密梯度发送至第二数据持有者，并接收第二数据持有者发送的利用与第二公钥对应的第二私钥对第一加密梯度进行解密，得到的解密后的第一加密梯度；最后利用与第一公钥对应的第一私钥对解密后的第一加密梯度进行解密得到第一明文梯度，并利用第一明文梯度对第一本地模型参数进行更新；由于第一加密梯度(也即加密权重和特征数据的内积)中所包括的第一加密数据以及第二加密数据是分别通过第一数据持有者所持有的第一公钥以及第二数据持有者所持有的第二公钥进行加密的，且与第一公钥对应的第一私钥以及与第二公钥对应的第二私钥分别是第一数据持有者以及第二数据持有者各自持有的，且具体的加密以及解密过程均是在第一数据持有者侧进行的，因此不会存在第一数据持有者或者第二数据持有者与第三方合谋进而获取另一方的特征数据的问题，因此可以解决现有技术中存在的如果A类角色以及C类角色合谋，则C类角色可以通过累积不同权重和固定的特征数据的内积构建方程，随着训练的进展可以求解出特征数据的实际内容，因此导致B类角色的特征数据的安全性较低；同理可以得知，A类角色的特征数据的安全性也较低的问题，提高了特征数据的安全性；另一方面，由于整体的训练过程是分布在多方进行的，进而避免由于需要在某一方进行训练进而导致的数据处理负担较重，训练效率较低的问题，提高了第一本地模型参数的更新效率，进而提高了模型的训练效率。

以下，将结合附图对本发明示例实施例模型训练方法中涉及的各步骤进行详细的解释以及说明。

首先，对本发明示例实施例所涉及到的模型训练系统进行解释以及说明。参考图2所示，该模型训练系统可以包括：提供第一特征数据以及特征标签的第一数据持有者210、提供第二特征数据的第二数据持有者220；第一数据持有者、第二数据持有者之间互相通过网络进行连接。

其中，第一数据持有者可以用于：根据目标公钥对联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密，得到第一加密数据；以及将第一加密数据发送至第二数据持有者，并接收第二数据持有者发送的根据第一加密数据，以及对第二特征数据加密后得到第二加密数据生成的第一中间变量；以及根据第一中间变量以及第一特征数据生成第一加密梯度，将第一加密梯度发送至第二数据持有者，并接收第二数据持有者发送的利用与第二公钥对应的第二私钥对第一加密梯度进行解密，得到的解密后的第一加密梯度；以及利用与第一公钥对应的第一私钥对解密后的第一加密梯度进行解密得到第一明文梯度，并利用第一明文梯度对第一本地模型参数进行更新。

第二数据持有者可以用于：利用目标公钥对联合逻辑回归模型的第二本地模型参数以及第二特征数据进行加密，得到第二加密数据；以及接收第一数据持有者发送的，利用目标公钥对联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密得到的第一加密数据，并根据第一加密数据以及第二加密数据进行生成第一中间变量；以及根据第一中间变量以及第二特征数据生成第二加密梯度，将第二加密梯度发送至第一数据持有者，并接收第一数据持有者发送的利用与第一公钥对应的第一私钥对第二加密梯度进行解密，得到的解密后的第二加密梯度；以及利用与第二公钥对应的第二私钥对解密后的第二加密梯度进行解密得到第二明文梯度，并利用第二明文梯度对第二本地模型参数进行更新。

进一步的，上述模型训练系统还可以包括辅助方230，辅助方与第一数据持有者以及第二数据持有者分别网络连接。该辅助方可以用于接收第一数据持有者发送的第一加密梯度，并将该第一加密梯度发送至第二数据持有者，并接收第二数据持有者对该第一加密梯度解密后发送的解密后的第一加密梯度，再将该解密后的第一加密梯度发送至第一数据持有者；以及接收第二数据持有者发送的第二加密梯度，并将该第二加密梯度发送至第一数据持有者，并接收第一数据持有者对该第二加密梯度解密后发送的解密后的第二加密梯度，再将该解密后的第二加密梯度发送至第二数据持有者。

其次，结合上述数据加密系统对步骤S110-步骤S140进行解释以及说明。

在步骤S110中，根据目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密，得到第一加密数据；其中，所述目标公钥是根据第一数据持有者所持有的第一公钥以及多方机器学习中提供第二特征数据的第二数据持有者所持有的第二公钥计算得到的。

在本示例实施例中，首先，第一数据持有者可以通过加密算法生成第一公钥，该加密算法可以是Ec-Elgamal，也可以是其他加密算法，本示例对此不做特殊限制，并接收第二数据持有者通过加密算法生成的第二公钥，然后再根据第一公钥以及第二公钥生成目标公钥。

其次，当得到目标公钥以后，可以利用该目标公钥对联合逻辑回归模型的第一本地模型参数、所述第一特征数据以及所述特征标签进行加密，得到第一加密数据。具体的可以包括：首先，根据所述第一数据持有者的第一本地模型参数、所述第一特征数据以及所述特征标签，生成第一待加密数据；其次，利用所述第一公钥对所述第一待加密数据进行加密，得到所述第一加密数据。其中，根据所述第一数据持有者的第一本地模型参数、所述第一特征数据以及所述特征标签，得到第一待加密数据，可以包括：首先，对所述第一数据持有者的第一本地模型参数、所述第一特征数据进行求积运算；其次，对求积运算结果以及所述特征标签进行求差运算，得到所述第一待加密数据。其中，该第一待加密数据的计算方法可以参考如下公式(1)所示：

其中，x

在步骤S120中，将所述第一加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第一加密数据，以及利用所述目标公钥对所述第二特征数据加密后得到第二加密数据生成的第一中间变量。

在本示例实施例中，当得到第一加密数据以后，可以将该第一加密数据发送至第二数据持有者，以使得第二数据持有者根据该第一加密数据以及第二加密数据生成第一中间变量。此处需要补充说明的是，该第一中间变量是待训练模型(也即联合逻辑回归模型)的损失函数的展开项。

在步骤S130中，根据所述第一中间变量以及第一特征数据生成第一加密梯度，将所述第一加密梯度发送至所述第二数据持有者，并接收所述第二数据持有者发送的利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密，得到的解密后的第一加密梯度。

在本示例实施例中，首先，可以根据第一中间变量以及第一特征数据生成第一加密梯度，然后再将该第一加密梯度发送至第二数据持有者，以使得第二数据持有者可以根据第二私钥对该第一加密梯度进行解密，进而得到解密后的第一加密梯度；当然，为了进一步的提高特征数据的安全性，还可以在第一加密梯度中设置一随机向量。具体的，根据所述第一中间变量以及第一特征数据生成第一加密梯度还可以包括：生成第一随机向量，根据所述第一中间变量、第一特征数据以及所述第一随机向量，生成所述第一加密梯度。

进一步的，参考图3所示，根据第一中间变量、第一特征数据以及第一随机向量，生成第一加密梯度可以包括步骤S310以及步骤S330。其中：

在步骤S310中，利用所述目标公钥对所述第一随机向量进行加密；

在步骤S320中，对所述第一中间变量以及第一特征数据进行内积运算，并求取内积运算结果的平均值；

在步骤S330中，对平均值以及加密后的第一随机向量进行求和运算，得到所述第一加密梯度。

以下，将对步骤S310-步骤S330进行解释以及说明。具体的，第一加密梯度的计算方法可以参考如下公式(2)所示：

其中，[g

此处需要补充说明的是，由于第一中间变量中包括的第一加密数据以及第二加密数据均是待训练模型(也即联合逻辑回归模型)的损失函数的二阶泰勒展开项，因此对该第一中间变量进行运算以后所得到的数据也会存在一个梯度，即为上述第一加密梯度。同时，当得到该第一加密梯度以后，需要将该第一加密梯度发送至第二数据持有者，以使得第二数据持有者可以对该第一加密梯度进行解密。

同时，为了可以进一步的减少第一数据持有者以及第二数据持有者的负担，将第一加密梯度发送至第二数据持有者，并接收第二数据持有者发送的利用与第二公钥对应的第二私钥对第一加密梯度进行解密后得到的第一加密梯度还可以通过如下方式实现：将所述第一加密梯度发送至所述多方机器学习中的辅助方，以使得所述辅助方将所述第一加密梯度发送至所述第二数据持有者；接收所述辅助方发送的解密后的第一加密梯度；其中，所述解密后的第一加密梯度是所述第二数据持有者利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密得到，并发送给所述辅助方的。也就是说，还可以在第一数据持有者以及第二数据持有者的基础上，引入第三方，也即辅助方；通过设置辅助方，当涉及多个第二数据持有者时，第一数据持有者可以直接将解密后的第二加密梯度发送至辅助方，辅助方再将其分别发送至对应的第二数据持有者，进而可以避免由于第一数据持有者需要将多个解密后的第一加密梯度分别发送至不同的第二数据持有者引起的负担较重的问题，降低了第一数据持有者的负担。

此处需要进一步补充说明的是，在上述加密的过程中，也可以通过第一中间变量计算另一第一中间变量，即根据[w]计算[w]'，然后再利用加密后的第一随机向量对[w]'进行加密，进而得到第一加密梯度，本示例对此不做特殊限制。

在步骤S140中，利用与所述第一公钥对应的第一私钥对所述解密后的第一加密梯度进行解密得到第一明文梯度，并利用所述第一明文梯度对所述第一本地模型参数进行更新。

在本示例实施例中，当接收到解密后的第一加密梯度以后，第一数据持有者可以利用自己持有的第一私钥对解密后的第一加密梯度进行再次解密，得到第一明文梯度；再利用第一明文梯度对第一本地模型参数进行更新，完成联合逻辑回归模型在第一数据持有者侧的训练。通过该方法，由于该多方机器学习中仅涉及到了第一数据持有者以及第二数据持有者，且第一私钥以及第二私钥仅仅是第一数据持有者以及第二数据持有者各自持有，因此避免了A类角色和C类角色合谋，即可得到B类角色的特征数据，进而使得B类角色的特征数据的安全性较低，或者B类角色和C类角色合谋，即可得到A类角色的特征数据，进而使得A类角色的特征数据的安全性较低的问题。

进一步的，当第一加密梯度中加入第一随机向量以后，具体的解密过程可以如下：利用所述第一随机向量对所述解密后的第一加密梯度进行解密，得到第一待解密明文梯度；利用与所述第一公钥对应的第一私钥对所述第一待解密明文梯度进行再次解密，得到所述第一明文梯度。具体的，可以利用该解密后的第一加密梯度减去第一随机向量，即可得到第一待解密明文梯度，然后再利用第一私钥对第一待解密明文梯度进行再次解密得到第一明文梯度，再基于该第一明文梯度对第一本地模型参数进行更新，进而完成对联合逻辑回归模型的训练。通过该方法，避免了A类角色和C类角色合谋，即可得到B类角色的特征数据，进而使得B类角色的特征数据的安全性较低，或者B类角色和C类角色合谋，即可得到A类角色的特征数据，进而使得A类角色的特征数据的安全性较低的问题。具体理由如下所示：

具体的，由于第一数据持有者在对第一待加密数据加密的过程中，是通过目标公钥进行加密的，第一私钥以及第二私钥都是自行保存的，因此第二数据持有者无法对第一待加密数据进行解密进而得到第一数据持有者的第一特征数据以及特征标签；同时，在辅助方对解密后的第一加密梯度进行转发的过程中，由于辅助方并未持有第一私钥以及第二私钥中的任何一方，因此也无法对解密后的第一加密梯度进行解密进而得到第一特征数据。

图4示意性示出根据本发明示例实施例的另一种模型训练方法的流程图，该模型训练方法配置于多方机器学习中提供第二特征数据的第二数据持有者，用于对联合逻辑回归模型进行训练。参考图4所示，该模型训练方法可以包括步骤S410-步骤S440。其中：

在步骤S410中，利用目标公钥对所述联合逻辑回归模型的第二本地模型参数以及所述第二特征数据进行加密，得到第二加密数据；其中，所述目标公钥是根据多方机器学习中提供第一特征数据以及特征标签的第一数据持有者所持有的第一公钥，以及所述第二数据持有者所持有的第二公钥计算得到的。

具体的，第二加密数据的计算方法具体可以如下公式(4)所示：

其中，v为第二待加密数据，x

在步骤S420中，接收所述第一数据持有者发送的，利用所述目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密得到的第一加密数据，并根据所述第一加密数据以及所述第二加密数据进行生成第一中间变量。

具体的，第一中间变量的计算方法为：

[w]＝[u]+[v]；其中，[w]表示第一中间变量，[u]表示第一加密数据。

在步骤S430中，根据所述第一中间变量以及所述第二特征数据生成第二加密梯度，将所述第二加密梯度发送至所述第一数据持有者，并接收所述第一数据持有者发送的利用与所述第一公钥对应的第一私钥对所述第二加密梯度进行解密，得到的解密后的第二加密梯度。

在本示例实施例中，首先，可以根据第一中间变量以及第二特征数据生成第一加密梯度，然后再将该第二加密梯度发送至第一数据持有者，以使得第一数据持有者可以根据第一私钥对该第二加密梯度进行解密，进而得到解密后的第二加密梯度；当然，为了进一步的提高特征数据的安全性，还可以在第二加密梯度中设置一随机向量。具体的，还可以根据所述第一中间变量、第二特征数据以及所述第二数据持有者的第二随机向量，生成所述第二加密梯度。

具体的，第二加密梯度的计算方法具体可以如下公式(5)所示：

其中，[g

此处需要补充说明的是，由于第一中间变量是待训练模型(也即联合逻辑回归模型)的损失函数的展开项，因此对该损失函数进行求导以后，会存在一个梯度，即为上述第二加密梯度。同时，当得到该第二加密梯度以后，需要将该第二加密梯度发送至辅助方，以使得辅助方可以对该第二加密梯度进行解密。同时，第一中间变量的计算方法也可以在第一数据持有者侧进行，本示例对此不做特殊限制。

在步骤S440中，利用与所述第二公钥对应的第二私钥对所述解密后的第二加密梯度进行解密得到第二明文梯度，并利用所述第二明文梯度对所述第二本地模型参数进行更新。

在本示例实施例中，当接收到解密后的第二加密梯度以后，第二数据持有者可以利用自己持有的第二私钥对解密后的第二加密梯度进行再次解密，得到第二明文梯度；再利用第二明文梯度对第二本地模型参数进行更新，完成联合逻辑回归模型在第二数据持有者侧的训练。通过该方法，由于该多方机器学习中仅涉及到了第一数据持有者以及第二数据持有者，且第一私钥以及第二私钥仅仅是第一数据持有者以及第二数据持有者各自持有，因此避免了A类角色和C类角色合谋，即可得到B类角色的特征数据，进而使得B类角色的特征数据的安全性较低，或者B类角色和C类角色合谋，即可得到A类角色的特征数据，进而使得A类角色的特征数据的安全性较低的问题。

进一步的，当第二加密梯度中加入第二随机向量以后，具体的解密过程可以如下：利用所述第二随机向量对所述解密后的第二加密梯度进行解密，得到第呃待解密明文梯度；利用与所述第二公钥对应的第二私钥对所述第二待解密明文梯度进行再次解密，得到所述第二明文梯度。具体的，可以利用该解密后的第二加密梯度减去第二随机向量，即可得到第二待解密明文梯度，然后再利用第二私钥对第二待解密明文梯度进行再次解密得到第二明文梯度，再基于该第二明文梯度对第二本地模型参数进行更新，进而完成对联合逻辑回归模型的训练。通过该方法，避免了A类角色和C类角色合谋，即可得到B类角色的特征数据，进而使得B类角色的特征数据的安全性较低，或者B类角色和C类角色合谋，即可得到A类角色的特征数据，进而使得A类角色的特征数据的安全性较低的问题。具体理由如下所示：

具体的，由于第二数据持有者在对第二待加密数据加密的过程中，是通过目标公钥进行加密的，第一私钥以及第二私钥都是自行保存的，因此第一数据持有者无法对第二待加密数据进行解密进而得到第二数据持有者的第二特征数据；同时，在辅助方对解密后的第二加密梯度进行转发的过程中，由于辅助方并未持有第一私钥以及第二私钥中的任何一方，因此也无法对解密后的第二加密梯度进行解密进而得到第二特征数据。

图5示意性示出根据本发明示例实施例的一种数据预测方法的流程图，该数据预测方法配置于多方机器学习中提供第一待预测数据的第一数据持有者，用于根据对联合逻辑回归模型进行训练得到的数据预测模型进行数据预测。参考图5所示，该数据预测方法可以包括步骤S510-步骤S530。其中：

在步骤S510中，根据所述第一待预测数据以及所述数据预测模型的第一本地模型参数得到第三待加密数据，并根据目标公钥对所述第三待加密数据进行加密，得到第三加密数据；其中，所述数据预测模型是根据前述模型训练方法对所述联合逻辑回归模型进行训练得到的；所述目标公钥是根据所述第一数据持有者所持有的第一公钥，以及所述多方机器学习中提供第二待预测数据的第二数据持有者所持有的第二公钥计算得到的；

具体的，第三待加密数据的计算方法可以如下公式(3)所示：

u

其中，u

在步骤S520中，将所述第三加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第三加密数据以及第四加密数据得到的目标待预测数据；其中，所述第四加密数据是所述第二数据持有者利用所述目标公钥对所述第二待预测数据进行加密得到的。

具体的，当第二数据持有者对第三加密数据以及第四加密数据进行拼接以后，利用自身持有的第二私钥对拼接得到的待预测数据进行解密，进而得到目标待预测数据，再将该目标待预测数据发送至第一数据持有者。通过该方法，由于该多方机器学习的数据预测方法中仅涉及到了第一数据持有者以及第二数据持有者，且第一私钥以及第二私钥仅仅是第一数据持有者以及第二数据持有者各自持有，因此避免了A类角色和C类角色合谋，即可得到B类角色的特征数据，进而使得B类角色的特征数据的安全性较低，或者B类角色和C类角色合谋，即可得到A类角色的特征数据，进而使得A类角色的特征数据的安全性较低的问题。

进一步的，为了可以减少第一数据持有者以及第二数据持有者的负担，将第三加密数据发所述多方机器学习中提供第二待预测数据的第二数据持有者，并所述第二数据持有者所述第三加密数据以及第四加密数据得到的目标待预测数据还可以通过如下方式实现：将第三加密数据发送至多方机器学习中的辅助方，以使得辅助方对第三加密数据以及第二数据持有者发送的第四加密数据进行拼接，得到所述目标待预测数据；接收辅助方发送的所述目标待预测数据。也就是说，还可以在第一数据持有者以及第二数据持有者的基础上，引入第三方，也即辅助方；通过设置辅助方，当涉及多个第二数据持有者时，可以避免在不知道要在哪一个第二数据持有者侧进行数据拼接进而导致的拼接混乱的问题，同时还可以降低第二数据持有者的负担。

当然，该方法也可以避免A类角色和C类角色合谋，即可得到B类角色的特征数据，进而使得B类角色的特征数据的安全性较低，或者B类角色和C类角色合谋，即可得到A类角色的特征数据，进而使得A类角色的特征数据的安全性较低的问题。具体理由如下所示：

具体的，由于第一数据持有者以及第二数据持有者在对第三待加密数据以及第四待加密数据加密的过程中，是通过第一私钥以及第二私钥进行加密的，第一私钥以及第二私钥都是自行保存的，因此第一数据持有者无法对第四加密数据进行解密进而得到第二数据持有者的第四待预测数据，第二数据持有者也无法对第三加密数据进行解密进而得到第一数据持有者的第三待预测数据；同时，在辅助方对第三加密数据以及第四加密数据进行拼接以及发送的过程中，由于辅助方并未持有第一私钥以及第二私钥中的任何一方，因此也无法对第三加密数据以及第四加密数据进行解密，进而得到第一待预测数据以及第二待预测数据。

在步骤S530中，利用与所述第一公钥对应的第一私钥对所述目标待预测数据进行解密，并利用所述数据预测模型对解密后的目标待预测数据进行预测，得到预测结果。

具体的，该待预测数据可以包括用户的待评分数据、与待信用评估对应的用户数据、与待健康评估的医学诊断数据等等，也可以是其他数据，本示例对此不做特殊限制；同时，该数据预测模型可以用于所有逻辑回归涉及到的场景，广泛地说是二分类的安全联合建模，具体比如隐私保护情况下联合建立评分卡模型、信用评估、医学诊断等等。

以下，结合图6对本发明示例实施例的模型训练方法进行进一步的解释以及说明。参考图6所示，该模型训练方法可以包括以下步骤：

步骤S610，第一数据持有者生成第一公钥以及第一私钥，并将第一公钥发送给第二数据持有者，第二数据持有者生成第二公钥以及第二私钥，并将第二公钥发送给第一数据持有者；

步骤S620，第一数据持有者随机初始化第一本地模型参数t1，根据第一公钥以及第二公钥生成目标公钥，并生成第一加密数据，再将第一加密数据发送至第二数据持有者；

步骤S630，第二数据持有者随机初始化第二本地模型参数t2，根据第一公钥以及第二公钥生成目标公钥，并生成第二加密数据；

步骤S640，第二数据持有者根据第一加密数据以及第二加密数据生成第一中间变量，并将第一中间变量发送至第一数据持有者；

步骤S650，第一数据持有者根据第一中间变量生成第一加密梯度，并将第一加密梯度发送至辅助方；

步骤S660，第二数据持有者根据第一中间变量生成第二加密梯度，并将第二加密梯度发送至辅助方；

步骤S670，辅助方将第一加密梯度以及第二加密梯度分别发送至第二数据持有者以及第一数据持有者，并接收到的第二数据持有者以及第一数据持有者发送的解密后的第一加密梯度以及解密后的第二加密梯度发送至第一数据持有者以及第二数据持有者；

步骤S680，第一数据持有者对解密后的第一加密梯度进行解密得到第一明文梯度，并根据第一明文梯度对第一本地模型参数进行更新；

步骤S690，第二数据持有者对解密后的第二加密梯度进行解密得到第二明文梯度，并根据第二明文梯度对第二本地模型参数进行更新。

以下，结合图7对本发明示例实施例的数据预测方法进行解释以及说明。参考图7所示，该数据预测方法可以包括以下步骤：

步骤S710，第一数据持有者生成第一公钥以及第一私钥，并将第一公钥发送给第二数据持有者，第二数据持有者生成第二公钥以及第二私钥，并将第二公钥发送给第一数据持有者；

步骤S720，第一数据持有者根据第一公钥以及第二公钥生成目标公钥，并根据目标公钥以及第一待预测数据生成第三加密数据，并将第三加密数据发送至辅助方；

步骤S730，第二数据持有者第一公钥以及第二公钥生成目标公钥，并根据目标公钥以及第二待预测数据生成第四加密数据，并将第四加密数据发送至辅助方；

步骤S740，辅助方对第三加密数据以及第四加密数据进行叠加(sum运算)，得到拼接后的待预测数据；并将拼接后的待预测数据发送至第二数据持有者，以使得第二数据持有者根据第二私钥对该拼接后的待预测数据进行解密得到目标待预测数据，并接收第二数据持有者发送的目标待预测数据；

步骤S750，第一数据持有者接收辅助方发送的目标待预测数据，并利用第二私钥对加密后的待预测数进行解密，得到明文形式的跨特征逻辑回归模型中间变量，然后通过sigmoid函数得到预测结果。

图6示出的模型训练方法以及图7示出的数据预测方法，对于前述记载的三种恶意合谋的情况，都具有鲁棒性。具体的：

在训练部分，对于恶意合谋情况的前两种，由于辅助方只有模型梯度，不持有模型参数，即在建模过程中，辅助方发送给第一数据持有者以及第二数据持有者第一明文梯度以及第二明文梯度。在辅助方与任一方参与合谋的情况下，只能得到另一参与方的mini-batch内平均梯度信息，由于各参与方的初始模型参数各自独立生成，且在传输过程中没有暴露，攻击者不能得到其他参与方的模型参数，因此不能反推参与方的输入数据；此外，由于引入了第一随机向量以及第二随机向量，也不能通过累积第一中间变量以及第一明文梯度或者第二明文梯度反推参与方的输入数据。

进一步的，对于恶意合谋情况的第三种，由于第一数据持有者以及第二数据持有者智能获得密文第一中间变量以及自身的明文梯度，所以即使合谋也无法推断出其他角色机构的本地数据。

并且，基于与上述相似的理由，在数据预测过程中，也不会存在数据泄露的情况。

本公开还提供了一种模型训练装置，配置于多方机器学习中提供第一特征数据以及特征标签的第一数据持有者。参考图8所示，该模型训练装置可以包括第一加密模块810、第一接收模块820、第一加密梯度生成模块830以及第一参数更新模块840。其中：

第一加密模块810可以用于根据目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密，得到第一加密数据；其中，所述目标公钥是根据第一数据持有者所持有的第一公钥以及多方机器学习中提供第二特征数据的第二数据持有者所持有的第二公钥计算得到的；

第一接收模块820可以用于将所述第一加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第一加密数据，以及利用所述目标公钥对所述第二特征数据加密后得到第二加密数据生成的第一中间变量；

第一加密梯度生成模块830可以用于根据所述第一中间变量以及第一特征数据生成第一加密梯度，将所述第一加密梯度发送至所述第二数据持有者，并接收所述第二数据持有者发送的利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密，得到的解密后的第一加密梯度；

第一参数更新模块840可以用于利用与所述第一公钥对应的第一私钥对所述解密后的第一加密梯度进行解密得到第一明文梯度，并利用所述第一明文梯度对所述第一本地模型参数进行更新。

在本公开的一种示例性实施例中，根据所述第一中间变量以及第一特征数据生成第一加密梯度，包括：

生成第一随机向量；

根据所述第一中间变量、第一特征数据以及所述第一随机向量，生成所述第一加密梯度。

在本公开的一种示例性实施例中，利用与所述第一公钥对应的第一私钥对所述解密后的第一加密梯度进行解密得到第一明文梯度，包括：

利用所述第一随机向量对所述解密后的第一加密梯度进行解密，得到第一待解密明文梯度；

利用与所述第一公钥对应的第一私钥对所述第一待解密明文梯度进行再次解密，得到所述第一明文梯度。

在本公开的一种示例性实施例中，将所述第一加密梯度发送至所述第二数据持有者，并接收所述第二数据持有者发送的利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密，得到的解密后的第一加密梯度，包括：

将所述第一加密梯度发送至所述多方机器学习中的辅助方，以使得所述辅助方将所述第一加密梯度发送至所述第二数据持有者；

接收所述辅助方发送的解密后的第一加密梯度；其中，所述解密后的第一加密梯度是所述第二数据持有者利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密得到，并发送给所述辅助方的。

本公开还提供了另一种模型训练装置，配置于多方机器学习中提供第二特征数据的第二数据持有者，用于对联合逻辑回归模型进行训练。参考图9所示，该模型训练装置包括第二加密模块910、第一中间变量生成模块920、第二加密梯度生成模块930以及第二模型参数更新模块940。其中：

第二加密模块910，可以用于利用目标公钥对所述联合逻辑回归模型的第二本地模型参数以及所述第二特征数据进行加密，得到第二加密数据；其中，所述目标公钥是根据多方机器学习中提供第一特征数据以及特征标签的第一数据持有者所持有的第一公钥，以及所述第二数据持有者所持有的第二公钥计算得到的；

第一中间变量生成模块920，可以用于接收所述第一数据持有者发送的，利用所述目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密得到的第一加密数据，并根据所述第一加密数据以及所述第二加密数据进行生成第一中间变量；

第二加密梯度生成模块930，可以用于根据所述第一中间变量以及所述第二特征数据生成第二加密梯度，将所述第二加密梯度发送至所述第一数据持有者，并接收所述第一数据持有者发送的利用与所述第一公钥对应的第一私钥对所述第二加密梯度进行解密，得到的解密后的第二加密梯度；

第二模型参数更新模块940，可以用于利用与所述第二公钥对应的第二私钥对所述解密后的第二加密梯度进行解密得到第二明文梯度，并利用所述第二明文梯度对所述第二本地模型参数进行更新。

本公开还提供了一种数据预测装置，配置于多方机器学习中提供第一待预测数据的第一数据持有者，用于根据对联合逻辑回归模型进行训练得到的数据预测模型进行数据预测。参考图10所示，该数据预测装置可以包括第三加密模块1010、第二接收模块1020以及数据预测模块1030。其中：

第三加密模块1010，可以用于根据所述第一待预测数据以及所述数据预测模型的第一本地模型参数得到第三待加密数据，并根据目标公钥对所述第三待加密数据进行加密，得到第三加密数据；其中，所述数据预测模型是根据任意一项所述的模型训练方法对所述联合逻辑回归模型进行训练得到的；所述目标公钥是根据所述第一数据持有者所持有的第一公钥，以及所述多方机器学习中提供第二待预测数据的第二数据持有者所持有的第二公钥计算得到的；

第二接收模块1020，可以用于将所述第三加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第三加密数据以及第四加密数据得到的目标待预测数据；其中，所述第四加密数据是所述第二数据持有者利用所述目标公钥对所述第二待预测数据进行加密得到的；

数据预测模块1030，可以用于利用与所述第一公钥对应的第一私钥对所述目标待预测数据进行解密，并利用所述数据预测模型对解密后的目标待预测数据进行预测，得到预测结果。

在本公开的一种示例性实施例中，将所述第三加密数据发送至所述多方机器学习中提供第二待预测数据的第二数据持有者，并接收所述第二数据持有者根据所述第三加密数据以及第四加密数据得到的目标待预测数据，包括：

将所述第三加密数据发送至所述多方机器学习中的辅助方，以使得所述辅助方对所述第三加密数据以及所述第二数据持有者发送的第四加密数据进行拼接，得到所述目标待预测数据；

接收所述辅助方发送的所述目标待预测数据。

上述模型训练装置以及数据预测装置中各模块的具体细节已经在对应的模型训练方法以及数据预测方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

在本发明的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图11来描述根据本发明的这种实施方式的电子设备1100。图11显示的电子设备1100仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130以及显示单元1140。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1110执行，使得所述处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元1110可以执行如图1中所示的步骤S110：根据目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密，得到第一加密数据；其中，所述目标公钥是根据第一数据持有者所持有的第一公钥以及多方机器学习中提供第二特征数据的第二数据持有者所持有的第二公钥计算得到的；步骤S120：将所述第一加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第一加密数据，以及利用所述目标公钥对所述第二特征数据加密后得到第二加密数据生成的第一中间变量；步骤S110：根据所述第一中间变量以及第一特征数据生成第一加密梯度，将所述第一加密梯度发送至所述第二数据持有者，并接收所述第二数据持有者发送的利用与所述第二公钥对应的第二私钥对所述第一加密梯度进行解密，得到的解密后的第一加密梯度；步骤S140：利用与所述第一公钥对应的第一私钥对所述解密后的第一加密梯度进行解密得到第一明文梯度，并利用所述第一明文梯度对所述第一本地模型参数进行更新。

又例如，所述处理单元1110可以执行如图4中所示的步骤S410：利用目标公钥对所述联合逻辑回归模型的第二本地模型参数以及所述第二特征数据进行加密，得到第二加密数据；其中，所述目标公钥是根据多方机器学习中提供第一特征数据以及特征标签的第一数据持有者所持有的第一公钥，以及所述第二数据持有者所持有的第二公钥计算得到的；步骤S420：接收所述第一数据持有者发送的，利用所述目标公钥对所述联合逻辑回归模型的第一本地模型参数、第一特征数据以及特征标签进行加密得到的第一加密数据，并根据所述第一加密数据以及所述第二加密数据进行生成第一中间变量；步骤S430：根据所述第一中间变量以及所述第二特征数据生成第二加密梯度，将所述第二加密梯度发送至所述第一数据持有者，并接收所述第一数据持有者发送的利用与所述第一公钥对应的第一私钥对所述第二加密梯度进行解密，得到的解密后的第二加密梯度；步骤S440：利用与所述第二公钥对应的第二私钥对所述解密后的第二加密梯度进行解密得到第二明文梯度，并利用所述第二明文梯度对所述第二本地模型参数进行更新。

再例如，所述处理单元1110可以执行如图5中所示的步骤S610：根据所述第一待预测数据以及所述数据预测模型的第一本地模型参数得到第三待加密数据，并根据目标公钥对所述第三待加密数据进行加密，得到第三加密数据；其中，所述数据预测模型是根据任意一项所述的模型训练方法对所述联合逻辑回归模型进行训练得到的；所述目标公钥是根据所述第一数据持有者所持有的第一公钥，以及所述多方机器学习中提供第二待预测数据的第二数据持有者所持有的第二公钥计算得到的；步骤S520：将所述第三加密数据发送至所述第二数据持有者，并接收所述第二数据持有者发送的根据所述第三加密数据以及第四加密数据得到的目标待预测数据；其中，所述第四加密数据是所述第二数据持有者利用所述目标公钥对所述第二待预测数据进行加密得到的；步骤S530：利用与所述第一公钥对应的第一私钥对所述目标待预测数据进行解密，并利用所述数据预测模型对解密后的目标待预测数据进行预测，得到预测结果。

存储单元1120可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)11201和/或高速缓存存储单元11202，还可以进一步包括只读存储单元(ROM)11203。

存储单元1120还可以包括具有一组(至少一个)程序模块11205的程序/实用工具11204，这样的程序模块11205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1130可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1100也可以与一个或多个外部设备1200(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且，电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施方式的方法。

在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。