一种隐私求交组件动态扩容系统、方法、设备及介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种隐私求交组件动态扩容系统、方法、设备及介质。

背景技术

隐私求交组件(Private Set Intersection，PSI)作为一个独立的计算组件，需要支持多任务并行、超大数据集的计算场景，这就要求隐私求交组件所在的系统具备很高的并行计算能力，以及计算节点动态扩容能力。

现有方案是基于单机完成计算任务，以处于单机上的应用A、应用B两方隐私求交为例。应用A使用加密密钥对应用A的本地数据逐条加随机数混淆后加密得到第一加密结果XA，并将该第一加密结果XA发送给应用B。应用B首先使用解密密钥对应用A发送的加密结果XA进行再次加密得到第二加密结果ZA，然后分别使用加密密钥和解密密钥对应用B的本地数据逐条进行加密得到第三加密结果ZB，最后将第二加密结果ZA和第三加密结果ZB发回给应用A。随后，应用A对第二加密结果ZA脱随机数后得到解密结果ZA'，并将第三加密结果ZB和解密结果ZA'进行逐条比对，以得到结果U。在获取到结果U后，应用A再将该结果U发送至应用B。

然而，当并行执行多个计算任务或者执行超大数据集的计算任务时，可能会因为内存不够导致内存溢出，或因为计算能力不够导致计算失败。并且，也无法在不中断业务的情况下实现中央处理器(central processing unit，CPU)和内存资源的动态扩容。

发明内容

本申请提供了一种隐私求交组件动态扩容系统、方法、设备及介质，能够在不中断业务的情况下实现动态扩容。

本申请公开了如下技术方案：

第一方面，本申请公开了一种隐私求交组件动态扩容系统，所述系统包括第一应用和第二应用；

所述第一应用，用于获取输入信息及所述输入信息对应的第一特征数据；在第一计算模块中对所述第一特征数据加密，得到第一加密结果，所述第一计算模块为Spark集群；将所述输入信息和所述第一加密结果发送至第二应用；

所述第二应用，用于在第二计算模块中对所述第一加密结果加密，得到第二加密结果，所述第二计算模块为Spark集群；获取所述输入信息对应的第二特征数据；在所述第二计算模块中对所述第二特征数据加密，得到第三加密结果；将所述第二加密结果和所述第三加密结果发送至第一应用；

所述第一应用，用于在第一计算模块中对所述第二加密结果解密，得到解密结果；在第一计算模块中将所述解密结果与所述第三加密结果进行对比，得到最终结果；将所述最终结果发送至第二应用。

优选的，所述第一应用，具体用于对所述第一特征数据加入随机数混淆后，基于加密密钥加密，得到第一加密结果。

优选的，所述第一应用，具体用于对所述第一特征数据附加扰动信息后，基于加密密钥加密，得到第一加密结果。

优选的，所述第二应用，具体用于在第二计算模块中基于解密密钥对所述第一加密结果加密，得到第二加密结果。

第二方面，本申请公开了一种隐私求交组件动态扩容方法，应用于第一应用，所述方法包括：

获取输入信息及所述输入信息对应的第一特征数据；

在第一计算模块中对所述第一特征数据加密，得到第一加密结果，所述第一计算模块为Spark集群；

将所述输入信息和所述第一加密结果发送至第二应用；

在接收到所述第二应用发送的第二加密结果和第三加密结果后，在所述第一计算模块中对所述第二加密结果解密，得到解密结果；

在第一计算模块中将所述解密结果与所述第三加密结果进行对比，得到最终结果；

将所述最终结果发送至所述第二应用。

优选的，所述在第一计算模块中对所述第一特征数据加密，得到第一加密结果，包括：

在第一计算模块中对所述第一特征数据加入随机数混淆后，基于加密密钥加密，得到第一加密结果。

优选的，所述在第一计算模块中对所述第一特征数据加密，得到第一加密结果，包括：

在第一计算模块中对所述第一特征数据附加扰动信息后，基于加密密钥加密，得到第一加密结果。

第三方面，本申请公开了一种隐私求交组件动态扩容方法，应用于第二应用，所述方法包括：

接收第一应用发送的输入信息和第一加密结果；

在第二计算模块中对所述第一加密结果加密，得到第二加密结果，所述第二计算模块为Spark集群；

获取所述输入信息对应的第二特征数据；

在所述第二计算模块中对所述第二特征数据加密，得到第三加密结果；

将所述第二加密结果和所述第三加密结果发送至第一应用；

接收所述第一应用发送的最终结果。

第四方面，本申请公开了一种隐私求交组件动态扩容设备，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现如第二方面、第三方面所述的方法的各个步骤。

第五方面，本申请公开了一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如第二方面、第三方面所述的方法的各个步骤。

相较于现有技术，本申请具有以下有益效果：

本申请提供一种隐私求交组件动态扩容系统、方法、设备及介质，该系统包括第一应用和第二应用。第一应用首先获取输入信息及第一特征数据后，在第一计算模块中对第一特征数据加密得到第一加密结果；将输入信息和第一加密结果发送至第二应用。第二应用在第二计算模块中对第一加密结果加密，得到第二加密结果；获取第二特征数据后在第二计算模块中对第二特征数据加密得到第三加密结果后，将第二加密结果和第三加密结果发送至第一应用。第一应用再在第一计算模块中对第二加密结果解密得到解密结果后，将解密结果与第三加密结果进行对比，得到最终结果，并将最终结果发送至第二应用。由于第一应用和第二应用的计算模块均为Spark计算集群，可以将大批量计算数据提交到Spark集群处理，提交的任务参数主要包括Spark集群申领中央处理器核数和内存需求量，并且Spark集群本身资源动态扩容能力。因此，通过任务的定额资源申请以及Spark的天然能力，就实现了隐私求交组件的动态扩容能力。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种隐私求交组件动态扩容系统的示意图；

图2为本申请实施例提供的一种隐私求交组件动态扩容的信令流程图；

图3为本申请实施例提供的一种隐私求交组件动态扩容方法；

图4为本申请实施例提供的另一种隐私求交组件动态扩容方法。

具体实施方式

下面先对本申请所涉及的技术术语进行介绍。

RSA加密算法是一种使用不同的加密密钥与解密密钥，且无法由已知的加密密钥推导出未知的解密密钥的密码体制。即在RSA加密体制中，加密密钥PK是公开的信息，甚至可在网络服务器中注册，解密密钥SK是需要保密的信息，由用户保存，且加密算法E和解密算法D也都是公开的。然而，虽然解密密钥SK是由公开密钥PK决定的，但却不能根据加密密钥PK计算出解密密钥SK。

隐私求交用于在多家厂商联合计算前，找到多家共有的数据样本，并且不暴露每家厂商独有的样本。

隐私求交组件(Private Set Intersection，PSI)作为一个独立的计算组件，需要支持多任务并行、超大数据集的计算场景，这就要求隐私求交组件所在的系统具备很高的并行计算能力，以及计算节点动态扩容能力。

现有方案是基于单机完成计算任务，以处于单机上的应用A、应用B两方隐私求交为例。应用A使用加密密钥对应用A的本地数据逐条加随机数混淆后加密得到第一加密结果XA，并将该第一加密结果XA发送给应用B。应用B首先使用解密密钥对应用A发送的加密结果XA进行再次加密得到第二加密结果ZA，然后分别使用加密密钥和解密密钥对应用B的本地数据逐条进行加密得到第三加密结果ZB，最后将第二加密结果ZA和第三加密结果ZB发回给应用A。随后，应用A对第二加密结果ZA脱随机数后得到解密结果ZA'，并将第三加密结果ZB和解密结果ZA'进行逐条比对，以得到结果U。在获取到结果U后，应用A再将该结果U发送至应用B。

然而，当单机并行执行多个计算任务或者执行超大数据集的计算任务时，可能会因为内存不够导致内存溢出，或因为计算能力不够导致计算失败。并且，单机也无法在不中断业务的情况下实现中央处理器(central processing unit，CPU)和内存资源的动态扩容。

针对上述缺陷，本申请提供了一种隐私求交组件动态扩容系统、方法、设备及介质。该系统包括第一应用和第二应用。第一应用首先获取输入信息及第一特征数据后，在第一计算模块中对第一特征数据加密得到第一加密结果；将输入信息和第一加密结果发送至第二应用。第二应用在第二计算模块中对第一加密结果加密，得到第二加密结果；获取第二特征数据后在第二计算模块中对第二特征数据加密得到第三加密结果后，将第二加密结果和第三加密结果发送至第一应用。第一应用再在第一计算模块中对第二加密结果解密得到解密结果后，将解密结果与第三加密结果进行对比，得到最终结果，并将最终结果发送至第二应用。由于第一应用和第二应用的计算模块均为Spark计算集群，可以将大批量计算数据提交到Spark集群处理，提交的任务参数主要包括Spark集群申领中央处理器核数和内存需求量，并且Spark集群本身资源动态扩容能力。因此，通过任务的定额资源申请以及Spark的天然能力，就实现了隐私求交组件的动态扩容能力。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1，该图为本申请实施例提供的一种隐私求交组件动态扩容系统的示意图。该隐私求交组件动态扩容系统包括第一应用11、第二应用12。

其中，上述第一应用11与第二应用12为单机上的不同应用，不同应用可以为不同的对象存储不同的特征数据种类。需要说明的是，对于具体的特征数据种类，本申请不做限定。在一种可能的实施方式中，上述第一应用11可以为保险公司的存储设备，其中存储有车辆的车牌号码、车辆型号、投保人、投保金额等种类的特征数据，第二应用12可以为汽车店的存储设备，其中存储有车辆的车牌号码、车辆型号、车辆价格等种类的特征数据。在另一种可能的实施方式中，上述第一应用11可以为银行的存储设备，其中存储有用户的转账记录、贷款还款记录等种类的特征数据，上述第二应用12可以为电商网站的存储设备，其中存储有用户的购物花费记录、购买物品记录等种类的特征数据。

在一些可能的实现方式中，第一应用11可以包括隐私求交模块101和计算模块102。

隐私求交模块101可以包括隐私求交组件客户端103、隐私求交算法模块104、通讯模块105、存储模块106。其中，隐私求交组件客户端103用于提交隐私求交任务给隐私求交算法模块104、以及展示求交计算结果等。隐私求交算法模块104用于完成隐私求交的算法逻辑。通讯模块105用于连接隐私求交双方(即第一应用11和第二应用12)，以发送和接收隐私求交双方的数据通讯功能。存储模块106用于存储隐私求交过程中产生的结果数据，例如前述的第一加密结果XA、第二加密结果ZA、第三加密结果ZB、解密结果ZA'、结果U等。在一些具体的实现方式中，该存储模块106可以是Hadoop分布式文件系统(HDFS)，HDFS是指被设计成适合运行在通用硬件上的分布式文件系统。计算模块用于完成隐私求交过程的计算。

计算模块102(即第一计算模块)可以包括1个Spark master107和2个Sparkworker108，其中，Spark master107可以与隐私求交算法模块104和2个Spark worker108相连接，可以根据计算量的需要，实现中央处理器和内存的动态调配。Spark worker108可以与存储模块106和Spark master107相连接。需要说明的是，对于该计算模块中Sparkmaster107和Spark worker108的数量，本申请不做限定。

可以理解的是，第二应用12与第一应用11类似，第二应用12可以包括隐私求交模块109和计算模块110(即第二计算模块)。隐私求交模块109可以包括隐私求交组件客户端111、隐私求交算法模块112、通讯模块113、存储模块114。计算模块110可以包括1个Sparkmaster115和2个Spark worker116，这里不再赘述。

需要说明的是，上述隐私求交组件动态扩容系统是以包括两个应用，即第一应用11、第二应用12为实施例，还可以包括更多应用，对于具体的应用个数，本申请不做限定，只要不同的应用均使用自身的通讯模块进行连接即可。

参见图2，该图为本申请实施例提供的一种隐私求交组件动态扩容的信令流程图。下面结合图2对图1所示的隐私求交组件动态扩容系统100的工作流程进行说明。

S201：第一应用发送输入信息至第二应用。

响应于获取到的输入信息，第一应用11的隐私求交模块101将该输入信息发送至第二应用12的隐私求交模块109。示例性的，上述输入信息可以包括隐私求交数据集的名称、数据集的来源、隐私求交集的双方id信息，隐私求交的字段项等。

在一种具体的实现方式中，第一应用11可以按照不经意传输协议向第二应用12发送输入信息。不经意传输协议是一种可保护隐私的通信协议，因此可以使得第二应用12中存储的数据不在此时被第一应用11所获得，从而提高第二应用12中存储的数据的安全性。

S202：第一应用获取输入信息对应的第一特征数据。

响应于输入信息中的隐私求交数据集的名称，第一应用11在隐私求交模块101的存储模块106中获取与该输入信息对应的第一特征数据。在一些具体的实现方式中，该存储模块106可以是Hadoop分布式文件系统(HDFS)。

S203：第一应用对第一特征数据进行加密，得到第一加密结果。

第一应用11的存储模块106将获取到的第一特征数据发送至计算模块102，计算模块针对第一特征数据开始求交运算，即对第一特征数据进行加密。

计算模块102为Spark集群，可以包括1个Spark master107和2个Sparkworker108，其中，Spark master107可以根据计算量的需要，实现中央处理器和内存的动态调配。将大批量计算数据提交到计算模块102中进行Spark集群处理，提交的任务参数主要包括Spark集群申领中央处理器核数和内存需求量。Spark集群本身资源动态扩容能力。通过任务的定额资源申请以及Spark的天然能力，就实现了隐私求交组件的动态扩容能力。

在一些可能的实现方式中，加密逻辑可以为:第一应用11在对第一特征数据逐条加随机数混淆后使用加密密钥加密，以得到第一加密结果。可以理解的是，由于上述加随机数混淆后加密是第一应用11完成的加密，第二应用12不确定加入的随机数以及加密的具体数字及方式，因此在第二应用12接收到上述第一加密结果后无法去除加入的随机数以及解密，第二应用12就无法确定该第一加密结果对应的第一特征数据，从而保证了该第一特征数据的安全性。

在另一些可能的实现方式中，加密逻辑可以为:第一应用11对第一特征数据附加扰动信息后使用加密密钥加密，以得到第一加密结果。可以理解的是，由于上述扰动信息是第一应用11生成的扰动信息，第二应用12不确定该扰动信息的具体数值或生成方式，因此在第二应用12接收到上述第一加密结果后无法去除该扰动信息以及解密，第二应用12就无法确定该第一加密结果对应的第一特征数据，从而保证了该第一特征数据的安全性。

可以理解的是，上述加密逻辑是本领域技术人员提前保存在第一应用11的存储模块106中的，对于具体的加密逻辑，本申请不做限定。

S204：第一应用将第一加密结果保存至存储模块。

需要说明的是，本申请可以将第一加密结果保存至存储模块106，也可以将第一特征数据和加密逻辑保存至存储模块106，对于具体的保存形式，本申请不做限定。

S205：第一应用将第一加密结果发送至第二应用。

在一种可能的实现方式中，第一应用11可以从存储模块106中获取该第一加密结果，并将该第一加密结果通过通讯模块105发送至第二应用12的隐私求交模块109。在另一种可能的实现方式中，第一应用11可以从计算模块102中获取该第一加密结果，并将该第一加密结果通过通讯模块105发送至第二应用12的隐私求交模块109。对于具体的获取路径，本申请不做限定。

S206：第二应用对第一加密结果进行加密，得到第二加密结果。

第二应用12在计算模块110中使用解密密钥对第一应用11发送的第一加密结果进行再次加密，以得到第二加密结果。

与第一应用11的计算模块102类似的，第二应用12的计算模块110也为Spark集群，可以依托Spark提供的计算资源动态调整能力，能自动根据求交数据量，调整计算资源，并将中间计算结果持久化到存储模块中，保证求交过程顺利完成和断点续传功能。

S207：第二应用获取输入信息对应的第二特征数据。

基于S201步骤中获取的输入信息，第二应用12在隐私求交模块109的存储模块114中获取与该输入信息对应的第二特征数据。在一些具体的实现方式中，该存储模块114可以是Hadoop分布式文件系统(HDFS)。

S208：第二应用对第二特征数据进行加密，得到第三加密结果。

第二应用12在计算模块110中分别使用加密密钥和解密密钥对第二应用12本地的第二特征数据逐条进行加密，得到第三加密结果。

S209：第二应用将第二加密结果、第三加密结果保存至存储模块。

需要说明的是，本申请可以将第二加密结果、第三加密结果保存至存储模块114，也可以将第一加密结果、第二特征数据及其分别对应的加密逻辑保存至存储模块114，对于具体的保存形式，本申请不做限定。

S210：第二应用将第二加密结果、第三加密结果发送至第一应用。

在一种可能的实现方式中，第二应用12可以从存储模块114中获取该第二加密结果、第三加密结果，并将该第二加密结果、第三加密结果通过通讯模块113发送至第一应用11的隐私求交模块101。在另一种可能的实现方式中，第二应用12可以从计算模块110中获取该第二加密结果、第三加密结果，并将该第二加密结果、第三加密结果通过通讯模块113发送至第一应用11的隐私求交模块101。对于具体的获取路径，本申请不做限定。

S211：第一应用对第二加密结果进行解密，得到解密结果。

第一应用11在计算模块102中，对第二加密结果进行解密，以得到解密结果。

在一些可能的实现方式中，解密逻辑可以为:对第二加密结果脱随机数。在另一些可能的实现方式中，解密逻辑可以为:去除第二加密结果中的扰动信息。可以理解的是，该解密逻辑只需和S203中的加密逻辑对应即可，对于具体的解密逻辑，本申请不做限定。

S212：第一应用将解密结果与第三加密结果进行对比，得到最终结果。

第一应用11将第三加密结果和解密结果进行逐条比对，以得到最终结果U。

S213：第一应用将最终结果保存至存储模块。

在一些具体的实现方式中，第一应用11在将最终结果U保存至存储模块106后，还可以将该最终结果U发送至隐私求交组件客户端103。

S214：第一应用将最终结果发送至第二应用。

在一种可能的实现方式中，第一应用11可以从存储模块106中获取该最终结果U，并将该最终结果U通过通讯模块105发送至第二应用12的隐私求交模块109。在另一种可能的实现方式中，第一应用11可以从计算模块102中获取该最终结果U，并将该最终结果U通过通讯模块105发送至第二应用12的隐私求交模块109。对于具体的获取路径，本申请不做限定。

S215：第二应用将最终结果保存至存储模块。

在一些具体的实现方式中，第二应用12在将最终结果U保存至存储模块114后，还可以将该最终结果U发送至隐私求交组件客户端109。

本申请公开了一种隐私求交组件动态扩容系统，由于第一应用和第二应用的计算模块均为Spark计算集群，可以将大批量计算数据提交到Spark集群处理，提交的任务参数主要包括Spark集群申领中央处理器核数和内存需求量，并且Spark集群本身资源动态扩容能力。因此，通过任务的定额资源申请以及Spark的天然能力，就实现了隐私求交组件的动态扩容能力。

参见图3，该图为本申请实施例提供的一种隐私求交组件动态扩容方法，应用于第一应用11。该方法包括：

S301：获取输入信息及输入信息对应的第一特征数据。

S302：在第一计算模块中对第一特征数据加密，得到第一加密结果，第一计算模块为Spark集群。

在一些具体的实现方式中，第一应用11可以在计算模块102中对第一特征数据加入随机数混淆后，基于加密密钥加密，得到第一加密结果。

在一些具体的实现方式中，第一应用11可以在计算模块102中对第一特征数据附加扰动信息后，基于加密密钥加密，得到第一加密结果。

S303：将输入信息和第一加密结果发送至第二应用。

S304：在接收到第二应用发送的第二加密结果和第三加密结果后，在第一计算模块中对第二加密结果解密，得到解密结果。

S305：在第一计算模块中将解密结果与第三加密结果进行对比，得到最终结果。

S306：将最终结果发送至第二应用。

本申请提供了一种隐私求交组件动态扩容方法。由于第一应用的计算模块为Spark计算集群，可以将大批量计算数据提交到Spark集群处理，提交的任务参数主要包括Spark集群申领中央处理器核数和内存需求量，并且Spark集群本身资源动态扩容能力。因此，通过任务的定额资源申请以及Spark的天然能力，就实现了隐私求交组件的动态扩容能力。

参见图4，该图为本申请实施例提供的另一种隐私求交组件动态扩容方法，应用于第二应用12。该方法包括：

S401：接收第一应用发送的输入信息和第一加密结果。

S402：在第二计算模块中对第一加密结果加密，得到第二加密结果，第二计算模块为Spark集群。

S403：获取输入信息对应的第二特征数据。

S404：在第二计算模块中对第二特征数据加密，得到第三加密结果。

S405：将第二加密结果和第三加密结果发送至第一应用。

S406：接收第一应用发送的最终结果。

本申请提供了一种隐私求交组件动态扩容方法。由于第二应用的计算模块为Spark计算集群，可以将大批量计算数据提交到Spark集群处理，提交的任务参数主要包括Spark集群申领中央处理器核数和内存需求量，并且Spark集群本身资源动态扩容能力。因此，通过任务的定额资源申请以及Spark的天然能力，就实现了隐私求交组件的动态扩容能力。

需要说明的是，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。

应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。

本申请实施例还提供了对应的生成设备以及计算机存储介质，用于实现本申请实施例提供的方案。

其中，设备包括存储器和处理器，存储器用于存储指令或代码，处理器用于执行指令或代码，以使设备执行本申请任一实施例的一种灯光控制方法。

计算机存储介质中存储有代码，当代码被运行时，运行代码的设备实现本申请任一实施例所述的方法。

本申请实施例中提到的“第一”、“第二”(若存在)等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及介质实施例而言，由于其基本相似于系统、方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及介质实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。