一种基于联邦学习的疾病检测系统、方法、设备及介质

技术领域

本发明涉及模型训练领域，特别涉及一种基于联邦学习的疾病检测系统、方法、设备及存储介质。

背景技术

目前眼科领域存在着大量的眼科疾病数据分布在各个医疗中心。传统的中心化模型训练方法存在数据隐私泄露的风险，并且无法充分利用分布在不同中心的大量眼科疾病数据。此外，单个中心训练的模型可能在未知数据上的泛化能力不足。因此传统的集中式模型训练方法面临着数据隐私泄露的风险，同时无法充分利用分散在各个中心的数据集。这样一来，如何对各个数据中心的数据在保证数据隐私安全的疾病检测系统是本领域亟待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于联邦学习的疾病检测系统、方法、设备及存储介质，可以通过联邦学习，不同中心的数据可以在保护隐私的前提下进行模型训练，同时利用模型融合可以减少模型聚合的性能损失，提高模型聚合效率，增强模型的鲁棒性和泛化性能。其具体方案如下：

第一方面，本申请提供了一种基于联邦学习的疾病检测系统，应用于中心服务器，包括：

第一参数发送模块，用于将初始疾病检测模型的模型结构和对应的第一模型参数发送至若干客户端；

模型融合模块，用于接收各所述客户端发送的第二模型参数，并基于当前接收到的各所述客户端发送的若干所述第二模型参数进行模型融合，以确定模型融合后得到的第三模型参数；其中，所述第二模型参数为所述客户端基于所述模型结构和所述第一模型参数对所述初始疾病检测模型进行模型训练后得到的模型参数；

第二参数发送模块，用于将所述第三模型参数发送至各所述客户端，以便所述客户端利用基于所述第三模型参数构建的目标疾病检测模型进行疾病检测。

可选的，所述模型融合模块，包括：

参数聚合单元，用于对当前接收到的若干所述客户端发送的若干所述第二模型参数进行余弦相似度加权，生成对应的超参数，根据所述超参数进行参数聚合。

可选的，所述模型融合模块，包括：

参数接收子模块，用于在满足预设条件时重复接收各所述客户端发送的第二模型参数。

可选的，所述参数接收子模块，包括：

判断单元，用于判断基于所述第三模型参数构建的所述目标疾病检测模型是否满足预设模型性能需求条件；

重复接收单元，用于当所述目标疾病检测模型不满足预设模型性能需求条件，则继续接收各所述客户端发送的所述第二模型参数。

可选的，所述第二参数发送模块，还包括：

提示信息发送单元，用于当所述目标疾病检测模型满足预设模型性能需求条件，则生成相应的表征模型训练停止的目标信息，并将所述目标信息发送至各所述客户端。

第二方面，本申请提供了一种基于联邦学习的疾病检测系统，应用于客户端，包括：

第一参数获取模块，用于获取中心服务器发送的初始疾病检测模型的模型结构和对应的第一模型参数；

训练模块，用于基于所述模型结构和所述第一模型参数对所述初始疾病检测模型进行模型训练后得到第二模型参数；

第三参数发送模块，用于发送所述第二模型参数至所述中心服务器，以便所述中心服务器基于当前接收到的若干所述第二模型参数进行模型融合，以确定模型融合后得到的第三模型参数；

第二参数获取模块，用于获取所述中心服务器发送的所述第三模型参数；

检测模块，用于利用基于所述第三模型参数构建的目标疾病检测模型进行疾病检测。

可选的，所述训练模块，具体用于根据所述模型结构和所述第一模型参数确定出相应的所述初始疾病检测模型，并基于预设优化算法以及利用本地的训练数据对所述初始疾病检测模型进行模型训练，以得到第二模型参数；

所述第三参数发送模块，具体用于根据预设模型参数更新策略发送所述第二模型参数至所述中心服务器。

第三方面，本申请提供了一种基于联邦学习的疾病检测方法，应用于中心服务器，包括：

将初始疾病检测模型的模型结构和对应的第一模型参数发送至若干客户端；

接收各所述客户端发送的第二模型参数，并基于当前接收到的各所述客户端发送的若干所述第二模型参数进行模型融合，以确定模型融合后得到的第三模型参数；其中，所述第二模型参数为所述客户端基于所述模型结构和所述第一模型参数对所述初始疾病检测模型进行模型训练后得到的模型参数；

将所述第三模型参数发送至各所述客户端，以便所述客户端利用基于所述第三模型参数构建的目标疾病检测模型进行疾病检测。

第四方面，本申请提供了一种电子设备，所述电子设备包括处理器和存储器；其中，所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述的基于联邦学习的疾病检测方法。

第五方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的基于联邦学习的疾病检测方法。

基于上述基于联邦学习的疾病检测系统，第一参数发送模块，用于将初始疾病检测模型的模型结构和对应的第一模型参数发送至若干客户端；模型融合模块，用于接收各所述客户端发送的第二模型参数，并基于当前接收到的各所述客户端发送的若干所述第二模型参数进行模型融合，以确定模型融合后得到的第三模型参数；其中，所述第二模型参数为所述客户端基于所述模型结构和所述第一模型参数对所述初始疾病检测模型进行模型训练后得到的模型参数；第二参数发送模块，用于将所述第三模型参数发送至各所述客户端，以便所述客户端利用基于所述第三模型参数构建的目标疾病检测模型进行疾病检测。这样一来，可以通过联邦学习，在模型训练时只进行模型参数的传递，不同数据中心的数据不进行传递，避免在数据传输过程中造成的数据泄漏，不同中心的数据可以在保护隐私的前提下进行模型训练，同时利用模型融合可以减少模型聚合的性能损失，提高模型聚合效率，增强模型的鲁棒性和泛化性能。可以理解的是，上述公开的用于其他基于联邦学习的疾病检测系统以及相应的方法也具有上述技术效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的一种应用于中心服务器的基于联邦学习的疾病检测系统；

图2为本申请提供的一种应用于中心服务器的疾病检测流程图；

图3为本申请提供的一种应用于客户端的基于联邦学习的疾病检测系统；

图4为本申请提供的一种应用于客户端的疾病检测流程图；

图5为本申请提供的一种基于联邦学习的疾病检测方法；

图6为本申请提供的一种疾病检测系统参数传输示意图；

图7为本申请提供的一种电子设备结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

传统的中心化模型训练方法存在数据隐私泄露的风险，并且无法充分利用分布在不同中心的大量眼科疾病数据。本申请可以通过联邦学习，在模型训练时只进行模型参数的传递，不同中心的数据可以在保护隐私的前提下进行模型训练，同时利用模型融合可以减少模型聚合的性能损失，提高模型聚合效率，增强模型的鲁棒性和泛化性能。

参见图1所示，本发明实施例公开了一种基于联邦学习的疾病检测系统，应用于中心服务器，包括：

第一参数发送模块11，用于将初始疾病检测模型的模型结构和对应的第一模型参数发送至若干客户端。

本实施例中，通过第一参数发送模块将初始疾病检测模型的模型结构和对应的第一模型参数发送至若干客户端。可以理解的是，在上述用于多中心眼科疾病检测的基于联邦学习的疾病检测系统中，客户端和中心服务器之间不进行客户端存储的数据交互，而只进行模型参数的交互，在系统运行初始阶段，通过中心服务器将初始模型结构及参数传输给客户端。这样一来，无需将客户端的数据集传输到中心服务器，从而保证数据不出域的安全隐私性。

模型融合模块12，用于接收各所述客户端发送的第二模型参数，并基于当前接收到的各所述客户端发送的若干所述第二模型参数进行模型融合，以确定模型融合后得到的第三模型参数；其中，所述第二模型参数为所述客户端基于所述模型结构和所述第一模型参数对所述初始疾病检测模型进行模型训练后得到的模型参数。

本实施例中，通过模型融合模块接收多个客户端发送的第二模型参数，并基于当前接收到的若干第二模型参数进行模型融合，以确定模型融合后得到的第三模型参数。可以理解的是，其中上述第二模型参数为客户端基于模型结构和第一模型参数对初始疾病检测模型进行模型训练后得到的模型参数。

具体的，模型融合模块通过参数聚合单元对当前接收到的若干客户端发送的若干第二模型参数进行余弦相似度加权，生成对应的超参数，然后根据超参数进行参数聚合。通过将模型参数在客户端进行局部更新，并利用余弦相似度加权的超参数进行聚合，可以保护数据隐私，充分利用多中心数据，并提高模型的泛化能力。服务器接收来自多个客户端的模型参数，并利用余弦相似度加权的超参数进行参数聚合，上述参数聚合的聚合公式为：

其中w

并且在进行上述模型融合的过程中，利用参数接收子模块在满足预设条件时重复接收各客户端发送的第二模型参数。需要指出的是，上述预设条件即本实施例中在将初始疾病检测模型的模型结构和对应的第一模型参数发送至若干客户端后，可以判断当前的疾病检测模型是否满足预设模型性能需求条件，由于若当前模型的性能不满足需求需要继续对其进行训练，因此在不满足预设模型性能需求条件时，即为参数接收子模块在满足预设条件，则可以将当前确定的模型参数返回至得到当前模型参数时所用到的第二模型参数对应的客户端，并将当前得到的模型参数仅返回至上述对应的客户端，以便该客户端继续进行训练，并且中心服务器需要重复接收各客户端发送的第二模型参数。因此可以重复进行客户端模型训练和参数聚合的过程，直到达到预定的停止条件，例如达到最大迭代次数或模型性能收敛。

具体的，上述参数接收子模块，包括：判断单元，用于判断基于第三模型参数构建的目标疾病检测模型是否满足预设模型性能需求条件；重复接收单元，用于当目标疾病检测模型不满足预设模型性能需求条件，则继续接收各客户端发送的第二模型参数。可以理解的是，上述判断单元可以用于判断在接收第二模型参数进行模型聚合后，当前得到的目标疾病检测模型是否满足条件，以便在满足预设模型性能需求条件时将参数进行下发，使得客户端得到对应的参数后，基于下发的第三模型参数构建目标检测模型，并且在不满足预设模型性能需求条件时可以发送对应的信息，以便客户端可以在获取到第三模型参数后，继续基于获取到的参数进行训练，并将训练得到的参数返回至中心服务器继续进行模型融合。这样一来，采用联邦学习进行模型训练，允许在分布式数据集上进行模型训练，通过联邦学习，各个中心可以共同训练一个全局模型，从而综合各个中心的数据特征，提高模型的准确性和泛化能力。通过将模型参数在客户端进行局部更新，并利用余弦相似度加权的超参数进行聚合，可以保护数据隐私，充分利用多中心数据，并提高模型的泛化能力。

第二参数发送模块13，用于将所述第三模型参数发送至各所述客户端，以便所述客户端利用基于所述第三模型参数构建的目标疾病检测模型进行疾病检测。

本实施例中，通过第二参数发送模块将第三模型参数发送至各客户端，以便客户端利用基于第三模型参数构建的目标疾病检测模型进行疾病检测。可以理解的是，若当前模型融合后得到的目标疾病检测模型满足预设模型性能需求条件，则可以通过提示信息发送单元生成相应的表征模型训练停止的目标信息，并将目标信息发送至各客户端。以便客户端确定当前接收到的第三模型参数为最终确定的模型参数，可以停止训练，将该模型参数对应的目标疾病检测模型投入使用。并且需要指出的是，在上述情况下，可以将上述第三模型参数发送至所有对应的客户端中。

通过上述技术方案，如图2所示，本实施例中，第一参数发送模块将初始疾病检测模型的模型结构和对应的第一模型参数发送至若干客户端。然后通过判断单元判断当前的疾病检测模型是否满足预设模型性能需求条件；利用重复接收单元当不满足预设模型性能需求条件时，继续接收各客户端发送的第二模型参数。模型融合模块接收到各客户端发送的第二模型参数，并基于当前接收到的第二模型参数进行余弦似度的模型融合，确定模型融合后得到的第三模型参数；最后在目标疾病检测模型满足预设模型性能需求条件时，利用第二参数发送模块将第三模型参数发送至各客户端，以便客户端利用基于第三模型参数构建的目标疾病检测模型进行疾病检测。这样一来，可以实现在分布在多个眼科中心的数据集之间在保证隐私数据安全的前提下进行合作，共同训练一个联邦眼科疾病检测模型的技术效果，提高单方眼科疾病的检测准确性和模型的泛化能力。通过联邦学习的方法，不同中心的数据可以在保护隐私的前提下进行模型训练和参数聚合，同时利用模型融合的技术可以减少模型聚合时的性能损失，提高模型聚合效率，增强模型的鲁棒性和泛化性能。

参见图3所示，本发明实施例公开了一种基于联邦学习的疾病检测系统，应用于客户端，包括：

第一参数获取模块21，用于获取中心服务器发送的初始疾病检测模型的模型结构和对应的第一模型参数。

本实施例中，通过第一参数获取模块获取中心服务器发送的初始疾病检测模型的模型结构和对应的第一模型参数。

训练模块22，用于基于所述模型结构和所述第一模型参数对所述初始疾病检测模型进行模型训练后得到第二模型参数。

本实施例中，基于接收到的模型结构和第一模型参数对初始疾病检测模型进行模型训练后得到第二模型参数。具体的，可以通过训练模块根据模型结构和第一模型参数确定出相应的初始疾病检测模型，并基于预设优化算法以及利用本地的训练数据对初始疾病检测模型进行模型训练，以得到第二模型参数。这样一来，每个客户端根据收到的服务器模型结构及模型参数，利用本地自有的数据进行模型训练，训练过程使用深度学习模型和相应的优化算法，如梯度下降等，然后客户端根据预设的更新策略，在每次训练后将更新后的模型参数发送回服务器。可以通过联邦学习的方式，将数据始终保留在各个中心，不需要共享敏感数据，可以保护个体的隐私，同时减少数据泄露的风险。并且可以采用异步的联邦学习聚合方法，客户端可以根据自身的计算资源和带宽情况进行模型训练和参数更新，增加了系统的灵活性和扩展性。

第三参数发送模块23，用于发送所述第二模型参数至所述中心服务器，以便所述中心服务器基于当前接收到的若干所述第二模型参数进行模型融合，以确定模型融合后得到的第三模型参数。

本实施例中，根据预设模型参数更新策略发送所述第二模型参数至所述中心服务器，以便中心服务器基于当前接收到的若干第二模型参数进行模型融合，以确定模型融合后得到的第三模型参数。

第二参数获取模块24，用于获取所述中心服务器发送的所述第三模型参数。

本实施例中，如图4所示，客户端将经过本地数据进行训练过后的模型参数发送给中心服务器后，通过第二参数获取模块接收服务器返回的经过模型融合后的最新模型参数。根据上述实施例，客户端可以在接收到服务器返回的经过模型融合后的最新模型参数后，同时根据得到的服务器发送的信息判断当前获取的参数是否需要继续进行训练，若不用则结束训练，以便通过以下检测模块利用基于第三模型参数构建的目标疾病检测模型进行疾病检测。

检测模块25，用于利用基于所述第三模型参数构建的目标疾病检测模型进行疾病检测。

通过上述技术方案，本实施例通过第一参数获取模块获取中心服务器发送的初始疾病检测模型的模型结构和对应的第一模型参数。训练模块用于通过训练模块根据模型结构和第一模型参数确定出相应的初始疾病检测模型，并基于预设优化算法以及利用本地的训练数据对初始疾病检测模型进行模型训练，得到第二模型参数。第三参数发送模块发送第二模型参数至中心服务器，第二参数获取模块获取中心服务器发送的第三模型参数。检测模块利用基于第三模型参数构建的目标疾病检测模型进行疾病检测。这样一来，可以通过联邦学习，在模型训练时只进行模型参数的传递，不同数据中心的数据不进行传递，避免在数据传输过程中造成的数据泄漏，不同中心的数据可以在保护隐私的前提下进行模型训练，增强模型训练过程的安全性。

参见图5所示，本发明实施例还公开了一种基于联邦学习的疾病检测方法，应用于中心服务器，包括：

步骤S11、将初始疾病检测模型的模型结构和对应的第一模型参数发送至若干客户端。

本实施例中，如图6所示，可以将初始疾病检测模型的模型结构和对应的第一模型参数发送至若干客户端。这样一来，客户端和中心服务器之间不进行客户端存储的数据交互，而只进行模型参数的交互，无需将客户端的数据集传输到中心服务器，从而保证数据不出域的安全隐私性。

步骤S12、接收各所述客户端发送的第二模型参数，并基于当前接收到的各所述客户端发送的若干所述第二模型参数进行模型融合，以确定模型融合后得到的第三模型参数；其中，所述第二模型参数为所述客户端基于所述模型结构和所述第一模型参数对所述初始疾病检测模型进行模型训练后得到的模型参数。

本实施例中，接收多个客户端发送的第二模型参数，并基于当前接收到的若干第二模型参数进行模型融合，以确定模型融合后得到的第三模型参数，其中上述第二模型参数为客户端基于模型结构和第一模型参数对初始疾病检测模型进行模型训练后得到的模型参数。并且，可以判断基于第三模型参数构建的模型是否满足预设模型性能需求条件，在不满足预设模型性能需求条件时可以发送给客户端对应的信息，以便客户端可以在获取到第三模型参数后，继续基于获取到的参数进行训练，并将训练得到的参数返回至中心服务器继续进行模型融合。通过模型融合的方法，综合多个中心的数据特征，提高模型的泛化能力和鲁棒性，并且通过余弦加权的超参数alpha，可以准确权衡不同模型参数的相似度。

步骤S13、将所述第三模型参数发送至各所述客户端，以便所述客户端利用基于所述第三模型参数构建的目标疾病检测模型进行疾病检测。

本实施例中，在当前得到的模型参数对应的目标疾病检测模型满足预设模型性能需求条件时，可以将将第三模型参数发送至各个客户端，以便客户端利用基于第三模型参数构建的目标疾病检测模型进行疾病检测。

通过上述技术方案，本实施例将初始疾病检测模型的模型结构和对应的第一模型参数发送至若干客户端；接收各所述客户端发送的第二模型参数，并基于当前接收到的各所述客户端发送的若干所述第二模型参数进行模型融合，以确定模型融合后得到的第三模型参数；将所述第三模型参数发送至各所述客户端，以便所述客户端利用基于所述第三模型参数构建的目标疾病检测模型进行疾病检测。这样一来，可以通过联邦学习，在模型训练时只进行模型参数的传递，不同数据中心的数据不进行传递，避免在数据传输过程中造成的数据泄漏，同时利用模型融合可以减少模型聚合的性能损失，提高模型聚合效率，增强模型的鲁棒性和泛化性能。

进一步的，本申请实施例还公开了一种电子设备，图7是根据一示例性实施例示出的电子设备30结构图，图中的内容不能认为是对本申请的使用范围的任何限制。

图7为本申请实施例提供的一种电子设备30的结构示意图。该电子设备30，具体可以包括：至少一个处理器31、至少一个存储器32、电源33、通信接口34、输入输出接口35和通信总线36。其中，所述存储器32用于存储计算机程序，所述计算机程序由所述处理器31加载并执行，以实现前述任一实施例公开的基于联邦学习的疾病检测方法中的相关步骤。另外，本实施例中的电子设备30具体可以为电子计算机。

本实施例中，电源33用于为电子设备30上的各硬件设备提供工作电压；通信接口34能够为电子设备30创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口35，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器32作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统321、计算机程序322等，存储方式可以是短暂存储或者永久存储。

其中，操作系统321用于管理与控制电子设备30上的各硬件设备以及计算机程序322，其可以是Windows Server、Netware、Unix、Linux等。计算机程序322除了包括能够用于完成前述任一实施例公开的由电子设备30执行的基于联邦学习的疾病检测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的基于联邦学习的疾病检测方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。