一种面向医疗图像的联邦学习公平性提升方法和系统

技术领域

本发明属于计算机科学和分布式学习领域，更具体地，涉及一种基于神经图像肿瘤分割任务下提升联邦学习公平性的方法和系统。

背景技术

在医学领域，由于医疗数据的隐私敏感性和多中心数据分布的差异，传统的集中式数据训练方法存在着一些困难和挑战。有介于此，联邦学习(Federated learning，简称FL)技术应运而生，其提供了一种新的训练范例，可以在不牺牲用户隐私的情况下在医院之间共享模型。

然而，由于不同模态的医学数据具有不同的特征和分布，因此会存在数据稀疏性和分布差异的问题，这会导致在联邦学习过程中出现模型性能的不公平性和差异，使得一些模态的数据无法得到充分的利用，从而影响了模型的准确性和稳定性；此外，由于不可靠的协作性和公平性，公平性权衡的困难也是一个挑战；再次，在联邦学习中，各个参与方可能具有不同的数据特性和质量，导致数据的可用性和可靠性方面存在差异，这些因素会影响模型的训练和性能公平性，使得在不同模态医疗数据之间实现协作和性能公平变得非常困难。

为了解决上述问题，基于联邦学习的公平性聚合机制得到了广泛的应用，现有联邦学习下的公平性聚合方法主要包括两种，第一种是联邦平均(Federated Averaging，简称FedAvg)的聚合方法，其将客户端的模型梯度进行平均后聚合形成全局模型；第二种是量化联邦平均(Quantization-Based Federated Averaging，简称qFedAvg)的聚合方法，客户端在上传模型梯度之前，将参数进行量化，将浮点数参数转换为较少比特数的表示，然后在服务器端对接收到的量化参数进行反量化，将其转换回浮点数参数，再对参数的平均聚合，以得到全局模型。

然而，上述两种联邦学习聚合方法都存在一些不可忽略的缺陷：

第一、FedAvg聚合方法由于是将各个客户端的模型梯度直接进行平均，没有考虑客户端之间的数据分布不均衡和数据之间的非独立同分布性，因此一方面会导致一些参与方的贡献不足以影响全局模型，无法提高联邦学习的性能公平性与协作公平性；另一方面会导致过拟合于某些客户端的训练数据，使得模型的泛化能力受到挑战。

第二、qFedAvg聚合方法是将客户端模型的梯度量化后再上传至服务器，由于量化会影响模型参数的精度，一些参与方的模型在更新过程中可能出现明显的性能下降，导致客户端之间的性能差异变大，降低了联邦学习公平性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种面向医疗图像的联邦学习公平性提升方法和系统，其目的在于，解决现有FedAvg聚合方法由于是将各个客户端的模型梯度直接进行平均，没有考虑客户端之间的数据分布不均衡和数据之间的非独立同分布性，因此一方面会导致一些参与方的贡献不足以影响全局模型，无法提高联邦学习的性能公平性与协作公平性、另一方面会导致过拟合于某些客户端的训练数据，使得模型的泛化能力受到挑战的技术问题，以及现有qFedAvg聚合方法是将客户端模型的梯度量化后再上传至服务器，由于量化会影响模型参数的精度，一些参与方的模型在更新过程中可能出现明显的性能下降，导致客户端之间的性能差异变大，降低了联邦学习公平性的技术问题。

一种面向医疗图像的联邦学习公平性提升方法，其目的在于，解决现有FedAvg聚合方法由于是将各个客户端的模型梯度直接进行平均，没有考虑客户端之间的数据分布不均衡和数据之间的非独立同分布性，因此一方面会导致一些参与方的贡献不足以影响全局模型，无法提高联邦学习的性能公平性与协作公平性、另一方面会导致过拟合于某些客户端的训练数据，使得模型的泛化能力受到挑战的技术问题，以及现有qFedAvg聚合方法是将客户端模型的梯度量化后再上传至服务器，由于量化会影响模型参数的精度，一些参与方的模型在更新过程中可能出现明显的性能下降，导致客户端之间的性能差异变大，降低了联邦学习公平性的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种面向医疗图像的联邦学习公平性提升方法，包括以下步骤：

(1)K个客户端中的第k个客户端获取正电子发射型计算机断层显像PET图像及其对应的计算机断层扫描CT图像所组成的PET-CT图像对，对该PET-CT图像对进行预处理，以得到预处理后的PET-CT图像对，其中k∈[1，K]；

(2)K个客户端中的第k个客户端将步骤(1)预处理后的PET-CT图像对输入到多模态神经图像肿瘤分割模型W

(3)服务器对来自第k个客户端的梯度g

(4)服务器对步骤(3)优化后的第k个客户端的梯度g′

(5)第k个客户端使用步骤(4)得到的全局模型梯度g

(6)第k个客户端重复上述步骤(3)至(5)达到m次，过程结束。

优选地，步骤(1)中获取的PET图像和CT图像都是医学数字成像和通信DICOM格式的；

步骤(1)首先是获取DICOM格式的PET图像及其对应的CT图像所组成的PET-CT图像对，然后使用SimpleITK库把DICOM格式的PET-CT图像对转化为神经图像信息技术倡议NIfTI格式的PET-CT图像对，其后，将NIfTI格式的PET-CT图像对中仅仅含有PET图像的数据、以及仅仅含有CT图像的数据去除。然后，在PET-CT图像对中提取所有的PET-CT切片，即删除不含病灶标签的PET-CT切片，并保留含有病灶标签的PET-CT切片，最后，将提取的PET-CT切片转换为512*512的png格式PET-CT图像对，作为预处理后PET-CT图像对。

优选地，多模态神经图像肿瘤分割模型是带有本地自注意力机制的U-Net网络模型，其包括两个并联的第一编码器和第二编码器组成的编码器模块，以及和编码器模块顺次相连的注意力组件部分和解码器；

第一编码器的输入为预处理后的PET-CT图像对中的PET图像，首先将其输入第一个双卷积模块，得到32通道的特征图，然后，将经过第一个双卷积模块所得到的32通道的特征图输入最大池化层，将特征图的高度和宽度减半，通道数不变，实现空间下采样，进而得到下采样后的32通道特征图；随后，将下采样后的32通道特征图输入至第二个双卷积模块，得到输出通道数为64的特征图，再将该特征图输入至最大池化层，进一步减小特征图的尺寸，进而得到下采样后的64通道特征图；然后，将下采样后的64通道特征图输入第三个双卷积模块，以得到输出通道数为128的特征图；随后，再将该特征图输入最大池化层，将特征图的尺寸减半，得到下采样后的128通道特征图；随后，将该128通道特征图输入第四个双卷积模块，以得到256通道的特征图；最后，将该特征图输入最大池化层，将特征图的尺寸减半，进而获得最终的中间特征图

第二编码器的结构与第一编码器的结构完全相同，这里不再赘述，其输入为与第一编码器所输入的PET图像所对应的CT图像，输出为CT图像的中间特征图

注意力组件部分的输入为第一编码器输出的PET图像的中间特征图F

其中

解码器的输入为注意力组件部分输出的经过空间域融合和时空域融合的特征图F”，首先将该特征图F”输入第五个双卷积模块，得到输出通道数为512的特征图，然后将该512通道的特征图输入大小为2*2、步幅为2的转置卷积模块，将该特征图的空间尺寸恢复到特征图F”的两倍，并将通道数从512减少到256，从而得到一个更高分辨率、通道数为256的特征图；随后，将这个特征图与第一编码器的第四个双卷积模块输出的256通道的特征图在通道维度上进行拼接，以得到一个512通道的新特征图F″

优选地，步骤(2)包括以下子步骤：

(2-1)K个客户端中的第k个客户端将步骤(1)得到的预处理后的PET-CT图像对按照8∶2的比例划分训练集和测试集，其中K为大于或等于2的自然数，且有k∈[1，K]。

(2-2)K个客户端中的第k个客户端初始化训练过程的迭代总次数、以及多模态神经图像肿瘤分割模型的学习率η；

(2-3)K个客户端中的第k个客户端将步骤(2-1)得到的训练集中的每个PET-CT图像对中的PET图像输入第一编码器，以获取该PET图像的中间特征图

(2-4)K个客户端中的第k个客户端将步骤(2-3)得到的PET图像的中间特征图F

(2-5)K个客户端中的第k个客户端将步骤(2-4)得到的经过通道域和空间域融合的特征图F″输入至解码器，以获取最终的病灶分割预测结果F

(2-6)K个客户端中的第k个客户端根据步骤(2-5)得到的病灶分割预测结果F

其中，本步骤中的损失函数为Dice Loss函数，其计算公式为：

其中，∈为1*10

优选地，步骤(3)包括以下子步骤：

(3-1)K个客户端中的第k个客户端将步骤(2)初步训练好的多模态神经图像肿瘤分割模型W

(3-2)服务器根据第k个客户端上传的梯度计算第k个客户端的扰动梯度

其中本步骤是采用以下公式计算扰动梯度

且有

其中S

(3-3)服务器对(3-2)得到的第k个客户端的扰动梯度

其中本步骤的最小化目标为：

优选地，步骤(4)包括以下子步骤：

(4-1)设置计数器t＝1；

(4-2)判断t是否等于预设的联邦学习轮数阈值，如果是，则过程结束，否则进入步骤(4-3)；

(4-3)服务器根据步骤(3)得到的第k个客户端的梯度g′

其中本步骤是采用以下公式计算依赖空间分数

其中var表示方差，cov表示协方差。

(4-5)服务器对步骤(4-3)得到的第k个客户端的梯度与全局平均梯度之间的依赖空间分数

其中本步骤是采用以下公式获取第k个客户端转换后的依赖空间分数w

其中exp表示指数函数。

(4-5)服务器根据步骤(3-3)得到的优化后的第k个客户端的梯度g’

其中本步骤是采用以下公式计算方向空间分数

其中，cos表示余弦相似度。

(4-6)服务器利用指数函数对步骤(4-5)得到的第k个客户端对全局模型的方向空间分数

其中本步骤是采用以下公式计算归一化后的方向空间分数w

(4-7)服务器根据步骤(4-4)得到的第k个客户端的依赖空间分数w

其中本步骤是采用以下公式计算第k个客户端在协作公平性方面的权重w′

(4-8)服务器根据步骤(3)得到的第k个客户端的梯度g′

其中本步骤是采用以下公式计算第k个客户端梯度的L2范数比例因子|g

其中，γ为正则化系数，(g′

(4-9)服务器对步骤(4-8)得到的所有客户端的梯度的L2范数比例因子进行求和，以得到所有客户端的梯度的L2范数比例因子之和

(4-10)服务器根据步骤(4-8)得到的第k个客户端梯度的L2范数比例因子|g

其中本步骤是采用以下公式计算第k个客户端的距离空间权重系数w

(4-11)服务器根据第k个客户端的损失函数值l

其中本步骤是采用以下公式计算第k个客户端的loss空间权重系数w

(4-12)服务器根据步骤(4-10)得到的第k个客户端的距离空间权重系数w

其中本步骤是采用以下公式计算第k个客户端在性能公平性方面的权重w′

w′

(4-13)服务器根据步骤(4-7)得到的第k个客户端在协作公平性方面的权重w′

具体而言，本步骤是采用以下公式计算第k个客户端的公平权重w

w

其中，λ表示平衡协作和绩效公平权重的因子，其取值范围是0到1；

(4-14)服务器对步骤(4-13)得到的第k个客户端的公平权重w

(4-15)服务器根据步骤(4—14)得到的第k个客户端平衡后的公平权重

具体而言，本步骤是采用以下公式计算第k个客户端的最终的归一化权重

(4-16)服务器根据步骤(4—15)得到的第k个客户端的最终的归一化权重

具体而言，本步骤是采用以下公式计算聚合后的全局模型梯度g

(4—17)服务器将步骤(4—16)得到的聚合后的全局模型梯度g

优选地，步骤(4—14)包括以下子步骤：

(4—14—1)服务器对步骤(4—13)得到的第k个客户端的公平权重w

(4—14-2)服务器根据步骤(4-14—1)得到的最小权重w

其中本步骤是采用以下公式计算均衡权重w

其中，T表示预先设置的权重最小阈值，其取值范围是0到1，优选为0.1；

(4—14-3)服务器根据步骤(4—14-2)得到的均衡权重w

其中本步骤是采用以下公式计算第k个客户端平衡后的权重

其中，max(a，b)表示取a和b两数中的最大值。

按照本发明的另一方面，提供了一种面向医疗图像的联邦学习公平性提升系统，包括：

第一模块，其设置于K个客户端中的第k个客户端，用于获取正电子发射型计算机断层显像PET图像及其对应的计算机断层扫描CT图像所组成的PET-CT图像对，对该PET-CT图像对进行预处理，以得到预处理后的PET-CT图像对；

第二模块，其设置于K个客户端中的第k个客户端，用于K个客户端中的第k个客户端将第一模块预处理后的PET-CT图像对输入到多模态神经图像肿瘤分割模型W

第三模块，其设置于服务器，用于对来自第k个客户端的梯度g

第四模块，其设置于服务器，用于对第三模块优化后的第k个客户端的梯度g′

第五模块，其设置于K个客户端中的第k个客户端，用于使用第四模块得到的全局模型梯度g

第六模块，其设置于K个客户端中的第k个客户端，用于重复上述第三模块至第五模块达到m次，过程结束。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、由于本发明采用了步骤(3)，其通过在聚合前，将设计的微小对抗噪声添加到客户端上传的梯度上，平坦损失空间，并对梯度大小进行标准化操作，实现了加速模型的收敛速度，提高模型的准确性，并减少由于数据分布不均匀引起的性能下降。增强模型在不同数据分布上的泛化能力。因此能够解决现有qFedAvg方法量化参数所导致的一些参与方的模型在更新过程中可能出现明显的性能下降，客户端之间的性能差异变大，降低了联邦学习公平性的技术问题。

2、由于本发明采用了步骤(4)，其通过引入跨模态医疗数据协作和性能公平性的方法，提供了一种解决分布式学习中协作公平性和性能公平性问题的层次化修正方法，提高模型性能的同时和保证联邦学习公平性。因此能够解决现有FedAvg方法无法提高联邦学习的性能公平性与协作公平性，以及会导致过拟合于某些客户端的训练数据，使得模型的泛化能力受到挑战的技术问题。

附图说明

图1是本发明面向医疗图像的联邦学习公平性提升方法的整体流程图；

图2是本发明方法中步骤(3)的细化流程图。

图3是本发明方法中步骤(4)的细化流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明的基本方法是采用二个主要措施来实现多模态神经图像肿瘤分割任务下提升联邦学习协作公平性，性能公平性以及公平性权衡的。

第一方面是设计对抗噪声扰动方法，为了解决在分布式方法下高异构数据的模型构建问题，方法在聚合前利用设计的微量对抗噪声加到用户上传的梯度上，降低用户梯度差异之间的差距，实现了增强范化性的同时也提高模型的准确性。

第二方面是设计优化联邦学习下跨模态医疗数据协作和性能公平性的方法，实现可靠的协作和性能公平性增强，优化公平性权衡，改进具有跨模式医疗数据的联邦模型的训练。通过分层贡献校正的设计实现协作和性能公平，基于来自跨模态数据的不同相关空间，分层次地纠正客户端协作和性能贡献。此外，结合公平方面的适应性平衡机制，通过调整调整后的权重和纳入公平平衡机制来平衡协作和性能公平性，实现了基于现实需求的优先级排序，确保所有客户端的权重保持在最低公平阈值之上。

本发明的目的是改进具有跨模态医疗数据的联邦模型的训练，通过分层贡献校正的设计实现协作和性能公平。

本发明的优点在于，它解决了多模态医学数据融合和分布式方法下高异构数据的模型构建问题。同时能够在联邦学习场景下实现协作公平促进、性能公平性增强和自适应公平平衡。

为了使本发明的目的、技术方法及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。

如图1所示，本发明提供了一种面向医疗图像的联邦学习公平性提升方法和系统，包括以下步骤：

(1)K个客户端中的第k个客户端获取正电子发射型计算机断层显像(PositronEmission Computed Tomography，简称PET)图像及其对应的计算机断层扫描(ComputedTomography，简称CT)图像所组成的PET-CT图像对，对该PET-CT图像对进行预处理，以得到预处理后的PET-CT图像对，其中K为任意自然数，且有k∈[1，K]；

具体而言，本步骤中获取的PET图像和CT图像都是医学数字成像和通信(DigitalImaging and Communications in Medicin，简称DICOM)格式的，本步骤首先是获取DICOM格式的PET图像及其对应的CT图像所组成的PET-CT图像对，然后使用SimpleITK库把DICOM格式的PET-CT图像对转化为神经图像信息技术倡议(Neuroimaging InformaticsTechnology Initiative，简称NIfTI)格式的PET-CT图像对，其后，将NIfTI格式的PET-CT图像对中仅仅含有PET图像的数据、以及仅仅含有CT图像的数据去除。然后，在PET-CT图像对中提取所有的PET-CT切片，即删除不含病灶标签的PET-CT切片，并保留含有病灶标签的PET-CT切片，最后，将提取的PET-CT切片转换为512*512的png格式PET-CT图像对，作为预处理后PET-CT图像对。

(2)K个客户端中的第k个客户端将步骤(1)预处理后的PET-CT图像对输入到多模态神经图像肿瘤分割模型W

本发明的多模态神经图像肿瘤分割模型是带有本地自注意力(Local Self-attention)机制的U-Net网络模型，其包括两个并联的第一编码器和第二编码器组成的编码器模块，以及和编码器模块顺次相连的注意力组件部分和解码器。

第一编码器的输入为预处理后的PET-CT图像对中的PET图像，首先将其输入第一个双卷积模块，得到32通道的特征图(该双卷积模块输入特征图的通道数为3，输出特征图的通道数为32，双卷积模块的结构具体为先使用一个3x3的卷积核，在图像周围填充1个像素，将输入特征图进行卷积计算，该卷积核具有in_ch个输入通道和out_ch个输出通道，接下来进行批归一化，之后经过ReLU函数激活，随后，再次使用另外一个大小为3x3，在图像周围填充1个像素的卷积核进行卷积操作，将输出通道数从outch转换为相同的out_ch，然后再次进行批归一化和ReLU函数激活，至此双卷积模块构建完成)然后，将经过第一个双卷积模块所得到的32通道的特征图输入最大池化层(池化窗口大小为2x2，步幅为2)，将特征图的高度和宽度减半，通道数不变，实现空间下采样，进而得到下采样后的32通道特征图；随后，将下采样后的32通道特征图输入至第二个双卷积模块，得到输出通道数为64的特征图，再将该特征图输入至最大池化层，进一步减小特征图的尺寸，进而得到下采样后的64通道特征图；然后，将下采样后的64通道特征图输入第三个双卷积模块，以得到输出通道数为128的特征图；随后，再将该特征图输入最大池化层，将特征图的尺寸减半，得到下采样后的128通道特征图；随后，将该128通道特征图输入第四个双卷积模块，以得到256通道的特征图；最后，将该特征图输入最大池化层，将特征图的尺寸减半，进而获得最终的中间特征图

第二编码器的结构与第一编码器的结构完全相同，这里不再赘述，其输入为与第一编码器所输入的PET图像所对应的CT图像，输出为CT图像的中间特征图

注意力组件部分的输入为第一编码器输出的PET图像的中间特征图F

其中

/>

解码器的输入为注意力组件部分输出的经过空间域融合和时空域融合的特征图F”，首先将该特征图F”输入第五个双卷积模块(第五个双卷积模块的结构与编码器中的双卷积模块结构完全一致)，得到输出通道数为512的特征图，然后将该512通道的特征图输入大小为2*2、步幅为2的转置卷积模块，将该特征图的空间尺寸恢复到特征图F”的两倍，并将通道数从512减少到256，从而得到一个更高分辨率、通道数为256的特征图；随后，将这个特征图与第一编码器的第四个双卷积模块输出的256通道的特征图在通道维度上进行拼接，以得到一个512通道的新特征图F″

具体而言，步骤(2)包括以下子步骤：

(2—1)K个客户端中的第k个客户端将步骤(1)得到的预处理后的PET-CT图像对按照8∶2的比例划分训练集和测试集，其中K为大于或等于2的自然数，且有k∈[1，K]。

本步骤数据的划分训练集和测试集的过程为：首先，将所有预处理后的PET-CT图像对随机打乱，随后，将打乱后的所有PET-CT图像对均匀划分成5份，从5份数据中取任意1份作为测试集，其余4份作为训练集。

(2-2)K个客户端中的第k个客户端初始化训练过程的迭代总次数、以及多模态神经图像肿瘤分割模型的学习率η；

具体而言，本步骤中的迭代总次数的取值范围是100到300之间，优选为200。

本步骤中学习η的取值范围为0到1之间，优选0.001。

(2-3)K个客户端中的第k个客户端将步骤(2—1)得到的训练集中的每个PET-CT图像对中的PET图像输入第一编码器，以获取该PET图像的中间特征图

具体而言，本步骤首先是将PET-CT图像对中的PET图像输入第一个双卷积模块，得到32通道的特征图(该双卷积模块输入特征图的通道数为3，输出特征图的通道数为32，双卷积模块的结构具体为先使用一个3x3的卷积核，在图像周围填充1个像素，将输入特征图进行卷积计算，该卷积核具有in_ch个输入通道和out_ch个输出通道，接下来进行批归一化，之后经过ReLU函数激活，随后，再次使用另外一个大小为3x3，在图像周围填充1个像素的卷积核进行卷积操作，将输出通道数从out_ch转换为相同的out_ch，然后再次进行批归一化和ReLU函数激活，至此双卷积模块构建完成)然后，将经过第一个双卷积模块所得到的32通道的特征图输入最大池化层(池化窗口大小为2x2，步幅为2)，将特征图的高度和宽度减半，通道数不变，实现空间下采样，进而得到下采样后的32通道特征图；随后，将下采样后的32通道特征图输入至第二个双卷积模块，得到输出通道数为64的特征图，再将该特征图输入至最大池化层，进一步减小特征图的尺寸，进而得到下采样后的64通道特征图；然后，将下采样后的64通道特征图输入第三个双卷积模块，以得到输出通道数为128的特征图；随后，再将该特征图输入最大池化层，将特征图的尺寸减半，得到下采样后的128通道特征图；随后，将该128通道特征图输入第四个双卷积模块，以得到256通道的特征图；最后，将该特征图输入最大池化层，将特征图的尺寸减半，进而获得最终的中间特征图

在本步骤中，对CT图像执行的是和上述PET图像相同的操作，得到CT图像的中间特征图和

(2-4)K个客户端中的第k个客户端将步骤(2-3)得到的PET图像的中间特征图F

具体而言，本步骤对输入的两个中间特征图进行通道维度上的拼接，得到512通道的特征图，然后将该特征图输入输入通道和输出通道均为512的双卷积模块，以得到512通道的PET-CT融合中间特征图F

其中

上述步骤(2-3)和(2-4)的优点在于，本地自注意力机制方法结合通道域与空间域的融合，可以提取和利用多模态数据的关键信息。学习特征重要性可以增强模型对关键特征的关注和利用，提高模型的表现能力。

(2-5)K个客户端中的第k个客户端将步骤(2-4)得到的经过通道域和空间域融合的特征图F″输入至解码器，以获取最终的病灶分割预测结果F

具体而言，本步骤首先将该特征图F”输入第五个双卷积模块(第五个双卷积模块的结构与编码器中的双卷积模块结构完全一致)，得到输出通道数为512的特征图，然后将该512通道的特征图输入大小为2*2、步幅为2的转置卷积模块，将该特征图的空间尺寸恢复到特征图F”的两倍，并将通道数从512减少到256，从而得到一个更高分辨率、通道数为256的特征图；随后，将这个特征图与第一编码器的第四个双卷积模块输出的256通道的特征图在通道维度上进行拼接，以得到一个512通道的新特征图F″

(2-6)K个客户端中的第k个客户端根据步骤(2-5)得到的病灶分割预测结果F

具体而言，本步骤中的损失函数为DiceLoss函数，其计算公式为：

其中，∈为1*10

(3)服务器对来自第k个客户端的梯度g

如图2所示，具体而言，步骤(3)包括以下子步骤：

(3-1)K个客户端中的第k个客户端将步骤(2)初步训练好的多模态神经图像肿瘤分割模型W

(3-2)服务器根据第k个客户端上传的梯度计算第k个客户端的扰动梯度

具体而言，本步骤是采用以下公式计算扰动梯度

且有

其中S

(3-3)服务器对(3-2)得到的第k个客户端的扰动梯度

具体而言，本步骤的最小化目标为：

本步骤(3)的优点在于，通过在聚合前将设计的微小对抗噪声添加到客户端上传的梯度上，平坦损失空间，并对梯度大小进行标准化操作，实现了加速模型的收敛速度，提高模型的准确性，并减少由于数据分布不均匀引起的性能下降。增强模型在不同数据分布上的泛化能力。

(4)服务器对步骤(3)优化后的第k个客户端的梯度g′

如图3所示，具体而言，本步骤包括以下子步骤：

(4-1)设置计数器t＝1；

(4-2)判断t是否等于预设的联邦学习轮数阈值，如果是，则过程结束，否则进入步骤(4-3)；

具体而言，本步骤中预设的联邦学习轮数阈值的取值范围是100到300，优选为200。

(4-3)服务器根据步骤(3)得到的第k个客户端的梯度g’

具体而言，本步骤是采用以下公式计算依赖空间分数

其中var表示方差，cov表示协方差。

(4-5)服务器对步骤(4-3)得到的第k个客户端的梯度与全局平均梯度之间的依赖空间分数

具体而言，本步骤是采用以下公式获取第k个客户端转换后的依赖空间分数w

其中exp表示指数函数。

(4-5)服务器根据步骤(3-3)得到的优化后的第k个客户端的梯度g’

具体而言，本步骤是采用以下公式计算方向空间分数

其中，cos表示余弦相似度。

(4-6)服务器利用指数函数对步骤(4-5)得到的第k个客户端对全局模型的方向空间分数

具体而言，本步骤是采用以下公式计算归一化后的方向空间分数w

(4-7)服务器根据步骤(4_4)得到的第k个客户端的依赖空间分数w

具体而言，本步骤是采用以下公式计算第k个客户端在协作公平性方面的权重w′

(4-8)服务器根据步骤(3)得到的第k个客户端的梯度g′

具体而言，本步骤是采用以下公式计算第k个客户端梯度的L2范数比例因子|g

其中，γ为正则化系数，(g′

(4-9)服务器对步骤(4-8)得到的所有客户端的梯度的L2范数比例因子进行求和，以得到所有客户端的梯度的L2范数比例因子之和

(4-10)服务器根据步骤(4-8)得到的第k个客户端梯度的L2范数比例因子|g

具体而言，本步骤是采用以下公式计算第k个客户端的距离空间权重系数w

(4-11)服务器根据第k个客户端的损失函数值l

具体而言，本步骤是采用以下公式计算第k个客户端的loss空间权重系数w

(4-12)服务器根据步骤(4-10)得到的第k个客户端的距离空间权重系数w

具体而言，本步骤是采用以下公式计算第k个客户端在性能公平性方面的权重w′

w′

(4-13)服务器根据步骤(4-7)得到的第k个客户端在协作公平性方面的权重w′

具体而言，本步骤是采用以下公式计算第k个客户端的公平权重w

W

其中，λ表示平衡协作和绩效公平权重的因子，其取值范围是0到1，优选为0.5。

(4-14)服务器对步骤(4-13)得到的第k个客户端的公平权重w

具体而言，本步骤包括以下子步骤：

(4-14-1)服务器对步骤(4-13)得到的第k个客户端的公平权重w

(4-14-2)服务器根据步骤(4-14-1)得到的最小权重w

具体而言，本步骤是采用以下公式计算均衡权重w

其中，T表示预先设置的权重最小阈值，其取值范围是0到1，优选为0.1。

(4-14-3)服务器根据步骤(4-14-2)得到的均衡权重w

具体而言，本步骤是采用以下公式计算第k个客户端平衡后的权重

其中，max(a，b)表示取a和b两数中的最大值。

(4-15)服务器根据步骤(4-14)得到的第k个客户端平衡后的公平权重

具体而言，本步骤是采用以下公式计算第k个客户端的最终的归一化权重

(4-16)服务器根据步骤(4-15)得到的第k个客户端的最终的归一化权重

具体而言，本步骤是采用以下公式计算聚合后的全局模型梯度g

/>

(4-17)服务器将步骤(4-16)得到的聚合后的全局模型梯度g

本步骤(4)的优点在于，本发明提供了一种解决分布式学习中协作公平性和性能公平性问题的层次化修正方法，具有平衡公平性、提高模型性能和保证协作公平性的优点。

(5)第k个客户端使用步骤(4)得到的全局模型梯度g

(6)第k个客户端重复上述步骤(3)至(5)达到m次，过程结束；

具体而言，本步骤中的取值范围是100到300，优选为200。

对于在不同模态医疗数据之间实现协作和性能公平的问题，本发明采用依赖空间的方法，通过放大具有较小奖励的客户之间的相关性，以促进协作公平。服务器利用依赖空间来度量客户端与全局模型之间的相关性，将适度依赖的客户的贡献放大。同时，在方向空间上对客户与全局模型之间的贡献进行纠正，以确保客户端的贡献不会被破坏。通过多层次的分析，服务器能够保证协作度量促进了那些与全局模型具有独特相关性的客户的贡献，并同时保持其他客户的贡献，从而实现了协作公平促进。

为了增强性能公平性，服务器针对由于损失空间中数据分布的显著差异而导致性能较差的客户，放大其权重。在距离空间内，服务器对客户端和全局模型之间的距离进行归一化，以减少对具有大数据量和大梯度更新的客户端的偏差。通过这种方式，服务器能够更加公平地对待不同客户的性能贡献，提高整体性能公平性。

本发明采用自适应公平平衡方法，自动调整协作和性能公平之间的平衡，无需手动调整。服务器引入了修正的权重调整机制，以优先考虑期望的公平水平。同时，服务器还引入了公平平衡机制，以确保权重的调整在协作和性能公平之间取得适当的平衡。这种自适应的公平平衡方法能够根据实际情况进行动态调整，从而更好地满足协作学习场景下的公平需求。

针对现有技术的以上缺陷或改进需求，本发明提供了一种面向医疗图像的联邦学习公平性提升方法和系统。本发明的方法可以解决分布式方法下高异构多模态医学数数据的模型构建问题。能够在协作学习场景下实现协作公平促进、性能公平性增强和自适应公平平衡。这些技术改进能够提高模型的性能和准确性，并为医学领域的数据分析和诊断提供更可靠的工具和方法。可以广泛应用于各种协作学习任务中，提高模型训练的公平性和性能，同时为参与方提供更好的体验和结果。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。