用于训练模型的方法、设备和介质

技术领域

本发明总体上涉及图像信息的处理，并且具体地，涉及用于训练识别基因变异图像的模型的方法、计算设备和计算机存储介质。

背景技术

自2019年获得美国食品药品监督管理局(FDA)批准以来，成纤维细胞生长因子受体(FGFR)抑制剂成为晚期肌层浸润性膀胱尿路上皮癌的首个靶向治疗药物。但是治该抑制剂治疗对象仅限于已证实的FGFR2蛋白、FGFR3蛋白或者发生变异频率更低的FGFR1蛋白、FGFR4蛋白，识别基因变异的患者需要对肿瘤组织样本进行分子检测，但是这种检测手段普及性不高，成本较大而且流程周期较长。

FGFR(纤维增长因子受体)是一种蛋白质，在正常细胞中能起到促进细胞生长和分类的作用。然而，如果FGFR基因发生突变，可能致使编码蛋白异常，导致肿瘤的发生。此外，FGFR基因突变还可能影响到尿路上皮癌的生物学特性和临床特性，包括癌症的浸润性、疗效和预后。

苏木精&伊红(H&E)染色的组织病理载玻片的制备和观察是尿路上皮癌患者常规诊断检查的一部分。这些切片可以经过相应设备扫描制成数字化的WSI病理图像，以金字塔结构储存，占用空间巨大，生成的图像包含许多视觉特点，虽然病理专家通常会从病理图像中提取到有用的病理信息，但是某些视觉模式可能过于琐碎隐蔽而难以捕捉。近几年随着人工智能的兴起，大量的算法模型在计算机视觉领域得到了应用和试验，例如卷积神经网络、VisionTransformer、注意力机制等。因此计算病理学现在可以采用深度学习算法以尿路上皮癌的病理图像作为数据样本来进行模型的训练，从而预测FGFR基因的致癌性基因变异与否。一些文献表明，FGFR基因变异可能导致尿路上皮肿瘤组织形态发生改变，例如出现免疫浸润模式变化、乳头状形态差异，上皮细胞极性化现象、密集但均匀的细胞核分布等特征。这些经过总结的图像模式和其他难以被人类视觉捕捉的图像特点共同构成了用病理图像预测FGFR基因变异的基础。

综上，传统的用于训练识别基因变异图像的模型的方法难以基于准确识别FGFR基因致癌性变异的病理图像。

发明内容

本发明提供一种用于训练识别基因变异图像的模型的方法、计算设备和计算机存储介质。

根据本发明的第一方面，提供了一种用于训练识别基因变异图像的模型的方法，其特征在于，所述方法包括：获取包括标注有基因变异图像的训练图像样本集，并基于训练图片样本集，确定单次训练模型的图像样本批量；基于特征提取器，对图像样本批量依次执行特征提取，从而获取预定维度的特征矩阵向量；对所获取的特征矩阵向量进行线性变换，从而获得变换后的矩阵向量；将变换后的矩阵向量并行输入到第一注意力网络以及第二注意力网络以分别获得第一注意力网络输出和第二注意力网络输出，并将所述第一注意力网络输出和第二注意力网络输出相乘后执行线性层转换；以及基于线性分类器，依次输出关于训练图像样本集中的图像属于基因变异图像的概率，从而获取完成训练的模型。

根据本发明的第二方面，还提供了一种计算设备，该设备包括：存储器，被配置为存储一个或多个计算机程序；以及处理器，耦合至存储器并且被配置为执行一个或多个程序使装置执行本发明的第一方面的方法。

根据本发明的第三方面，还提供了一种非瞬态计算机可读存储介质。该非瞬态计算机可读存储介质上存储有机器可执行指令，该机器可执行指令在被执行时使机器执行本发明的第一方面的方法。

在一些实施例中，获得变换后的矩阵向量包括：对所获取的特征矩阵向量执行线性层、ReLu激活函数层、丢弃Dropout层变换，从而获得变换后的矩阵向量。

在一些实施例中，获取完成训练的模型包括：基于所述线性分类器所输出的概率与训练图像样本集中标注的基因变异图像，利用损失函数计算模型训练的损失；以及重复训练所述模型直至所计算的模型训练的损失不再下降，以获取完成训练的模型。

在一些实施例中，方法还包括：获取包括标注有基因变异图像的训练图像验证集；基于所述训练图像验证集，验证完成训练的模型，从而获取模型的验证结果；以及使用交叉验证来评估所获取的验证结果，并基于评估对完成训练的模型的超参数进行调整。

在一些实施例中，使用交叉验证来评估所获取的验证结果并基于评估对模型的超参数进行调整包括：将训练图像验证集分为N个相等的子集并且选取其中一个子集作为模型验证集，其余N-1个子集作为模型训练集；执行N次交叉验证，其中在每次交叉验证中，利用完成训练的模型对模型训练集进行训练并在模型验证集上进行评估，从而确定完成训练的模型的性能指标；将所确定的每次交叉验证的性能指标进行记录，得到N次独立的性能评估结果；对执行N次交叉验证而确定的性能指标进行平均，以确定完成训练的模型的平均性能评估；以及基于所确定的平均性能评估，为完成训练的模型选择模型超参数。

在一些实施例中，为完成训练的模型选择模型超参数包括选择以下超参数中的一项或多项：学习率、图像样本批量大小、正则化参数、隐藏层单元数、网络结构和层数、激活函数、交叉验证折数、优化器、加权采样确定参数、Dropout丢弃比例、加权衰减值。

在一些实施例中，基于特征提取器对图像样本批量执行特征提取包括：基于由病理数据集预训练的VisionTransformer模型，对图像样本批量执行特征提取。

在一些实施例中，所述第一注意力网络包括线性层、Tanh激活函数层和Dropout丢弃层并且所述第二注意力网络包括线性层、Sigmoid激活函数层和Dropout丢弃层。

在一些实施例中，方法还包括：获取数字化的病理切片图像并将所获取的病理切片图像在切片水平上确定与基因变异相关的组织区域；将确定的组织区域所关联的病理切片图像分割为预定义大小的图片，其中预定义大小的图片的高度值和宽度值成比例；确定组织区域的吸光值阈值、色彩饱和度、色调、图像轮廓信息和参考图像；基于所确定的吸光值阈值和图像轮廓信息，对所分割的预定义大小的图片执行背景过滤，从而获取以组织区域为主体的图片；以及基于参考图像，对所述以组织区域为主体的图片执行Macenko染色标准化操作，以实现图片的颜色归一化处理，从而生成经颜色归一化处理的训练图像样本集以及训练图像验证集。

在一些实施例中，方法包括：接收所输入的图像数据集；以及

将所接收的图像数据集输入到如上所述方法训练的识别基因变异图像的模型，从而在所述图像数据集中确定包括基于变异的图像。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本发明的关键特征或主要特征，也无意限制本发明的范围。

附图说明

图1示出了根据本发明的实施例的用于训练识别基因变异图像的模型的方法的系统的示意图。

图2示出了根据本发明的实施例的用于训练识别基因变异图像的模型的方法的流程图。

图3示出了根据本发明的实施例的训练模型的方法300。

图4示出了根据本发明的实施例的用于预处理图片的方法的流程图。

图5示出了根据本发明的实施例的使用预测基因变异的模型预测基因变异的图片的方法的流程图。

图6示意性示出了适于用来实现本发明实施例的电子设备的框图。

在各个附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参照附图更详细地描述本发明的优选实施例。虽然附图中显示了本发明的优选实施例，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。

为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本发明的示例实施例提出了一种用于训练识别基因变异图像的模型的方案。FGFR(纤维增长因子受体)是一种蛋白质，在正常细胞中能起到促进细胞生长和分类的作用。然而，如果FGFR基因发生突变，可能致使编码蛋白异常，导致肿瘤的发生。此外，FGFR基因突变还可能影响到尿路上皮癌的生物学特性和临床特性，包括癌症的浸润性、疗效和预后。

苏木精&伊红(H&E)染色的组织病理载玻片的制备和观察是尿路上皮癌患者常规诊断检查的一部分。这些切片可以经过相应设备扫描制成数字化的WSI病理图像，以金字塔结构储存，占用空间巨大，生成的图像包含许多视觉特点，虽然病理专家通常会从病理图像中提取到有用的病理信息，但是某些视觉模式可能过于琐碎隐蔽而难以捕捉。近几年随着人工智能的兴起，大量的算法模型在计算机视觉领域得到了应用和试验，例如卷积神经网络、VisionTransformer、注意力机制等。因此计算病理学现在可以采用深度学习算法以尿路上皮癌的病理图像作为数据样本来进行模型的训练，从而预测FGFR基因的致癌性基因变异与否。一些文献表明，FGFR基因变异可能导致尿路上皮肿瘤组织形态发生改变，例如出现免疫浸润模式变化、乳头状形态差异，上皮细胞极性化现象、密集但均匀的细胞核分布等特征。这些经过总结的图像模式和其他难以被人类视觉捕捉的图像特点共同构成了用病理图像预测FGFR基因变异的基础。

NGS检测是目前检测FGFR基因变异最受认可的手段，但是其成本高昂，时间流程较长，具备NGS检测资质的医疗机构较少，普遍集中在一二线城市。这些都是影响患者诊断的负面因素，而本发明可以作为NGS检测的前置环节或是备选手段。目前绝大部分综合医院都开设病理科室，会对实体癌症确诊患者的原发灶或转移灶进行手术或穿刺的病理采样，制成组织切片，只需要用相应设备读取这些病理图像，本发明就能够直接进行预测，所需的时间和资金成本远小于NGS检测。

图1示出了根据本发明的实施例的用于训练识别基因变异图像的模型的方法的系统100的示意图。如图1所示，系统100包括：计算设备110、图像数据管理设备130、网络140。在一些实施例中，计算设备110、图像数据管理设备130经由网络140进行数据交互。

关于图像数据管理设备130，其例如是运行在一个或多个计算机节点上用于实现高并发、高吞吐量的图像数据管理的一站式存储计算结构。图像数据管理服务器130可以发送、接收或存储多份图像数据或图像数据的集合，所述图像数据包括但不限于包括基因变异的病理学参考图像等。

关于计算设备110，其例如通过网络140从图像数据管理服务器130处图像数据或图像数据的集合。通过对所接收的图像数据或图像数据的集合进行相应处理，计算设备110可实现对信息的加解密以及生成密钥。

在一些实施例中，计算设备110可以具有一个或多个处理单元，包括诸如GPU、FPGA和ASIC等的专用处理单元以及诸如CPU的通用处理单元。另外，在每个计算设备上也可以运行着一个或多个虚拟机。计算设备110例如包括：

获取模块112，获取模块112配置成获取包括标注有基因变异图像的训练图像样本集，并基于训练图片样本集，确定单次训练模型的图像样本批量。

提取模块114，提取模块114配置成基于特征提取器，对图像样本批量依次执行特征提取，从而获取预定维度的特征矩阵向量。

变换模块116，变换模块116配置成对所获取的特征矩阵向量执行线性层、ReLu激活函数层、丢弃Dropout层变换，从而获得变换后的矩阵向量。

注意力机制模块118，注意力机制模块118配置成将变换后的矩阵向量输入到并行输入到第一注意力网络以及第二注意力以分别获得第一注意力网络输出和第二注意力网络输出并将所述第一注意力网络输出和第二注意力网络输出相乘后执行线性层转换。

输出模块120，输出模块120配置成基于线性分类器，依次输出训练图像样本集中的图像属于基因变异图像的概率，从而获取完成训练的模型。

本发明可以选择对病理图像进行染色归一化处理，从而减少因为不同设备和不同人员操作带来的其他外界因素的干扰。本发明提取图像特征的预训练模型除了最常用的基于ImageNet数据集进行训练的ResNet50或ResNet101模型，还可以使用由TCGA病理数据集预训练的VisionTransformer模型，可能会提高特征提取的代表性。本发明并未使用图像识别常用的卷积神经网络，而是使用较新的门控注意力机制外加线性层来构建图像分类模型，这会使得模型可能更关注病理图像的肿瘤部分或是其他的重要异常区域，对抗噪声的干扰。通过对特征的处理可以降低计算要求，不需要对高达2GB的病理图像进行整张读取、处理和预测。可以生成解释性强的可视化热图，帮助医生理解模型的决策过程

以下将结合图2描述根据本发明的实施例的用于训练识别基因变异图像的模型的方法。图2示出了根据本发明的实施例的用于训练识别基因变异图像的模型的方法的流程图。应当理解，方法200例如可以在图6所描述的电子设备600处执行。也可以在图1所描述的计算设备110处执行。应当理解，方法200还可以包括未示出的附加动作和/或可以省略所示出的动作，本发明的范围在此方面不受限制。

步骤202处，计算设备110获取包括标注有基因变异图像的训练图像样本集，并基于训练图片样本集，确定单次训练模型的图像样本批量。

在一个实施例中，计算设备110从图像数据库中获取包含标注有基因变异图像的训练图像样本集。确定每次训练模型时的图像样本批量batch大小，例如设定为32张图像。本领域技术人员可以理解的是，训练图像样本集包括的图像均为肿瘤组织的图像，其更进一步分为标注有基因变异图像以及未标注基因变异图像，其中标注有基因变异图像指的是该图片被标注或被定义为肿瘤组织基因变异的图像，未标注基因变异图像指的是该图片被标注或被定义为肿瘤组织无基因变异的图像。

基因变异图像的训练图像样本集的获取方法将在下文的方法400中将更具体描述。

步骤204处，计算设备110基于特征提取器，对图像样本批量依次执行特征提取，从而获取预定维度的特征矩阵向量。

在一个实施例中，计算设备110可以使用预训练的深度卷积神经网络(如ResNet、VGG等)作为特征提取器，也可以选择使用由TCGA病理数据集预训练的VisionTransformer模型作为特征提取器。基于由病理数据集预训练的VisionTransformer模型，对图像样本批量执行特征提取。ResNet可以例如选择ResNet(50,101)。随后将图像样本批量输入到该网络中。的主干网络。获取特征提取器的中间层输出，得到对应的特征矩阵向量。

通过对不同放大倍率下的病理学图层进行特征提取，可以获取N×M的特征矩阵，其中N是样本数量，M是多维特征向量，以M等于1024为例，即每张图片可提取到1024个特征。

步骤206处，计算设备110对所获取的特征矩阵向量进行线性变换，从而获得变换后的矩阵向量，包括对所获取的特征矩阵向量执行线性层、ReLu激活函数层、丢弃Dropout层变换，从而获得变换后的矩阵向量。

在一个实施例中，计算设备110对在步骤204处获得的特征矩阵向量进行线性层变换，可以使用全连接层(Fully Connected Layer)对特征向量进行矩阵乘法，并添加偏置项(bias)。

然后，在线性层输出上应用ReLU激活函数，该函数将负数映射为零，增强模型的非线性表达能力，得到激活后的特征矩阵向量。

最后，在激活后的特征矩阵向量上应用Dropout丢弃层，通过随机将部分神经元输出置零，以减少过拟合风险，增强模型的泛化能力。

步骤208处，计算设备110将变换后的矩阵向量并行输入到第一注意力网络以及第二注意力网络以分别获得第一注意力网络输出和第二注意力网络输出，并将所述第一注意力网络输出和第二注意力网络输出相乘后执行线性层转换。

在一个实施例中，计算设备110可以为模型设计两个注意力网络，分别处理变换后的特征矩阵向量，并分别输出注意力向量。将第一注意力网络输出和第二注意力网络输出按元素相乘，得到融合后的注意力向量。将融合后的注意力向量输入到线性层，进行特征权重的调整。

具体来说，第一注意力网络采用自注意力机制(Self-Attention Mechanism)，对特征矩阵向量中的不同位置之间的关联进行建模，并输出权重向量。

第二注意力网络可以采用类似的自注意力机制，也可以是另一种注意力机制，用于捕捉特征矩阵向量中的全局信息，并输出另一个权重向量。将第一注意力网络输出和第二注意力网络输出按元素相乘，得到融合后的注意力向量。将融合后的注意力向量输入到线性层，进行特征权重的调整，将其转换为更有意义的特征表示。

在优选的一个实施例中，第一注意力网络包括线性层、Tanh激活函数层和Dropout丢弃层并且第二注意力网络包括线性层、Sigmoid激活函数层和Dropout丢弃层。

步骤210处，计算设备110基于线性分类器，依次输出训练图像样本集中的图像属于基因变异图像的概率，从而获取完成训练的模型。

在一个实施例中，计算设备110在融合后的特征向量基础上，可以设置一个全连接层作为线性分类器作为输出层。输出层的节点数为2，代表两个类别：基因变异图像和非基因变异图像。在输出层后，应用softmax函数对输出进行归一化，将输出值转换为概率值，代表图像属于基因变异图像和非基因变异图像的概率。可以例如使用交叉熵损失函数来计算模型的预测误差，并通过反向传播算法来优化模型的权重参数。迭代多次(通过多次的训练迭代即可完成)，直到模型收敛，完成模型的训练过程。

在一个实施例中，基于所述线性分类器所输出的概率与训练图像样本集中标注的基因变异图像，利用损失函数计算模型训练的损失。损失函数可以例如使用SmoothTop1SVM()损失函数。SmoothTop1SVM()损失函数是对于Top-1SVM损失函数的平滑版本，其本身可微分:

公式(1)示出了本发明所使用的SmoothTop1SVM()损失函数。

计算设备110可以重复训练所述模型直至所计算的模型训练的损失不再下降，以获取完成训练的模型。

以下将结合图3描述根据本发明的实施例的训练模型的方法。图3示出了根据本发明的实施例的训练模型的方法的流程图。应当理解，方法300例如可以在图6所描述的电子设备600处执行。也可以在图1所描述的计算设备110处执行。应当理解，方法300还可以包括未示出的附加动作和/或可以省略所示出的动作，本发明的范围在此方面不受限制。

图3示出了根据本发明的实施例的训练模型的方法300。步骤302处，计算设备110可以获取包括标注有基因变异图像的训练图像验证集。

在一个实施例中，计算设备110将一部分数据从训练图像样本集中划分为验证集，用于验证模型的性能。从训练图像样本集中随机选择一定比例的图像样本，并为这些图像标注基因变异类别信息，组成训练图像验证集。确保训练图像验证集和训练图像样本集之间的图像类别分布保持一致，以减少由于类别不平衡而引起的偏差问题。

步骤304处，计算设备110基于所述训练图像验证集，验证完成训练的模型，从而获取模型的验证结果。

在一个实施例中，计算设备110使用训练图像验证集对完成训练的深度学习模型进行评估，以验证模型的性能。将训练图像验证集中的图像样本批量输入到已训练好的模型中，获取模型的预测结果。通过比较模型的预测结果与实际标注结果，计算图像验证结果的性能指标，例如准确率、精确率、召回率、F1值等，以衡量模型在验证集上的表现。

步骤306处，计算设备110使用交叉验证来评估所获取的验证结果并基于评估对完成训练的模型的超参数进行调整。

在一个实施例中，计算设备110达到预定epoch或者停止条件后退出程序，可模型在验证集上的结果调整超参数，可以重新开始训练模型。本模型使用分层k折交叉验证来评估模型性能并对模型超参数进行调整。为了提高验证结果的可信度和稳定性，计算设备110使用交叉验证来对模型进行评估。将训练图像样本集划分为k个子集，然后进行k折交叉验证，将每个子集依次作为验证集，其余k-1个子集作为训练集，得到k个独立的验证结果。对每次交叉验证的验证结果进行平均，得到模型的平均验证性能指标，作为模型在整个训练图像验证集上的性能评估。根据交叉验证的结果，可以对完成训练的模型的超参数进行调整，例如学习率、网络层数、特征提取器的结构等，以优化模型的性能。

具体来说，计算设备110将训练图像验证集分为N相等的子集并且选取其中一个集作为模型验证集，其余N-1个子集作为模型训练集。执行N次交叉验证，其中在每次交叉验证中，利用完成训练的模型对模型训练集进行训练并在模型验证集上进行评估，从而确定完成训练的模型的性能指标。将所确定的每次交叉验证的性能指标进行记录，得到N次独立的性能评估结果。对N次交叉验证的性能指标进行平均，确定完成训练的模型的平均性能评估。基于所确定的平均性能评估，为完成训练的模型选择模型超参数。为完成训练的模型选择模型超参数包括选择以下超参数中的一项或多项：学习率、图像样本批量大小、正则化参数、隐藏层单元数、网络结构和层数、激活函数、交叉验证折数、优化器、加权采样确定参数、Dropout丢弃比例、加权衰减值。

以下示意性示出了用于训练识别基因变异图像的模型的方法的示意性程序代码。

应当理解，该预定程序模块还可以是其他功能的预先编制的程序模块，例如，用于训练识别基因变异图像的模型的方法的代码等。

基于以上技术手段，可以完成模型的训练。在优选的一个实施例中，计算设备110还可以获取包括基因变异图像的测试集，并将完成训练的模型在测试集上执行测试，从而获取对应于测试集的性能评估结果。完成训练的模型在交叉验证集上的性能评估结果可以与在测试集上执行性能评估结果进行比较。响应于测试集和验证集的性能评估结果接近，则可以确定完成训练的模型具有好的稳定性和说服力。

以下将结合图4描述根据本发明的实施例的用于预处理图片的方法。图4示出了根据本发明的实施例的用于预处理图片的方法的流程图。应当理解，方法400例如可以在图6所描述的电子设备600处执行。也可以在图1所描述的计算设备110处执行。应当理解，方法400还可以包括未示出的附加动作和/或可以省略所示出的动作，本发明的范围在此方面不受限制。

图4示出了根据本发明的实施例的用于预处理图片的方法400。步骤402处，计算设备110获取数字化的病理切片并将所获取的病理切片在切片水平上确定与基因变异相关的组织区域。

在一个实施例中，从医院或病理实验室获取数字化的病理切片，通常以高分辨率图像的形式保存在电脑中。使用计算机视觉技术和图像分析算法，对病理切片进行图像处理，通过像素级别的分析和特征提取来确定与基因变异相关的组织区域。可以利用机器学习算法，如卷积神经网络(CNN)，进行图像分类和分割，将基因变异相关的组织区域标记出来。

步骤404处，计算设备110将确定的组织区域病理切片分割为预定义大小的图片，其中预定义大小的图片的高度值和宽度值成比例。

在一个实施例中，计算设备110对确定的组织区域病理切片进行分割，将其切割成预定义大小的图片，使得这些图片的高度值和宽度值成比例。例如，自定义图片分辨率，但要求高度值和宽度值相等，控制在100-800之间，默认分辨率为224×224。分割后的预定义大小的图片可以更方便地用于后续的处理和分析，同时保持了组织结构的信息。

步骤406处，计算设备110确定病理切片的组织区域的吸光值阈值、色彩饱和度、色调、和图像轮廓信息和参考图像。

在一个实施例中，计算设备110使用图像处理技术和算法，确定病理切片的组织区域的吸光值阈值、色彩饱和度、色调，以便将组织区域与背景区域区分开来。提取图像的轮廓信息，用于后续的图像分割和背景过滤操作。准备一个参考图像，用于后续的颜色归一化处理。

步骤408处，计算设备110基于所确定的吸光值阈值和图像轮廓信息，对所分割的预定义大小的图片执行背景过滤，从而获取以组织区域为主体的图片。

在一个实施例中，计算设备110利用事先确定的吸光值阈值，对预定义大小的图片进行二值化处理，将组织区域提取出来。根据图像轮廓信息，对图像进行进一步的背景过滤，去除不属于组织区域的部分，从而获取以组织区域为主体的图片。

步骤410处，计算设备110基于参考图像，对所述以组织区域为主体的图片执行Macenko染色标准化操作，以实现图片的颜色归一化处理，从而生成经颜色归一化处理的训练图像样本集以及训练图像验证集。

在一个实施例中，计算设备110利用参考图像，执行Macenko染色标准化操作，使得所有经过背景过滤的以组织区域为主体的图片在颜色上得到归一化处理。Macenko染色标准化操作可以消除图像之间的颜色差异，使得图像在后续处理中更具可比性和稳定性。生成经颜色归一化处理的训练图像样本集以及训练图像验证集，经过上述处理步骤，可以得到了经过颜色归一化处理的以组织区域为主体的图片，这些图片可以组成训练图像样本集和训练图像验证集。

病理图像中有多种显著或深层的图像特征，一些不明显的特征难以被病理医生所识别、总结和归纳。通过使用预训练好的ResNet模型或VisionTransformer模型来对病理图像进行处理，模型就可以从中提取那些被模型所认为是重要的视觉特征，这很有可能可以弥补人类的不足。基于这些提取的特征对FGFR基因变异的情况进行预测，考虑到每张切片除了有肿瘤病变区域，也有很多无法或尚未被肿瘤组织浸润的部分，因此可以采用注意力机制进行后续的结果预测，这属于弱监督的一种，可有效避免噪声(即无癌变区域)的干扰。将图片按照需要的比例划分为训练图像样本集和训练图像验证集，用于深度学习模型的训练和性能评估。

以下将结合图5描述根据本发明的实施例的使用预测基因变异的模型预测基因变异的图片的方法。图5示出了根据本发明的实施例的使用预测基因变异的模型预测基因变异的图片的方法的流程图。应当理解，方法500例如可以在图6所描述的电子设备600处执行。也可以在图1所描述的计算设备110处执行。应当理解，方法500还可以包括未示出的附加动作和/或可以省略所示出的动作，本发明的范围在此方面不受限制。

在步骤502处，计算设备110接收所输入的图像数据集。

在步骤504处，计算设备110将所接收的图像数据集输入到以上方法训练的识别基因变异图像的模型，从而在所述图像数据集中确定包括基于变异的图像。

基于以上技术手段，采用多种算法结合的方式，可以在最大的程度上去除病理图像中存在的大量空白背景，并且利用ResNet/VisionTransformer网络提取相关的特征和视觉注意力机制，极大减少了噪声干扰和后续模型训练的计算量，加速整个训练过程，提高模型训练的质量。

图6示意性示出了适于用来实现本发明实施例的电子设备300的框图。电子设备600可以是用于实现执行图2所示的方法200、300、400和500。如图6所示，电子设备600包括中央处理单元(即，CPU 601)，其可以根据存储在只读存储器(即，ROM 602)中的计算机程序指令或者从存储单元608加载到随机访问存储器(即，RAM 603)中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储电子设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出接口(即，I/O接口605)也连接至总线604。

电子设备600中的多个部件连接至I/O接口605，包括：输入单元606、输出单元607、存储单元608，CPU 601执行上文所描述的各个方法和处理，例如执行方法200、300、400和500。例如，在一些实施例中，方法200可被实现为计算机软件程序，其被存储于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由CPU 601执行时，可以执行上文描述的方法200的一个或多个操作。备选地，在其他实施例中，CPU 601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200的一个或多个动作。

需要进一步说明的是，本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，该编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给语音交互装置中的处理器、通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，该模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

以上仅为本发明的可选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等效替换、改进等，均应包含在本发明的保护范围之内。