抗体改造模型训练方法、抗体改造方法及其装置

技术领域

本公开涉及人工智能领域，更具体地，涉及一种抗体改造模型训练方法、抗体改造方法、及其分别对应的装置、设备、计算机程序产品和存储介质。

背景技术

非人源性抗体进入人体内会引起严重的机体排异反应，进而影响抗体在临床应用时的安全性和效果。因此需要对抗体进行人源化改造，尽可能降低抗体的异源性，并且使其特异性和亲和力保持不变。人源化抗体在治疗肿痛、自身免疫性疾病、器官移植和病毒感染等方面已经显示出独特的优势和良好的应用前景。

人源化抗体主要可以指利用基因克隆及脱氧核糖核酸(DNA)重组技术对来自动物的单克隆抗体进行改造，重新表达产生的抗体。其大部分氨基酸序列被人源序列取代，基本保留动物原始的单克隆抗体的亲和力和特异性，又降低了其异源性，以有利地应用于人体。抗体的人源化改造可以有效降低抗体的异源性，增长其半衰期，有效改善抗体对人体免疫系统的活化作用。

因此，需要一种高效的抗体人源化改造方法，使得可以优化抗体人源化的改造结果。

发明内容

为了解决上述问题，本公开通过对来自动物与人类的抗体进行自监督预训练，并通过强化学习机制引入抗体人源化改造过程中的各种优化指标来进一步优化抗体人源化改造模型，从而优化抗体人源化的改造结果。

本公开的实施例提供了一种抗体改造模型训练方法、抗体改造方法、及其分别对应的装置、设备、计算机程序产品和存储介质。

本公开的实施例提供了一种抗体改造模型训练方法，包括：获取用于抗体改造模型训练的训练样本集，所述训练样本集中的训练样本包括训练动物抗体和训练人类抗体；基于所述训练样本集对语言模型进行自监督预训练，生成用于抗体改造的预训练语言模型，所述预训练语言模型具有与训练动物抗体与训练人类抗体之间的特征差异相关的知识；以及利用所述训练样本集中的每个训练动物抗体，针对与抗体改造相关的多个性能指标，对所述预训练语言模型进行优化，以生成经训练的抗体改造模型。

本公开的实施例提供了一种抗体改造方法，包括：获取待改造的动物抗体；以及通过预先训练的抗体改造模型，对所述动物抗体进行改造，以生成经改造的动物抗体；其中，所述抗体改造模型是通过如上所述的抗体改造模型训练方法而预先训练的。

本公开的实施例提供了一种抗体改造模型训练装置，包括：数据获取模块，被配置为获取用于抗体改造模型训练的训练样本集，所述训练样本集中的训练样本包括训练动物抗体和训练人类抗体；模型预训练模块，被配置为基于所述训练样本集对语言模型进行自监督预训练，生成用于抗体改造的预训练语言模型，所述预训练语言模型具有与训练动物抗体与训练人类抗体之间的特征差异相关的知识；以及模型微调模块，被配置为利用所述训练样本集中的每个训练动物抗体，针对与抗体改造相关的多个性能指标，对所述预训练语言模型进行优化，以生成经训练的抗体改造模型。

本公开的实施例提供了一种抗体改造装置，包括：数据获取模块，被配置为获取待改造的动物抗体；抗体改造模块，被配置为通过预先训练的抗体改造模型，对所述动物抗体进行改造，以生成经改造的动物抗体；其中，所述抗体改造模型是通过如上所述的抗体改造模型训练方法而预先训练的。

本公开的实施例提供了一种电子设备，其分别包括：一个或多个处理器；以及一个或多个存储器，其中，所述一个或多个存储器中存储有计算机可执行程序，当由所述处理器执行所述计算机可执行程序时，执行如上所述的抗体改造模型训练方法或抗体改造方法。

本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述指令在被处理器执行时用于实现如上所述的抗体改造模型训练方法和抗体改造方法。

本公开的实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行根据本公开的实施例的抗体改造模型训练方法和抗体改造方法。

本公开的实施例所提供的方法相比于传统的抗体人源化改造方法而言，能够在模型训练阶段就学习到动物抗体与人类抗体之间的数据分布差异，并且通过强化学习机制引入抗体人源化改造过程中的各种优化指标，使得模型可以进一步优化其抗体人源化的改造结果，提高抗体人源化改造的成功率。

本公开的实施例所提供的方法通过基于包括动物抗体和人类抗体数据的训练样本集对语言模型进行自监督预训练，使得所得到的预训练语言模型具有与训练动物抗体与训练人类抗体之间的特征差异相关的知识，并且通过利用与抗体改造相关的多个性能指标，对所述预训练语言模型进行进一步优化，以生成最终用于抗体改造的抗体改造模型。通过本公开的实施例的方法能够结合动物抗体和人类抗体数据，使得模型可以更好地处理以动物抗体为输入的人源化改造任务，同时通过强化学习机制引入抗体人源化改造过程中的各种优化指标，使得模型可以进一步优化其抗体人源化的改造结果，提高抗体人源化改造的成功率，从而为抗体药物研发提供技术支持。

附图说明

为了更清楚地说明本公开的实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本公开的一些示例性实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是示出根据本公开的实施例的基于输入的动物抗体生成经改造的人源化抗体的场景示意图；

图2A是示出根据本公开的实施例的抗体改造模型训练方法的流程图；

图2B是示出根据本公开的实施例的抗体改造模型训练方法的示意图；

图3是示出根据本公开的实施例的第一训练阶段的处理的示意图；

图4是示出根据本公开的实施例的第二训练阶段的处理的示意图；

图5是示出根据本公开的实施例的抗体改造方法的流程图；

图6是示出根据本公开的实施例的抗体改造方法在抗体人源化改造实验中的结果图；

图7是示出根据本公开的实施例的抗体改造模型训练装置的示意图；

图8是示出根据本公开的实施例的抗体改造装置的示意图；

图9示出了根据本公开的实施例的电子设备的示意图；

图10示出了根据本公开的实施例的示例性计算设备的架构的示意图；以及

图11示出了根据本公开的实施例的存储介质的示意图。

具体实施方式

为了使得本公开的目的、技术方案和优点更为明显，下面将参考附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。

在本说明书和附图中，具有基本上相同或相似步骤和元素用相同或相似的附图标记来表示，且对这些步骤和元素的重复描述将被省略。同时，在本公开的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性或排序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

为便于描述本公开，以下介绍与本公开有关的概念。

本公开的抗体改造模型训练方法和抗体改造方法可以是基于人工智能(Artificial intelligence，AI)的。人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。例如，对于基于人工智能的抗体改造模型训练方法和抗体改造方法而言，其能够以类似于人类通过分析动物抗体和人类抗体的氨基酸残基序列来学习动物抗体与人类抗体之间的关联与区别，从而基于所学习的知识对动物抗体进行改造。人工智能通过研究各种智能机器的设计原理与实现方法，使本公开的抗体改造模型训练方法和抗体改造方法具有优化抗体人源化的改造结果、提升包括抗体热稳定性、免疫原性以及与抗原结合的亲和力等在内的多项指标和提升抗体人源化改造的成功率的功能。

本公开的抗体改造模型训练方法和抗体改造方法可以是基于自然语言处理(Nature Language processing，NLP)的。自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。在本公开的抗体改造模型训练方法和抗体改造方法中，可以利用自然语言处理技术对输入的抗体氨基酸序列进行处理，以增强预训练语言模型在特定领域的学习能力，使得预训练语言模型能够更好地应用于该特定领域下的各种任务场景。

本公开的抗体改造模型训练方法和抗体改造方法可以基于预训练语言模型(PTM)。其中，语言模型(Language Model，LM)是NLP领域中用于对语言文本进行分析和处理的模型，通常可以分为文法规则语言模型、统计语言模型和神经网络语言模型等。预训练语言模型作为一种神经网络语言模型，随着其快速发展，研究人员已经不再满足于使用简单范式和简单语料训练预训练语言模型，由此催生了一系列扩展的预训练语言模型。例如，其中可以包括知识增强(Knowledge-Enriched)的预训练模型、多语言/跨语言(Multilingual)的预训练模型、针对特定语言(Language-Specific)的预训练模型、多模态(Multi-Modal，包括视频-文本、图像-文本、声音-文本等)的预训练模型、针对特定领域(Domain-Specific)的预训练模型、针对特定任务(Task-Specific)的预训练模型等。针对语言模型的预训练任务按学习范式可归类成监督学习、无监督学习和自监督学习三类任务。其中，自监督学习也具有输入和输出标签，因此具有与监督学习一致的训练方法，但是在自监督学习中，例如在掩蔽语言建模(Masked Language Modeling，MLM)任务中，标签是自动生成而非如监督学习中那样由人工标注的。

因此，如上所述，本公开的抗体改造模型训练方法可以基于掩蔽语言模型(MaskedLanguage Model，MLM)任务。MLM任务可以归类为自监督学习问题，并通常作为分类问题来处理。传统的语言模型是从左到右或从右到左的利用上文或者下文去预测当前词语，这种设计是依据最初的概率语言模型的思想去实现的。但是实际上，当前词语出现不只是单单依靠上文或者下文，其实应该是同时依赖于上下文，因此MLM任务被提出以更好地利用上下文的信息对当前词语进行编码。MLM的语言模型结构是在一个句子中随机挑选一部分词语，用一个掩蔽(MASK)标记替换掉该词语，然后在模型训练的时候去预测该词语，完成训练过程，最终用编码器的输出作为语言的特征表示。

此外，本公开的抗体改造模型训练方法和抗体改造方法可以基于抗体人源化技术。其中，抗体(antibody)也称为免疫球蛋白(Ig)，是一种大型Y形蛋白质，免疫系统可以使用它来识别和中和异物(即抗原)，例如，致病细菌和病毒。抗体人源化改造(antibodyhumanization)包括针对来自非人类物种的抗体，对其氨基酸序列经过修饰，以增加与人类天然产生的抗体变体的相似性，降低改造后抗体进入人体后引发免疫反应的风险。

综上所述，本公开的实施例提供的方案涉及人工智能、预训练语言模型、抗体人源化技术等技术，下面将结合附图对本公开的实施例进行进一步地描述。

图1是示出根据本公开的实施例的基于输入的动物抗体生成经改造的人源化抗体的场景示意图。

如图1所示，服务器可以从终端设备经由网络接收待改造的动物抗体，并通过对该动物抗体进行人源化改造而生成经改造的人源化抗体。所生成的人源化抗体可以通过网络返回至该终端设备。

可选地，终端设备具体可以包括智能手机、平板电脑、膝上型便携计算机、台式计算机、车载终端、可穿戴设备等等，但并不局限于此，例如，终端设备还可以是安装浏览器或各种应用(包括系统应用及第三方应用)的客户端。可选地，网络可以是基于互联网和/或电信网的物联网(Internet of Things)，其可以是有线网也可以是无线网，例如，其可以是局域网(LAN)、城域网(MAN)、广域网(WAN)、蜂窝数据通信网络等能实现信息交换功能的电子网络，终端设备和服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

在现有的抗体人源化改造方法中，传统的方法可以包括CDR移植方法。该方法将动物抗体分为骨架区域(framework region，FR)与互补决定区域(complementarydetermining region，CDR)，由于抗体主要通过CDR区域与抗原结合，因此CDR移植方法是将动物抗体的CDR区域嫁接到人类抗体的FR区域上，作为人源化改造结果。由于CDR区域保持不变，因此改造后的抗体更倾向于保持原有的与抗原结合的亲和力，而FR区域替换为来自人类抗体的FR区域后，可以在一定程度上降低免疫原性。此外，由于FR区域中也有部分氨基酸残基会影响CDR区域的结构，进而影响与抗原结合的亲和力，因此也有一类方法是将该类残基再替换为来自动物抗体的残基类型。

在近几年，有研究人员提出可以通过预训练语言模型对动物抗体进行人源化改造，该方法基于人类抗体序列进行自监督预训练，即在训练过程中，在人类抗体的氨基酸序列中随机掩蔽一定比例的氨基酸残基类型，然后让模型去预测原先的残基类型；在人源化改造过程中，将动物抗体的氨基酸序列输入到模型中，根据模型输出的氨基酸残基类型，决定是否需要对相应位置进行改造，该过程可以重复多次，直至改造序列达到稳定。

然而，对于上述以CDR移植方法为代表的抗体人源化改造方法，其潜在的问题在于没有充分考虑骨架区域FR与互补决定区域CDR之间的关系，只是简单地将骨架区域进行替换(以及一定比例的反向突变(back-mutation))，这可能导致改造后的抗体序列对应的三维结构发生变化，从而影响与抗原结合的亲和力。而对于利用预训练语言模型的方法，其虽然考虑了整个抗体序列(包含骨架区域FR和互补决定区域CDR)的信息，但是在模型的训练过程中，只使用了人类抗体序列，因此模型对于动物抗体序列的泛化能力没有相应的保证，而在抗体人源化改造过程中，需要从动物抗体出发进行改造操作，这会导致模型在训练与测试阶段所处理的数据分布有较大差异，从而影响最终的抗体人源化改造效果。

本公开基于此，提供了一种抗体改造模型训练方法和抗体改造方法，通过对来自动物与人类的抗体进行自监督预训练，并通过强化学习机制引入抗体人源化改造过程中的各种优化指标来进一步优化抗体人源化改造模型，从而优化抗体人源化的改造结果。

本公开的实施例所提供的方法相比于传统的抗体人源化改造方法而言，能够在模型训练阶段就学习到动物抗体与人类抗体之间的数据分布差异，并且通过强化学习机制引入抗体人源化改造过程中的各种优化指标，使得模型可以进一步优化其抗体人源化的改造结果，提高抗体人源化改造的成功率。

本公开的实施例所提供的方法通过基于包括动物抗体和人类抗体数据的训练样本集对语言模型进行自监督预训练，使得所得到的预训练语言模型具有与训练动物抗体与训练人类抗体之间的特征差异相关的知识，并且通过利用与抗体改造相关的多个性能指标，对所述预训练语言模型进行进一步优化，以生成最终用于抗体改造的抗体改造模型。通过本公开的实施例的方法能够结合动物抗体和人类抗体数据，使得模型可以更好地处理以动物抗体为输入的人源化改造任务，同时通过强化学习机制引入抗体人源化改造过程中的各种优化指标，使得模型可以进一步优化其抗体人源化的改造结果，提高抗体人源化改造的成功率，从而为抗体药物研发提供技术支持。

如上所述，本公开的抗体改造方法旨在针对来自非人类物种的抗体(例如，动物抗体)，对其氨基酸序列经过修饰，以增加与人类天然产生的抗体变体的相似性，降低改造后抗体进入人体后引发免疫反应的风险。其中，对抗体的氨基酸序列的修饰是通过预先训练的抗体改造模型来实现的，因此，在下文中，将首先针对抗体改造模型的训练过程进行介绍，然后，将参考图5来对经训练的抗体改造模型的应用进行介绍，即介绍抗体的人源化改造过程。

图2A是示出根据本公开的实施例的抗体改造模型训练方法200的流程图，并且图2B是示出根据本公开的实施例的抗体改造模型训练方法的示意图。

如图2B所示，本公开的抗体改造模型训练方法可以包括两阶段的训练过程，即第一训练阶段和第二训练阶段。其中，在第一训练阶段中，可以通过自监督预训练使语言模型学习到训练动物抗体与训练人类抗体之间的特征差异，以得到预训练语言模型；在第二训练阶段中，可以利用多项优化指标对在第一训练阶段所得到的预训练语言模型进行进一步优化，以生成最终的抗体改造模型。

也就是说，在抗体改造模型的训练过程中，首先需要获取用于模型训练的训练样本，例如，非人源性抗体和人类抗体。

在步骤201中，可以获取用于抗体改造模型训练的训练样本集，所述训练样本集中的训练样本可以包括训练动物抗体和训练人类抗体。

可选地，在本公开的实施例中，用于抗体人源化改造的非人源性抗体可以是动物抗体，因此用于抗体改造模型训练的训练样本可以包括目标动物的抗体样本和人类抗体样本。其中，具体地，训练样本可以是对应物种的抗体氨基酸序列，例如包括训练动物抗体和训练人类抗体各自的氨基酸序列，以作为第一训练阶段的输入，使得抗体改造模型在第一训练阶段可以学习到动物抗体与人类抗体之间的数据分布差异。

在本公开的实施例中，可以采用语言模型来对来自不同生物体的抗体进行预测，这是因为，生物体的抗体序列并不是氨基酸的随机排列组合，而是受到自然选择的制约，即长期的自然选择决定了抗体序列具有某种统计规律。，并且不同抗体序列可以具有不同的统计规律。一方面，抗体序列在其家族中的变异规律能反映其结构，若某位点在进化过程中保守地选择某一种或某几种氨基酸，说明只有这几种氨基酸的生化性质能适应该抗体在此处的结构；另一方面，在一条抗体序列中，若某些位点不是独立进化而是相互制约，说明它们很可能在蛋白的三级折叠结构中相互作用。也就是说，抗体序列的统计规律隐含其结构信息，而语言模型恰能通过输入抗体序列来学习这种规律。因此，在本公开的抗体改造模型训练方法中，通过语言模型来学习来自不同生物体的抗体序列的统计规律，并且学习这些统计规律之间的联系与区别。

此外，在本公开的实施例中，对于抗体序列处理问题，由于抗体序列主要可以由20种氨基酸构成，其中的氨基酸类型可作为字符进行处理，因此抗体序列处理可以看作字符级的自然语言处理问题。

在获取到用于模型训练的训练数据后，在第一训练阶段中，可以基于这些训练数据进行语言模型的预训练，以学习不同物种的抗体氨基酸序列的特征及其之间的关联与区别。

因此，在步骤202中，可以基于所述训练样本集对语言模型进行自监督预训练，生成用于抗体改造的预训练语言模型，所述预训练语言模型可以具有与训练动物抗体与训练人类抗体之间的特征差异相关的知识。

可选地，为了充分学习非人源性抗体与人类抗体的特征差异，在语言模型的预训练过程中，可以针对不同特征学习偏好设置多种不同的训练任务，以使语言模型可以从训练样本集中学习到不同类型的特征。也就是说，根据本公开的实施例，基于所述训练样本集对语言模型进行自监督预训练，生成用于抗体改造的预训练语言模型可以包括：基于所述训练样本集，针对用于学习训练动物抗体与训练人类抗体之间的特征差异的多项训练任务，对语言模型进行自监督预训练，生成用于抗体改造的预训练语言模型。

可选地，第一训练阶段中的训练任务可以旨在结合训练动物抗体和训练人类抗体的数据，使得语言模型可以更好地处理以动物抗体为输入的人源化改造任务。根据本公开的实施例，所述多项训练任务可以包括掩蔽语言预测(masked language model，MLM)任务、移植多肽恢复(grafted peptide recovery，GPR)任务和物种预测(speciesclassification，SPC)任务中的一个或多个。其中，所述掩蔽语言预测任务可以用于学习训练动物抗体和训练人类抗体各自的特征，所述移植多肽恢复任务可以用于学习训练动物抗体的人源化改造过程中的特征变化，并且所述物种预测任务可以用于区分训练动物抗体和训练人类抗体各自的特征。

如上所述，在本公开的实施例中，如图2B所示，用于第一训练阶段的训练任务可以包括用于学习训练动物抗体和训练人类抗体各自的特征的MLM任务、用于学习训练动物抗体的人源化改造过程中的特征变化的GPR任务、以及用于区分训练动物抗体和训练人类抗体各自的特征的SPC任务。

图3是示出根据本公开的实施例的第一训练阶段的处理的示意图。

因此，根据本公开的实施例，针对所述多项训练任务中的每项训练任务，基于所述训练样本集对语言模型进行自监督预训练可以包括分别针对上述各项训练任务，基于训练样本集对语言模型进行自监督预训练。如图3所示，所获取的训练动物抗体和训练人类抗体分别针对各项训练任务进行预处理，继而分别输入语言模型中，以通过语言模型分别获取各项任务的结果，包括对被掩蔽的氨基酸残基的预测结果、对人类氨基酸残基片段的预测结果和对抗体所属物种的预测结果等。

根据本公开的实施例，在掩蔽语言预测任务中，对于所述训练样本集中的每个训练样本，对所述训练样本中的部分氨基酸残基进行掩蔽，并利用语言模型对所述部分氨基酸残基进行预测，以生成对于所述部分氨基酸残基中的每一个的残基类型预测结果。

具体地，可选地，在MLM任务中，对于所获取的训练动物抗体和训练人类抗体，可以在输入的抗体氨基酸序列中随机挑选一部分氨基酸残基，并用掩蔽标记[MASK]替换掉这些氨基酸残基(即，对这些氨基酸残基类型进行掩蔽)，作为语言模型的输入，通过语言模型对每个被掩蔽的残基类型进行预测，以使语言模型对训练动物抗体(或训练人类抗体)中的氨基酸残基分布特征进行学习。如图3所示，对于MLM任务，首先对所获取的训练动物抗体和训练人类抗体的抗体序列中的若干氨基酸残基类型进行掩蔽操作，例如，在图3中以黑色方块示出被掩蔽的氨基酸残基类型，经掩蔽处理的抗体序列继而被输入语言模型，以输出对被掩蔽的氨基酸残基类型的预测结果。

根据本公开的实施例，在移植多肽恢复任务中，对于所述训练样本集中的每个训练人类抗体，可以将所述训练人类抗体中的氨基酸残基片段随机替换为来自任一训练动物抗体的氨基酸残基片段，并利用所述语言模型对所述训练人类抗体中的所述氨基酸残基片段进行预测，以生成对于所述训练人类抗体中的所述氨基酸残基片段中的每个氨基酸残基的残基类型预测结果。

具体地，可选地，考虑到抗体人源化改造过程实际上是针对非人源性抗体上的氨基酸残基类型进行调整，以使改造后的氨基酸残基序列与人类抗体更加相似，从而更适于人体，在本公开的实施例中，可以在第一训练阶段中引入与抗体人源化改造相关的任务，即对于任一训练人类抗体，可以随机将其中一个短氨基酸片段(例如，长度为9的氨基酸序列)替换为来自任一训练动物抗体的相同长度的氨基酸片段，然后，可以将接受氨基酸片段移植的新人类抗体序列输入到语言模型中，以使语言模型对该氨基酸片段所对应的原始的氨基酸序列(即，训练人类抗体的该氨基酸片段)中的每个氨基酸残基类型进行预测。如图3所示，对于GPR任务，首先将所获取的训练人类抗体的抗体序列中的任一短片段随机替换为来自训练动物抗体的一短片段，例如，图3中示出了在人类抗体中移植了来自动物抗体的长度为5的氨基酸片段，经移植处理的新人类抗体序列继而被输入语言模型，以输出对被替换的原始人类氨基酸残基片段的预测结果，例如，对被替换的原始人类氨基酸残基片段中的每个残基类型的预测结果。

通过如上所述的移植多肽恢复任务，被移植到人类抗体中的动物抗体片段可以通过语言模型而被调整为更适于人体(即，与人类天然产生的抗体更相似)的抗体片段，即实现有效的针对动物抗体的人源化改造。

根据本公开的实施例，在所述物种预测任务中，对于所述训练样本集中的每个训练样本，可以利用所述语言模型对所述训练样本所属的物种进行预测，以生成对于所述训练样本的物种类型预测结果。

可选地，除了上述对来自不同物种的抗体各自的特征以及对非人源性抗体的人源化改造的学习之外，在本公开的实施例中，还可以进一步对来自不同物种的抗体的特征之间的区别进行学习。例如，对于所获取的训练动物抗体和训练人类抗体，可以将其各自输入到语言模型中，以使语言模型判断每个训练抗体是来自于动物体内还是人类体内，从而使语言模型能够学习到与来自不同物种的抗体的特征之间的区别相关的知识。如图3所示，原始的训练人类抗体和训练动物抗体被各自输入语言模型，以输出对其所属物种的预测结果。

当然，应当理解，上述三种训练任务在本公开的实施例中仅用作示例，其不应被理解为对第一训练阶段的训练任务的限制，为了实现类似的效果，其他一种或多种训练任务也可以适用于本公开的抗体改造模型训练方法的第一训练阶段，本公开对此不作限制。

可选地，针对上述多项训练任务，可以基于对这些训练任务的训练结果的联合优化来对语言模型进行训练，例如，可以基于语言模型针对上述训练任务的任务结果来构建用于模型预训练的损失函数，从而通过对损失函数的优化来训练语言模型。根据本公开的实施例，基于所述训练样本集，针对用于学习训练动物抗体与训练人类抗体之间的特征差异的多项训练任务，对语言模型进行自监督预训练，生成用于抗体改造的预训练语言模型可以包括：针对所述多项训练任务中的每项训练任务，基于所述训练样本集对语言模型进行自监督预训练；以及通过对损失函数进行优化，生成用于抗体改造的预训练语言模型，其中，所述损失函数是基于所述训练样本集中的每个训练样本关于所述多项训练任务中的每项训练任务的任务结果来确定的。

可选地，对于上述作为示例的三项训练任务，语言模型可以具有不同类型的输出。例如，对于MLM和GPR任务，其两者皆为在单个氨基酸残基层面上的分类问题，因此语言模型可以输出对单个氨基酸残基的分类结果，例如，单个氨基酸残基属于20种氨基酸类型中的哪一种，而对于SPC任务，其为在整个抗体序列层面上的分类问题，因此语言模型可以输出对整个抗体序列的分类结果，例如，单个抗体序列来自动物体内或者人类体内。

因此，在本公开的实施例中，可以采用交叉熵损失函数作为语言模型预训练的损失函数，如下式所示：

其中，X是语言模型的分类输出，Y是各个分类任务的真实标签，N是对应分类任务的样本数量，C是对应分类任务的类别数量，

当然，应当理解，上述损失函数的构建方式在本公开的实施例中仅用作示例而非限制，在可以实现相同优化目的的情况下，其他形式的损失函数同样可以适用于本公开的第一训练阶段的语言模型预训练。

接下来，将对本公开所采用的语言模型(即抗体改造模型)的模型结构进行介绍。

根据本公开的实施例，所述语言模型可以采用基于多头注意力机制的蛋白质语言模型架构，以训练样本的氨基酸残基序列为输入，并且以对所述氨基酸残基序列的分类预测结果和对所述氨基酸残基序列中的每个氨基酸残基的分类预测结果为输出。其中，蛋白质语言模型(protein language model)是各类语言模型在生物化学领域的迁移应用，其以蛋白质序列为输入，并学习序列中隐含的生化性质、二三级结构、功能内在规律等，能够完成预测蛋白结构、预测蛋白功能、生成新序列等任务。

可选地，在模型结构方面，可以采用基于多头注意力机制的蛋白质语言模型(例如，ESM模型)架构。具体地，语言模型的基本构成单元可以包括多头注意力模块和前馈网络模块的组合，语言模型可以通过堆叠多个结构相同但模型参数不同的基本构成单元，对输入的抗体序列进行处理，最终在单个氨基酸层面(例如，对于MLM任务和GPR任务)和整个序列层面(例如，对于SPC任务)分别输出相应的分类结果，以作为损失函数计算的输入，用于模型的预训练。

其中，可选地，多头注意力模块可以包含多组不同的注意力模块，每组注意力模块可以通过以下方式实现：

其中，Q是输入的查询向量(query embeddings)，K是输入的索引向量(keyembeddings)，V是输入的值向量(value embeddings)，d

基于如上所述的单个注意力模块，可以构造包括多个注意力模块的多头注意力模块，其中，通过不同的投影矩阵(W

可选地，上述前馈网络模块可以包含两个线性变换层和一个非线性激活层(ReLU)，即：

FFN(x)＝max(0，xW

其中，x是前馈网络模块的输入，W

可选地，可以采用ESM模型架构，包括多组由如上的多头注意力模块和前馈网络模块组成的基本构成单元，通过残差连接将多头注意力模块和前馈网络模块的输出，更新到原先的抗体序列特征X上，即：

ESM-Layer

其中，输入到多头注意力模块的查询向量Q、索引向量K以及值向量V均为抗体序列特征X，即该多头注意力模块可以基于自注意力(self-attention)机制；下标i对应于第i层(即，第i个基本构成单元)。ESM模型通过堆叠多个结构相同但模型参数不同的ESM层(基本构成单元)，可以得到最终输出的预测序列特征X，即上述损失函数的输入。

当然，应当理解，上述采用ESM模型架构的语言模型结构在本公开的实施例中仅用作示例而非限制，在可以实现相同目的的情况下，其他形式的模型结构同样可以适用于本公开的方法，例如，包括但不限于诸如T5或XLNet的其他语言模型。

在通过上述操作完成第一训练阶段后，可以获得已具有关于动物抗体和人类抗体的特征的统计规律及其之间的关联与区别的知识的预训练语言模型。因此，接下来，可以在第二训练阶段中对所得到的预训练语言模型针对抗体改造任务进行进一步优化，以优化其在抗体改造任务领域的性能。

在步骤203中，可以利用所述训练样本集中的每个训练动物抗体，针对与抗体改造相关的多个性能指标，对所述预训练语言模型进行优化，以生成经训练的抗体改造模型。

可选地，对于预训练语言模型关于抗体改造任务的微调(fine-tuning)可以考虑抗体氨基酸序列与其生物学特性(例如，抗体热稳定性、免疫原性以及与抗原结合的亲和力等)之间的关系，使得通过抗体改造模型输出的人源化抗体具有更优的生物学特性。因此，在本公开的实施例中，可以基于强化学习机制引入与抗体人源化改造任务相关的多个性能优化指标，使得经训练的抗体改造模型对动物抗体的氨基酸序列的修改可以获得与人源化改造相关的生物学特性良好的抗体序列，以使其在人体内发挥相应的功能。

根据本公开的实施例，利用所述训练样本集中的每个训练动物抗体，针对与抗体改造相关的多个性能指标，对所述预训练语言模型进行优化可以包括：对于所述训练样本集中的每个训练动物抗体，利用所述预训练语言模型对所述训练动物抗体进行多轮迭代改造，并确定与针对所述训练动物抗体的所述多轮迭代改造相对应的总体改造收益，其中，所述总体改造收益可以是基于所述多个性能指标和所述多轮迭代改造中的每轮迭代改造所对应的改造结果来确定的；以及对于所述训练样本集中的每个训练动物抗体，通过对与所述训练动物抗体相对应的总体改造收益的最大化来对所述预训练语言模型进行优化，以生成经训练的抗体改造模型。

图4是示出根据本公开的实施例的第二训练阶段的处理的示意图。如图4所示，第二训练阶段实际上是对输入的训练动物抗体的迭代改造过程，通过对迭代改造所获得的总体收益最大化，可以实现针对抗体人源化改造任务的预训练语言模型微调。

根据本公开的实施例，所述多个性能指标可以包括类人得分(humanness score)、序列保持度得分(sequence preservation)和结构相似度得分(structure similarity)中的一个或多个。其中，所述类人得分可以表示经改造的训练动物抗体与现有人类抗体序列数据库的相似性；所述序列保持度得分可以表示经改造的训练动物抗体中保留的与原始的训练动物抗体相同的氨基酸残基序列的比例；并且所述结构相似度得分可以表示经改造的训练动物抗体的三维结构与原始的训练动物抗体的三维结构在三维结构层面上的相似性。

如图4所示，对于针对动物抗体的人源化改造任务，本公开中所设置的抗体人源化评估指标可以包括类人得分、序列保持度得分和结构相似度得分三项。

具体地，作为示例，类人得分可以通过比对经人源化改造的抗体序列与现有人类抗体序列数据库的相似度来确定，其可以评估经人源化改造的抗体序列与人类抗体序列的类似程度。因此，通过引入类人得分作为抗体人源化性能评估指标，可以使经人源化改造的动物抗体尽可能类似于人类抗体，以减少或避免改造后的动物抗体在人体内产生免疫原性。

可选地，序列保持度得分可以通过比对经人源化改造的抗体序列与原始的动物抗体序列来确定，以评估有多大比例的动物抗体序列得到了保持。因此，通过引入序列保持度得分作为抗体人源化性能评估指标，可以使经人源化改造的动物抗体尽可能保持与原始抗原的结合特性，使得改造后的动物抗体可以在人体内发挥相应的功能。

可选地，结构相似度得分可以通过比对经人源化改造的抗体序列所对应的三维结构(例如，其可以通过将经人源化改造的抗体序列输入到结构预测模型中计算得到)与原始的动物抗体序列所对应的三维结构(例如，其可以是基于实验测定的三维结构，或者是将原始的动物抗体序列输入到结构预测模型中计算得到的预测结构)来确定的，以评估人源化改造前后的动物抗体在三维结构层面上的相似度。与序列保持度得分类似地，通过引入结构相似度得分作为抗体人源化性能评估指标，可以使经人源化改造的动物抗体尽可能保持与原始抗原的结合特性，使得改造后的动物抗体可以更好地在人体内发挥相应的功能。

如上所述，在本公开的实施例中，可以基于抗体人源化改造过程中希望优化的各项指标(例如，包括与抗体热稳定性、免疫原性以及与抗原结合的亲和力相关的上述多项性能指标等)，构造奖励函数(reward function)，以指导预训练语言模型进行微调，从而使得模型可以进一步优化其抗体人源化的改造结果，提升包括抗体热稳定性、免疫原性以及与抗原结合的亲和力等在内的多项指标。

可选地，所构造的奖励函数可以包括上述多项性能指标的组合，例如，如图4所示，奖励函数可以被表示为r(S)，其中S是经人源化改造的动物抗体序列，该奖励函数是基于上述多个抗体人源化评估指标确定的，并且在本公开的实施例中并不对这些评估指标的具体组合方式进行限制。

因此，基于上述奖励函数，可以确定针对动物抗体的每轮迭代改造的改造收益，从而确定与针对所述训练动物抗体的所述多轮迭代改造相对应的总体改造收益。作为示例，可以将初始的动物抗体序列记为S

其中，γ表示奖励函数的时间衰减系数，其通常被设置为[0，1]区间内的某个常数(例如，O.9)。

因此，在得到如上的总体收益G

其中，θ表示抗体改造模型的优化参数，π

如上所述，在本公开的实施例的第二训练阶段期间，可以基于抗体人源化改造过程中希望优化的各项指标(例如，包括与抗体热稳定性、免疫原性以及与抗原结合的亲和力相关的上述多项性能指标等)对预训练语言模型进行微调，从而使得模型可以进一步优化其抗体人源化的改造结果，以提升包括抗体热稳定性、免疫原性以及与抗原结合的亲和力等在内的多项指标。

通过上述在第一训练阶段和第二训练阶段期间的操作，本公开的抗体改造模型训练方法可以通过在模型预训练阶段同时引入动物抗体和人类抗体的序列数据，使得模型可以更好地适应之后的抗体人源化改造任务，同时通过强化学习引入抗体人源化改造过程中的各项指标(包括抗体热稳定性、免疫原性以及与抗原结合的亲和力等)，使得模型可以直接对上述指标进行优化，从而提升抗体人源化改造的成功率。

因此，通过本公开的抗体改造模型训练方法，可以生成抗体改造模型，其可以优化动物抗体人源化的改造结果，提升包括抗体热稳定性、免疫原性以及与抗原结合的亲和力等在内的多项指标。

下面，可以参考图5对通过本公开的抗体改造模型训练方法所生成的抗体改造模型的应用进行简单介绍。图5是示出根据本公开的实施例的抗体改造方法500的流程图。

如图5所示，在步骤501中，可以获取待改造的动物抗体。如上所述，所获取的待改造的动物抗体可以是动物抗体的氨基酸序列。

接下来，在步骤502中，可以通过预先训练的抗体改造模型，对所述动物抗体进行改造，以生成经改造的动物抗体。可选地，所获取的动物抗体可以作为抗体改造模型的输入，通过抗体改造模型对该动物抗体中的每个氨基酸残基类型的预测，来对各个氨基酸残基进行修饰，从而获得具有更优生物学特性的人源化抗体。

针对本公开的抗体改造模型对于所生成的人源化抗体的生物学特性的优化，在下文中将对本公开的抗体改造方法的实际改造性能及其与多种现有抗体人源化改造方法的改造性能的对比进行介绍。

图6是示出根据本公开的实施例的抗体改造方法在抗体人源化改造实验中的结果图。

如图6所示，本公开在实际验证方面对比了不同抗体人源化改造方法的改造性能，其中，针对需要进行均衡的类人得分(如图6的横轴所示)和结构相似度得分(如图6的纵轴所示)两项优化性能指标进行了图示，其中实验结果可以例如是指通过湿实验进行低通量筛选方式，对人工改造得到的人源化抗体序列(例如，一般有几十到几百个)，评估其改造前后的活性差异，选取其中性质较好的人源化抗体序列，获得的最终改造结果。从实际效果上来看，与现有方法(例如，实验结果、方法1(Straight-Graft方法)、方法2(Vernier-Graft方法)、方法3(AbNumber方法)、方法4(Hu-mAb方法)、方法5(Sapiens方法)和方法6(Sapiens(Chothia)方法))相比，本公开的抗体改造方法可以在抗体的类人得分方面提升0.4以上的情况下，仍然保持与原始的动物抗体结构较高的相似度(例如，体现为纵轴上的结构变化的数值较小)，也就是说，本公开的抗体改造模型可以较好地处理抗体的类人得分和抗体结构相似度得分这两个需要均衡的优化指标。

因此，通过本公开所提出的上述基于预训练语言模型与强化学习的抗体人源化改造方法，可以结合动物抗体和人类抗体数据，使得模型可以更好地处理以动物抗体为输入的人源化改造任务，同时通过强化学习机制引入抗体人源化改造过程中的各种优化指标，使得模型可以进一步优化其抗体人源化的改造结果，提高抗体人源化改造的成功率，从而为抗体药物研发提供技术支持。

图7是示出根据本公开的实施例的抗体改造模型训练装置700的示意图。

根据本公开的实施例，所述抗体改造模型训练装置700可以包括数据获取模块701、模型预训练模块702、和模型微调模块703。

数据获取模块701可以被配置为获取用于抗体改造模型训练的训练样本集，所述训练样本集中的训练样本包括训练动物抗体和训练人类抗体。可选地，数据获取模块701可以执行如上参考步骤201所描述的操作。

例如，在本公开的实施例中，用于抗体人源化改造的非人源性抗体可以是动物抗体，因此用于抗体改造模型训练的训练样本可以包括目标动物的抗体样本和人类抗体样本。其中，具体地，训练样本可以是对应物种的抗体氨基酸序列，例如包括训练动物抗体和训练人类抗体各自的氨基酸序列，以作为模型预训练模块702的输入，使得抗体改造模型在模型预训练模块702中可以学习到动物抗体与人类抗体之间的数据分布差异。

模型预训练模块702可以被配置为基于所述训练样本集对语言模型进行自监督预训练，生成用于抗体改造的预训练语言模型，所述预训练语言模型具有与训练动物抗体与训练人类抗体之间的特征差异相关的知识。可选地，模型预训练模块702可以执行如上参考步骤202所描述的操作。例如，为了充分学习非人源性抗体与人类抗体的特征差异，在语言模型的预训练过程中，可以针对不同特征学习偏好设置多种不同的训练任务，以使语言模型可以从训练样本集中学习到不同类型的特征。

可选地，模型预训练模块702中的训练任务可以包括用于学习训练动物抗体和训练人类抗体各自的特征的MLM任务、用于学习训练动物抗体的人源化改造过程中的特征变化的GPR任务、以及用于区分训练动物抗体和训练人类抗体各自的特征的SPC任务。因此，所获取的训练动物抗体和训练人类抗体分别针对各项训练任务进行预处理，继而分别输入语言模型中，以通过语言模型分别获取各项任务的结果，包括对被掩蔽的氨基酸残基的预测结果、对人类氨基酸残基片段的预测结果和对抗体所属物种的预测结果等。

例如，对于MLM任务，在模型预训练模块702中，对于所获取的训练动物抗体和训练人类抗体，可以在输入的抗体氨基酸序列中随机挑选一部分氨基酸残基，并用掩蔽标记[MASK]替换掉这些氨基酸残基(即，对这些氨基酸残基类型进行掩蔽)，作为语言模型的输入，通过语言模型对每个被掩蔽的残基类型进行预测，以使语言模型对训练动物抗体(或训练人类抗体)中的氨基酸残基分布特征进行学习。

可选地，考虑到抗体人源化改造过程实际上是针对非人源性抗体上的氨基酸残基类型进行调整，以使改造后的氨基酸残基序列与人类抗体更加相似，从而更适于人体，在模型预训练模块702中，可以引入与抗体人源化改造相关的任务，即对于任一训练人类抗体，可以随机将其中一个短氨基酸片段(例如，长度为9的氨基酸序列)替换为来自任一训练动物抗体的相同长度的氨基酸片段，然后，可以将接受氨基酸片段移植的新人类抗体序列输入到语言模型中，以使语言模型对该氨基酸片段所对应的原始的氨基酸序列(即，训练人类抗体的该氨基酸片段)中的每个氨基酸残基类型进行预测。通过如上所述的移植多肽恢复任务，被移植到人类抗体中的动物抗体片段可以通过语言模型而被调整为更适于人体(即，与人类天然产生的抗体更相似)的抗体片段，即实现有效的针对动物抗体的人源化改造。

例如，除了上述对来自不同物种的抗体各自的特征以及对非人源性抗体的人源化改造的学习之外，在模型预训练模块702中，还可以进一步对来自不同物种的抗体的特征之间的区别进行学习。例如，对于所获取的训练动物抗体和训练人类抗体，可以将其各自输入到语言模型中，以使语言模型判断每个训练抗体是来自于动物体内还是人类体内，从而使语言模型能够学习到与来自不同物种的抗体的特征之间的区别相关的知识。

同样地，应当理解，上述三种训练任务在本公开的实施例中仅用作示例，其不应被理解为对模型预训练模块702中的训练任务的限制。

接下来，在模型预训练模块702中，可以针对上述多项训练任务，基于对这些训练任务的训练结果的联合优化来对语言模型进行训练，例如，可以基于语言模型针对上述训练任务的任务结果来构建用于模型预训练的损失函数(例如，可以采用交叉熵损失函数作为语言模型预训练的损失函数)，从而通过对损失函数的优化来训练语言模型。例如，对于上述作为示例的三项训练任务，语言模型可以具有不同类型的输出。例如，对于MLM和GPR任务，其两者皆为在单个氨基酸残基层面上的分类问题，因此语言模型可以输出对单个氨基酸残基的分类结果，例如，单个氨基酸残基属于20种氨基酸类型中的哪一种，而对于SPC任务，其为在整个抗体序列层面上的分类问题，因此语言模型可以输出对整个抗体序列的分类结果，例如，单个抗体序列来自动物体内或者人类体内。

可选地，本公开的抗体改造模型可以采用基于多头注意力机制的蛋白质语言模型(例如，ESM模型)架构。具体地，语言模型的基本构成单元可以包括多头注意力模块和前馈网络模块的组合，语言模型可以通过堆叠多个结构相同但模型参数不同的基本构成单元，对输入的抗体序列进行处理，最终在单个氨基酸层面(例如，对于MLM任务和GPR任务)和整个序列层面(例如，对于SPC任务)分别输出相应的分类结果，以作为损失函数计算的输入，用于模型预训练模块702中模型的预训练。

通过模型预训练模块702，可以获得已具有关于动物抗体和人类抗体的特征的统计规律及其之间的关联与区别的知识的预训练语言模型。因此，接下来，可以在模型微调模块703中对所得到的预训练语言模型针对抗体改造任务进行进一步优化，以优化其在抗体改造任务领域的性能。

模型微调模块703可以被配置为利用所述训练样本集中的每个训练动物抗体，针对与抗体改造相关的多个性能指标，对所述预训练语言模型进行优化，以生成经训练的抗体改造模型。可选地，模型微调模块703可以执行如上参考步骤203所描述的操作。

作为示例，对于预训练语言模型关于抗体改造任务的微调(fine-tuning)可以考虑抗体氨基酸序列与其生物学特性(例如，抗体热稳定性、免疫原性以及与抗原结合的亲和力等)之间的关系，使得通过抗体改造模型输出的人源化抗体具有更优的生物学特性。因此，在本公开的实施例中，可以基于强化学习机制引入与抗体人源化改造任务相关的多个性能优化指标，使得经训练的抗体改造模型对动物抗体的氨基酸序列的修改可以获得与人源化改造相关的生物学特性良好的抗体序列，以使其在人体内发挥相应的功能。

例如，对于针对动物抗体的人源化改造任务，本公开中所设置的抗体人源化评估指标可以包括类人得分、序列保持度得分和结构相似度得分三项。其中，类人得分可以表示经改造的训练动物抗体与现有人类抗体序列数据库的相似性；序列保持度得分可以表示经改造的训练动物抗体中保留的与原始的训练动物抗体相同的氨基酸残基序列的比例；并且结构相似度得分可以表示经改造的训练动物抗体的三维结构与原始的训练动物抗体的三维结构在三维结构层面上的相似性。

因此，在模型微调模块703中，可以基于抗体人源化改造过程中希望优化的各项指标(例如，包括与抗体热稳定性、免疫原性以及与抗原结合的亲和力相关的上述多项性能指标等)，构造奖励函数(rewardfunction)，以指导预训练语言模型进行微调，从而使得模型可以进一步优化其抗体人源化的改造结果，提升包括抗体热稳定性、免疫原性以及与抗原结合的亲和力等在内的多项指标。例如，所构造的奖励函数可以包括上述多项性能指标的组合，该奖励函数是基于上述多个抗体人源化评估指标确定的，并且在本公开的实施例中并不对这些评估指标的具体组合方式进行限制。因此，基于上述奖励函数，可以确定针对动物抗体的每轮迭代改造的改造收益，从而确定与针对所述训练动物抗体的所述多轮迭代改造相对应的总体改造收益。

通过在模型预训练模块702和模型微调模块703中的上述操作，本公开的抗体改造模型训练装置可以通过在模型预训练阶段同时引入动物抗体和人类抗体的序列数据，使得模型可以更好地适应之后的抗体人源化改造任务，同时通过强化学习引入抗体人源化改造过程中的各项指标(包括抗体热稳定性、免疫原性以及与抗原结合的亲和力等)，使得模型可以直接对上述指标进行优化，从而提升抗体人源化改造的成功率。

图8是示出根据本公开的实施例的抗体改造装置800的示意图。

根据本公开的实施例，所述抗体改造装置800可以包括数据获取模块801、和抗体改造模块802。

数据获取模块801可以被配置为获取待改造的动物抗体。可选地，数据获取模块801可以执行如上参考步骤501所描述的操作。例如，所获取的待改造的动物抗体可以是动物抗体的氨基酸序列。

抗体改造模块802可以被配置为通过预先训练的抗体改造模型，对所述动物抗体进行改造，以生成经改造的动物抗体。可选地，抗体改造模块802可以执行如上参考步骤502所描述的操作。例如，所获取的动物抗体可以作为抗体改造模型的输入，通过抗体改造模型对该动物抗体中的每个氨基酸残基类型的预测，来对各个氨基酸残基进行修饰，从而获得具有更优生物学特性的人源化抗体。

根据本公开的又一方面，还提供了一种电子设备。图9示出了根据本公开的实施例的电子设备2000的示意图。

如图9所示，所述电子设备2000可以包括一个或多个处理器2010，和一个或多个存储器2020。其中，所述存储器2020中存储有计算机可读代码，所述计算机可读代码当由所述一个或多个处理器2010运行时，可以执行如上所述的抗体改造模型训练方法或抗体改造方法。

本公开的实施例中的处理器可以是一种集成电路芯片，具有信号的处理能力。上述处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以是X86架构或ARM架构的。

一般而言，本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备，或其某些组合中实施。

例如，根据本公开的实施例的方法或装置也可以借助于图10所示的计算设备3000的架构来实现。如图10所示，计算设备3000可以包括总线3010、一个或多个CPU 3020、只读存储器(ROM)3030、随机存取存储器(RAM)3040、连接到网络的通信端口3050、输入/输出组件3060、硬盘3070等。计算设备3000中的存储设备，例如ROM 3030或硬盘3070可以存储本公开提供的抗体改造模型训练方法或抗体改造方法的处理和/或通信使用的各种数据或文件以及CPU所执行的程序指令。计算设备3000还可以包括用户界面3080。当然，图10所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图10示出的计算设备中的一个或多个组件。

根据本公开的又一方面，还提供了一种计算机可读存储介质。图11示出了根据本公开的存储介质的示意图4000。

如图11所示，所述计算机存储介质4020上存储有计算机可读指令4010。当所述计算机可读指令4010由处理器运行时，可以执行参照以上附图描述的根据本公开的实施例的抗体改造模型训练方法和抗体改造方法。本公开的实施例中的计算机可读存储介质可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、双倍数据速率同步动态随机存取存储器(DDRSDRAM)、增强型同步动态随机存取存储器(ESDRAM)、同步连接动态随机存取存储器(SLDRAM)和直接内存总线随机存取存储器(DRRAM)。应注意，本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。应注意，本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

本公开的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行根据本公开的实施例的抗体改造模型训练方法和抗体改造方法。

本公开的实施例提供了一种抗体改造模型训练方法、抗体改造方法、及其分别对应的装置、设备、计算机程序产品和存储介质。

本公开的实施例所提供的方法相比于传统的抗体人源化改造方法而言，能够在模型训练阶段就学习到动物抗体与人类抗体之间的数据分布差异，并且通过强化学习机制引入抗体人源化改造过程中的各种优化指标，使得模型可以进一步优化其抗体人源化的改造结果，提高抗体人源化改造的成功率。

本公开的实施例所提供的方法通过基于包括动物抗体和人类抗体数据的训练样本集对语言模型进行自监督预训练，使得所得到的预训练语言模型具有与训练动物抗体与训练人类抗体之间的特征差异相关的知识，并且通过利用与抗体改造相关的多个性能指标，对所述预训练语言模型进行进一步优化，以生成最终用于抗体改造的抗体改造模型。通过本公开的实施例的方法能够结合动物抗体和人类抗体数据，使得模型可以更好地处理以动物抗体为输入的人源化改造任务，同时通过强化学习机制引入抗体人源化改造过程中的各种优化指标，使得模型可以进一步优化其抗体人源化的改造结果，提高抗体人源化改造的成功率，从而为抗体药物研发提供技术支持。

需要说明的是，附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

一般而言，本公开的各种示例实施例可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备，或其某些组合中实施。

在上面详细描述的本公开的示例实施例仅是说明性的，而不是限制性的。本领域技术人员应理解，在不脱离本公开的原理和精神的情况下，可对这些实施例或其特征进行各种修改和组合，这样的修改应落入本公开的范围内。