一种基于强化学习和分子模拟的靶向多肽设计方法及系统

技术领域

本发明属于生物基因和人工智能多肽药物研究技术领域，尤其涉及一种基于强化学习和分子模拟的靶向多肽设计方法及系统。

背景技术

多肽药物由于其靶向特异性强、毒副作用小、易于修饰的特点，在内分泌代谢和肿瘤免疫等领域受到了越来越多的关注。如图1所示，多肽由20种天然氨基酸脱水缩合而成，多肽(黑色)和靶点蛋白(灰色)结合是一种蛋白和蛋白之间相互作用，表面形状互补，关键的氨基酸形成了氢键、盐桥等分子间相互作用，氨基酸随机地排列组合形成了庞大的分子空间(如一个8肽化学空间就高达8

传统的方法通常是对已知多肽分子的生物化学性质进行分析，并人工设计虚拟多肽文库，这种方法通常依赖于专家的领域知识和经验，对可更改的氨基酸位点进行突变、插入和删除等操作，可探索的分子空间十分有限，并且由于蛋白质共进化信息十分复杂，上述操作很容易发生免疫原性的问题。近些年来，有人提出了基于机器学习或智能算法的方法自动生成新的多肽分子，常用的方法是将多肽表示为20种氨基酸缩写的字符串，训练时间序列模型或者自然语言处理模型来自动生成多肽分子，或者使用随机搜索算法对模版多肽分子进行优化。具体的，目前多肽分子的设计方法主要有：

方法一：选择突变位点，建立虚拟肽文库进行筛选；(参见《一种炭疽保护性抗原的亲和多肽的筛选方法》)，包括：

(1)准备模版多肽和靶点蛋白的结构，将模版多肽与靶点蛋白进行分子对接和能量优化，选择最佳的对接构象；

(2)根据多肽和蛋白相互作用分析出关键的氨基酸位点，选择对接能量值小于0的非关键位点作为高价值突变位点，保留关键氨基酸位点，对高价值氨基酸位点进行随机突变，构建虚拟肽文库；

(3)使用分子对接和分子动力学模拟来进行亲和力筛选。

方法一的不足之处在于：

(1)模版多肽结构限制探索更大多肽化学空间的可能性，新颖性不足；

(2)基于分子对接的方法无法获取精确的多肽-靶点蛋白的复合物结构，在此基础上分析关键氨基酸和高价值氨基酸位点不具有指导意义；

(3)只对高价值氨基酸位点进行随机突变，探索的化学空间有限，并可能会引入免疫原性的问题。

方法二：基于随机搜索算法与优化函数进行迭代设计；(参见《一种基于随机搜索算法和对接评估的蛋白质多肽设计集成装置》)，包括：

(1)从20种氨基酸中盲目选择若干个氨基酸组合为初始序列，通过突变和交叉操作生成多肽序列集合；

(2)利用集成结构预测模块中的结构预测工具对多肽的三维结构进行建模，并利用对接工具评估多肽与目标蛋白三维结构间的相互作用；

(3)搜索算法的评价函数为对接过程获取的RMSD与对接能量的比值，基于搜索算法对多肽序列进行迭代优化。

该方法的不足之处在于：

(1)初始模版多肽序列的构建具有盲目性，需要大量计算迭代优化出合理序列，探索的化学空间有限，新颖性不足；

(2)在搜索过程中以分子对接结果作为搜索算法的评价函数，需要大量计算资源，效率较低；

(3)随机的突变和交叉操作容易引入免疫原性的问题。

方法三：基于机器学习算法构建连续可微的潜空间；(参见《机器学习引导的多肽设计》)，包括：

(1)通过使用首先在UniProt数据库上预训练的模型、然后使用该模型并对其进行训练以从序列预测荧光，在迁移学习的帮助下生成了编码器神经网络；

(2)对嵌入空间进行基于梯度的优化，该梯度包含了荧光模型的预测概率；

(3)在训练编码器之后，选择当前不发荧光的序列作为种子蛋白质，并使用已训练编码器将其投射到嵌入空间(例如，2维空间)中。运行基于梯度的更新程序来改进嵌入，从而优化种子蛋白质的嵌入；

(4)计算导数并将其用于朝向更高功能的区域移动通过嵌入空间。优化的嵌入坐标在荧光功能方面得到了改进。一旦实现所需的功能水平，嵌入空间中的坐标就会被投射回蛋白质空间，从而产生具有所需功能的氨基酸序列。

该方法的不足之处在于：

(1)将编码器和解码器进行分别训练，一定程度上增加了模型训练的难度；

(2)该方法未涉及多肽与靶点蛋白相互作用评价；

(3)不涉及分子模拟相关的技术，难以评价设计的多肽的热力学和动力学性质。

因此，上述的现有技术确实有待提出更佳解决方案的必要性。

发明内容

针对以上现有自动化靶向多肽药物设计技术中的不足，为了设计与靶点蛋白有较高结合亲和力的新颖多肽分子，并且规避可能的潜在免疫原性风险，本发明的目的是提供一种基于强化学习和分子模拟的靶向多肽设计方法及系统，首先通过使人源蛋白质序列预训练变分自编码器，使模型“学习”到人源蛋白质中氨基酸的潜在分布表示，再基于迁移学习策略，通过人源多肽数据对模型进行微调，使模型在序列长度和氨基酸分布等方面更加符合人源多肽的性质，即得到一个连续可微的潜空间(Latent Space)；同时使用多肽-蛋白相互作用数据训练预测器，该预测器可以是基于多肽和靶点蛋白多维度信息融合的机器学习(如SVM、XGBoost、LightGBM等)或神经网络算法(RNN、CNN、Self-Attention等)；然后将预测器输出的值作为奖励函数，基于强化学习策略引导潜空间分布“定向”偏移，从潜空间中采样生成新的多肽序列；最后通过分子对接得到多肽-靶点蛋白复合物结构，并通过分子动力学模拟和自由能估计筛选得到候选多肽分子。

本发明一方面提供了一种基于强化学习和分子模拟的靶向多肽设计方法，包括：

S1，分别训练多肽分子生成器和多肽-靶点蛋白相互作用预测器，并对所述多肽分子生成器和多肽-靶点蛋白相互作用预测器联用进行强化学习获得多肽氨基酸分布的新潜空间；

S2，从新潜空间采样生成新颖多肽分子集合，并与靶点蛋白进行分子对接获取多肽-靶点蛋白复合物三维结构；

S3，基于所述多肽-靶点蛋白复合物三维结构进行分子动力学模拟，计算结合自由能，按照结合自由能从大大小排序并推荐分子。

优选的，所述S1包括：

S11，基于人源蛋白质和多肽序列数据训练多肽分子生成器，基于多肽分子生成器获取以高维正态分布表示的潜空间；

S12，基于多肽-靶点蛋白相互作用的数据集训练多肽-靶点蛋白相互作用预测器，并基于所述多肽-靶点蛋白相互作用预测器获取每个多肽-靶点蛋白对的结合强度或概率值；

S13，多肽分子生成器和多肽-靶点蛋白相互作用预测器进行联用和强化学习。

优选的，所述S11包括：

(1)基于变分自编码器(VAE)构建多肽分子生成器，包括：构建氨基酸词汇表，使用人源蛋白质数据作为预训练数据集，将所述预训练数据集映射到氨基酸词汇表获取氨基酸序列的嵌入向量x，变分自编码器(VAE)拟合训练数据得到后验分布q(z|x)，所述后验分布q(z|x)将观察作为输入并输出一组参数，一组所述参数用于指定潜变量z的条件分布；将潜变量z和一个服从标准高斯分布的随机噪声ε组合作为解码器的输入，观察p(x|z)的条件分布；

(2)将每个潜变量z作为一个样本z，对于每个样本z，分别确定样本z对应的正态分布的均值和标准差，然后积分域中所有高斯分布的累加形成原始分布P(x)作为VAE的目标函数为：

P(x)＝∫P(z)P(x|z)dz；(1)

(3)对所述VAE的目标函数进行最大似然估计，获得VAE模型的损失函数，其中所述损失函数公式为：

所述损失函数分为两部分，-D

(4)训练过程中使得损失函数最小化从而获得以高维正态分布表示的潜空间，所述潜空间用于反应原始数据分布；基于迁移学习策略，使用人源多肽数据集对预训练模型进行微调，使得所述潜空间分布在序列长度和氨基酸分布等方面更加符合人源多肽的性质和多肽氨基酸分布的规律，从而得到一个连续可微的潜空间(Latent Space)。

优选的，所述编码器和解码器为VAE架构，采用RNN、GRU、LSTM和Self-attention算法中的一种或多种。

优选的，所述S12包括：

(1)分别提取多肽和靶点蛋白质的基于序列和结构的特征，包括但不限于基于统计学的特征、生物化学特征、语言模型嵌入特征以及共进化特征；

(2)训练过程中，多肽-靶点蛋白相互作用预测器分别对所述多肽和靶点蛋白质的基于序列和结构的特征进行特征抽取，并进行信息交互，最终使得多肽-靶点蛋白相互作用预测器的损失函数最小化；

(3)基于多肽-靶点蛋白相互作用预测器对给定的多肽和靶点蛋白质的组合给出两者相互作用的强度或概率值。

优选的，所述S13包括：

(1)给定所研究的靶点蛋白质，从多肽分子生成器获得的所述潜空间中采样生成多肽分子，将所述多肽分子输入多肽-靶点蛋白相互作用预测器中输出多肽分子和靶点蛋白质相互作用的结合强度或者概率，将所述结合强度或者概率作为奖励函数；

(2)基于所述奖励函数的梯度反向传播使得多肽分子生成器的参数和权重进行反向传播，更新多肽分子生成器的参数，引导潜空间偏移，从而使得潜空间“定向”偏移为能够采样生成与给定靶点蛋白质具有较强相互作用的多肽氨基酸分布的新潜空间。

优选的，所述S2包括：

S21，从新潜空间中采样生成新颖多肽分子集合；

S22，使用结构预测器预测多肽分子集合中多肽分子的三维结构；

S23，获取靶点蛋白质的三维结构，并对靶点蛋白质的三维结构进行优化；

S24，将新颖多肽分子集合中的多肽分子与靶点蛋白质进行分子对接，包括：将多肽三维结构和靶点蛋白三维结构同时输入至分子对接器，最终获取多肽-靶点蛋白复合物三维结构。

优选的，所述S3包括：

S31，基于所述多肽-靶点蛋白复合物三维结构进行分子动力学模拟，包括：设置分子动力学模拟的时间和相关参数，获取复合物三维结构的动力学轨迹；

S32，基于所述多肽-靶点蛋白复合物三维结构在一定生物时间过程中的所述动力学轨迹计算所述三维结构结合自由能，结合自由能计算公式如下：

配体和受体的结合自由能遵循吉布斯自由能定义，即结合自由能ΔG

ΔG

≈ΔE

＝ΔE

S33，基于所述结合自由能从大到小对多肽分子集合中的多肽分子进行排序，并根据排序进行多肽分子推荐。

本发明的第二方面提供一种基于强化学习和分子模拟的靶向多肽设计系统，包括：

强化学习模块，用于分别训练多肽分子生成器和多肽-靶点蛋白相互作用预测器，并对所述多肽分子生成器和多肽-靶点蛋白相互作用预测器联用进行强化学习获得多肽氨基酸分布的新潜空间；

分子对接模块，用于从新潜空间采样生成新颖多肽分子集合，并与靶点蛋白进行分子对接获取多肽-靶点蛋白复合物三维结构；以及

分子动力学模块，用于基于所述多肽-靶点蛋白复合物三维结构进行分子动力学模拟，计算结合自由能，按照结合自由能从大大小排序并推荐分子。

本发明的第三方面在于提供多模态药物-蛋白质靶点相互作用预测方法在药物开发中的应用。

本发明提供的方法、系统以及应用，具有如下有益的技术效果：

本发明创新性地提出了基于强化学习和分子模拟技术的靶向多肽从头设计方法和装置，克服了传统多肽分子设计方法带来的化学空间小、容易引入免疫原性问题、难以评估和靶点蛋白亲和力以及专利空间不足等缺点，通过基于人源蛋白质数据和多肽数据训练生成器，保证了生成多肽分子符合人源多肽的某些氨基酸分布规律和生化性质，同时基于强化学习，将预先训练好的多肽-蛋白相互作用预测器作为奖励函数，根据所研究的不同靶向蛋白，对生成器的潜空间进行“定向”引导，进而从中采样生成能与靶点蛋白发生强相互作用的多肽分子，并通过分子对接和动力学模拟，进而评估结合自由能，最后给出推荐的多肽分子，为新型多肽分子的发现与设计带来极大的便利，降低了相关工作人员对领域知识的依赖，提高了新型药物设计和开发的效率，缩短研发周期，具有较高的实用价值。具体表现在：

(1)针对多肽设计过程的探索空间不足和潜在免疫原性的问题，没有采取氨基酸随机排列组合的方式，而是使用人源蛋白质和多肽数据，基于变分自编码器和迁移学习技术构造了一个连续可微的潜空间，该空间包含了人源多肽氨基酸的潜在分布规律；

(2)针对探索空间巨大和计算效率低下的问题，没有采取仅在个别氨基酸位点上进行优化的策略，而是基于强化学习技术和预先训练的多肽-靶点蛋白相互作用预测器对连续可微的潜空间进行“定向”引导，使其分布偏移为与靶点蛋白亲和力较高的氨基酸分布；

(3)针对分子对接效率低下和容易出现“假阳性”的问题，没有将分子对接的结果作为强化学习的奖励函数，而是基于机器学习的多肽-蛋白相互作用预测器作为奖励函数，该模型具有更高效率的和准确性；还使用分子动力学模拟的方法来评价分子对接后给出的多肽-蛋白复合物动力学轨迹，并计算自由能得分，进一步筛选与靶点具有更高亲和力的多肽分子，降低假阳性的概率。

附图说明

图1为根据现有技术的多肽和靶点蛋白的相互作用示意图；

图2为根据本发明优选实施例示出的基于强化学习和分子模拟的靶向多肽设计方法流程示意图；

图3为根据本发明优选实施例示出的基于强化学习和分子模拟的靶向多肽设计系统数据流图；

图4为根据本发明优选实施例示出的基于强化学习和分子模拟的靶向多肽设计系统架构图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例中使用的术语如下：

多肽药物：多肽是由氨基酸通过肽键相连构成的一类化合物，是生物体内普遍存在的化学活性物质。按国际药学界通行的分类法，氨基酸分子的数量大于100的药物属于蛋白质类药物，而氨基酸分子的数量小于100的药物属于多肽类药物。

免疫原性：指某抗原或其表位能作用于T细胞、B细胞的抗原识别受体，进而诱导机体产生体液和/或细胞介导免疫应答的特性。

VAE：变分自动编码器。

迁移学习：属于机器学习的一种研究领域。它专注于存储已有问题的解决模型，并将其利用在其他不同但相关问题上。

强化学习：又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。

实施例一

如图2所示，提供了一种基于强化学习和分子模拟的靶向多肽设计方法，包括：

S1，分别训练多肽分子生成器和多肽-靶点蛋白相互作用预测器，并对所述多肽分子生成器和多肽-靶点蛋白相互作用预测器联用进行强化学习获得多肽氨基酸分布的新潜空间；

作为优选的实施方式，所述S1包括：

S11，基于人源蛋白质和多肽序列数据训练多肽分子生成器，基于多肽分子生成器获取以高维正态分布表示的潜空间；

本实施例中，所述S11包括：

(1)基于变分自编码器(VAE)构建多肽分子生成器，包括：构建氨基酸词汇表，使用人源蛋白质数据作为预训练数据集，将所述预训练数据集映射到氨基酸词汇表获取氨基酸序列的嵌入向量x，变分自编码器(VAE)拟合训练数据得到后验分布q(z|x)，所述后验分布q(z|x)将观察作为输入并输出一组参数，一组所述参数用于指定潜变量z的条件分布，本实施例中，所述条件分布一般是高维正态分布；将潜变量z和一个服从标准高斯分布的随机噪声ε组合作为解码器的输入，观察p(x|z)的条件分布。

(2)VAE的理论基础是高斯混合模型，将每个潜变量z作为一个样本z，对于每个样本z，分别确定样本z对应的正态分布的均值和标准差，然后积分域中所有高斯分布的累加形成原始分布P(x)作为VAE的目标函数为：

P(x)＝∫P(z)P(x|z)dz；(1)

(3)对所述VAE的目标函数进行最大似然估计，获得VAE模型的损失函数，其中所述损失函数公式为：

所述损失函数分为两部分，-D

(4)训练过程中使得损失函数最小化从而获得以高维正态分布表示的潜空间，所述潜空间用于反应原始数据分布；基于迁移学习策略，使用人源多肽数据集对预训练模型进行微调，使得所述潜空间分布在序列长度和氨基酸分布等方面更加符合人源多肽的性质和多肽氨基酸分布的规律，从而得到一个连续可微的潜空间(Latent Space)。

作为优选的实施方式，所述编码器和解码器为VAE架构，采用RNN、GRU、LSTM和Self-attention算法中的一种或多种。

S12，基于多肽-靶点蛋白相互作用的数据集训练多肽-靶点蛋白相互作用预测器，并基于所述多肽-靶点蛋白相互作用预测器获取每个多肽-靶点蛋白对的结合强度或概率值；

本实施例中，所述S12包括：

(1)分别提取多肽和靶点蛋白质的基于序列和结构的特征，包括但不限于基于统计学的特征、生物化学特征、语言模型嵌入特征以及共进化特征；

(2)训练过程中，多肽-靶点蛋白相互作用预测器分别对所述多肽和靶点蛋白质的基于序列和结构的特征进行特征抽取，并进行信息交互，最终使得多肽-靶点蛋白相互作用预测器的损失函数最小化，所述多肽-靶点蛋白相互作用预测器使用的算法包括但不限于随机森林、DNN、RNN、CNN、Self-attention、GNN等。

(3)基于多肽-靶点蛋白相互作用预测器对给定的多肽和靶点蛋白质的组合给出两者相互作用的强度或概率值。

S13，多肽分子生成器和多肽-靶点蛋白相互作用预测器进行联用和强化学习；

本实施例中，所述S13包括：

(1)给定所研究的靶点蛋白质，从多肽分子生成器获得的所述潜空间中采样生成多肽分子，将所述多肽分子输入多肽-靶点蛋白相互作用预测器中输出多肽分子和靶点蛋白质相互作用的结合强度或者概率，将所述结合强度或者概率作为奖励函数；

(2)基于所述奖励函数的梯度反向传播使得多肽分子生成器的参数和权重进行反向传播，更新多肽分子生成器的参数，引导潜空间偏移，从而使得潜空间“定向”偏移为能够采样生成与给定靶点蛋白质具有较强相互作用的多肽氨基酸分布的新潜空间。

S2，从新潜空间采样生成新颖多肽分子集合，并与靶点蛋白进行分子对接获取多肽-靶点蛋白复合物三维结构，包括：

S21，从新潜空间中采样生成新颖多肽分子集合；

S22，使用结构预测器预测多肽分子集合中多肽分子的三维结构；本实施例中，结构预测器使用的工具或技术包括但不限于：同源建模、AlphaFold、RosettaFold等；

S23，从PDB数据库中获取靶点蛋白质的三维结构，并对靶点蛋白质的三维结构进行优化；

S24，将新颖多肽分子集合中的多肽分子与靶点蛋白质进行分子对接，包括：将多肽三维结构和靶点蛋白三维结构同时输入至分子对接器，最终获取多肽-靶点蛋白复合物三维结构；本实施例中，分子对接器可以使用的工具或技术包括但不限于HDOCK、ZDOCK、AutoDockCrankPep、PIPER等。

S3，基于所述多肽-靶点蛋白复合物三维结构进行分子动力学模拟，计算结合自由能，按照结合自由能从大大小排序并推荐分子。

本实施例中，S3包括：

S31，基于所述多肽-靶点蛋白复合物三维结构进行分子动力学模拟，包括：设置分子动力学模拟的时间和相关参数，获取复合物三维结构的动力学轨迹；本实施例中，分子动力学模拟使用的工具或技术包括但不限于GROMAX、NAMD、AMBER、DESMOND等；

S32，基于所述多肽-靶点蛋白复合物三维结构在一定生物时间过程中的所述动力学轨迹计算所述三维结构结合自由能，结合自由能计算公式如下：

配体和受体的结合自由能遵循吉布斯自由能定义，即结合自由能ΔG

ΔG

≈ΔE

＝ΔE

S33，基于所述结合自由能从大到小对多肽分子集合中的多肽分子进行排序，并根据排序进行多肽分子推荐。

实施例二

参见图3-4，一种基于强化学习和分子模拟的靶向多肽设计系统，包括：

强化学习模块101，用于分别训练多肽分子生成器和多肽-靶点蛋白相互作用预测器，并对所述多肽分子生成器和多肽-靶点蛋白相互作用预测器联用进行强化学习获得多肽氨基酸分布的新潜空间；

分子对接模块102，用于从新潜空间采样生成新颖多肽分子集合，并与靶点蛋白进行分子对接获取多肽-靶点蛋白复合物三维结构；以及

分子动力学模块103，用于基于所述多肽-靶点蛋白复合物三维结构进行分子动力学模拟，计算结合自由能，按照结合自由能从大大小排序并推荐分子。

实施例三

提供多模态药物-蛋白质靶点相互作用预测方法在潜在药物分子的搜索中的应用。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。