一种基于联邦学习和神经网络的抗病毒肽预测方法及系统

技术领域

本发明属于生物肽识别技术领域，具体涉及一种基于联邦学习和神经网络的抗病毒肽预测方法及系统。

背景技术

近年来，大量基于机器学习和深度学习的抗病毒肽预测模型逐步被开发。基于机器学习的模型，能够在较小的数据集上取得不错的预测效果。

随着测序数据量的快速增长，机器学习在预测精准度和泛化能力上略显不足；基于深度学习的模型在面对海量数据时，能够获得精准的预测效果，但这些模型大都需要集中多个独立的数据集进行训练，在使用数据时难免会出现数据泄露的问题，有可能被恶意窃取利用。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于联邦学习和神经网络的抗病毒肽预测方法及系统，能够较大限度避免数据泄露，并且能够准确快速的预测，用于解决因为数据隐私性而不可共享导致各数据拥有方出现数据孤岛，以及传统方法中将特征提取和模型学习分开进行产生重复工作量的技术问题。

本发明采用以下技术方案：

一种基于联邦学习和神经网络的抗病毒肽预测方法，包括以下步骤：

S1、客户端利用肽序列数据对预测模型进行训练，得到预测模型的梯度和参数进行加密；

S2、中间服务器对步骤S1加密后预测模型的梯度和参数进行聚合形成中间模型，中间模型将梯度和参数传递给客户端进行更新；

S3、重复步骤S1和步骤S2，利用二元交叉熵损失函数对中间模型进行评估，得到共享模型并传递给客户端；将待预测的肽序列输入客户端中，经预处理后进行独热编码，再将独热编码输入预测模型，输出预测结果完成抗病毒肽预测。

具体的，将不同长度的肽序列按照独热码编码规则进行编码，得到独热码；将独热码分别送入包含第一神经网络和第二神经网络的双通道深度神经网络中，将得到的对应特征进行融合，将融合后的特征作为输入，构造两个全连接层和一个Softmax层用于识别抗病毒肽。

进一步的，编码前，先将肽序列中的冗余序列和相似性大于90％的序列删除。

进一步的，肽序列的长度为L，经过编码得到维度为L*20的二进制矩阵，20表示氨基酸的种类。

进一步的，第一神经网络为循环神经网络的变体，结合两个循环神经网络的输出，一个从右到左处理序列，一个从左到右处理序列；两个循环神经网络均包含多个LSTM单元，LSTM单元用于记住任意长度序列数据的值，将输入序列的长度作为时间步长，得到两个方向上最终时间步长的输出；LSTM单元的数量由输入序列长度动态调整，每个LSTM单元包括输入门、遗忘门和输出门，选择隐藏状态向量h

进一步的，第二神经网络包括特征提取层、平均块层和卷积层；

特征提取层使用20*20的Blosum矩阵初始化20个20*1的卷积核，通过对输入的变长独热码进行卷积操作构建位置特异性打分矩阵；

平均块层用于对位置特异性打分矩阵矩阵进行平均分块，将可变的进化数据转换为固定长度的进化特征，通过设置width＝4，将20*L的位置特异性打分矩阵分成四部分，每一部分按照算法取平均值，最终得到20*4的平均块矩阵；

卷积层用于对得到的块进行卷积运算，获得100维的输出，并在输出后添加一个丢弃层，将keep-prob设置为0.8。

更进一步的，卷积操作为：

其中，X为输入数据，i为位置索引，k为核的索引，W

进一步的，全连接层具体为：

fulCN(X)＝ReLU(WX+b)

其中，X为输入数据，W为M×N的权重矩阵，b为n维偏差向量，fulCN为全连接函数，ReLU为激活函数；

Softmax层具体为：

其中，V为给定的逻辑向量，i和k为位置索引，K＝2。

进一步的，Paillier加密具体为：

每个研究机构参与方分别用服务器公布的公钥加密预测模型的各项参数，并各自将模型参数传给中间服务器；中间服务器利用私钥对收到的加密参数进行解密，模型更新对应的输入参数；选取两个大质数p,q，且p≈q；计算N＝p×q，且λ＝lcm(p-1,q-1)，lcm()为最小公倍数函数或λ＝φ(N)，φ()为欧拉函数；选取一个随机数g；公钥PK为(N,g)，私钥SK为(φ(N),μ)，μ＝φ(N)

第二方面，本发明实施例提供了一种基于联邦学习和神经网络的抗病毒肽预测系统，包括：

加密模块，用于客户端利用肽序列数据对预测模型进行训练，得到预测模型的梯度和参数进行加密；

聚合模块，用于中间服务器对加密模块加密后预测模型的梯度和参数进行聚合形成中间模型，中间模型将梯度和参数传递给客户端进行更新；

预测模块，用于重复执行加密模块和聚合模块，利用二元交叉熵损失函数对中间模型进行评估，得到共享模型并传递给客户端；将待预测的肽序列输入客户端中，经预处理后进行独热编码，再将独热编码输入预测模型，输出预测结果完成抗病毒肽预测。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于联邦学习和神经网络的抗病毒肽预测方法，采用双通道深度神经网络对变长肽序列进行预测，在处理序列数据时不需要单独进行特征提取，而是使用两个通道分别从序列和进化水平分析肽序列，将特征提取嵌入神经网络中，在训练模型时可以动态的优化特征提取方法；本发明方法比需要将特征提取和模型学习分开的传统方法更加简洁高效；并且利用联邦学习将数据孤岛连接，在保证数据隐私安全性的前提下，充分利用零散数据提高预测准确率，解决了在生物肽识别技术领域的深度学习应用场景下，因为数据隐私性而不可共享导致各数据拥有方出现数据孤岛的技术问题。

进一步的，将不同长度的肽序列按照独热码编码规则进行编码，解决了分类器不好处理数据属性的问题，在一定程度上也起到了扩充特征的作用。将独热码导入第一神经网络，双向循环神经网络可以捕捉长期依赖关系，更好的利用了序列数据；第二神经网络通过构建动态神经网络来分析局部进化信息，将两个神经网络的输出融合，之后通过两个全连接层和一个Softmax层一起作用于抗病毒肽的预测，此方法远优于现有的识别抗病毒肽的预测方法。

进一步的，CD-HIT是用于蛋白质序列或核酸序列聚类的工具，根据序列的相似度对序列进行聚类以去除冗余的序列，一般用于构建非冗余的数据集用于后续的实验分析。这里使用CD-HIT删除数据集中冗余序列和相似性大于90％的序列，有利于数据的预处理，以及后期的模型训练。

进一步的，将肽序列转换为二进制矩阵，通过转换数据的格式，方便作为训练数据输入神经网络进行训练。

进一步的，第一神经网络中使用的双向循环神经网络可以捕捉长期依赖关系，更好的利用了序列数据，有利于抗病毒肽的识别。

进一步的，第二神经网络使用Blosum矩阵初始化卷积核，利用卷积核来提取特征，通过构建动态神经网络来分析肽序列的进化信息，有利于抗病毒肽的识别。

进一步的，将两个神经网络输出的特征进行融合，之后通过两个全连接层和一个Softmax层一起作用于抗病毒肽的预测，此方法远优于现有的识别抗病毒肽的预测方法。

进一步的，使用Paillier加密方法，数据本身并不会以明文形式被传输，因此几乎不可能发生原始数据层面的泄露，保证了数据隐私的安全。使用了Paillier加密算法的联邦学习，可以保证数据参与方不交换数据的情况下来训练神经网络模型，实现数据隐私保护的目的。

可以理解的是，上述第二方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

综上所述，本发明能够从序列和进化水平两方面分析数据，将特征提取嵌入神经网络中，不需要单独进行特征提取，大大降低了训练成本，并且能够快速准确的识别抗病毒肽；另一方面利用联邦学习将数据孤岛连接，在保证数据隐私安全性的前提下，充分利用零散数据提高预测准确率。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明实施例的流程示意图；

图2为本发明训练的算法流程模型结构图；

图3为本发明第一神经网络的模型图；

图4为本发明第二神经网络的模型图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

联邦学习是一种保护隐私的分布式机器学习，其主要思想是建立一个基于数据集的机器学习模型，这些数据集分布在多个设备上，可以有效防止数据泄漏。因此，本发明选择将联邦学习与深度学习结合，将每个独立的数据集分布在不同服务器上，每个服务器独立训练神经网络模型，之间不需要进行直接的数据交换，只进行模型参数的加密聚合，在不影响预测精准度的前提下能够有效地保护私有数据不被泄露。

本发明提供了一种基于联邦学习和神经网络的抗病毒肽预测方法，采用多个独立的数据集分别进行预测模型的训练，其模型通过构建双通道深度神经网络，从原始变长序列数据中提取不同维度的特征，并且从序列数据和进化水平两个方面分析肽段序列，最终将得到的模型梯度和参数通过加密技术传输给中间服务器；服务器在不接触数据本身的情况下将传递来的模型参数进行聚合形成中间模型；服务器将中间模型的参数传递给参与方，完成参与方模型的更新，循环上述步骤，最终得到性能良好的共享模型，使用共享模型对待预测的肽序列进行预测；将联邦学习和神经网络相结合，在保证数据安全性的前提下，能够准确快速的预测肽段的抗病毒活性，能够较大限度避免数据泄露，并且能够准确快速的预测。

请参阅图1，本发明一种基于联邦学习和神经网络的抗病毒肽预测方法，包括以下步骤：

S1、将模型的训练分布在多个客户端中，各个客户端分别拥有一部分肽序列数据，客户端利用自己的数据集进行预测模型的训练，将预测模型的梯度和参数通过加密技术传输给中间服务器；

S101、对数据集进行预处理，使用CD-HIT软件删除冗余序列和相似性大于90％的序列；

S102、将步骤S101中获得的肽序列进行独热码编码；

对长度不同的肽序列直接按照独热码编码规则进行编码得到独热码。定义待预测的肽序列长度为L，经过编码可以得到维度为L*20的二进制矩阵，其中20表示氨基酸的种类。

S103、将步骤S102中获得的数据导入双通道深度神经网络进行预测，输出预测结果并保存模型参数。

将联邦学习与神经网络相结合，通过构建双通道深度神经网络，分别从序列和进化的角度分析，实现对变长序列的识别与预测。联邦学习解决了在使用人工智能时数据隐私面临的安全问题，并且因为采用了多数据段传输参数的方式，可以传入更大的数据量，在算法效果不变的前提下可以进行更多的参数运算。

请参阅图2，预测过程如下：

S1031、将步骤S102中获得的独热码导入第一神经网络和第二神经网络，分别得到对应的特征输出，并且可以通过设置丢弃层防止模型过度拟合；

请参阅图3，第一神经网络是循环神经网络(RNN)的变体，其结合了两个RNN的输出，一个从右到左处理序列，并一个从左到右处理序列。两个RNN中包含很多LSTM单元，它们可以记住任意长度序列数据的值，将输入序列的长度作为时间步长，得到两个方向上最终时间步长的输出；其中，LSTM单元的数量由输入序列长度动态调整，每个LSTM单元包括输入门、遗忘门、输出门，公式如下：

f

i

o

其中，x

在第一神经网络中，选择h

请参阅图4，第二神经网络是一种动态卷积神经网络，用于处理特定位置的评分矩阵，是卷积神经网络(CNN)的变体。其中包括特征提取层、平均块层、卷积层。

在特征提取层，使用20*20的Blosum矩阵将20个20*1的卷积核进行初始化，通过对输入的变长独热码进行卷积操作得到位置特异性打分矩阵PSSM，卷积操作公式如下：

其中，M为输入数据，i为位置索引，k为核的索引。每个卷积核W

在平均块层中，对从特征提取层得到的位置特异性打分矩阵(PSSM)矩阵进行平均分块，将可变的进化数据转换为固定长度的进化特征。其中，PSSM矩阵是反映生物序列进化信息的常用方法。对于一个长度为L的序列，PSSM可以用20*L的矩阵表示。

根据输入长度动态生成块，并计算每个块的平均值，具体的伪代码实现如下：

function average_block(list，width)

while t

block＝length(t

for s＝1:width do

nt

end for

new_list.add(nt

end while

reture new_list

end function。

通过设置width＝4，将20*L的PSSM分成四部分，每一部分按照算法取平均值，最终得到20*4的平均块矩阵。

在卷积层中，对上述得到的块进行卷积运算，公式如下：

其中，X为输入数据，i为位置索引，k为核的索引。每个卷积核W

ReLU为激活函数，可以帮助克服梯度消失问题，加快训练速度，其公式如下：：

在第二神经网络中获得100维的输出。

同样在输出之后添加了一个丢弃层，将keep-prob设置为0.8，最终得到对应的特征数据。

S1032、将步骤S1031得到的特征进行融合，方便后续运算；

S1033、将步骤S1032得到的融合后的特征作为输入，构造两个全连接层和一个Softmax层来识别抗病毒肽。

全连接层根据序列和评价特征的非线性组合来构造，其公式表达如下：

fulCN(X)＝ReLU(WX+b)

其中，X是输入数据，W是M×N的权重矩阵，b是n维偏差向量。

Softmax层将一个数值向量归一化为一个概率分布向量，且各个概率之和为1；Softmax函数一般作为神经网络的最后一层，接受来自上一层网络的输入值，然后将其转化为概率，公式表达如下：

其中，V表示给定的逻辑向量，i和k表示位置索引，且K＝2。

本发明应用于联邦学习的权重之类的参数在正向和反向传递的过程中会遇到安全性问题，综合考虑数据安全性及应用场景的特点，采用Paillier同态加密算法对权重之类的参数进行加密，并且在不需要解密密钥的情况下对密文进行有效操作，包括加法运算以及乘法运算。在此过程，参与方的数据不会传输到服务器，防止数据泄露问题的发生。

使用Paillier同态加密方式对应用于联邦学习的权重等参数进行加密，Paillier加密算法是一种公钥加密算法，具体使用方式为：

每个研究机构参与方分别用服务器公布的公钥加密预测模型的各项参数，并各自将模型参数传给中间服务器；

服务器利用私钥对收到的加密参数进行解密，模型更新对应的输入参数；

选取两个大质数p,q，且p≈q；

计算N＝p×q，且λ＝lcm(p-1,q-1)，其中lcm()为最小公倍数函数或λ＝φ(N)，φ()为欧拉函数；

选取一个随机数g；

公钥PK为(N,g)，私钥SK为(φ(N),μ)，μ＝φ(N)

加密：B随机选取R，C＝g

解密：A得到B的C，M＝L(C

其中，C是加密后的数据，R是随机数且满足gcd(r,n)＝1，M表示原文。

S2、对步骤S1得到的加密后的模型参数进行聚合形成中间模型，之后将中间模型的参数传递给各个客户端，完成客户端模型的更新。

模型参数聚合的方法如下：

首先中心服务器将模型参数初始化，之后需要执行若干轮的参数聚合，每轮选取至少1个至多k个客户端参与训练，在第t轮，服务器会将本轮模型W

其中，n

客户端的计算量由三个关键参数控制：

C：指每一轮中参与计算的客户端比例；

S：指每一轮中，每个客户端在本地数据集上进行训练的步骤数；

B：指客户端更新时使用的batch的大小。当B＝∞时，表示完整的本地数据集被当作一个批量来处理。

设置C＝1，S＝1和B＝∞，即在每一轮，各个客户端一次性将所有本地数据投入训练，在所有客户端拥有的全部数据上使用全批量(full-batch)梯度下降。

S3、循环步骤S1～S2，中间服务器通过二元交叉熵损失函数来评估模型的性能，最终得到一个性能良好的共享模型。每个客户端都会得到同样的共享模型，且客户端之间不交流不依赖，在预测时，每个客户端都可以独立预测。在客户端中输入待预测的肽序列，经过预处理之后进行独热编码，之后将独热码输入预测模型进行预测并输出预测结果。

本发明再一个实施例中，提供一种基于联邦学习和神经网络的抗病毒肽预测系统，该系统能够用于实现上述基于联邦学习和神经网络的抗病毒肽预测方法，具体的，该基于联邦学习和神经网络的抗病毒肽预测系统包括加密模块、聚合模块以及预测模块。

其中，加密模块，用于客户端利用肽序列数据对预测模型进行训练，得到预测模型的梯度和参数进行加密；

聚合模块，用于中间服务器对加密模块加密后预测模型的梯度和参数进行聚合形成中间模型，中间模型将梯度和参数传递给客户端进行更新；

预测模块，用于执行加密模块和聚合模块，利用二元交叉熵损失函数对中间模型进行评估，得到共享模型并传递给客户端；将待预测的肽序列输入客户端中，经预处理后进行独热编码，再将独热编码输入预测模型，输出预测结果完成抗病毒肽预测。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了进一步说明，本实施中，采用了Nishant Thakur等人研究的数据集[1]([1]Thakur N,Qureshi A,Kumar M.AVPpred:collection and prediction of highlyeffective antiviral peptides.Nucleic Acids Res.2012；40(Web Server issue):W199-W204.doi:10.1093/nar/gks450)。我们使用的数据集包含604个抗病毒肽和1056个非抗病毒肽，其中544个抗病毒肽和951个非抗病毒肽被划分为训练集，剩余的60个抗病毒肽和105个非抗病毒肽划分为测试集。

步骤1、将训练集中的1495个肽随机打乱，平均分成5部分，每部分含299个样本，分别作为五个客户端的训练数据。每个客户端首先对输入的肽序列筛选以及独热码编码之后，再进行训练。在训练阶段通过交叉验证方法来寻找最佳的超参数值。设置batch-size为128，训练时期(epoch)为20，使用Adam优化器和二元交叉熵。训练完成后，各客户端将模型参数加密上传至中间服务器。

步骤2、中间服务器对步骤1得到的加密后的模型参数进行聚合形成中间模型，之后将中间模型的参数传递给各个客户端，完成客户端模型的更新。

步骤3、循环步骤1～2，最终得到一个性能良好的共享模型，同时每个客户端都会得到同样的共享模型。选择其中一个客户端，将测试集输入，共享模型在测试集上得到的性能参数如表1所示：

通过表1可知，采用本实施例，将联邦学习和神经网络相结合，最终得到的结果准确率大大提高，能够在保护数据隐私的情况下有效的利用零散数据，并且能够在训练学习模型时动态的调整特征提取方法，为抗病毒肽的识别提供了快速又准确的方法，方便现代医疗的研究以及治疗。

综上所述，本发明一种基于联邦学习和神经网络的抗病毒肽预测方法及系统，将联邦学习和神经网络相结合，在保证数据安全性的前提下，能够准确快速的识别抗病毒肽；通过联邦学习解决了在使用人工智能时数据隐私面临的安全问题，并且因为采用了多数据段传输参数的方式，可以传入更大的数据量，在算法效果不变的前提下进行更多的参数运算；构建一个双通道深度神经网络，其中包括第一神经网络和第二神经网络，从原始变长序列数据中提取不同维度的特征；在第一神经网络中，使用双向递归神经网络(BLSTM)从独热编码中提取序列特征，BLSTM能够捕捉序列数据之间的依赖关系，从而有效地提取数据；在第二神经网络中，使用动态卷积神经网络提取进化特征。最终通过构建两个全连接层把第一神经网络和第二神经网络连接，最终完成对抗病毒肽的预测和识别。相比于其他模型，该模型无需按照特征提取方法来进行特征提取便可处理序列数据，并且可以从序列数据和进化水平两个方面分析肽序列，大大提高了预测的速度和准确度。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。