预训练模型的更新方法、装置及电子设备

技术领域

本公开涉及计算机技术领域，具体涉及自然语言处理、深度学习等人工智能技术领域，尤其涉及一种预训练模型的更新方法、装置及电子设备。

背景技术

随着计算机技术的发展，自然语言处理应用的也越来越广泛。

相关技术中，为了快速地获取与当前任务匹配的目标模型，可以基于当前任务对应的训练数据对预训练模型进行更新，以获取当前任务对应的目标模型。因此，如何减少对预训练模型进行更新的计算量，以节省计算资源成为重点的研究方向。

发明内容

本公开提供了一种预训练模型的更新方法、装置及电子设备。

本公开一方面，提供了一种预训练模型的更新方法，包括：

获取第一偏置，及所述第一偏置基于第一更新方向更新后的第二偏置；

分别基于所述第一偏置及所述第二偏置，对预训练模型中第一指定层的偏置参数进行更新，以获取第一更新模型及第二更新模型；

将当前任务对应的样本数据分别输入所述第一更新模型及所述第二更新模型，以获取所述第一偏置对应的第一奖励值及所述第二偏置对应的第二奖励值；

根据所述第一奖励值、所述第二奖励值、所述第一偏置、所述第二偏置及所述第一更新方向，生成第三偏置；

基于所述第三偏置，返回执行所述获取更新模型的操作，直至获取所述第一指定层的偏置参数在所述样本数据下的目标偏置。

本公开的另一方面，提供了一种预训练模型的更新装置，包括：

第一获取模块，用于获取第一偏置，及所述第一偏置基于第一更新方向更新后的第二偏置；

第二获取模块，用于分别基于所述第一偏置及所述第二偏置，对预训练模型中第一指定层的偏置参数进行更新，以获取第一更新模型及第二更新模型；

第三获取模块，用于将当前任务对应的样本数据分别输入所述第一更新模型及所述第二更新模型，以获取所述第一偏置对应的第一奖励值及所述第二偏置对应的第二奖励值；

生成模块，用于根据所述第一奖励值、所述第二奖励值、所述第一偏置、所述第二偏置及所述第一更新方向，生成第三偏置；

第四获取模块，用于基于所述第三偏置，返回执行所述获取更新模型的操作，直至获取所述第一指定层的偏置参数在所述样本数据下的目标偏置。

本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的预训练模型的更新方法。

本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，所述计算机指令用于使所述计算机执行上述一方面实施例所述的预训练模型的更新方法。

本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述一方面实施例所述的预训练模型的更新方法。

本公开提供的预训练模型的更新方法、装置及电子设备，可以先获取第一偏置，及所述第一偏置基于第一更新方向更新后的第二偏置，之后分别基于所述第一偏置及所述第二偏置，对预训练模型中第一指定层的偏置参数进行更新，以获取第一更新模型及第二更新模型，将当前任务对应的样本数据分别输入所述第一更新模型及所述第二更新模型，以获取所述第一偏置对应的第一奖励值及所述第二偏置对应的第二奖励值，并根据所述第一奖励值、所述第二奖励值、所述第一偏置、所述第二偏置及所述第一更新方向，生成第三偏置，最后基于所述第三偏置，返回执行所述获取更新模型的操作，直至获取所述第一指定层的偏置参数在所述样本数据下的目标偏置。由此，通过前向推断，可以较为快速的确定出预训练模型中线性处理层的偏置参数对应的目标偏置，涉及的数据量较少，从而节省了计算资源，同时也节省了确定目标偏置的时间，提高了效率，为工业化部署提供了条件。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开一实施例提供的一种预训练模型的更新方法的流程示意图；

图2为本公开一实施例提供的一种预训练模型的更新方法的流程示意图；

图3为本公开另一实施例提供的一种预训练模型的更新装置的结构示意图；

图4为用来实现本公开实施例的预训练模型的更新方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。

自然语言处理是用计算机来处理、理解以及运用人类语言(如中文、英文等)，它是计算机科学与语言学的交叉学科，又常被称为计算语言学。由于自然语言是人类区别于其他动物的根本标志。没有语言，人类的思维也就无从谈起，所以自然语言处理体现了人工智能的最高任务与境界，也就是说，只有当计算机具备了处理自然语言的能力时，机器才算实现了真正的智能。

深度学习是指多层的人工神经网络和训练它的方法。一层神经网络会把大量矩阵数字作为输入，通过非线性激活方法取权重，再产生另一个数据集合作为输出。通过合适的矩阵数量，多层组织链接一起，形成神经网络“大脑”进行精准复杂的处理，就像人们识别物体标注图片一样。

下面参考附图描述本公开实施例的预训练模型的更新方法、装置及电子设备。

本公开实施例的预训练模型的更新方法，可由本公开实施例提供的预训练模型的更新装置执行，该装置可配置于电子设备中。

图1为本公开实施例提供的一种预训练模型的更新方法的流程示意图。

如图1所示，该预训练模型的更新方法，可以包括以下步骤：

步骤101，获取第一偏置，及第一偏置基于第一更新方向更新后的第二偏置。

其中，第一偏置可以为随机初始化的向量，或者也可以为任意向量等，本公开对此不做限定。

可选的，可以使用非梯度优化算法采样一组低维向量作为第一偏置。或者，也可以为随机初始化的向量，或者也可以为任意向量等，本公开对此不做限定。

其中，第一更新方向可以为数值增大的方向，也可以为数值减小的方向。

可选的，可以将第一更新方向对应的预设的偏移量与第一偏置相加，得到第二偏置。或者，也可以使用非梯度优化算法基于第一更新方向，确定第二偏置。

其中，非梯度学习算法，可以包括自然进化策略(Natura l Evo l ut i onStrategy，NES),协方差矩阵自适应(Covar i ance Matr ix Adaptat ion，CMA))等进化算法；强化学习算法(Po l icy Grad ient)等。本公开对此不做限定。

步骤102，分别基于第一偏置及第二偏置，对预训练模型中第一指定层的偏置参数进行更新，以获取第一更新模型及第二更新模型。

其中，第一指定层可以为预训练模型中的线性处理层，比如全连接层等，本公开对此不做限定。

另外，预训练模型，可以为任意类型的预训练模型，比如可以为BERT(b id i rection ecoder representat i ons from transformers，双向编码器)或者也可以为ELMo(embedd i ngs from l anguage mode l s，语言模型嵌入)、transformer模型等等，本公开对此不做限定。

具体为，将第一偏置与第一指定层的偏置参数相加，以得到更新后的偏置参数，从而得到第一更新模型，将第二偏置与第一指定层的偏置参数相加，以得到更新后的偏置参数，从而得到第二更新模型。

可选的，由于预训练模型中距离输出层最近的线性处理层对模型的影响较大，因此，可以将预训练模型中与输出层距离最近的指定数量的线性处理层，确定为第一指定层。从而可以先对影响较大的线性处理层进行处理，从而可以提高获取当前任务对应的目标模型的效率。

其中，指定数量可以为1、2、3等。若指定数量可以为3，则可以将输出层距离最近的3个的线性处理层，确定为第一指定层。

可选的，也可以根据第一指定层在预训练模型中的层数，确定第一指定层对应的第一偏置和第二偏置。

另外，还可以根据第一指定层中偏置参数的维度，确定第一偏置和第二偏置的维度。第一偏置和第二偏置的维度可以与偏置参数的维度的相同，也可以小于偏置参数的维度。本公开对此不做限定。

步骤103，将当前任务对应的样本数据分别输入第一更新模型及第二更新模型，以获取第一偏置对应的第一奖励值及第二偏置对应的第二奖励值。

可以理解的是，本公开提供的预训练模型的更新方法，可以适用于任意对预训练模型进行微调获取任务对应的目标模型的场景。比如，当前的任务可以应用于文本分类、问答对的生成、文本理解、图像处理任务等等，本公开对此不做限定。

可以理解的是，当前的任务不同，对应的样本数据也不相同。比如，样本数据的类型可以为多种，比如，可以为文本数据，或者也可以为图像数据、音频数据等等。

可选的，可以将样本数据分别输入至第一更新模型及第二更新模型中，以经过第一更新模型及第二更新模型的处理，获取第一更新模型输出的第一预测标签，第二模型更新输出的第二预测标签，之后可以将第一预测标签及第二预测标签分别与该样本数据对应的标注标签进行匹配，以确定第一预测标签与标注标签之间的差异，第二预测标签与标注标签之间的差异，根据第一预测标签与标注标签之间的差异，确定第一偏置对应的第一奖励值，根据第二预测标签与标注标签之间的差异，确定第二偏置对应的第二奖励值。

比如，可以利用损失函数，确定出第一预测标签与标注标签间的第一损失值，第二预测标签与标注标签间的第二损失值，之后根据该第一损失值，确定出对应的第一奖励值，根据该第一损失值，确定出对应的第二奖励值。或者，也可以分别根据第一预测标签与标注标签间的差异、第二预测标签与标注标签间的差异，确定出准确率、综合评价指标等等，将其作为对应的奖励值等等，本公开对此不做限定。

步骤104，根据第一奖励值、第二奖励值、第一偏置、第二偏置及第一更新方向，生成第三偏置。

可选的，在指定数量的取值为1的情况下，根据第二奖励值与第一奖励值间的差值，确定第一更新方向的奖励值，之后根据第一更新方向的奖励值，从第一偏置及第二偏置中确定出参考偏置及第二更新方向，最后基于参考偏置及第二更新方向，生成第三偏置。由此，基于奖励值的变化，确定参考偏置和第二更新方向，进而基于第二更新方向和参考偏置，确定第三偏置，从而使生成的第三偏置更加准确。

其中，第一更新方向的奖励值可以反映，第一偏置变化为第二偏置对预训练模型来说是正向的激励，还是反向的激励。若第一更新方向的奖励值为大于0，则为正向的激励；若第一更新方向的奖励值为小于0，则为反向的激励。

若第一更新方向的奖励值大于0，表示第二偏置比第一偏置的质量好，更贴合当前的任务，因此，确定参考偏置为第二偏置。若第一更新方向的奖励小于0，表示第一偏置比第二偏置的质量好，更贴合当前的任务，因此，则确定参考偏置对第一偏置。

其中，若第一更新方向对应的奖励值大于0，则第一更新方向与第二更新方向相同，即第一更新方向为值增加的方向，则第二更新方向也为值增加的方向，若第一更新方向为值减小的方向，则第二更新方向也为值减小的方向。

若第一更新方向对应的奖励值小于0，则第一更新方向与第二更新方向相反。即第一更新方向为值增加的方向，则第二更新方向为值减小的方向，若第一更新方向为值较小的方向，则第二更新方向也为值增加的方向。

可选的，在确定参考偏置、第二更新方向之后，将参考偏置、第二更新方向输入预设的偏置生成模型中，以获取第三偏置。或者，可以确定参考偏置中每个元素在第二更新方向在上对应的偏移量，之后基于每个元素对应的偏移量及参考偏置，生成第三偏置。本公开对此不做限定。

其中，预设的偏置生成模型可以为基于非梯度学习算法得到的模型，可选的，第梯度学习算法可以包括：自然进化策略(Natura l Evo l ut ion Strategy，NES),协方差矩阵自适应(Covar i ance Matr ix Adaptat ion，CMA))等进化算法；强化学习算法(Po l icy Grad i ent)等。本公开对此不做限定。

可选的，在指定数量的取值大于1的情况下，根据第二奖励值与第一奖励值间的差值、及第一指定层中每个线性处理层与输出层间的距离，确定第一指定层中的每个线性处理层对应的第一更新方向的奖励值，之后根据每个线性处理层对应的第一更新方向的奖励值，从每个线性处理层对应的第一偏置及第二偏置中确定出每个线性处理层对应的参考偏置及第二更新方向，最后基于每个线性处理层对应的参考偏置及第二更新方向，生成每个线性处理层对应的第三偏置。

可选的，可以根据每个线性处理层与输出层之间的距离，确定每个线性输出层对应的权重，之后根据权重与第二奖励值与第一奖励值间的差值的乘积，确定第一指定层中的每个线性处理层对应的第一更新方向的奖励值。

其中，与输出层距离越近的线性处理层对预处理模型的影响越大，因此，与输出层距离越近的线性处理层对应的权重越大。

本公开实施例中，可以同时对多个线性处理层对应的偏置参数进行更新，且还可以根据每个线性处理层与输出层之间的距离，确定每个线性处理层对应的第一更新方向的奖励值，从而可以根据每个线性处理层的影响程度，确定多个同时处理的线性处理层中每个线性处理层对应的参考偏置及第二更新方向，从而可以较为准确地确定线性处理层对应的第三偏置，从而进一步提高了对预训练模型进行更新以获取当前任务对应的目标模型的效率。

步骤105，基于第三偏置，返回执行获取更新模型的操作，直至获取第一指定层的偏置参数在样本数据下的目标偏置。

其中，目标偏置，可以为该样本数据下第一指定层的偏置参数对应的较为准确的目标偏置，利用该目标偏置对第一指定层的偏置参数进行更新后生成的更新模型，可以对样本数据进行更为准确、可靠的处理等等。

举例来说，在确定出第三偏置之后，可以基于第三偏置对预训练模型中的第一指定层进行掩码，以获取第三模型，之后将样本数据输入第三更新模型中，以获取第三偏置对应的第三奖励值，之后根据第三奖励值，第三偏置，参考偏置及对应的奖励值，确定第四偏置，之后基于第四偏置返回执行获取更新模型的操作，直至获取第一指定层的偏置参数在样本数据下的目标偏置等等。本公开对此不做限定。

可选的，可以在达到指定训练步数时，停止执行上述获取奖励值的操作；或者，也可以在达到指定训练周期后，停止执行上述获取奖励值的操作，之后可以从训练过程中得到的多个偏置中确定出目标偏置等等，本公开对此不做限定。

可选的，在第n偏置对应的第n奖励值与相邻的前L个奖励值间的差值小于第一阈值的情况，确定第n-L偏置为第一指定层的偏置参数在样本数据下的目标偏置，其中,n为正整数，L为小于n的正整数。

其中，第一阈值可以为预先设置的，用于判断第n奖励值与相邻的前L个奖励值是否相近的数值，进而可以确定是否停止基于第n偏置获取更新模型的操作。比如，第一阈值可以为0.1,0.2等等。本公开对此不做限定。

举例来说，在n的取值为6的情况下，可以获取与第6奖励值相邻的前L个奖励值，其中，L的取值可以为1、2、3、4、5等等，比如L的取值为3，那么可以获取第3奖励值、第4奖励值及第5奖励值,若第6奖励值与第3奖励值、第4奖励值及第5奖励值之间的差值均小于第一阈值的情况下，确定第三偏置为目标偏置，本公开对此不做限定。

可以理解的是，在第n偏置对应的第n奖励值与相邻的前L个奖励值间的差值小于第一阈值的情况下，表示偏置已经迭代至最佳，且第n偏置与前L个偏置相似，甚至一致，因此，可以确定第n-L偏置为第一指定层在样本数据下的目标偏置。或者，也可确定第n-L偏置至第n偏置中任一偏置为目标偏置。本公开对此不做限定。

可以理解的是，本公开提供的预训练模型的更新方法，可以适用于任意预训练模型的更新场景中，比如可以应用于文本分类、问答对的生成、文本理解等等，本公开对此不做限定。

下面以应用于文本分类为例，对本公开提供的预训练模型的更新过程进行简单说明。

可以理解的是，首先获取第一偏置，所述第一偏置基于第一更新方向更新后的第二偏置，之后分别基于第一偏置及第二偏置，对预训练模型中第一指定层的偏置参数进行更新，以获取第一更新模型及第二更新模型，将文本分类任务对应的样本数据分别输入第一更新模型及第二更新模型，以获取根据第一更新模型确定的第一偏置对应的第一奖励值及根据第二更新模型确定的第二偏置对应的第二奖励值。之后根据第一奖励值、第二奖励值、第一偏置、第二偏置及第一更新方向，生成第三偏置，之后基于第三偏置对预训练模型中第一指定层的偏置参数进行更新，以获取第三更新模型，将文本分类任务对应的样本数据输入第三更新模型中，以获取第三偏置对应的第三奖励值，之后基于第三奖励值、第一奖励值及第二奖励值中较大的奖励值、较大的奖励值对应的偏置、第三偏置，生成第四偏置，基于第四偏置，返回执行获取更新模型的操作，直至获取第一指定层的偏置参数在样本数据下的目标偏置。

需要说明的是，上述示例只是示意性说明，不能作为对本公开实施例中预训练模型的更新过程的限定。

本公开实施例中，首先获取第一偏置，及第一偏置基于第一更新方向更新后的第二偏置，之后分别基于第一偏置及第二偏置，对预训练模型中第一指定层的偏置参数进行更新，以获取第一更新模型及第二更新模型，将当前任务对应的样本数据分别输入第一更新模型及第二更新模型，以获取第一偏置对应的第一奖励值及第二偏置对应的第二奖励值，并根据第一奖励值、第二奖励值、第一偏置、第二偏置及第一更新方向，生成第三偏置，最后基于第三偏置，返回执行获取更新模型的操作，直至获取第一指定层的偏置参数在样本数据下的目标偏置。由此，通过前向推断，可以较为快速的确定出预训练模型中线性处理层的偏置参数对应的目标偏置，涉及的数据量较少，从而节省了计算资源，同时也节省了确定目标偏置的时间，提高了效率，为工业化部署提供了条件。

图2为本公开实施例提供的一种预训练模型的更新方法的流程示意图。

如图2所示，该预训练模型的更新方法，可以包括以下步骤：

步骤201，获取第一偏置，及第一偏置基于第一更新方向更新后的第二偏置。

步骤202，分别基于第一偏置及第二偏置，对预训练模型中第一指定层的偏置参数进行更新，以获取第一更新模型及第二更新模型。

步骤203，将当前任务对应的样本数据分别输入第一更新模型及第二更新模型，以获取第一偏置对应的第一奖励值及第二偏置对应的第二奖励值。

步骤204，根据第一奖励值、第二奖励值、第一偏置、第二偏置及第一更新方向，生成第三偏置。

步骤205，基于第三偏置，返回执行获取更新模型的操作，直至获取第一指定层的偏置参数在样本数据下的目标偏置。

其中，步骤201至步骤205的具体实现形式，可参照本公开中其他各实施例中的详细描述，此处不再详细赘述。

步骤206，基于目标偏置，对第一指定层的偏置参数进行更新，获取第一目标模型。

可以理解的是，在确定了目标偏置之后，可以对预训练模型中的第一指定层的偏置参数进行更新，具体为将目标偏置与第一指定层的偏置参数相加，以获取第一指定层对应的更新后的偏置参数，从而可以获取第一目标模型。

步骤207，将当前任务对应的校验数据，输入第一目标模型，以获取校验数据对应的第一输出结果。

其中，校验数据可以为用于对根据第一指定层对应的更新后的偏置参数生成的第一目标模型，是否可以准确地预测出校验数据对应的结果进行验证的数据。

可以理解的是，当前任务不同，对应的校验数据也不同。比如，当前的任务为文本分类，则对应的校验数据可以为文本数据。若当前的任务为文本识别，则对应的校验数据可以为包含文本的图像数据等。本公开对此不做限定。

需要说明的是，检验数据与样本数据可以相同，或者，校验数据可以包含样本数据，或者，校验数据可以不包含样本数据。本公开对此不做限定。

步骤208，在第一输出结果与校验数据对应的标注结果间的第一匹配度小于第二阈值的情况下，确定第一目标模型中偏置参数待更新的第二指定层。

其中，第二阈值可以为80％、50％等，本公开对此不做限定。在第一匹配度小于第二阈值的情况下，表示生成的第一目标模型的性能较差，因此，可以固定第一至顶层对应的更新后的偏置参数，并继续对第一目标模型中的其他线性处理层对应的偏置参数进行更新。

可选的，可以采样交叉熵损失函数，确定第一输出结果与校验数据对应的标注结果间的第一匹配度，或者，可以采用与当前任务匹配的损失值计算方式，确定第一输出结果与校验数据对应的标注结果间的第一匹配度。本公开对此不做限定。

可选的，第二指定层可以为与第一指定层相邻的一个或多个线性处理层。或者，第二指定层也可以为与第一指定层之间的间隔为预设间隔的线性处理层。

比如，预训练模型中，线性处理层的数量为24层，第一指定层为第24层，预设间隔为2，第二指定层的数量为3个，则第二指定层为第19层、第20层、第21层。

步骤209，基于第二指定层与第一指定层在预训练模型中的层数差异返回执行上述获取第一偏置及第二偏置的操作，直至确定第二指定层的偏置参数在样本数据下的目标偏置。

举例来说，在确定与第一指定层在预训练模型中的层数差异之后，即可确定第二指定层，进而生成第二指定层对应的第一偏置及第二偏置，之后确定第二指定层在样本数据下的目标偏置，之后基于第二指定层对应的目标偏置对第二指定层对应的偏置参数进行更新，以获取第二目标模型，之后将当前任务对应的校验数据，输入第二目标模型，以获取校验数据对应的第三输出结果，在第三输出结果与校验数据对应的标注结果间的第一匹配度小于第一阈值的情况下，确定第二目标模型中的第三指定层，直至校验数据对应的第一匹配度大于第一阈值的情况下，确定对应的模型为当前任务对应的目标模型。

可以理解的是，本公开提供的预训练模型的更新方法，可以适用于任意预训练模型的更新场景中，比如可以应用于文本分类、问答对的生成、文本理解等等，本公开对此不做限定。

本公开实施例中，获取第一指定层的偏置参数在样本数据下的目标偏置之后，还可以基于目标偏置，对第一指定层的偏置参数进行更新，获取第一目标模型，将当前任务对应的校验数据，输入第一目标模型，以获取校验数据对应的第一输出结果；在第一输出结果与校验数据对应的标注结果间的第一匹配度小于第二阈值的情况下，确定第一目标模型中偏置参数待更新的第二指定层，最后基于第二指定层与第一指定层在预训练模型中的层数差异返回执行上述获取第一偏置及第二偏置的操作，直至确定第二指定层的偏置参数在样本数据下的目标偏置。由此，可以在第一目标模型对应的性能不理想的情况下，确定第一目标模型中的第二指定层，进而确定第二指定层对应的目标偏置，逐步提高当前任务对应的模型的性能，从而可以前向推断，较为快速的确定出预训练模型中线性处理层对应的目标偏置，涉及的数据量较少，从而节省了计算资源，提高了生成的当前任务对应的目标模型的效率，为工业化部署提供了条件。

为了实现上述实施例，本公开还提出一种预训练模型的更新装置。

图3为本公开实施例提供的一种预训练模型的更新装置的结构示意图。

如图3所示，该预训练模型的更新装置300，包括：

第一获取模块310，用于获取第一偏置，及第一偏置基于第一更新方向更新后的第二偏置；

第二获取模块320，用于分别基于第一偏置及第二偏置，对预训练模型中第一指定层的偏置参数进行更新，以获取第一更新模型及第二更新模型；

第三获取模块330，用于将当前任务对应的样本数据分别输入第一更新模型及第二更新模型，以获取第一偏置对应的第一奖励值及第二偏置对应的第二奖励值；

生成模块340，用于根据第一奖励值、第二奖励值、第一偏置、第二偏置及第一更新方向，生成第三偏置；

第四获取模块350，用于基于第三偏置，返回执行获取更新模型的操作，直至获取第一指定层的偏置参数在样本数据下的目标偏置。

可选的，还包括：

第一确定模块，用于将预训练模型中与输出层距离最近的指定数量的线性处理层，确定为第一指定层。

可选的，生成模块340，具体用于：

在指定数量的取值为1的情况下，根据第二奖励值与第一奖励值间的差值，确定第一更新方向的奖励值；

根据第一更新方向的奖励值，从第一偏置及第二偏置中确定出参考偏置及第二更新方向；

基于参考偏置及第二更新方向，生成第三偏置。

可选的，生成模块340，具体用于：

在指定数量的取值大于1的情况下，根据第二奖励值与第一奖励值间的差值、及第一指定层中每个线性处理层与输出层间的距离，确定第一指定层中的每个线性处理层对应的第一更新方向的奖励值；

根据每个线性处理层对应的第一更新方向的奖励值，从每个线性处理层对应的第一偏置及第二偏置中确定出每个线性处理层对应的参考偏置及第二更新方向；

基于每个线性处理层对应的参考偏置及第二更新方向，生成每个线性处理层对应的第三偏置。

可选的，第四获取模块350，具体用于：

在第n偏置对应的第n奖励值与相邻的前L个奖励值间的差值小于第一阈值的情况，确定第n-L偏置为第一指定层的偏置参数在样本数据下的目标偏置，其中,n为正整数，L为小于n的正整数。

可选的，还包括：

第五获取模块，用于基于目标偏置，对第一指定层的偏置参数进行更新，获取第一目标模型；

第六获取模块，用于将当前任务对应的校验数据，输入第一目标模型，以获取校验数据对应的第一输出结果；

第二确定模块，用于在第一输出结果与校验数据对应的标注结果间的第一匹配度小于第二阈值的情况下，确定第一目标模型中偏置参数待更新的第二指定层；

第三确定模块，用于基于第二指定层与第一指定层在预训练模型中的层数差异返回执行上述获取第一偏置及第二偏置的操作，直至确定第二指定层的偏置参数在样本数据下的目标偏置。

本公开实施例中的上述各模块的功能及具体实现原理，可参照上述各方法实施例，此处不再赘述。

本公开实施例的预训练模型的更新装置，可以先获取第一偏置，及第一偏置基于第一更新方向更新后的第二偏置，之后分别基于第一偏置及第二偏置，对预训练模型中第一指定层的偏置参数进行更新，以获取第一更新模型及第二更新模型，将当前任务对应的样本数据分别输入第一更新模型及第二更新模型，以获取第一偏置对应的第一奖励值及第二偏置对应的第二奖励值，并根据第一奖励值、第二奖励值、第一偏置、第二偏置及第一更新方向，生成第三偏置，最后基于第三偏置，返回执行获取更新模型的操作，直至获取第一指定层的偏置参数在样本数据下的目标偏置。由此，通过前向推断，可以较为快速的确定出预训练模型中线性处理层的偏置参数对应的目标偏置，涉及的数据量较少，从而节省了计算资源，同时也节省了确定目标偏置的时间，提高了效率，为工业化部署提供了条件。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图4所示，设备400包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

设备400中的多个部件连接至I/O接口404，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如预训练模型的更新方法。例如，在一些实施例中，预训练模型的更新方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时，可以执行上文描述的预训练模型的更新方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行预训练模型的更新方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(AS I C)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtua l Pr i vate Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

本公开的技术方案，可以先获取第一偏置，及所述第一偏置基于第一更新方向更新后的第二偏置，之后分别基于所述第一偏置及所述第二偏置，对预训练模型中第一指定层的偏置参数进行更新，以获取第一更新模型及第二更新模型，将当前任务对应的样本数据分别输入所述第一更新模型及所述第二更新模型，以获取所述第一偏置对应的第一奖励值及所述第二偏置对应的第二奖励值，并根据所述第一奖励值、所述第二奖励值、所述第一偏置、所述第二偏置及所述第一更新方向，生成第三偏置，最后基于所述第三偏置，返回执行所述获取更新模型的操作，直至获取所述第一指定层的偏置参数在所述样本数据下的目标偏置。由此，通过前向推断，可以较为快速的确定出预训练模型中线性处理层的偏置参数对应的目标偏置，涉及的数据量较少，从而节省了计算资源，同时也节省了确定目标偏置的时间，提高了效率，为工业化部署提供了条件。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。