用户模型预训练方法、装置、电子设备及存储介质

技术领域

本申请实施例涉及模型训练技术领域，更具体地，涉及一种用户模型预训练方法、装置、电子设备及存储介质。

背景技术

用户模型作为一种提取用户特征或兴趣的关键技术被广泛应用于各种面向用户的任务中，例如，用户画像分析、个性化推荐和点击率预测等。目前已有许多方法基于用户的历史行为数据和特定任务的有标签数据对用户进行建模。尽管这些方法在各种任务上取得了显著的效果，但它们大多依赖于大量的有标签数据来进行有监督的模型训练，这使得它们往往遭受数据稀疏性问题的困扰。当任务相关的有标签数据有限时，这些方法通常难以训练得到一个准确的用户模型。为解决这一问题，通常是将“预训练-微调”范式应用于用户模型的训练，即，首先在大量的无标签用户行为数据上对用户模型进行预训练，然后再使用下游任务的有标签数据对模型进行微调。预训练所得的用户模型为下游任务模型提供了良好的初始化参数，且其生成的用户表征能在一定程度上反映用户的综合特征或兴趣，从而有助于下游任务的学习。

发明内容

本申请实施例提供一种用户模型预训练方法、装置、电子设备及存储介质，以提升预训练所得的用户模型在下游任务上的性能。

第一方面，本申请实施例提供一种用户模型预训练方法，该方法包括：获取对多个用户行为序列分别进行显式数据增强处理后的增强序列，每个用户行为序列对应至少两个增强序列；将每个增强序列分别输入用户模型至少两次，得到每个增强序列对应的至少两个用户表征，其中，用户模型用于提取增强序列中的用户表征；基于最困难负样本对，对所有增强序列对应的用户表征进行多对级排序，其中，最困难负样本对包括来自于不同的增强序列且相似度差异最小的两个用户表征；基于排序结果，对所述用户模型进行预训练。

第二方面，本申请实施例提供一种用户模型预训练装置，该装置包括：显式数据增强模块，用于获取对多个用户行为序列分别进行显式数据增强处理后的增强序列，每个用户行为序列对应至少两个增强序列；隐式数据增强模块，用于将每个增强序列分别输入用户模型至少两次，得到每个增强序列对应的至少两个用户表征，其中，用户模型用于提取增强序列中的用户表征；用户表征排序模块，用于基于最困难负样本对，对所有增强序列对应的用户表征进行多对级排序，其中，最困难负样本对包括来自于不同的增强序列且相似度差异最小的两个用户表征；用户模型预训练模块，用于基于排序结果，对所述用户模型进行预训练。

第三方面，本申请实施例提供一种电子设备，该电子设备包括：存储器和处理器，该存储器中存储有应用程序，该应用程序用于当被处理器调用时执行本申请实施例提供的方法。

第四方面，本申请实施例提供一种计算机可读取存储介质，该计算机可读取存储介质上存储有程序代码，该程序代码用于当被处理器调用时使得处理器执行本申请实施例提供的方法。

本申请实施例提供的用户模型预训练方法、装置、电子设备及存储介质，在分析真实场景中用户行为序列所包含的用户的多种兴趣和大量噪声的特点的基础上，设计基于来自于不同的增强序列且相似度差异最小的两个用户表征形成的最困难负样本对，对所有增强序列对应的用户表征进行多对级排序。一方面，对所有增强序列对应的用户表征进行排序，采用了判别式的模型预训练方式，可以保持预训练所得模型判别能力。另一方面，基于最困难负样本对进行多对级排序，考虑了来自同一用户行为序列的不同增强序列之间语义可能不一致的情况，而不是如目前判别式的模型预训练方法假设来自同一用户行为序列的不同增强序列之间语义一致，从而可以避免目前判别式的模型预训练方法强行最大化不相似增强序列对应的用户表征之间的相似度所带来的负面影响，进而可以提升预训练所得的用户模型在下游任务中的性能。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例及附图，都属于本申请保护的范围。

图1是本申请一实施例提供的用户模型预训练方法的流程图；

图2是本申请一示例性实施例提供的用户模型预训练方法的流程图；

图3是本申请一实施例提供的步骤S130中多对级排序任务的流程图；

图4是本申请一实施例提供的步骤S133中多对级排序任务的流程图；

图5是本申请另一实施例提供的用户模型预训练方法的流程图；

图6是本申请一实施例提供的用户模型预训练装置的结构框图；

图7是本申请一实施例提供的电子设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

用户模型预训练方法大致包括以下两类：

一类是生成式的预训练方法，这类方法采用对用户行为序列中的部分行为进行预测来预训练用户模型。例如，一相关技术采用自然语言处理领域的自回归任务对用户模型进行预训练，基于用户的历史行为来预测其下一个行为。又例如，另一相关技术仿照预训练的语言表征模型(Bidirectional Encoder Representations from Transformers，简称RRT)中的掩码语言模型(Masked Language Model，简称MLM)任务，通过掩去用户的完整行为序列中的一部分行为，然后基于序列中的其余行为去预测被掩去的行为，来预训练用户模型。

另一类是判别式的预训练方法，这类方法不再关注于对用户的具体行为进行预测，而是训练用户模型去区分不同用户的行为序列。这类方法一般通过对用户的原始行为序列进行数据增强来构造不同的增强序列，并将他们作为语义一致的正样本，而将不同用户行为序列作为负样本，然后采用对比学习任务进行模型训练，最大化基于正样本提取所得用户表征之间的相似度，而最小化基于负样本提取所得用户表征之间的相似度。例如，一相关技术将用户的行为序列按照时间段进行划分，将同一个用户不同时间段的行为序列片段作为正样本，而将不同用户的行为序列片段作为负样本。又例如，另一相关技术采用掩码语言模型任务，基于用户行为序列训练一个数据生成器，然后掩去用户行为序列中的一部分，并用该生成器预测其中被掩去的行为，最后将生成的序列与原始行为序列作为正样本，而将不同用户的行为序列作为负样本。

然而，发明人在研究中发现：生成式的预训练方法要求用户模型对用户行为序列中的具体行为进行预测，以提升单个行为的预测准确率作为用户模型的训练目标，这往往会导致用户模型过度关注各行为之间的关联而忽略了整体序列层面的用户表征学习，从而限制了用户模型的效果，因此使用这类方法预训练所得的用户模型在下游任务上的性能往往不如判别式的预训练方法。

判别式的预训练方法所采用的对比学习任务假设“对同一用户行为序列通过数据增强所构造的不同增强序列是语义一致的”，然而在真实场景中，用户的行为序列中蕴含着用户的多种兴趣，同时也包含许多噪声行为，现有数据增强方法所构造的序列往往会丢失用户的部分兴趣，或是引入额外的噪声行为，因此已有方法无法保证所构造的序列总是体现用户相似的特点或兴趣，然而这些方法所采用的对比学习任务会强行最大化基于这些不相似序列提取所得用户表征之间的相似度，从而对模型性能产生负面影响。

为了解决生成式的预训练方法预训练所得的用户模型在下游任务上的性能往往不如判别式的预训练方法的问题，以及目前的判别式的预训练方法会强行最大化不相似增强序列对应的用户表征之间的相似度所带来的对模型性能的负面影响的问题，本申请实施例提供了一种用户模型预训练方法、装置、电子设备及存储介质，在分析真实场景中用户行为序列所包含的用户的多种兴趣和大量噪声的特点的基础上，设计基于来自于不同的增强序列且相似度差异最小的两个用户表征形成的最困难负样本对，对所有增强序列对应的用户表征进行多对级排序，一方面，对所有增强序列对应的用户表征进行排序，采用了判别式的模型预训练方式，可以保持预训练所得模型判别能力；另一方面，基于最困难负样本对进行多对级排序，考虑了来自同一用户行为序列的不同增强序列之间语义可能不一致的情况，而不是如目前判别式的模型预训练方法假设来自同一用户行为序列的不同增强序列之间语义一致，从而可以避免目前判别式的模型预训练方法强行最大化不相似增强序列对应的用户表征之间的相似度所带来的负面影响，进而可以提升预训练所得的用户模型在下游任务中的性能。

本申请实施例提供的用户模型预训练方法可以应用于用户模型预训练装置或电子设备，接下来将对本申请实施例提供的用户预训练方法进行介绍。

参见图1，图1是本申请一实施例提供的用户模型预训练方法的流程图。如图1所示，用户模型预训练方法可以包括以下步骤S110至步骤S140。

步骤S110：获取对多个用户行为序列分别进行显式数据增强处理后的增强序列，每个用户行为序列对应至少两个增强序列。

本申请实施例中的用户行为序列可以是任意类型的用户行为序列，例如，用户点击过的商品序列或用户安装的应用(App)序列。其中，每个用户行为序列包括用户的多个历史行为数据。

数据增强处理是一种基于已有数据生成新数据的技术，数据增强的目的是增加额外样本，使得训练数据分布更接近测试数据。数据增强处理包括显示数据增强处理以及隐式数据增强处理。显式数据增强处理会增加训练成本，因为其使用无监督方法创造了更多的样本。而隐式数据增强不会增加训练成本也能够实现已有数据生成新数据。显式数据增强处理方法可以包括但不限于掩码、裁剪、重排等。

本申请实施例中，对于每个用户行为序列，可以随机选择至少两种显式数据增强处理方法，分别对同一用户行为序列进行显式数据增强处理，从而得到每个用户行为序列对应的至少两个增强序列。需要说明的是，对于不同用户行为序列可以采用不同的至少两种显式数据增强处理方法，也可以采用相同的至少两种显式数据增强处理方法，在此不作具体限制。

示例的，参见图2，图2是本申请一示例性实施例提供的用户模型预训练方法的流程图。给定一批用户行为序列

步骤S120：将每个增强序列分别输入用户模型至少两次，得到每个增强序列对应的至少两个用户表征，其中，用户模型用于提取增强序列中的用户表征。

其中，用户模型是将用户的历史行为数据编码为一个稠密向量，用于表征用户的特征或兴趣。可以将任意以用户行为序列作为输入的用户模型作为本申请实施例中的用户模型，换言之，只要用户模型满足以用户行为序列作为输入这一条件，用户模型的结构可以根据实际需求设置，例如，用户模型的结构可以包括但不限于注意力网络以及膨胀卷积网络等。

一些实施例中，考虑到Transformer(一类以自注意力为主要部件的特定模型)编码器在序列建模方面的优异表现，参见图2，可以选择Transformer编码器作为用户模型的主干部分。示例的，对于一个用户行为序列S＝{x

H＝[h

本申请实施例中，采用将每个增强序列分别输入用户模型至少两次的方式，每次采用独立采样的丢弃(Dropout)掩码，来分别对每个增强序列进行隐式数据增强处理。示例的，参见图2，分别将两个增强序列

步骤S130：基于最困难负样本对，对所有增强序列对应的用户表征进行多对级排序，其中，最困难负样本对包括来自于不同的增强序列且相似度差异最小的两个用户表征。

其中，对级排序指的是将一对样本按某种标准进行排序。用户表征可以体现用户的特征或兴趣。本申请实施例中的相似度可以是余弦相似度，例如，可以采用sim(a,b)计算两个用户表征a和b之间的余弦相似度。

由于隐式数据增强所得的用户表征来自同一增强序列，而显式数据增强方法无法保证所得增强序列之间的语义一致性，因此本申请实施例通过一个多对级排序任务来同时学习两个单对级排序关系，从而避免直接最大化基于增强序列例如

可以基于每个增强序列对应的最困难负样本对，对每个增强序列对应的用户表征进行多对级排序。参见图3，图3是本申请一实施例提供的步骤S130中多对级排序任务的流程图。如图3所示，多对级排序任务可以包括以下步骤S131至步骤S133。

步骤S131：将当前增强序列作为第一增强序列，获取第一最困难负样本对，第一最困难负样本对中的两个用户表征分别来自第一增强序列和第二增强序列且相似度差异最小，第二增强序列为与第一增强序列对应同一用户行为序列的其他增强序列中的一个。

示例的，参见图2，假设第一增强序列为

步骤S132：获取第二最困难负样本对，第二最困难负样本对中的两个用户表征分别来自第二增强序列和第三增强序列且相似度差异最小，第三增强序列与第二增强序列对应不同的用户行为序列。

示例的，参见图2，假设第一增强序列为

步骤S133：对第一增强序列对应的用户表征、第一最困难负样本对中的用户表征以及第二最困难负样本对中的用户表征进行多对级排序。

参见图4，图4是本申请一实施例提供的步骤S133中多对级排序任务的流程图。如图4所示，多对级排序任务可以包括步骤S1331至步骤S1333。

步骤S1331：构建第一单对级排序关系，第一单对级排序关系为第一用户表征和第二用户表征之间的相似度大于或等于第一用户表征和第三用户表征之间的相似度，第一用户表征和第二用户表征来自于第一增强序列，第三用户表征来自于第二增强序列，第二用户表征和第三用户表征形成第一最困难负样本对。

来自同一增强序列的用户表征之间的相似度，大于或等于分别来自不同增强序列的用户表征之间的相似度，例如，来自第一增强序列的第一用户表征和第二用户表征之间的相似度大于或等于来自第一增强序列的第一用户表征和来自第二增强序列的第三用户表征之间的相似度，基于此，可以构建第一单对级排序关系。

示例的，假设第一用户表征为

步骤S1332：构建第二单对级排序关系，第二单对级排序关系为第一用户表征和第四用户表征之间的相似度大于或等于第一用户表征和第五用户表征之间的相似度，第四用户表征来自于第二增强序列，第五用户表征来自于第三增强序列，第四用户表征和第五用户表征形成第二最困难负样本对。

分别来自同一用户行为序列的不同增强序列的用户表征之间的相似度大于或等于分别来自不同用户行为序列的增强序列的用户表征之间的相似度，例如，来自第一增强序列的第一用户表征和来自第二用户增强序列的第四用户表征之间的相似度大于或等于来自第一增强序列的第一用户表征和来自第三增强序列的第五用户表征之间的相似度，基于此，可以构建第二单对级排序关系。

示例的，假设第一用户表征为

需要说明的是，根据实际用户表征之间的相似度差异，第三用户表征和第四用户表征可能相同，也可能不同。

步骤S1333：根据第一单对级排序关系以及第二单对级排序关系，对第一用户表征、第二用户表征、第三用户表征、第四用户表征以及第五用户表征进行排序。

参见图2，可以以第一用户表征

按照步骤S131至步骤S133的方式，对所有增强序列对应的用户表征进行排序，在得到所有增强序列对应的用户表征的多对级排序结果之后，可以将所有增强序列对应的用户表征的多对级排序结果进行排序，得到所有增强序列对应的用户表征的排序结果。

步骤S140：基于所有增强序列对应的用户表征的排序结果，对用户模型进行预训练。

在每次执行每个增强序列的多对级排序任务时或者在所有增强序列的用户表征均已排序完成时，可以计算每个增强序列对应的损失，以便后续根据所有增强序列对应的损失计算排序结果的总损失，即，用户模型的损失。

具体地，可以获取超参数，超参数大于或等于0且小于或等于1；根据超参数、每个增强序列对应的第一单对级排序关系以及第二单对级排序关系，计算每个增强序列的损失；计算所有增强序列的损失的平均值，作为排序结果的总损失，其中，总损失最小或者总损失小于或等于损失阈值为结束对用户模型进行预训练的条件，损失阈值可以根据实际需求确定。

一些实施例中，可以获取预先确定的超参数作为所有增强序列对应的超参数。另一些实施例中，可以从同一用户行为序列对应的所有增强序列中提取出的用户表征之间的相似度，动态确定该用户行为序列对应的所有增强序列对应的超参数，动态确定超参数，可以使得本申请实施例中的用户模型预训练方法可以适应不同强度的各种数据增强方式。具体如何动态确定每个增强序列对应的超参数可参见下文中的步骤S240。

示例的，可以按照以下第一损失函数计算每个增强序列的损失：

其中，

示例的，假设每个用户行为序列对应两个增强序列，可以按照以下第二损失函数计算总损失：

其中，

基于步骤S110至步骤S140，在分析真实场景中用户行为序列所包含的用户的多种兴趣和大量噪声的特点的基础上，设计基于来自于不同的增强序列且相似度差异最小的两个用户表征形成的最困难负样本对，对所有增强序列对应的用户表征进行多对级排序，一方面，对所有增强序列对应的用户表征进行排序，采用了判别式的模型预训练方式，可以保持预训练所得模型判别能力；另一方面，基于最困难负样本对进行多对级排序，考虑了来自同一用户行为序列的不同增强序列之间语义可能不一致的情况，而不是如目前判别式的模型预训练方法假设来自同一用户行为序列的不同增强序列之间语义一致，从而可以避免目前判别式的模型预训练方法强行最大化不相似增强序列对应的用户表征之间的相似度所带来的负面影响，进而可以提升预训练所得的用户模型在下游任务中的性能。

参见图5，图5是本申请另一实施例提供的用户模型预训练方法的流程图。如图5所示，用户模型预训练方法可以包括步骤S210至步骤S270。

步骤S210：获取对多个用户行为序列分别进行显式数据增强处理后的增强序列，每个用户行为序列对应至少两个增强序列。

步骤S220：将每个增强序列分别输入用户模型至少两次，得到每个增强序列对应的至少两个用户表征，其中，用户模型用于提取增强序列中的用户表征。

步骤S230：基于每个增强序列对应的最困难负样本对，构建每个增强序列对应的第一单对级排序关系以及第二单对级排序关系。

步骤S240：针对每个增强序列，采用多对级排序任务同时学习第一单对级排序关系以及第二单对级排序关系，以对每个增强序列对应的用户表征进行多对级排序。

步骤S250：根据从同一用户行为序列对应的所有增强序列中提取出的用户表征之间的相似度，动态确定该用户行为序列对应的所有增强序列对应的超参数。

由于对于不同用户行为序列，不同强度的各种数据增强方法所构建增强序列之间的语义相似度都有所不同，本申请实施例设计了一种数据增强自适应的融合方式来调节所学得的单对级排序关系。具体地，可以根据从同一用户行为序列对应的所有增强序列中提取出的用户表征之间的相似度的平均值，动态确定该用户行为序列对应的所有增强序列对应的超参数。

示例的，假设一用户行为序列对应的增强序列包括第一增强序列和第二增强序列，则可以根据从第一增强序列和第二增强序列提取到的用户表征之间的相似度，确定第一增强序列和第二增强序列对应的超参数。示例的，可以按照以下表达式确定第一增强序列和第二增强序列对应的超参数：

其中，λ

当

步骤S260：针对每个增强序列，根据超参数、第一单对级排序关系以及第二单对级排序关系，采用第一损失函数计算每个增强序列对应的损失。

步骤S270：根据每个增强序列对应的损失，采用第二损失函数计算总损失，在总损失最小或者总损失小于或等于损失阈值时，结束对用户模型进行预训练。

基于步骤S210至步骤S270，用户模型预训练方法包括基于最困难样本对的多对级排序任务和数据增强自适应的融合方法，可以应用于任意类型的用户行为序列和任意结构的用户模型，生成反映用户特点和偏好的用户表征，以供各种面向用户的下游任务所使用，可以大幅提升用户模型在数据稀疏场景下的性能。具体地，基于困难样本的多对级排序任务，考虑了真实场景中用户行为序列包含着用户的多种兴趣和大量噪声的特点，在保持预训练所得模型判别能力的同时，缓解了已有基于对比学习的方法对于数据增强序列之间语义一致性的要求，从而避免了强行最大化基于不相似序列提取所得用户表征之间的相似度所带来的负面影响，提升预训练所得模型在下游任务的性能。基于数据增强自适应融合方法，考虑了不同强度的各种数据增强方法对于不同用户行为序列的不同影响，能够自动根据所生成的增强序列之间的相似性调整所学得多对级排序关系，从而进一步提升用户模型所生成用户表征的质量。

参见图6，图6是本申请一实施例提供的用户模型预训练装置的结构框图。该用户模型预训练装置100可以应用于电子设备。用户模型预训练装置100可以包括显式数据增强模块110、隐式数据增强模块120、用户表征排序模块130以及用户模型预训练模块140。

显式数据增强模块110用于获取对多个用户行为序列分别进行显式数据增强处理后的增强序列，每个用户行为序列对应至少两个增强序列。其中，显式数据增强模块110的具体工作过程请参见步骤S110和步骤S210。

隐式数据增强模块120用于将每个增强序列分别输入用户模型至少两次，得到每个增强序列对应的至少两个用户表征，其中，用户模型用于提取增强序列中的用户表征。其中，隐式数据增强模块120的具体工作过程请参见步骤S120和步骤S220。

用户表征排序模块130用于基于最困难负样本对，对所有增强序列对应的用户表征进行多对级排序，其中，最困难负样本对包括来自于不同的增强序列且相似度差异最小的两个用户表征。其中，用户表征排序模块130的具体工作过程请参见步骤S130和步骤S230。

用户模型预训练模块140，用于基于排序结果，对所述用户模型进行预训练。其中，用户模型预训练模块140的具体工作过程请参见步骤S140和步骤S240至步骤S270。

所属领域技术人员可以清楚地了解到，本申请实施例提供的以上装置能够实现本申请实施例提供的方法。上述描述装置和模块的具体工作过程，可以参阅本申请实施例中的方法对应的过程，在此不再赘述。

本申请提供的实施例中，所显示或讨论的模块相互之间的耦合、直接耦合或者通信连接，可以是通过一些接口、装置或模块的间接耦合或通信耦合，可以是电性、机械或其他形式，本申请实施例对此不作具体限制。

另外，在本申请实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件的功能模块的形式实现。

参见图7，图7是本申请一实施例提供的电子设备的结构框图。电子设备200可以包括存储器210和处理器220，该存储器210中存储有应用程序，该应用程序被配置为当被处理器220调用时执行本申请实施例提供的方法。

处理器220可以包括一个或多个处理核。处理器220利用各种接口和线路连接整个电子设备200内各个部分，用于运行或执行存储在存储器210内的指令、程序、代码集或指令集，以及调用运行或执行存储在存储器210内的数据，执行电子设备200的各种功能和处理数据。

处理器220可以采用数字信号处理(Digital Signal Processing，简称DSP)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)、可编辑逻辑阵列(Programmable Logic Array，简称PLA)中的至少一种硬件形式来实现。处理器220可集成中央处理器(Central Processing Unit，简称CPU)、图像处理器(Graphics ProcessingUnit，简称GPU)和调制解调器中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成于处理器220中，单独通过一块通信芯片进行实现。

存储器210可以包括随机存储器(Random Access Memory，简称RAM)，也可以包括只读存储器(Read-Only Memory，简称ROM)。存储器210可以用于存储指令、程序、代码、代码集或指令集。存储器210可以包括存储程序区和存储数据区。其中，存储程序区可以存储用于实现操作系统的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区可以存储电子设备200在使用中所创建的数据等。

本申请实施例还提供一计算机可读取存储介质，该计算机可读取存储介质上存储有程序代码，该程序代码被配置为当被处理器调用时执行本申请实施例提供的方法。

计算机可读取存储介质可以是诸如闪存、电可擦除可编辑只读存储器(Electrically-Erasable Programmable Read-Only Memory，简称EEPROM)、可擦除可编辑只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)、硬盘或者ROM之类的电子存储器。

在一些实施例中，计算机可读取存储介质包括非易失性计算机可读介质(Non-Transitory Computer-Readable Storage Medium，简称Non-TCRSM)。计算机可读取存储介质具有执行上述方法中的任何方法步骤的程序代码的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码可以以适当的形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。