基于域间自适应的无力传感器刚软手指多点接触检测方法

技术领域

本申请涉及一种基于域间自适应的无力传感器刚软手指多点接触检测方法，属于气动软体机器人力触觉感知领域。

背景技术

软体机器人多应用于开环工况，主要依靠材料本身固有的柔韧性来实现与外界的交互。这种方法缺乏对自身状态的精确控制和对相互作用的有效估计。它在需要高本体感觉性能的操作中存在困难。为了增强软机器人的感知能力，现有方法通常是在软体结构中嵌入了传统机器人常用的硬传感器，如FSR薄膜力传感器等。然而，这些原本为刚性机器人设计的传感器会影响软结构的变形和运动。相比之下，一些其他软传感器则是专门设计的，使用柔软和柔性的材料来检测接触和力等物理量。然而，软传感器在制造一致性、稳定性、信噪比、信号可重复性等方面仍面临诸多挑战，难以满足实际任务的需要。集成更多的传感器通道意味着更高的工艺和结构复杂性，系统的稳定性将大打折扣。由于软传感器的限制，软机器人往往难以获得足够的传感能力。缺乏对自身运动状态和与外界相互作用状态的有效估计。

同时，软体机器人在制造过程中存在许多局限性。比如制造一致性差，导致硬软手指之间的巨大差异。此外，软执行器的主要柔性材料具有应力松弛的特性。随着材料使用时间和应力循环次数的增加，其超弹性性能是可变的。制造缺陷、结构损坏、漏气等，都会加剧执行机构性能的变化。传感器的特性也发生了变化，需要进行大量的重复校准。这些都是大多数软体机器人面临的共性问题。由于软机器人的个体差异和特性变化，对其作动器和传感器进行精确建模是困难的。特别是对于刚软混合结构，进一步增加了建模的复杂性。基于模型的控制和状态预测常常受到建模精度不足的影响。且一般的基于数据的建模方法需要大量的样本进行强监督训练，寿命短、个体制造差异和应力松弛等因素使得数据采集困难，使得这些方法在软机器人建模中不可行。

发明内容

本申请的目的在于提供一种基于域间自适应的无力传感器刚软手指多点接触检测方法，实现气动软体机器人的力触觉感知功能，解决了在没有物理力触觉传感器的条件下检测软体结构与外界接触位置的问题。

为实现上述目的，本申请第一方面提供了一种基于域间自适应的无力传感器刚软手指多点接触检测方法，应用于气动软体机器人，所述气动软体机器人包括：多个刚软混合结构的手指、安装于每个手指驱动气腔内的气压传感器、安装于每个手指关节驱动器处的软体关节角度传感器、以及安装于源手指上的触觉传感器；

所述无力传感器刚软手指多点接触检测方法包括：

通过所述触觉传感器得到源数据集，其中，所述源数据集包括源手指实时的气压向量、关节角度向量和标签向量；

通过各个气压传感器和软体关节角度传感器得到目标数据集，其中，所述目标数据集包括0标签数据集和缺失标签数据集，所述0标签数据集包括目标手指无外力作用时的气压向量和关节角度向量，所述缺失标签数据集包括目标手指有外力作用时实时的气压向量和关节角度向量，所述目标手指为除源手指外的其他手指；

构建组合网络，所述组合网络包括用于增强源手指和目标手指的数据特征的特征生成器、用于提取源手指和目标手指之间的共同特征的特征提取器、以及用于根据所述共同特征预测目标手指接触状态的自适应分类器；

通过所述源数据集和所述0标签数据集对所述组合网络进行预训练；

通过所述源数据集和所述缺失标签数据集对预训练后的组合网络进行迭代训练，通过迭代训练得到的目标网络对目标手指的接触状态进行实时预测。

在一种实施方式中，所述组合网络具体包括：

第一特征生成器，用于根据所述源数据集增强源手指的数据特征并输出第一增强特征，其中，所述第一增强特征包括一个有标签的数据特征的集合；

第一特征提取器，用于对所述第一增强特征进行特征提取并输出第一共同特征；

第一自适应分类器，用于根据所述第一共同特征进行预测并输出源手指预测结果；

第二特征生成器，用于根据所述目标数据集增强目标手指的数据特征并输出第二增强特征，其中，所述第二增强特征包括一个无标签的数据特征的集合；

第二特征提取器，与所述第一特征提取器共享参数，用于对所述第二增强特征进行特征提取并输出第二共同特征；

第二自适应分类器，用于根据所述第二共同特征进行预测并输出目标手指预测结果。

在一种实施方式中，所述第二特征生成器包括：

特征增强网络，用于根据无标签的气压向量预测目标手指无外力作用时的关节角度向量；

所述第二特征生成器用于根据预测的关节角度向量和实时收集的关节角度向量得到所述第二增强特征。

在一种实施方式中，所述通过所述源数据集和所述0标签数据集对所述组合网络进行预训练包括：

通过所述0标签数据集对所述特征增强网络进行预训练。

在一种实施方式中，所述第一自适应分类器包括：

第一全连接层，含有LeakyReLu激活函数，用于根据所述第一共同特征输出第三共同特征；

第一预测层，用于根据所述第三共同特征进行预测并输出源手指预测结果；

所述第二自适应分类器包括：

第二全连接层，含有LeakyReLu激活函数，且与所述第一全连接层共享参数，用于根据所述第二共同特征输出第四共同特征；

第二预测层，用于根据所述第四共同特征进行预测并输出目标手指预测结果。

在一种实施方式中，所述组合网络还包括：

损失函数层，用于根据所述第一共同特征和所述第二共同特征计算第一LogCoral损失、根据所述第三共同特征和所述第四共同特征计算第二LogCoral损失、根据所述源手指预测结果计算第一分类损失、根据所述目标手指预测结果计算第二分类损失；

所述损失函数层还用于，结合所述第一LogCoral损失、所述第二LogCoral损失、所述第一分类损失和所述第二分类损失计算优化损失函数。

在一种实施方式中，所述根据所述第一共同特征和所述第二共同特征计算第一LogCoral损失包括：

根据所述第一共同特征和所述第二共同特征计算分别与源数据集和目标数据集对应的协方差矩阵；

结合两个协方差矩阵计算所述第一LogCoral损失。

在一种实施方式中，所述通过所述源数据集和所述缺失标签数据集对预训练后的组合网络进行迭代训练包括：

每次训练过程中，将所述源数据集划分为多个子集，并计算每个子集对应的第一分类损失，并在全域上计算第一LogCoral损失、第二LogCoral损失和第二分类损失；

对各第一分类损失、第一LogCoral损失、第二LogCoral损失和第二分类损失进行线性组合后得到所述优化损失函数；

根据所述优化损失函数，通过反向传播对所述组合网络的参数进行优化。

本申请第二方面提供了一种电子设备，包括：存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述第一方面或者上述第一方面的任一实施方式中的步骤。

本申请第三方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现上述第一方面或者上述第一方面的任一实施方式中的步骤。

由上可见，本申请提供了一种基于域间自适应的无力传感器刚软手指多点接触检测方法，提出一种组合网络，以建立驱动气压，关节角度与多点接触发生位置之间的映射关系，进而通过气压传感器和软体关节角度传感器获取相应的数据集训练该组合网络实现接触位置的预测，无需使用物理力传感器即可实现对软体结构的多点接触检测，增强了软本体感知能力。同时，可使用任一个手指作为源手指得到有完整接触标记的源数据集实现对其他缺失标签的目标手指进行预测，实现不同手指间的跨个体预测；也可以使用实时收集的新增的微小有标签数据和0标签数据对缺失标签数据集进行更新，以在手指特征变化后即使更新组合网络的参数，实现目标手指的跨时间预测，减弱了材料特性改变对预测性能的影响。此外，通过实时收集的微小数据即可对组合网络参数进行迭代优化，使得预测过程中不需要在目标手指上采集大量的新数据和标签，可以提高小样本集和有偏数据集下的预测性能，有效地提高跨个体和跨时间预测的预测精度，大大减少标记数据的收集量。实现气动软体机器人的力触觉感知功能，解决了缺少物理力触觉传感器的条件下检测软体结构与外界接触位置的问题。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种无力传感器刚软手指多点接触检测方法的流程示意图；

图2为本申请实施例提供的一种特征生成器的结构示意图；

图3为本申请实施例提供的一种组合网络的结构示意图；

图4为本申请实施例提供的一种损失变化过程示意图；

图5为本申请实施例提供的一种Accuracy指标变化过程示意图；

图6为本申请实施例提供的一种F1-Score指标变化过程示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。

实施例一

本申请实施例提供了一种基于域间自适应的无力传感器刚软手指多点接触检测方法，应用于气动软体机器人，所述气动软体机器人包括：多个刚软混合结构的手指、安装于每个手指驱动气腔内的气压传感器、安装于每个手指关节驱动器处的软体关节角度传感器、以及安装于源手指上的触觉传感器；

在一种实施方式中，软机器人往往缺乏足够的传感器，这使得软机器人难以识别自身状态和外部环境。本体感觉包括位置和力的感知在软体机器人的操作任务中尤为重要。然而，由于其尺寸和工艺的限制，通常难以为软体结构集成足够数量的高性能软体力/触觉传感器。此外，软体机器人受限于其制造工艺，往往存在个体间制造差异大，寿命较短，柔性材料在使用过程中发生应力松弛容易导致特性改变等问题。这对于模型建立过程中采集数据造成很大困难。为解决以上问题，本申请实施例提出一种基于域间自适应的无力传感器刚软手指多点接触检测方法，为了获得刚软混合结构手指内置的气压和关节信息，向软体结构中的每个驱动气腔中安装气压传感器。并在各个通道的驱动器处安装软体关节角度传感器。通过气压传感器和软体关节角度传感器得到气压向量和关节角度向量以预测软体结构与外界的接触。

如图1所示，该无力传感器刚软手指多点接触检测方法包括：

S100通过所述触觉传感器得到源数据集，其中，所述源数据集包括源手指实时的气压向量、关节角度向量和标签向量；

在一种实施方式中，通过在其中一个被测手指(即源手指)上安装触觉传感器收集有标记的数据集作为源数据集。这个源数据集包括了气压向量Pressure、关节角度向量Angle和由触觉传感器收集的标签向量Contact。

进一步的，可对该源数据集进行数据清理，以确保数据质量。

S200通过各个气压传感器和软体关节角度传感器得到目标数据集，其中，所述目标数据集包括0标签数据集和缺失标签数据集，所述0标签数据集包括目标手指无外力作用时的气压向量和关节角度向量，所述缺失标签数据集包括目标手指有外力作用时实时的气压向量和关节角度向量，所述目标手指为除源手指外的其他手指；

在一种实施方式中，在实际的抓握应用中收集其他手指中内置传感器的数据。这些手指被称为目标手指，无需安装触觉传感器，仅仅依靠其内置的气压传感器和软体关节角度传感器构建缺失标签的数据集作为所述目标数据集。其中，在目标手指与外界产生接触之前，即无外力作用时先让手指自由运动一段时间，该段时间内采集到的数据赋予0标签作为所述0标签数据集；其他手指进行抓握的过程中实时收集内置传感器最新数据和易于获得标签的微小数据作为所述缺失标签数据集，即该缺失标签数据集可包括新增的0标签子集和部分有标签子集，所述目标数据集基于最新获取的缺失标签数据集进行数据更新。本申请实施例通过使用步骤S100中被测手指的标记数据集和步骤S200中其他手指的未标记数据集一起训练组合网络，以来区分被测手指和其他手指的接触状态。

S300构建组合网络，所述组合网络包括用于增强源手指和目标手指的数据特征的特征生成器(FGT)、用于提取源手指和目标手指之间的共同特征的特征提取器(FET)、以及用于根据所述共同特征预测目标手指接触状态的自适应分类器(ACF)；

在一种实施方式中，FGT的结构如图2所示，在组合网络的低层，来自源手指和目标手指的数据被输入到相应的FGT中进行数据增强。FGT具有个体特异性，因此每个手指都有独立的FGT参数，且每个FGT包括一个使用手指的原始的0标签数据进行预训练得到的特征增强网络(FEN)。当将最新的各数据集输入组合网络进行新一轮训练时，FGT对有标签标记数据集的子集进行划分，并将在新的目标数据集中选择新增的0标签子集，使用该0标签子集对FEN进行微调，然后使用微调后的FEN根据输入的气压向量Pressure预测无外力作用时的关节角度基准向量Angle'。将实际的关节角度向量Angle与Angle'结合，再加上两者的差值和比值，得到增强的数据特征向量，最后输出一个未标记的增强特征向量EnFeature集合和一个由所有标记样本组成的数据标签集合。其中，增强的数据特征向量EnFeature计算公式为：

EnFeature＝[Angle,Angle',Angle-Angle',Angle/Angle']

经过FGT增强的特征集合将分别经过源手指和目标手指的FET，这两个FET具有相同的网络结构和相互共享的参数。FET的输出被送入ACF，ACF具有两层网络，第一层是具有LeakyReLu激活函数的全连接层(fcl)，ACF的网络结构和参数在第一层之间共享。第二层是预测层(Softmax)，用于输出对接触状态的预测。

可选的，所述组合网络为深度相关对齐的知识转移组合网络，如图3所示，该组合网络具体包括：第一特征生成器，用于根据所述源数据集增强源手指的数据特征并输出第一增强特征，其中，所述第一增强特征包括一个有完整标签的数据特征的集合；第一特征提取器，用于对所述第一增强特征进行特征提取并输出第一共同特征；第一自适应分类器(即源分类器)，用于根据所述第一共同特征进行预测并输出源手指预测结果；第二特征生成器，用于根据所述目标数据集增强目标手指的数据特征并输出第二增强特征，其中，所述第二增强特征包括一个无标签的数据特征的集合；第二特征提取器，与所述第一特征提取器共享参数，用于对所述第二增强特征进行特征提取并输出第二共同特征；第二自适应分类器(即目标分类器)，用于根据所述第二共同特征进行预测并输出目标手指预测结果。

可选的，所述第一自适应分类器包括：第一全连接层，含有LeakyReLu激活函数，用于根据所述第一共同特征输出第三共同特征；第一预测层，用于根据所述第三共同特征进行预测并输出源手指预测结果；所述第二自适应分类器包括：第二全连接层，含有LeakyReLu激活函数，且与所述第一全连接层共享参数，用于根据所述第二共同特征输出第四共同特征；第二预测层，用于根据所述第四共同特征进行预测并输出目标手指预测结果。

可选的，所述组合网络还包括：损失函数层，用于根据所述第一共同特征和所述第二共同特征计算第一LogCoral损失、根据所述第三共同特征和所述第四共同特征计算第二LogCoral损失、根据所述源手指预测结果计算第一分类损失、根据所述目标手指预测结果计算第二分类损失；

所述损失函数层还用于，结合所述第一LogCoral损失、所述第二LogCoral损失、所述第一分类损失和所述第二分类损失计算优化损失函数。

在一种实施方式中，以上各损失函数的具体计算过程为：首先根据源手指的源数据集和目标手指的目标数据集计算各自的协方差矩阵。

对于源手指：

其中，n

对于目标手指：

其中，n

然后计算LogCoral损失：

其中d为计算LogCoral损失的该层网络的特征维度。U

分类损失计算方法为：

其中，l

最后计算并优化损失函数：

其中，ω代表各损失的权重，该权重是一个超参数。θ代表需要优化的网络参数集合。

S400通过所述源数据集和所述0标签数据集对所述组合网络进行预训练；

可选的，通过所述0标签数据集对所述特征增强网络进行预训练。

S500通过所述源数据集和所述缺失标签数据集对预训练后的组合网络进行迭代训练，通过迭代训练得到的目标网络对目标手指的接触状态进行实时预测。

可选的，每次训练过程中，将所述源数据集划分为多个子集，并计算每个子集对应的第一分类损失，并在全域上计算第一LogCoral损失、第二LogCoral损失和第二分类损失；对各第一分类损失、第一LogCoral损失、第二LogCoral损失和第二分类损失进行线性组合后得到所述优化损失函数；根据所述优化损失函数，通过反向传播对所述组合网络的参数进行优化。

在一种应用场景中，当组合网络需要实现跨个体预测时，选择一根手指安装触觉传感器进行完整的标签数据集采集，采集的标记数据集作为源数据集。选择实际应用中其他手指采集的内置传感器数据集，以及目标手指上易于获得标签的微小数据集作为目标数据集。当网络需要跨时间尺度更新时，需要收集目标手指的最新内置传感器数据集和微小有标签数据集，并采用新的目标数据集更新组合网络的参数。在这个过程中，不需要在目标手指上采集大量的新数据和标签。

由上可见，本申请实施例提供了一种基于域间自适应的无力传感器刚软手指多点接触检测方法，提出一种组合网络，以建立驱动气压，关节角度与多点接触发生位置之间的映射关系，进而通过气压传感器和软体关节角度传感器获取相应的数据集训练该组合网络实现接触位置的预测，无需使用物理力传感器即可实现对软体结构的多点接触检测，增强了软本体感知能力。同时，可使用任一个手指作为源手指得到有完整接触标记的源数据集实现对其他缺失标签的目标手指进行预测，实现不同手指间的跨个体预测；也可以使用实时收集的新增的微小有标签数据和0标签数据对缺失标签数据集进行更新，以在手指特征变化后即使更新组合网络的参数，实现目标手指的跨时间预测，减弱了材料特性改变对预测性能的影响。此外，通过实时收集的微小数据即可对组合网络参数进行迭代优化，使得预测过程中不需要在目标手指上采集大量的新数据和标签，可以提高小样本集和有偏数据集下的预测性能，有效地提高跨个体和跨时间预测的预测精度，大大减少标记数据的收集量。实现气动软体机器人的力触觉感知功能，解决了缺少物理力触觉传感器的条件下检测软体结构与外界接触位置的问题。

实施例二

本申请实施例基于PyTorch深度学习框架进行实验，以对实施例一提供的无力传感器刚软手指多点接触检测方法的效果进行展示，具体实验过程如下：

FEN网络为4层隐含层宽度为32-128-128-32的全连接网络，每层加入Dropout＝0.1机制，使用LeakyRelu激活函数。预训练时学习率为1e-3，epoch为1024，微调时更新训练所有参数，学习率为1e-4，epoch为50。FET网络是宽度为16-64-256-256-128-64的全连接网络，每层加入Dropout＝0.1机制，使用LeakyRelu激活函数。ACF的宽度为24，第一层激活函数为LeakyRelu。计算损失的特征选取为激活函数前的特征。分类损失的权重为1，LogCoral的损失为1e4。batch大小为1024，epoch为2048，学习率1e-3。

实验结果如下所示：

图4展示了预测时损失变化过程，可以看出，随着迭代次数(EPOCH)的变化，各分类损失和LogCoral损失显著降低，说明本申请实施例一的方法的预测性能随着组合网络参数的不断迭代更新不断增强，有效地提高跨个体和跨时间预测的预测精度。

表1和2分别展示了采用本申请实施例方法和直接训练预测模型方法进行跨手指间预测时和跨时间预测时预测性能的对比

表1.跨手指间预测性能对比(使用手指1为源手指)

表2.跨时间模型更新预测性能对比(使用手指1为源手指以及目标手指)

从上表可以看出，采用本申请实施例方法训练得到的组合网络在进行预测时，各手指的Accuracy指标和F1-Score指标均显著优于直接训练预测模型方法，图5展示了预测时Accuracy指标变化过程示意图，图6展示了预测时F1-Score指标变化过程示意图，也证明本申请实施例一所述方法的预测精度更高。

实施例三

本申请实施例提供了一种电子设备，该电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，其中，存储器用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器和处理器通过总线连接。具体地，处理器通过运行存储在存储器的上述计算机程序时实现上述实施例一中的任一步骤。

应当理解，在本申请实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器、快闪存储器和随机存储器，并向处理器提供指令和数据。存储器的一部分或全部还可以包括非易失性随机存取存储器。

应当理解，上述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，上述计算机程序可存储于以计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要说明的是，上述实施例所提供的方法及其细节举例可结合至实施例提供的装置和设备中，相互参照，不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其他的方式实现。例如，以上所描述的装置/设备实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以由另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。