人体动作预测模型的训练方法、相关方法及相关产品

技术领域

本申请涉及人体动作预测技术领域，尤其涉及一种人体动作预测模型的训练方法、相关方法及相关产品。

背景技术

人体动作预测，是以预测人体在未来一段时间内的动作为目标的一项基本任务。目前的方法通常是通过深度学习模型实现对人体的未来动作的预测，具体的，深度学习模型基于人体之间的交互，预测人体的动作，但是在基于一个人的历史动作序列预测这个人的未来动作序列时，该深度学习模型的预测结果的准确度低。

发明内容

本申请提供一种人体动作预测模型的训练方法、相关方法及相关产品，其中，相关方法包括：人机交互方法，相关产品包括：人体动作预测模型的训练装置、人机交互装置、电子设备、计算机可读存储介质。

第一方面，提供了一种人体动作预测模型的训练方法，所述方法包括：

获取初始模型、参考人体的历史动作序列以及与所述历史动作序列对应的目标未来动作序列；

利用所述初始模型，从所述历史动作序列中提取主体的目标动作特征和手部的目标动作特征，所述主体包括所述参考人体中除手之外的部位，所述手部包括所述参考人体的手；

所述初始模型通过分布范数(distribution norm，DN)，对所述主体的目标动作特征和所述手部的目标动作特征进行归一化，得到归一化后的主体动作特征序列和归一化后的手部动作特征序列；

所述初始模型基于所述归一化后的主体动作特征序列和所述归一化后的手部动作特征序列，预测所述主体的未来动作序列和所述手部的未来动作序列；

基于所述主体的未来动作序列、所述手部的未来动作序列以及所述目标未来动作序列，更新所述初始模型的参数，得到人体动作预测模型。

结合本申请任一实施方式，所述基于所述主体的未来动作序列、所述手部的未来动作序列以及所述目标未来动作序列，更新所述初始模型的参数，得到人体动作预测模型，包括：

基于所述目标未来动作序列，确定所述主体的主体目标动作序列和所述手部的手部目标动作序列；

基于所述主体的未来动作序列与所述主体目标动作序列的第一差异，以及所述手部的未来动作序列与所述手部目标动作序列的第二差异，确定第一损失，所述第一损失与所述第一差异、所述第二差异均呈正相关；

基于所述第一损失，更新所述初始模型的参数，得到所述人体动作预测模型。

结合本申请任一实施方式，在所述基于所述第一损失，更新所述初始模型的参数，得到所述人体动作预测模型之前，所述方法还包括：

确定所述归一化后的主体动作特征序列与所述归一化后的手部动作特征序列的第三差异；

基于所述第三差异，确定第二损失，所述第二损失与所述第三差异呈相关；

所述基于所述第一损失，更新所述初始模型的参数，得到所述人体动作预测模型，包括：

基于所述第一损失和所述第二损失，更新所述初始模型的参数，得到所述人体动作预测模型。

结合本申请任一实施方式，所述归一化后的手部动作特征序列包括归一化后的左手动作特征序列和归一化后的右手动作特征序列；

所述确定所述归一化后主体动作特征序列与所述归一化后的手部动作特征序列的第三差异，包括：

沿空间维度分别计算所述归一化后的主体动作特征序列的平均值、所述归一化后的左手动作特征序列的平均值和所述归一化后的右手动作特征序列的平均值，得到主体平均动作特征序列、左手平均动作特征序列和右手平均动作特征序列；

针对所述主体平均动作特征序列、所述左手平均动作特征序列和所述右手平均动作特征序列，通过计算两两之间的最大均值差异，得到所述第三差异。

结合本申请任一实施方式，所述从所述历史动作序列中提取主体的目标动作特征和手部的目标动作特征，包括：

从所述历史动作序列中提取所述主体的动作特征序列，得到历史主体动作特征序列；

从所述历史动作序列中提取所述手部的动作特征序列，得到历史手部动作特征序列；

通过对所述历史主体动作特征序列和所述历史手部动作特征序列分别进行离散余弦变换，得到所述主体的目标动作特征和到所述手部的目标动作特征。

结合本申请任一实施方式，所述初始模型包括图像卷积神经网络；

所述通过对所述历史主体动作特征序列和所述历史手部动作特征序列分别进行离散余弦变换，得到所述主体的目标动作特征和到所述手部的目标动作特征，包括：

获取所述参考人体的全连接图；

将所述历史主体动作特征序列和所述历史手部动作特征序列，作为所述全连接图的输入，并利用所述图卷积神经网络，对所述全连接图进行处理，得到所述主体的初始动作特征和所述手部的初始动作特征；

通过对所述主体的初始动作特征进行离散余弦变换，得到所述主体的目标动作特征；

通过对所述手部的初始动作特征进行离散余弦变换，得到所述手部的目标动作特征。

第二方面，提供了一种人机交互方法，所述人机交互方法应用与人机交互装置，所述人机交互装置包括摄像头，所述方法包括：

通过所述摄像头采集目标人体的历史动作序列；

获取根据结合本申请任一实施方式得到的人体动作预测模型；

利用所述人体动作预测模型，对所述目标人体的历史动作序列进行处理，预测得到所述目标人体的未来动作序列，所述目标人体的未来动作序列包括：所述目标人体的主体的未来动作序列和所述目标人体的手部的未来动作序列，所述主体包括所述目标人体中除手之外的部位，所述手部包括所述目标人体的左手和所述目标人体的右手；

响应于所述目标人体的主体的未来动作序列和所述目标人体的手部的未来动作序列，执行目标操作。

第三方面，提供了一种人体动作预测模型的训练装置，所述装置包括：

获取单元，用于获取初始模型、参考人体的历史动作序列以及与所述历史动作序列对应的目标未来动作序列；

提取单元，用于利用所述初始模型，从所述历史动作序列中提取主体的目标动作特征和手部的目标动作特征，所述主体包括所述参考人体中除手之外的部位，所述手部包括所述参考人体的手；

归一化单元，用于基于所述初始模型通过DN，对所述主体的目标动作特征和所述手部的目标动作特征进行归一化，得到归一化后的主体动作特征序列和归一化后的手部动作特征序列；

预测单元，用于通过所述初始模型基于所述归一化后的主体动作特征序列和所述归一化后的手部动作特征序列，预测所述主体的未来动作序列和所述手部的未来动作序列；

更新单元，用于基于所述主体的未来动作序列、所述手部的未来动作序列以及所述目标未来动作序列，更新所述初始模型的参数，得到人体动作预测模型。

结合本申请任一实施方式，所述更新单元，用于：

基于所述目标未来动作序列，确定所述主体的主体目标动作序列和所述手部的手部目标动作序列；

基于所述主体的未来动作序列与所述主体目标动作序列的第一差异，以及所述手部的未来动作序列与所述手部目标动作序列的第二差异，确定第一损失，所述第一损失与所述第一差异、所述第二差异均呈正相关；

基于所述第一损失，更新所述初始模型的参数，得到所述人体动作预测模型。

结合本申请任一实施方式，所述装置还包括：

确定单元，用于确定所述归一化后的主体动作特征序列与所述归一化后的手部动作特征序列的第三差异；

所述确定单元，用于基于所述第三差异，确定第二损失，所述第二损失与所述第三差异呈相关；

所述更新单元，用于：

基于所述第一损失和所述第二损失，更新所述初始模型的参数，得到所述人体动作预测模型。

结合本申请任一实施方式，所述归一化后的手部动作特征序列包括归一化后的左手动作特征序列和归一化后的右手动作特征序列；

所述确定单元，用于：

沿空间维度分别计算所述归一化后的主体动作特征序列的平均值、所述归一化后的左手动作特征序列的平均值和所述归一化后的右手动作特征序列的平均值，得到主体平均动作特征序列、左手平均动作特征序列和右手平均动作特征序列；

针对所述主体平均动作特征序列、所述左手平均动作特征序列和所述右手平均动作特征序列，通过计算两两之间的最大均值差异，得到所述第三差异。

结合本申请任一实施方式，所述提取单元，用于：

从所述历史动作序列中提取所述主体的动作特征序列，得到历史主体动作特征序列；

从所述历史动作序列中提取所述手部的动作特征序列，得到历史手部动作特征序列；

通过对所述历史主体动作特征序列和所述历史手部动作特征序列分别进行离散余弦变换，得到所述主体的目标动作特征和到所述手部的目标动作特征。

结合本申请任一实施方式，所述初始模型包括图像卷积神经网络；

所述提取单元，用于：

获取所述参考人体的全连接图；

将所述历史主体动作特征序列和所述历史手部动作特征序列，作为所述全连接图的输入，并利用所述图卷积神经网络，对所述全连接图进行处理，得到所述主体的初始动作特征和所述手部的初始动作特征；

通过对所述主体的初始动作特征进行离散余弦变换，得到所述主体的目标动作特征；

通过对所述手部的初始动作特征进行离散余弦变换，得到所述手部的目标动作特征。

第四方面，提供了一种人机交互装置，所述人机交互装置包括：

摄像头，用于采集目标人体的历史动作序列；

获取单元，用于获取根据结合本申请任一实施方式得到的人体动作预测模型；

预测单元，用于利用所述人体动作预测模型，对所述目标人体的历史动作序列进行处理，预测得到所述目标人体的未来动作序列，所述目标人体的未来动作序列包括：所述目标人体的主体的未来动作序列和所述目标人体的手部的未来动作序列，所述主体包括所述目标人体中除手之外的部位，所述手部包括所述目标人体的左手和所述目标人体的右手；

执行单元，用于响应于所述目标人体的主体的未来动作序列和所述目标人体的手部的未来动作序列，执行目标操作。

第五方面，提供了一种电子设备，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任一实施方式；在所述程序指令被处理器执行的情况下，或者使所述处理器执行如上述第二方面及其任一实施方式。

第六方面，提供了另一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任一实施方式；在所述处理器执行所述计算机指令的情况下，所述电子设备或者执行如上述第二方面及其任一实施方式。

第七方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令；在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任一实施方式；在所述程序指令被处理器执行的情况下，或者使所述处理器执行如上述第二方面及其任一实施方式。

第八方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令；在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一实施方式；在所述程序指令被处理器执行的情况下，或者使所述处理器执行如上述第二方面及其任一实施方式。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

本申请中，训练装置在获取初始模型、参考人体的历史动作序列以及与历史动作序列对应的目标未来动作序列后。利用初始模型，从历史动作序列中提取主体的目标动作特征和手部的目标动作特征。然后通过DN，对主体的目标动作特征和手部的目标动作特征进行归一化，得到归一化后的主体动作特征序列和归一化后的手部动作特征序列，由此可消除主体的目标动作特征与手部的目标动作特征之间的部位差异。再基于归一化后的主体动作特征序列和归一化后的手部动作特征序列，预测主体的未来动作序列和手部的未来动作序列，可提高主体的未来动作序列的准确度和手部的未来动作序列的准确度。最后基于主体的未来动作序列、手部的未来动作序列以及目标未来动作序列，更新初始模型的参数，得到人体动作预测模型，可使人体动作预测模型具备预测主体的未来动作序列和手部的未来动作序列的能力，其中，基于手部的未来动作序列，可确定未来手势，进而可实现对人体的精细化动作的预测，由此也可提升对人体动作的预测准确度。

附图说明

为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1为本申请实施例提供的一种人体动作预测模型的训练方法的流程示意图；

图2为本申请实施例提供的一种人体关节的示意图；

图3为本申请实施例提供的一种人体动作预测模型的训练框架的架构图；

图4为本申请实施例提供的一种交叉对齐模块的结构示意图；

图5为本申请实施例提供的一种不同预测方法的对比示意图；

图6为本申请实施例提供的一种消除部位差异的效果示意图；

图7a为本申请实施例提供的一种翻阅动作的预测效果示意图；

图7b为本申请实施例提供的一种烹饪动作的预测效果示意图；

图7c为本申请实施例提供的一种喝水动作的预测效果示意图；

图7d为本申请实施例提供的一种吃动作的预测效果示意图；

图7e为本申请实施例提供的一种传递动作的预测效果示意图；

图7f为本申请实施例提供的一种拍照动作的预测效果示意图；

图8为本申请实施例提供的一种人机交互方法的流程示意图；

图9为本申请实施例提供的一种人体动作预测模型的训练装置的结构示意图；

图10为本申请实施例提供的一种人机交互装置的结构示意图；

图11为本申请实施例提供的一种电子设备的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例的执行主体为人体动作预测模型的训练装置(下文简称为训练装置)，其中，训练装置可以是任意一种可执行本申请方法实施例所公开的技术方案的电子设备。可选的，训练装置可以是以下中的一种：计算机、服务器。

应理解，本申请方法实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图1，图1是本申请实施例提供的一种人体动作预测模型的训练方法的流程示意图。

101、获取初始模型、参考人体的历史动作序列以及与上述历史动作序列对应的目标未来动作序列。

本申请实施例中，初始模型可以是任意深度学习模型。在一种获取初始模型的实现方式中，训练装置接收用户通过输入组件输入的初始模型。可选的，输入组件包括：键盘、鼠标、触控屏、触控板、音频输入器。

在另一种获取初始模型的实现方式中，训练装置接收终端发送的初始模型。可选的，终端包括：手机、计算机、平板电脑、服务器。

本申请实施例中，参考人体可以是任意人体。历史动作序列是通过对参考人体进行观测，获得的参考人体已发生的动作序列。可选的，历史动作序列为包括n帧历史图像的历史图像序列，历史图像均包括参考人体。可选的，n为5。

可选的，历史动作序列包括关节的历史动作，图2为本申请实施例提供的一种人体关节的示意图。图2所示的关节的具体含义可参见下表1。

表1

可选的，历史动作序列中的动作类别包括下表2中的类别。

表2

在一种获取参考人体的历史动作序列的实现方式中，训练装置通过摄像头对参考人体进行拍摄，获得包括参考人体的历史图像序列。训练装置将历史图像序列作为历史动作序列。

在另一种获取参考人体的历史动作序列的实现方式中，训练装置接收用户通过输入组件输入的历史动作序列。

在又一种获取参考人体的历史动作序列的实现方式中，训练装置接收终端发送的历史动作序列。

本申请实施中，目标未来动作序列为历史动作序列的延续，参考人体在执行完历史动作序列后，执行目标未来动作序列。可选的，目标未来动作序列也为通过对参考人体进行观测，获得的参考人体已发生的动作序列，但目标未来动作序列的发生时间在历史动作序列的发生时间之后。可选的，目标未来动作序列为包括n帧未来图像的未来图像序列，未来图像均包括参考人体。

在一种获取参考人体的未来动作序列的实现方式中，训练装置通过摄像头对参考人体进行拍摄，获得包括参考人体的未来图像序列。训练装置将未来图像序列作为未来动作序列。

在另一种获取参考人体的未来动作序列的实现方式中，训练装置接收用户通过输入组件输入的参考人体的未来动作序列。

在又一种获取参考人体的未来动作序列的实现方式中，训练装置接收终端发送的参考人体的未来动作序列。

应理解，本申请实施例中，执行获取初始模型的步骤、执行获取参考人体的历史动作序列的步骤、执行获取与历史动作序列对应的目标未来动作序列的步骤可以同时执行，也可以分开执行，本申请对此不作限定。

102、利用上述初始模型，从上述历史动作序列中提取主体的目标动作特征和手部的目标动作特征。

本申请实施例中，主体包括人体中除手之外的部位，其中，手为手腕以下的部位。在一种可能实现的方式中，手包括左手和右手，主体包括人体中除左手和右手之外的部位。参考人体的主体为参考人体中除手之外的部位。手部包括人体的手，其中，手为手腕以下的部位。在一种可能实现的方式中，手部包括左手和右手。参考人体的手部为参考人体中的手。

103、上述初始模型通过DN，对上述主体的目标动作特征和上述手部的目标动作特征进行归一化，得到归一化后的主体动作特征序列和归一化后的手部动作特征序列。

在同一个人体中，不同部位的动作之间由于存在部位差异，若直接基于不同部位的动作特征预测人体的未来动作序列，易产生较大的误差，其中，该部位差异包括以下至少一个：尺度的差异、自由度的差异、运动幅度的差异。例如，在参考人体中，主体的目标动作特征与手部的目标动作特征之间存在部位差异。

初始模型通过DN对主体的目标动作特征和手部的目标动作特征进行归一化，得到归一化后的主体动作特征序列和归一化后的手部动作特征序列，可消除主体的目标动作特征与手部的目标动作特征之间的部位差异，进而有利于后续基于归一化后的主体动作特征序列和归一化后的手部动作特征序列，预测参考人体的未来动作序列。

104、上述初始模型基于上述归一化后的主体动作特征序列和上述归一化后的手部动作特征序列，预测上述主体的未来动作序列和上述手部的未来动作序列。

如步骤103所述，初始模型基于归一化后的主体动作特征序列和归一化后的手部动作特征序列，预测参考人体的未来动作序列，可减小误差，提升预测的准确度。在本步骤中，初始模型预测的结果包括主体的未来动作序列和手部的未来动作序列。基于手部的未来动作序列，可确定参考人体的未来手势，从而可实现对参考人体的精细化动作的预测。

105、基于上述主体的未来动作序列、上述手部的未来动作序列以及上述目标未来动作序列，更新上述初始模型的参数，得到人体动作预测模型。

在步骤105中，训练装置通过将目标未来动作序列作为初始模型的预测结果的监督信息，更新初始模型的参数。在一种可能实现的方式中，训练装置基于目标未来动作序列，确定主体的主体目标动作序列和手部的手部目标动作序列，其中，主体目标动作序列为目标未来动作序列中的主体的动作序列，手部目标动作序列为目标未来动作序列中的手部的动作序列。主体目标动作序列可作为主体的未来动作序列的真值(ground truth，GT)，手部目标动作序列可作为手部的未来动作序列的GT。

训练装置基于主体的未来动作序列与主体目标动作序列的第一差异，以及手部的未来动作序列与手部目标动作序列的第二差异，确定第一损失，第一损失与第一差异、第二差异均呈正相关。在一种可能实现的方式中，训练装置通过对第一差异和第二差异进行加权求和得到第一损失。

在另一种可能实现的方式中，手部的未来动作序列包括左手的未来动作序列和右手的未来动作序列，手部目标动作序列包括左手目标动作序列和右手目标动作序列。训练装置依据主体的未来动作序列与主体目标动作序列的差异确定主体损失，依据左手的未来动作序列与左手目标动作序列的差异确定左手损失，依据右手的未来动作序列与右手目标动作序列的差异确定右手损失。通过对主体损失、左手损失和右手损失进行加权求和，得到第一损失，其中，主体损失、左手损失、右手损失均与第一损失呈正相关。

在得到第一损失后，训练装置基于第一损失，更新初始模型的参数，得到人体动作预测模型。具体的，训练装置基于第一损失确定初始模型的反向传播的梯度，基于该梯度更新初始模型的参数，直至第一损失收敛，得的人体动作预测模型。

本申请实施例中，训练装置在获取初始模型、参考人体的历史动作序列以及与历史动作序列对应的目标未来动作序列后。利用初始模型，从历史动作序列中提取主体的目标动作特征和手部的目标动作特征。然后通过DN，对主体的目标动作特征和手部的目标动作特征进行归一化，得到归一化后的主体动作特征序列和归一化后的手部动作特征序列，由此可消除主体的目标动作特征与手部的目标动作特征之间的部位差异。再基于归一化后的主体动作特征序列和归一化后的手部动作特征序列，预测主体的未来动作序列和手部的未来动作序列，可提高主体的未来动作序列的准确度和手部的未来动作序列的准确度。最后基于主体的未来动作序列、手部的未来动作序列以及目标未来动作序列，更新初始模型的参数，得到人体动作预测模型，可使人体动作预测模型具备预测主体的未来动作序列和手部的未来动作序列的能力，其中，基于手部的未来动作序列，可确定未来手势，进而可实现对人体的精细化动作的预测，由此也可提升对人体动作的预测准确度。

作为一种可选的实施方式，手部的未来动作序列包括左手的未来动作序列和右手的未来动作序列。训练装置在执行步骤105之前，还执行以下步骤：

201、确定上述归一化后的主体动作特征序列与上述归一化后的手部动作特征序列的第三差异。

本申请实施例中，第三差异可用于衡量归一化后的主体动作特征序列与归一化后的手部动作特征序列之间的部位差异。在一种可能实现的方式中，训练装置计算归一化后的主体动作特征序列与归一化后的手部动作特征序列之间的最大均值差异(maximum meandiscrepancy，MMD)，得到第三差异。

202、基于上述第三差异，确定第二损失。

本申请实施例中，第二损失与第三差异呈相关，可选的，训练装置将第三差异作为第二损失。

在确定第二损失后，训练装置在执行步骤105的过程中执行以下步骤：

203、基于上述第一损失和上述第二损失，更新上述初始模型的参数，得到上述人体动作预测模型。

在一种可能实现的方式中，训练装置通过对第一损失和第二损失进行加权求和得到总损失。基于总损失确定初始模型的反向传播的梯度，基于该梯度更新初始模型的参数，直至总损失收敛，得的人体动作预测模型。

在该种实施方式中，训练装置在确定归一化后的主体动作特征序列与归一化后的手部动作特征序列的第三差异后，在第三差异与第二损失呈正相关的情况下，基于第三差异确定第二损失。于是基于第一损失和第二损失，更新初始模型的参数，得到人体动作预测模型，可通过第二损失对利用DN去除部位差异进行约束，进而可提高人体动作预测模型消除主体与手部之间的部位差异的效果，从而提升人体动作预测模型对人体的未来动作序列的预测准确度。

作为一种可选的实施方式，归一化后的手部动作序列包括归一化后的左手动作特征序列和归一化后的右手动作特征序列。训练装置在执行步骤201的过程中执行以下步骤：

301、沿空间维度分别计算上述归一化后的主体动作特征序列的平均值、上述归一化后的左手动作特征序列的平均值和上述归一化后的右手动作特征序列的平均值，得到主体平均动作特征序列、左手平均动作特征序列和右手平均动作特征序列。

由于归一化后的主体动作特征序列具有时间维度的信息和空间维度的信息，初始模型通过沿空间维度计算归一化后的主体动作特征序列的平均值得到主体平均动作特征序列，可在平均空间维度的信息的情况下，保留时间维度信息的完整性。

同理，初始模型通过计算归一化后的左手动作特征序列的平均值，得到左手平均动作特征序列。初始模型通过计算归一化后的右手动作特征序列的平均值，得到右手平均动作特征序列。

302、针对上述主体平均动作特征序列、上述左手平均动作特征序列和上述右手平均动作特征序列，通过计算两两之间的MMD，得到上第三差异。

具体的，训练装置计算主体平均动作特征序列与左手平均动作特征序列的MMD，得到主左差异，计算主体平均动作特征序列与右手平均动作特征序列的MMD，得到主右差异，计算左手平均动作特征序列与右手平均动作特征序列的MMD，得到左右差异。

在得到主左差异、主右差异和左右差异后，训练装置基于主左差异、主右差异和左右差异，得到第三差异。可选的，训练装置通过对主左差异、主右差异和左右差异进行求和得到第三差异。

在该种实施方式中，训练装置通过沿空间维度分别计算归一化后的主体动作特征序列的平均值、归一化后的左手动作特征序列的平均值和归一化后的右手动作特征序列的平均值，得到主体平均动作特征序列、左手平均动作特征序列和右手平均动作特征序列，在平均空间维度的信息的情况下，保留时间维度信息的完整性。由此，针对主体平均动作特征序列、左手平均动作特征序列和右手平均动作特征序列，通过计算两两之间的MMD差异，得到第三差异，可使第三差异能更好的表征主体与左手的部位差异、主体与右手的部位差异、左手与右手的部位差异。

可选的，在训练装置通过执行步骤301和步骤302得到第三差异的情况下，通过下式计算第二损失：

其中，MMD(A,B)表示计算A和B的MMD。Avg(·)表示求平均值。

作为一种可选的实施方式，训练装置利用初始模型执行以下步骤，从历史动作序列中提取主体的目标动作特征和手部的目标动作特征：

401、从上述历史动作序列中提取上述主体的动作特征序列，得到历史主体动作特征序列。

402、从上述历史动作序列中提取上述手部的动作特征序列，得到历史手部动作特征序列。

403、通过对上述历史主体动作特征序列和上述历史手部动作特征序列分别进行离散余弦变换(discrete cosine transform，DCT)，得到上述主体的目标动作特征和到上述手部的目标动作特征。

具体的，初始模型通过对历史主体动作特征序列进行DCT得到主体的目标动作特征，通过对历史手部动作特征序列进行DCT得到手部的目标动作特征。

在该种实施方式中，训练装置在从历史动作序列中提取主体的动作特征序列，得到历史主体动作特征序列，以及从上述历史动作序列中提取手部的动作特征序列，得到历史手部动作特征序列后，通过对历史主体动作特征序列进行DCT得到主体的目标动作特征，可获得时间维度的平滑性，进而使主体的目标动作特征能更好的表征历史主体动作特征序列的时间维度的信息。通过对历史手部动作特征序列进行DCT得到手部的目标动作特征，可获得时间维度的平滑性，进而使手部的目标动作特征能更好的表征历史手部动作特征序列的时间维度的信息。

作为一种可选的实施方式，初始模型包括图卷积神经网络(graph convolutionalnetwork,GCN)。初始模型在执行步骤403的过程中执行以下步骤：

501、获取上述参考人体的全连接图(fully-connected graph)。

本申请实施例中，参考人体的全连接图是基于参考人体的骨骼、关节的连接关系，构建的全连接图。在全连接图中，任意一个节点均与其余所有节点之间存在连接关系，其中，节点与人体的关节对应。

502、将上述历史主体动作特征序列和上述历史手部动作特征序列，作为上述全连接图的输入，并利用上述GCN，对上述全连接图进行处理，得到上述主体的初始动作特征和上述手部的初始动作特征。

初始模型将历史主体动作特征序列和历史手部动作特征序列，作为全连接图的输入，可使全连接图中的各个关节具备初始动作特征。初始模型利用GCN对全连接图进行处理，可使关节的初始动作特征的信息通过全连接图进行传播，进而使不同关节的初始动作特征的信息进行融合，从而实现参考人体中不同部位的动作特征的信息的融合，最终基于全连接图可确定主体的初始动作特征和手部的初始动作特征。

503、通过对上述主体的初始动作特征进行DCT，得到上述主体的目标动作特征。

504、通过对上述手部的初始动作特征进行DCT，得到上述手部的目标动作特征。

在该种实施方式中，初始模型在获取参考人体的全连接图后，将历史主体动作特征序列和历史手部动作特征序列，作为全连接图的输入，可使全连接图中的各个关节具备初始动作特征。初始模型再利用GCN对全连接图进行处理，可使关节的初始动作特征的信息，基于关节的连接关系进行传播，进而使不同关节的初始动作特征的信息进行融合，从而实现参考人体中不同部位的动作特征的信息的融合，最终基于全连接图可确定主体的初始动作特征和手部的初始动作特征。

在一种可能实现的方式中，本申请实施例还提供了一种与人体动作预测模型的训练方法对应的人体动作预测模型的训练框架。请参阅图3，图3为本申请实施例提供的一种人体动作预测模型的训练框架的架构图，该训练框架可用于对初始模型进行训练得到人体动作预测模型。

如图3所示，在该训练框架中，初始模型在获取到参考人体的历史动作序列后，首先对历史动作序列进行离散余弦变换，其中，历史动作序列包括历史主体动作序列(即图3中的X

图4为本申请实施提供的一种交叉对齐模块的结构示意图。图4示出了交叉对齐模块通过分布范数(DN)对不同部位的特征进行归一化的过程，该过程的具体实现如下：

交叉对齐模块针对主体的目标动作特征、左手的目标动作特征和右手的目标动作特征中的任意两个，可分别通过DN进行归一化。下文首先通过描述利用DN对主体的目标动作特征和左手的目标动作特征进行归一化的实现过程，解释利用DN对不同部位的动作特征进行归一化。具体的，利用DN对主体的目标动作特征和左手的目标动作特征进行归一化的实现过程可参见下式：

其中，α为可学习参数，α∈[0.5，1]。μ

公式(2)表征的是通过DN对主体的目标动作特征和左手的目标动作特征进行归一化的计算过程，同理，可对主体的目标动作特征和右手的目标动作特征进行归一化，对右手的目标动作特征和左手的目标动作特征进行归一化。在实际处理过程中，可通过下式对不同部位进行循环归一化：

其中，DN(A，B，C)表示通过DN对A和B进行归一化，其中，C为DN所需的参数，具体实现过程可参见公式(2)。

图4还示出了，针对归一化后的主体动作特征(即

可选的，初始模型的结构如下表3所示。

/>

表3

表3中，T表示输入的历史动作序列的持续时长，H和H

在目前的技术中，通常是利用基于关节点的预测方法，预测人体的未来动作序列，例如，基于轨迹相关性进行人体动作预测(Learning trajectory dependencies forhuman motion prediction)，就是一种基于关节点的预测方法。而在基于图3所示的训练框架训练得到人体动作预测模型的情况下，利用人体动作预测模型预测人体的未来动作序列，可消除不同部位之间的部位差异，而且可预测手势。因此利用人体动作预测模型预测人体的未来动作序列，相较于基于关节点的预测方法的预测结果，可取得的进步。

具体的，图5为本申请实施例提供的一种不同预测方法的对比示意图。如图5所示，上半部分的预测过程为基于关节点的预测方法的预测过程(下文简称为传统方法过程)，下半部分为利用基于图3所示的训练框架训练得到的人体动作预测模型进行预测的过程(下文简称为本申请方法过程)。显然，本申请方法过程不仅可以预测主体的未来动作序列，还可预测手部的未来动作序列，其中，手部的未来动作序列包括手掌的未来动作序列，而传统方法不能预测手部的未来动作序列。而且本申请方法过程还可通过交叉对齐模块，消除不同部位之间的部位差异，而传统方法过程没有消除不同部位之间的部位差异。因此，基于本申请方法过程得到的未来动作序列，可视为基于传统方法过程得到的未来动作序列的改进。

请参阅图6，图6为本申请实施例提供的一种消除部位差异的效果示意图。如图6所示，图6中的结果均是，在迭代次数为3000的情况下，利用人体动作预测模型得到的结果。可选的，通过t分布-随机近邻嵌入(t-distributed Stochastic Neighbor Embedding，T-SNE)进行迭代，通过T-SNE进行迭代可提升降维效果。在图6中，共有三列，其中，一列表示一个部位的动作特征，具体的，第一列表示左手的动作特征，第二列表示主体的动作特征，第三列表示右手的动作特征。每一列均有三行，其中，第一行表示历史动作特征。第二行表示目标动作特征，第三行表示归一化后的动作特征。图中圆点的大小表示特征。如图6所示，归一化后的左手动作特征的分布、归一化后的主体动作特征的分布、归一化后的右手动作特征的分布之间的相似度，比左手的目标动作特征的分布、主体的目标动作特征的分布、右手的目标动作特征的分布的相似度更集中。而且可消除不同部位之间的歧义性和异构性，进而有利于不同部位的特征之间的交互。归一化后的左手动作特征的分布、归一化后的主体动作特征的分布、归一化后的右手动作特征的分布之间的相似度，也比历史左手动作特征的分布、历史主体动作特征的分布、历史右手动作特征的分布的相似度更高。这就说明，通过交叉对齐模块对不同部位的特征进行归一化，可消除不同部位之间的部位差异。

请参阅图7a至图7f，图7a至图7f均为本申请实施例提供的未来动作序列的效果示意图。其中，图7a为翻阅动作的预测效果示意图，图7b为烹饪动作的预测效果示意图，图7c为喝水动作的预测效果示意图，图7d为吃动作的预测效果示意图，图7e为传递动作的预测效果示意图，图7f为拍照动作的预测效果示意图。

具体的，图7a至图7f中，历史动作序列的持续时长均为1000毫秒(ms)，即-1000ms至0ms，预测得到的未来动作序列的持续时长均为1000ms，即0ms至1000ms。图7a中的历史动作序列为翻阅动作的右视图(right view)，图7b中的历史动作序列为烹饪动作的右视图，图7c中的历动作序列为喝水动作的左视图(left view)，图7d中的历史动作序列为吃动作的左视图，图7e中的历史动作序列为传递动作的正视图(front view)，图7f中的历史动作序列为拍照动作的正视图。

基于前文所提供的人体动作预测模型的训练方法，训练得到的人体动作预测模型，可用于对人体动作进行预测。具体的，在获取目标人体的历史动作序列后，利用人体动作预测模型对历史动作序列进行处理，可预测得到目标人体的未来动作序列，其中，目标人体的未来动作序列包括：目标人体的主体的未来动作序列和目标人体的手部的未来动作序列，主体包括目标人体中除手之外的部位，手部包括目标人体的左手和目标人体的右手。进而可在实际应用场景中，基于目标人体的未来动作序列，进行相应的处理。

在一个可能实现的场景中，可将基于人体动作预测模型实现的人体动作的预测应用于人机交互(human-robot interaction，HRI)，HRI是指用户与人机交互装置进行交互，其中，人机交互装置可以是任意电子设备。在HRI应用场景中，人机交互装置需要通过识别用户的动作，来理解用户所表达的意图，进而可依据用户所表达的意图执行与用户的动作相应的操作。因此人机交互装置对用户的动作的响应快慢，也将影响用户对人机交互的体验差。基于此，本申请实施例还提供了一种人机交互方法，以提高人机交互装置对用户的动作的响应速度，进而提升用户对人机交互的体验。

人机交互方法的实施例所公开的技术方案的执行主体为人机交互装置。人机交互装置可以是任意一种可执行人机交互方法的实施例所公开的技术方案的电子设备。人机交互装置包括摄像头。可选的，人机交互装置可以是以下中的一种：用于提供服务的机器人。

应理解，人机交互方法的实施例还可以通过处理器执行计算机程序代码的方式实现。下面结合本申请实施例中的附图对本申请实施例进行描述。请参阅图8，图8是本申请实施例提供的一种人机交互方法的流程示意图。

801、通过上述摄像头采集目标人体的历史动作序列。

本申请实施例中，目标人体为与人机交互装置进行交互的用户的身体。历史动作序列为目标人体在与人机交互装置进行交互的过程中已做出的动作。人机交互装置在与目标人体进行交互的过程中，通过摄像头采集包括目标人体的目标图像序列，进而可基于目标图像序列，获得目标人体的历史动作序列。在一种可能实现的方式中，人机交互装置通过对目标图像序列中的图像进行动作识别，确定目标人体在各张图像中的动作，进而可得到目标人体的历史动作序列。

802、获取根据人体动作预测模型的训练方法训练得到的人体动作预测模型。

803、利用上述人体动作预测模型，对上述目标人体的历史动作序列进行处理，预测得到上述目标人体的未来动作序列。

本申请实施中，目标人体的未来动作序列包括：目标人体的主体的未来动作序列和目标人体的手部的未来动作序列，主体包括目标人体中除手之外的部位，手部包括目标人体的左手和目标人体的右手。

804、响应于上述目标人体的主体的未来动作序列和上述目标人体的手部的未来动作序列，执行目标操作。

本申请实施例中，目标操作为人机交互装置在基于目标人体的主体的未来动作序列和目标人体的手部的未来动作序列，确定用户所表达的意图后，依据用户所表达的意图所确定的操作。例如，人机交互装置在基于目标人体的主体的未来动作序列和目标人体的手部的未来动作序列，确定用户所表达的意图为将要打电话，那么目标操作可以是将人机交互装置的扬声器的音量调低。又例如，人机交互装置在基于目标人体的主体的未来动作序列和目标人体的手部的未来动作序列，确定用户所表达的意图为将要开门离开，那么目标操作可以是输出请慢走的语音。

本申请实施例中，人机交互装置通过摄像头采集目标人体的历史动作序列。然后在获取人体动作预测模型后，利用人体动作预测模型，对目标人体的历史动作序列进行处理，预测得到目标人体的未来动作序列。由于目标人体的未来动作序列包括：目标人体的手部的未来动作序列，故人机交互装置可基于目标人体的手部的未来动作序列，预测目标人体的未来手势，也就是说，人机交互装置可实现精细化动作的预测，这样，结合目标人体的未来动作序列中的目标人体的主体的未来动作序列，人机交互装置可做到对目标人体的未来动作更全面的预测。由此，人机交互装置基于目标人体的主体的未来动作序列和目标人体的手部的未来动作序列，确定目标操作，可提高目标操作的准确度。而人机交互装置响应于目标人体的主体的未来动作序列和目标人体的手部的未来动作序列，执行目标操作，可做到对用户的动作的提前响应，进而可提高对用户的动作的响应速度，从而提升用户对人机交互的体验。

本申请实施例中，预判装置通过摄像头采集目标人体的历史动作序列。然后在获取人体动作预测模型后，利用人体动作预测模型，对目标人体的历史动作序列进行处理，预测得到目标人体的未来动作序列。由于目标人体的未来动作序列包括：目标人体的手部的未来动作序列，故预判装置可基于目标人体的手部的未来动作序列，预测目标人体的未来手势。由此，预判装置可基于目标人体的未来手势，确定目标人体是否将用手执行危险操作。在确定目标人体将用手执行危险操作的情况下，输出提示信息，以提示目标人体停止该危险操作，以及提示相关人员对该危险操作及时制止，从而通过对危险动作的预判降低事故发生的几率。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

上述详细阐述了本申请实施例的方法，下面提供了本申请实施例的装置。

请参阅图9，图9为本申请实施例提供的一种人体动作预测模型的训练装置的结构示意图，该人体动作预测模型的训练装置1包括：获取单元11、提取单元12、归一化单元13、预测单元14、更新单元15，可选的，人体动作预测模型的训练装置1还包括确定单元16，具体的：

获取单元11，用于获取初始模型、参考人体的历史动作序列以及与所述历史动作序列对应的目标未来动作序列；

提取单元12，用于利用所述初始模型，从所述历史动作序列中提取主体的目标动作特征和手部的目标动作特征，所述主体包括所述参考人体中除手之外的部位，所述手部包括所述参考人体的手；

归一化单元13，用于基于所述初始模型通过DN，对所述主体的目标动作特征和所述手部的目标动作特征进行归一化，得到归一化后的主体动作特征序列和归一化后的手部动作特征序列；

预测单元14，用于通过所述初始模型基于所述归一化后的主体动作特征序列和所述归一化后的手部动作特征序列，预测所述主体的未来动作序列和所述手部的未来动作序列；

更新单元15，用于基于所述主体的未来动作序列、所述手部的未来动作序列以及所述目标未来动作序列，更新所述初始模型的参数，得到人体动作预测模型。

结合本申请任一实施方式，所述更新单元15，用于：

基于所述目标未来动作序列，确定所述主体的主体目标动作序列和所述手部的手部目标动作序列；

基于所述主体的未来动作序列与所述主体目标动作序列的第一差异，以及所述手部的未来动作序列与所述手部目标动作序列的第二差异，确定第一损失，所述第一损失与所述第一差异、所述第二差异均呈正相关；

基于所述第一损失，更新所述初始模型的参数，得到所述人体动作预测模型。

结合本申请任一实施方式，所述装置1还包括：

确定单元16，用于确定所述归一化后的主体动作特征序列与所述归一化后的手部动作特征序列的第三差异；

所述确定单元16，用于基于所述第三差异，确定第二损失，所述第二损失与所述第三差异呈相关；

所述更新单元15，用于：

基于所述第一损失和所述第二损失，更新所述初始模型的参数，得到所述人体动作预测模型。

结合本申请任一实施方式，所述归一化后的手部动作特征序列包括归一化后的左手动作特征序列和归一化后的右手动作特征序列；

所述确定单元16，用于：

沿空间维度分别计算所述归一化后的主体动作特征序列的平均值、所述归一化后的左手动作特征序列的平均值和所述归一化后的右手动作特征序列的平均值，得到主体平均动作特征序列、左手平均动作特征序列和右手平均动作特征序列；

针对所述主体平均动作特征序列、所述左手平均动作特征序列和所述右手平均动作特征序列，通过计算两两之间的最大均值差异，得到所述第三差异。

结合本申请任一实施方式，所述提取单元12，用于：

从所述历史动作序列中提取所述主体的动作特征序列，得到历史主体动作特征序列；

从所述历史动作序列中提取所述手部的动作特征序列，得到历史手部动作特征序列；

通过对所述历史主体动作特征序列和所述历史手部动作特征序列分别进行离散余弦变换，得到所述主体的目标动作特征和到所述手部的目标动作特征。

结合本申请任一实施方式，所述初始模型包括图像卷积神经网络；

所述提取单元12，用于：

获取所述参考人体的全连接图；

将所述历史主体动作特征序列和所述历史手部动作特征序列，作为所述全连接图的输入，并利用所述图卷积神经网络，对所述全连接图进行处理，得到所述主体的初始动作特征和所述手部的初始动作特征；

通过对所述主体的初始动作特征进行离散余弦变换，得到所述主体的目标动作特征；

通过对所述手部的初始动作特征进行离散余弦变换，得到所述手部的目标动作特征。

本申请实施例中，训练装置在获取初始模型、参考人体的历史动作序列以及与历史动作序列对应的目标未来动作序列后。利用初始模型，从历史动作序列中提取主体的目标动作特征和手部的目标动作特征。然后通过DN，对主体的目标动作特征和手部的目标动作特征进行归一化，得到归一化后的主体动作特征序列和归一化后的手部动作特征序列，由此可消除主体的目标动作特征与手部的目标动作特征之间的部位差异。再基于归一化后的主体动作特征序列和归一化后的手部动作特征序列，预测主体的未来动作序列和手部的未来动作序列，可提高主体的未来动作序列的准确度和手部的未来动作序列的准确度。最后基于主体的未来动作序列、手部的未来动作序列以及目标未来动作序列，更新初始模型的参数，得到人体动作预测模型，可使人体动作预测模型具备预测主体的未来动作序列和手部的未来动作序列的能力，其中，基于手部的未来动作序列，可确定未来手势，进而可实现对人体的精细化动作的预测，由此也可提升对人体动作的预测准确度。

请参阅图10，图10为本申请实施例提供的一种人机交互装置的结构示意图，该人机交互装置2包括：摄像头21、获取单元22、预测单元23、执行单元24，具体的：

摄像头21，用于采集目标人体的历史动作序列；

获取单元22，用于获取根据结合本申请任一实施方式得到的人体动作预测模型；

预测单元23，用于利用所述人体动作预测模型，对所述目标人体的历史动作序列进行处理，预测得到所述目标人体的未来动作序列，所述目标人体的未来动作序列包括：所述目标人体的主体的未来动作序列和所述目标人体的手部的未来动作序列，所述主体包括所述目标人体中除手之外的部位，所述手部包括所述目标人体的左手和所述目标人体的右手；

执行单元24，用于响应于所述目标人体的主体的未来动作序列和所述目标人体的手部的未来动作序列，执行目标操作。

本申请实施例中，人机交互装置通过摄像头采集目标人体的历史动作序列。然后在获取人体动作预测模型后，利用人体动作预测模型，对目标人体的历史动作序列进行处理，预测得到目标人体的未来动作序列。由于目标人体的未来动作序列包括：目标人体的手部的未来动作序列，故人机交互装置可基于目标人体的手部的未来动作序列，预测目标人体的未来手势，也就是说，人机交互装置可实现精细化动作的预测，这样，结合目标人体的未来动作序列中的目标人体的主体的未来动作序列，人机交互装置可做到对目标人体的未来动作更全面的预测。由此，人机交互装置基于目标人体的主体的未来动作序列和目标人体的手部的未来动作序列，确定目标操作，可提高目标操作的准确度。而人机交互装置响应于目标人体的主体的未来动作序列和目标人体的手部的未来动作序列，执行目标操作，可做到对用户的动作的提前响应，进而可提高对用户的动作的响应速度，从而提升用户对人机交互的体验。

在一些实施例中，本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

图11为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备3包括处理器31，存储器32。可选的，该电子设备3还包括输入装置33，输出装置34。该处理器31、存储器32、输入装置33和输出装置34通过连接器相耦合，该连接器包括各类接口、传输线或总线等等，本申请实施例对此不作限定。应当理解，本申请的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。

处理器31可以包括是一个或多个处理器，例如包括一个或多个中央处理器(central processing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。可选的，处理器31可以是多个CPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。可选的，该处理器还可以为其他类型的处理器等等，本申请实施例不作限定。

存储器32可用于存储计算机程序指令，以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

输入装置33用于输入数据和/或信号，以及输出装置34用于输出数据和/或信号。输入装置33和输出装置34可以是独立的器件，也可以是一个整体的器件。

可理解，本申请实施例中，存储器32不仅可用于存储相关指令，还可用于存储相关数据，本申请实施例对于该存储器中具体所存储的数据不作限定。

可以理解的是，图11仅仅示出了一种电子设备的简化设计。在实际应用中，电子设备还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、存储器等，而所有可以实现本申请实施例的电子设备都在本申请的保护范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本申请各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digitalversatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。