对象运动序列的生成方法、装置、电子设备及存储介质

技术领域

本申请涉及数据处理技术领域，尤其是涉及对象运动序列的生成方法、装置、电子设备及存储介质。

背景技术

动作捕捉(Motion Capture,MoCap)是一种利用传感器或摄像机等特定外部设备对人体结构的运动进行数据记录和动作还原的技术。目前，该技术已被广泛地应用在游戏、电影、电视等的相关动作制作流程中，极大地提高了生产效率。

其中，基于计算机视觉技术的光学动捕已经成为动作捕捉的具体实施方案，光学动捕通过多个不同视角的高速相机同步拍摄目标对象动作，并使用多视角三维重建技术计算贴在演员身体不同部位上的一批标记点的三维位置坐标，最后再基于这些坐标解算出演员每个骨骼关节点的位置和旋转信息；然而，由于遮挡、传感器精度和算法自身误差等因素的干扰，光学动捕设备所记录的标记点的三维位置坐标仍会不可避免地存在一定的误差，因此需要对动捕数据进行额外的清洗、去噪。

相关技术中，基于深度人工神经网络的光学动捕数据自动清洗和解算方案，其旨在从动捕设备所采集到的带噪声的原始标记序列中预测对象的连续运动，实现了对动捕数据的自动去噪及解算，但是，在对整个输入序列进行解算过程中，特征提取的方式考虑目标对象的全部标记点之间的相关性，这种解算方式在对象复杂运动情况下，可能并不能完全对目标对象的运动特征进行提取，导致模型其输出的运动序列的细节精度和准确性较低。

发明内容

有鉴于此，本申请的目的在于提供对象运动序列的生成方法、装置、电子设备及存储介质，将获取到的初始标记坐标序列输入至预先训练好的运动预测模型中，以使运动预测模型将初始标记坐标序列进行分解，分别提取时空维度上的局部运动特征，再通过将局部运动特征聚合成全局运动特征，对目标对象的运动进行预测，输出预测对象运动序列。利用局部时空维度内标记点之间潜在的局部相关性，有效捕获目标对象运动的局部和全局信息，提高输出的预测对象运动序列的细节精度和准确性。

第一方面，本申请实施例提供了一种对象运动序列的生成方法，所述生成方法包括：

获取目标对象的初始标记坐标序列；所述初始标记坐标序列中包括多帧采集数据，每帧采集数据中包括所述目标对象携带的标记点的三维位置坐标；

将所述初始标记坐标序列输入至预先训练好的运动预测模型，以使所述运动预测模型将所述初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出所述目标对象的预测对象运动序列。

第二方面，本申请实施例还提供了一种对象运动序列的生成装置，所述生成装置包括：

坐标序列获取模块，用于获取目标对象的初始标记坐标序列；所述初始标记坐标序列中包括多帧采集数据，每帧采集数据中包括所述目标对象携带的标记点的三维位置坐标；

运动序列输出模块，用于将所述初始标记坐标序列输入至预先训练好的运动预测模型，以使所述运动预测模型将所述初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出所述目标对象的预测对象运动序列。

第三方面，本申请实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面任一项所述的对象运动序列的生成方法的步骤。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面任一项所述的对象运动序列的生成方法的步骤。

本申请实施例提供的对象运动序列的生成方法、装置、电子设备及存储介质，获取目标对象的初始标记坐标序列，将初始标记坐标序列输入至预先训练好的运动预测模型，以使运动预测模型将初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出目标对象的预测对象运动序列。这样，将获取到的初始标记坐标序列输入至预先训练好的运动预测模型中，以使运动预测模型将初始标记坐标序列进行分解，分别提取时空维度上的局部运动特征，再通过将局部运动特征聚合成全局运动特征，对目标对象的运动进行预测，输出预测对象运动序列。利用局部时空维度内标记点之间潜在的局部相关性，有效捕获目标对象运动的局部和全局信息，提高输出的预测对象运动序列的细节精度和准确性。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例所提供的一种对象运动序列的生成方法的流程图；

图2为本申请实施例所提供的目标对象的标记点设置示意图；

图3为本申请实施例所提供的序列分解示意图；

图4为本申请实施例所提供的基础模块的结构示意图；

图5为本申请实施例所提供的编码模块的结构示意图；

图6为本申请实施例所提供的运动预测模型的模型结构示意图；

图7为本申请实施例所提供的残差块的结构示意图；

图8为本申请实施例所提供的运动预测模型的使用流程图；

图9为本申请实施例所提供的运动预测模型的训练流程图；

图10为本申请实施例所提供的一种对象运动序列的生成装置的结构示意图之一；

图11为本申请实施例所提供的一种对象运动序列的生成装置的结构示意图之二；

图12为本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。

对本申请的相关技术进行介绍。

动作捕捉(Motion Capture,MoCap)是一种利用传感器或摄像机等特定外部设备对人体结构的运动进行数据记录和动作还原的技术。目前，该技术已被广泛地应用在游戏、电影、电视等的相关动作制作流程中，极大地提高了生产效率。

其中，基于计算机视觉技术的光学动捕已经成为动作捕捉的具体实施方案，光学动捕通过多个不同视角的高速相机同步拍摄目标对象动作，并使用多视角三维重建技术计算贴在演员身体不同部位上的一批标记点的三维位置坐标，最后再基于这些坐标解算出演员每个骨骼关节点的位置和旋转信息；然而，由于遮挡、传感器精度和算法自身误差等因素的干扰，光学动捕设备所记录的标记点的三维位置坐标仍会不可避免地存在一定的误差，因此需要对动捕数据进行额外的清洗、去噪。

相关技术之一，动捕数据去噪严重依赖人工操作，即需要相关的专业技术人员借助Vicon Blade、Autodesk MotionBuilder等商业软件内置的脚本工具来手动地修复动捕数据中的错误。该过程所需的人力、时间成本巨大，效率较低。

相关技术之二，基于深度人工神经网络的光学动捕数据自动清洗和解算方案，其旨在从动捕设备所采集到的带噪声的原始标记序列中预测对象的连续运动，实现了对动捕数据的自动去噪及解算，首先，该方法从大量运动序列数据中训练一个自编码器来学习一个隐空间以编码整个运动序列的时空信息。然后，该方法需要再训练另一个网络以将整个时空范围内的所有原始标记压缩成一个向量，并进一步使用多个全连接层(FC)将压缩后的标记向量映射到预学习的隐空间中以得到相应的特征嵌入。通过使用预训练的自编码器的解码器网络对特征嵌入解码，便可得到最终的对象运动序列，并跟对应的对象运动真值计算损失函数以引导网络更新权重参数，连续迭代直至模型收敛。

但是，在对整个输入序列进行解算过程中，特征提取的方式考虑目标对象的全部标记点之间的相关性，这种解算方式在对象复杂运动情况下，可能并不能完全对目标对象的运动特征进行提取，导致模型其输出的运动序列的细节精度和准确性较低。

基于此，本申请实施例提供了一种对象运动序列的生成方法，以提高输出的预测对象运动序列的细节精度和准确性。

请参阅图1，图1为本申请实施例所提供的一种对象运动序列的生成方法的流程图。

如图1中所示，本申请实施例提供的对象运动序列的生成方法，包括：

S101、获取目标对象的初始标记坐标序列；所述初始标记坐标序列中包括多帧采集数据，每帧采集数据中包括所述目标对象携带的标记点的三维位置坐标。

S102、将所述初始标记坐标序列输入至预先训练好的运动预测模型，以使所述运动预测模型将所述初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出所述目标对象的预测对象运动序列。

本申请实施例所提供的对象运动序列的生成方法，将获取到的初始标记坐标序列输入至预先训练好的运动预测模型中，以使运动预测模型将初始标记坐标序列进行分解，分别提取时空维度上的局部运动特征，再通过将局部运动特征聚合成全局运动特征，对目标对象的运动进行预测，输出预测对象运动序列。利用局部时空维度内标记点之间潜在的局部相关性，有效捕获目标对象运动的局部和全局信息，提高输出的预测对象运动序列的细节精度和准确性。

下面对本申请实施例示例性的各步骤进行说明：

S101、获取目标对象的初始标记坐标序列；所述初始标记坐标序列中包括多帧采集数据，每帧采集数据中包括所述目标对象携带的标记点的三维位置坐标。

在本申请实施例中，获取到的目标对象的初始标记坐标序列是通过动作捕捉技术获取到的，动作捕捉(Motion Capture,MoCap)是一种利用传感器或摄像机等特定外部设备对人体结构的运动进行数据记录和动作还原的技术。请参阅图2，图2为本申请实施例所提供的目标对象的标记点设置示意图，如图2所示，在目标对象身上携带有多个标记点，光学动捕通过多个不同视角的高速相机同步拍摄目标对象动作，并使用多视角三维重建技术计算贴在目标对象身体不同部位上的一批标记点(marker)的三维位置坐标，获得目标对象的初始标记坐标序列。

在一种可能的实施方式中，目标对象的初始标记坐标序列中包括多帧采集数据，每帧采集数据中包括所述目标对象携带的标记点的三维位置坐标。

具体地，在目标对象携带标记点进行动作时，通过高速相机同步拍摄目标对象动作，获取到的是一段时间内目标对象的动作视频，在获取初始标记坐标序列时，可以对目标对象的动作视频按照预设帧间隔进行拆分(例如，可以是逐帧拆分)，即，初始标记坐标序列的输入维度为T×M×3，T为连续动作帧的数量，M表示每一帧中标记点(marker)的数量，3表示每个标记点的三维位置坐标(x,y,z)。

示例性地，若是在目标对象身上携带有5个标记点，同时在获取到的一段视频中截取的是包括7帧，那么，初始标记坐标序列的输入维度就为7×5×3。

在一种可能的实施方式中，在通过高速相机拍摄目标对象动作时，可能由于目标对象遮挡、传感器精度和算法自身误差等因素的干扰，捕捉到的目标对象的标记点的三维位置坐标可能存在一定的误差，针对于上述示例，在目标对象身上携带有5个，但是，在某一帧视频中可能并未完全获取到5个标记点的全部三维位置坐标，此时，在生成初始标记坐标序列时，需要对并未获取到的标记点的三维位置坐标按照预设的三维位置坐标进行补全，以保证初始标记坐标序列输入的维度为T×M×3。

示例性地，预设的三维位置坐标可以为(0,0,0)或者是(-1,-1,-1)。

进一步的，由于目标对象遮挡、传感器精度和算法自身误差等因素的干扰，获取到的初始标记坐标序列中可能存在一定的误差(噪声)，由于这些误差的存在也可能导致最终对于目标对象的运动序列的预测不准确定的情况出现，因此，为了提升对目标对象的运动序列的预测的准确性需要对初始标记坐标序列进行消除噪声，进而进行准确地的预测，上述过程可以通过预先训练的运动预测模型进行。

S102、将所述初始标记坐标序列输入至预先训练好的运动预测模型，以使所述运动预测模型将所述初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出所述目标对象的预测对象运动序列。

在本申请实施例中，将初始标记坐标序列输入至预先训练好的运动预测模型，在运动预测模型内部将初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列后，分别对每个局部特征标记子序列在时空维度上提取局部运动特征，在得到多个局部运动特征后逐步对各个局部运动特征进行聚合，得到全局运动特征后，基于全局运动特征对目标对象的预测对象运动序列进行预测。

其中，本申请中的运动预测模型中的处理过程采用的是分治策略，即“分而治之”，把一个复杂的问题分成两个或更多的相同或相似的子问题，直到最后子问题可以简单的直接求解，原问题的解即子问题的解的合并；针对于本申请实施例的应用场景来说，就是将整体初始标记坐标序列分解为多个局部特征标记子序列，通过分别对局部特征标记子序列提取局部运动特征，再将局部运动特征聚合得到全局运动特征，在降低了从完整的初始标记坐标序列中获取目标对象运动的难度的同时，还可以确定局部时空范围内标记点之间潜在的局部相关性，有效捕获目标对象运动的局部和全局信息，提高输出的预测对象运动序列的准确性。

下面将具体针对运动预测模型对初始标记坐标序列的处理过程进行阐述。

在一种可能的实施方式中，运动预测模型包括分治编码器以及序列解码器；将初始标记坐标序列输入至运动预测模型后，分别经过分治编码器以及序列解码器的处理，输出目标对象的预测对象运动序列。

具体地，步骤“将所述初始标记坐标序列输入至预先训练好的运动预测模型，以使所述运动预测模型将所述初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出所述目标对象的预测对象运动序列”，包括：

a1：将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量将所述初始标记坐标序列分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并输出聚合多个局部运动特征后的全局运动特征。

a2：将所述全局运动特征输入所述序列解码器，以使所述序列解码器基于所述全局运动特征分别在旋转维度以及平移维度，确定旋转运动序列以及平移运动序列，并基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列。

在本申请实施例中，分治编码器是运动预测模型中的一重要结构，在运动预测模型中首先对初始标记坐标序列进行分解，将初始标记坐标序列分解为多个局部特征标记子序列，并针对于每一个局部特征标记子序列进行特征提取，得到多个局部运动特征，并对多个局部运动特征进行聚合后，得到全局运动特征，进而有效准确地获取目标对象的全局运动特征。

具体地，步骤“将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量将所述初始标记坐标序列分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并输出聚合多个局部运动特征后的全局运动特征”，包括：

b1：将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量，将所述初始标记坐标序列分解为多个局部特征标记子序列。

b2：针对每一个局部特征标记子序列，利用预设的局部特征算子对该局部特征标记子序列进行特征提取，确定该局部特征标记子序列在时空维度上的局部运动特征。

b3：将多个所述局部运动特征聚合，输出聚合多个局部运动特征后的全局运动特征。

在本申请实施例中，预设帧数以及预设标记点数量可以是根据分治编码器中的卷积核大小或者是分治编码器的处理精度进行设置，也可以是根据运动序列的预测需求进行设定。

示例性地，请参阅图3，图3为本申请实施例所提供的序列分解示意图，如图3所示，可以是将初始标记坐标序列分解为多个3×3的局部特征标记子序列，即，连续三帧且每帧中包含三个标记点的三维位置坐标为一个局部特征标记子序列。

具体地，在本申请实施例中是对初始标记坐标序列在时间(帧数)以及空间(不同标记点)两个维度对初始标记坐标序列进行分解，以得到划分更为细致以及更为准确的局部特征标记子序列。

在一种可能的是实施方式中，在分治编码器中使用一系列的局部特征算子来捕提取不同局部特征标记子序列在时空维度上的局部运动特征，这样，不同的局部特征算子以有效地学习和表征不同的局部运动特征。

其中，分治编码器可以兼容不同的局部特征算子，示例性地，可以是2D局部卷积(2D local convolution，CONV)或基于窗口的多头自注意力(window based multi-headself-attention，WMHSA)，相应的，分治编码器可以分为局部卷积编码器以及自注意力编码器，下面将分别以局部卷积编码器以及自注意力编码器为例，阐述本申请实施例中的分治编码器对局部特征标记子序列进行局部运动特征提取，以及聚合成全局运动特征的过程。

第一方面，分治编码器为局部卷积编码器。

其中，所述局部卷积编码器包括第一卷积层、第二卷积层、第三卷积层以及第四卷积层。

具体地，步骤“针对每一个局部特征标记子序列，利用预设的局部特征算子对该局部特征标记子序列进行特征提取，确定该局部特征标记子序列在时空维度上的局部运动特征”，包括：

c1：针对每一个局部特征标记子序列，将所述局部特征标记子序列输入至所述第一卷积层，以使所述第一卷积层对所述局部特征标记子序列进行上采样，输出第一局部初始特征；将所述第一局部初始特征经过第一归一化函数以及第一激活函数处理后，得到第一局部运动特征。

c2：针对每一个局部特征标记子序列，将所述第一局部运动特征输入至所述第二卷积层，以使所述第二卷积层对所述第一局部运动特征进行上采样，输出第二局部初始特征；将所述第二局部初始特征经过第二归一化函数以及第二激活函数处理后，得到第二局部运动特征。

c3：针对每一个局部特征标记子序列，将所述第二局部运动特征输入至所述第三卷积层，以使所述第三卷积层对所述第二局部运动特征进行上采样，输出第三局部初始特征；将所述第三局部初始特征经过第三归一化函数以及第三激活函数处理后，得到第三局部运动特征。

c4：针对每一个局部特征标记子序列，将所述第三局部运动特征输入至所述第四卷积层，以使所述第四卷积层对所述第三局部运动特征进行上采样，输出第四局部初始特征；将所述第四局部初始特征经过第四归一化函数以及第四激活函数处理后，得到该局部特征标记子序列在时空维度上的局部运动特征。

在一种可能的实施方式中，若分治编码器为局部卷积编码器，在局部卷积编码器中包括连续的多个卷积层，其中，第一卷积层可以为步长为1的卷积层；第二卷积层、第三卷积层以及第四卷积层可以均为步长为2的卷积层。

其中，第一卷积层可以使用7×7大小的卷积核，第二卷积层、第三卷积层以及第四卷积层可以均使用3×3大小的卷积核，并且在每一个卷积层之后均包括归一化函数以及激活函数，进行处理。

示例性地，激活函数可以为ReLU函数，保留了类似step函数那样的生物学神经元机制：输入超过阈值才会激发。虽然在0点不能求导，但是并不影响其在以梯度为主的反向传播中发挥有效作用；归一化函数为批量标准化(Batch Normailzation,BN)。

在本申请实施例中，针对每一个局部特征标记子序列，首先将该局部特征标记子序列输入至第一卷积层，第一卷积层对局部特征标记子序列进行上采样，输出第一局部初始特征，进而根据在第一卷积层之后的第一归一化层以及第一激活函数对第一局部初始特征进行处理，得到第一局部运动特征；将该第一局部运动特征输入至第二卷积层，第二卷积层对第一局部运动特征进行上采样，输出第二局部初始特征，进而根据在第二卷积层之后的第二归一化层以及第二激活函数对第二局部初始特征进行处理，得到第二局部运动特征；将该第二局部运动特征输入至第三卷积层，第三卷积层对第二局部运动特征进行上采样，输出第三局部初始特征，进而根据在第三卷积层之后的第三归一化层以及第三激活函数对第三局部初始特征进行处理，得到第三局部运动特征；将该第三局部运动特征输入至第四卷积层，第四卷积层对第三局部运动特征进行上采样，输出第四局部初始特征，进而根据在第四卷积层之后的第四归一化层以及第四激活函数对第三局部初始特征进行处理，得到该局部特征标记子序列在时空维度上的局部运动特征。

进一步的，针对于每一个局部特征标记子序列，利用对应的局部特征算子对每一个局部特征标记子序列进行特征提取，得到各个局部特征标记子序列在时空维度上的局部运动特征，经过处理已经得到多个局部运动特征，需要对多个局部运动特征进行聚合，得到全局运动特征。

具体地，步骤“将多个所述局部运动特征聚合，输出聚合多个局部运动特征后的全局运动特征”，包括：

d1：基于所述局部卷积编码器相连的所述第一卷积层、所述第二卷积层、所述第三卷积层以及所述第四卷积层步长卷积，对多个局部特征标记子序列中的局部特征进行下采样，聚合相邻局部特征标记子序列中的特征信息，得到所述全局运动特征。

在本申请实施例中，经过局部卷积编码器相连的所述第一卷积层、所述第二卷积层、所述第三卷积层以及所述第四卷积层步长卷积，分别对多个局部特征标记子序列中的局部特征进行下采样，逐渐将相邻局部特征标记子序列中的特征信息聚合，得到所述全局运动特征。

在一种可能的实施方式中，经过局部卷积编码器相连的所述第一卷积层、所述第二卷积层、所述第三卷积层以及所述第四卷积层步长卷积，对多个局部特征标记子序列中的局部特征进行下采样，局部卷积编码器逐渐地从相邻的局部特征标记子序列中聚合信息，同时扩大神经元的时空感受野，从而使得后续的网络层对输入数据的覆盖范围更广，这种更广泛的覆盖确保了编码器能够有效地建模初始标记坐标序列中存在的全局时空依赖关系，从而获得强大的全局运动特征的表示。

示例性地，以将初始标记坐标序列分解为多个3×3的局部特征标记子序列为例，在聚合生成全局运动特征为例，将相邻两个局部特征标记子序列进行聚合得到6×3新的局部特征标记子序列，进而再次对新的局部特征标记子序列进行局部特征提取，直至聚合的多个局部特征标记子序列为一个全局特征序列后，对全局特征序列后，进行特征提取得到全局运动特征。

第二方面，分治编码器为自注意力编码器。

具体地，自注意力编码器包括块划分模块，步骤“将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量，将所述初始标记坐标序列分解为多个局部特征标记子序列”，包括：

e1：将所述初始标记坐标序列输入至所述块划分模块中，以使所述块划分模块按照预设帧数以及预设标记点数量，将所述初始标记坐标序列分解为多个局部特征标记子序列。

在本申请实施例中，当分治编码器为自注意力编码器时，将初始标记坐标序列输入至所述块划分模块中，块划分模块自动按照预设帧数以及预设标记点数量，将所述初始标记坐标序列分解为多个局部特征标记子序列，进而根据划分的多个局部特征标记子序列进行后续的局部运动特征提取过程。

进一步的，所述自注意力编码器还包括基础模块；请参阅图4，图4为本申请实施例所提供的基础模块的结构示意图，如图4所示，所述基础模块包括编码模块以及块合并模块。

进一步的，请参阅图5，图5为本申请实施例所提供的编码模块的结构示意图，如图5所示，所述编码模块包括多头自注意力层以及连续的两个全连接层，多头自注意力层和全连接层(FC)之前均应用了层归一化(LN)。

具体地，步骤“针对每一个局部特征标记子序列，利用预设的局部特征算子对该局部特征标记子序列进行特征提取，确定该局部特征标记子序列在时空维度上的局部运动特征”，包括：

f1：针对每一个局部特征标记子序列，将该局部特征标记子序列输入至所述多头自注意力层中，以使所述多头自注意力层对所述局部特征标记子序列进行特征提取，输出第一中间局部特征。

f2：将所述第一中间局部特征经过归一化层以及激活函数处理后，得到处理后的第二中间局部特征。

f3：将所述第二中间局部特征输入至连续的两个全连接层，以使连续的两个全连接层分别对所述第二中间局部特征进行特征提取，输出该局部特征标记子序列在时空维度上的局部运动特征。

其中，多头自注意力机制是对普通注意力机制的扩展，通过同时使用多个独立的注意力头来处理输入序列，每个注意力头学习自己的查询、键和值的线性变化，然后进行独立的注意力计算。最后，多个注意力头的结果通过线性变换和拼接的方式组合得到最终的输出结果。多头注意力机制可以在保持计算效率的同时，提高模型的表达能力和泛化性能力。

在本申请实施例中，多头自注意力层的窗口大小可以默认设置为4×4，头数默认设置为4。

其中，在多头自注意力层以及连续的两个全连接层之前均包括归一化函数以及激活函数，进行处理。

示例性地，激活函数可以为GELU函数，GELU函数是一种基于高斯误差函数的激活函数，相较于ReLU函数，GELU函数更为平滑，有助于提高模型训练过程中的收敛速度和性能；归一化函数为层标准化(Layer Normailzation,LN)。

在本申请实施例中，针对于每一个局部特征标记子序列，首先将该局部特征标记子序列输入至所述多头自注意力层中，通过多头自注意力层对局部特征标记子序列进行特征提取，输出第一中间局部特征；将经过归一化层以及激活函数层处理后的第二中间局部特征输入至连续的两个全连接层，进行特征提取后，输出该局部特征标记子序列在时空维度上的局部运动特征。

进一步的，针对于每一个局部特征标记子序列，利用对应的局部特征算子对每一个局部特征标记子序列进行特征提取，得到各个局部特征标记子序列在时空维度上的局部运动特征，经过处理已经得到多个局部运动特征，需要对多个局部运动特征进行聚合，得到全局运动特征。

当分治编码器为自注意力编码器时，可以通过自注意力编码器中的块合并模块进行局部运动特征聚合，经过块合并模块的处理后，将时空分辨率降为一半，同时将特征通道数增加为两倍。

具体地，步骤“将多个所述局部运动特征聚合，输出聚合多个局部运动特征后的全局运动特征”，包括：

g1：将多个所述局部运动特征输入至所述块合并模块，以使所述块合并模块对多个局部特征标记子序列中的局部特征进行下采样，聚合相邻局部特征标记子序列中的特征信息，输出所述全局运动特征。

在一种可能的实施方式中，经过块合并模块，对多个局部特征标记子序列中的局部特征进行下采样，自注意力编码器逐渐地从相邻的局部特征标记子序列中聚合信息，同时扩大神经元的时空感受野，从而使得后续的网络层对输入数据的覆盖范围更广，这种更广泛的覆盖确保了编码器能够有效地建模初始标记坐标序列中存在的全局时空依赖关系，从而获得强大的全局运动特征的表示。

示例性地，以将初始标记坐标序列分解为多个3×3的局部特征标记子序列为例，在聚合生成全局运动特征为例，将相邻两个局部特征标记子序列进行聚合得到6×3新的局部特征标记子序列，进而再次对新的局部特征标记子序列进行局部特征提取以及序列合并，直至聚合的多个局部特征标记子序列为一个全局特征序列后，对全局特征序列后，进行特征提取得到全局运动特征。

值得注意的是，基于CONV的局部特征算子权重在训练后保持固定不变，而基于WMHSA的特征算子则会根据不同的输入自适应地生成权重参数。

进一步的，经过分治编码器进行特征提取后，得到全局运动特征后，需要将全局运动特征输入至序列解码器，以通过序列解码器在旋转维度以及平移维度分别对全局运动特征进行解算，输出预测对象运动序列。

具体地，所述序列解码器包括旋转解码分支以及平移解码分支；步骤“将所述全局运动特征输入至所述序列解码器，以使所述序列解码器基于所述全局运动特征分别在旋转维度以及平移维度，确定旋转运动序列以及平移运动序列，并基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列”，包括：

h1：将所述全局运动特征输入至所述旋转解码分支，以使所述旋转解码分支对所述全局运动特征进行特征采样，输出所述旋转运动序列。

h2：将所述全局运动特征输入至平移解码分支，以使所述平移解码分支对所述全局运动特征进行特征采样，输出所述平移运动序列。

h3：基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列。

在本申请实施例中，经过运动预测模型处理后，输出的预测对象运动序列是基于序列的骨架运动

其中，关节旋转由序列解码器的旋转解码分支预测得到；根关节平移由序列解码器的平移解码分支预测得到。

其中，旋转解码分支可以由三个步长为2(时空维度2倍上采样)的反卷积层和一个步长为1的卷积层组成，其中前三层使用3×3大小的卷积核，最后一层使用1×1大小的卷积核。除了最后的输出层外，所有层都后跟BN和ReLU激活函数。平移解码分支可以包含三个全连接层(FC)，其中前两层输出1024个神经元，后跟BN和ReLU激活函数，最后一层则直接输出T×3个神经元。

在一种可能的实施方式中，首先将全局运动特征输入至旋转解码分支，以使旋转解码分支对全局运动特征进行特征采样，输出旋转运动序列；然后将全局运动特征输入至平移解码分支，以使平移解码分支对全局运动特征进行特征采样，输出平移运动序列；最后将旋转运动序列以及平移运动序列进行处理，例如，将旋转运动序列以及平移运动序列进行合并拼接，得到预测对象运动序列，作为运动预测模型的输出。

在一种可能的实施方式中，对于从分治编码中输出后，特征的细微变化表达可能并不准确，直接将从分治编码器输出的全局运动特征输入至序列解码器进行运动序列预测可能会导致输出的预测对象运动序列的准确度较低，因此，在一优选实施例中，还可以是在运动预测模型中增加残差模块，以通过残差模块对分治编码器输出的全局运动特征进行特征增强，以更好地表达特征的细微变化，以提升输出的预测对象运动序列的准确度。

具体地，在步骤“将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量将所述初始标记坐标序列分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并输出聚合多个局部运动特征后的全局运动特征”之后，所述生成方法还包括：

i1：将所述全局运动特征输入至所述残差模块，以使所述残差模块对所述全局运动特征进行特征增强，输出增强后的中间运动特征。

i2：将所述中间运动特征输入至所述序列解码器，以使所述序列解码器基于所述中间运动特征分别在旋转维度以及平移维度，确定旋转运动序列以及平移运动序列，并基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列。

在本申请实施例中，在通过分治编码器对初始标记坐标序列进行分解以及特征提取后，得到全局运动特征后，需要将全局运动特征输入至残差模块中，通过残差模块对全局运动特征进行处理，以深化全局运动特征，获得更大的模型容量和更强的表示能力，并且经过残差模块的处理，全局运动特征的维度不变，但是全局运动特征的通道数增加。

在一种可能的实施方式中，请参阅图6，图6为本申请实施例所提供的运动预测模型的模型结构示意图，如图6所示，运动预测模型包括分治编码器、残差模块以及序列解码器，将初始标记坐标序列输入至运动预测模型后，分别经过分治编码器、残差模块以及序列解码器的处理，输出目标对象的预测对象运动序列。

其中，所述残差模块包括预设数量个残差块；示例性地，残差模块中可以包括6个残差块。

进一步的，请参阅图7，图7为本申请实施例所提供的残差块的结构示意图，如图7所示，每个残差块包括卷积层、归一化层以及激活函数层。

具体地，针对于每一个残差块；步骤“将所述全局运动特征输入至所述残差模块，以使所述残差模块对所述全局运动特征进行特征增强，输出增强后的中间运动特征”，包括：

j1：针对于每一个残差块，将全局运动特征输入至所述卷积层中，以使所述卷积层对所述全局运动特征进行采样，得到初始采样运动特征。

j2：将所述初始采样运动特征依次输入至所述归一化层以及激活函数层，以使所述归一化层以及激活函数层，对所述初始采样运动特征经过归一化函数以及激活函数处理后，输出所述中间运动特征。

在本申请实施例中，每个残差块包括两个具有相同滤波器数量的3×3的卷积层，激活函数可以为ReLU函数归一化函数为批量标准化(Batch Normailzation,BN)。

在一种可能的实施方式中，将中间运动特征输入至序列解码器中，序列解码器对于中间运动特征的处理过程与上述将全局运动特征输入至序列解码器中，序列解码器对于全局运动特征的处理过程一致，在此不再赘述。

示例性地，请参阅图8，图8为本申请实施例所提供的运动预测模型的使用流程图，如图8所示，在运动序列预测流程开始后，加载运动预测模型，进而输入初始标记坐标序列，经过运动预测模型的处理，输出预测对象运动序列，在输出预测对象运动序列后，结束整个运动序列预测流程。

在一种可能的实施方式中，针对于运动预测模型，是需要根据深度学习网络进行训练得到，下面将具体介绍本申请实施例中对于运动预测模型的训练过程：

具体地，通过以下步骤训练所述运动预测模型：

k1：获取多个样本标记坐标序列；所述样本标记坐标序列中包括多帧样本采集数据，每帧样本采集数据中包括样本对象携带的标记点的三维位置坐标。

k2：将所述多个样本标记坐标序列输入至预先构建好的深度学习网络中，以使深度学习网络输出预测对象运动序列。

k3：计算所述深度学习网络的损失值，并基于所述损失值对所述深度学习网络的模型参数进行迭代优化。

k4：当所述深度学习网络的模型参数的迭代优化次数大于预设迭代次数，或者，所述深度学习网络的损失值小于预设损失阈值时，确定所述深度学习网络训练完成，保存当前所述深度学习网络的模型参数，得到所述运动预测模型。

在本申请实施例中，多个样本标记坐标序列可以是从历史运动预测过程中获取到的样本标记坐标序列，还可以让目标对象参与模型训练过程，目标对象在进行运动的过程中，由高度摄像机对目标对象的运动过程进行拍摄捕捉，得到多个样本标记坐标序列；同样的，样本标记坐标序列中包括多帧样本采集数据，每帧样本采集数据中包括样本对象携带的标记点的三维位置坐标。

在一种可能的实施方式中，针对于运动预测模型，是根据深度学习网络进行训练得到的，深度学习网络是一种由大规模神经元构成的机器学习算法，由于可以很好地解决复杂的非线性问题。

进一步的，在获取到多个样本标记坐标序列后，将多个样本标记坐标序列输入至预先构建好的深度学习网络中，以使深度学习网络输出预测对象运动序列，通过对深度学习网络的预测过程中的损失值的计算，对深度学习网络进行参数优化，并在深度学习网络优化结束后，继续利用优化后的深度学习网络进行运动序列的预测过程，即对深度学习网络进行迭代优化，并且在深度学习网络的模型参数的迭代优化次数大于预设迭代次数，或者深度学习网络的损失值小于预设损失阈值时，确定此时深度学习网络收敛，深度学习网络训练完成，保存当前所述深度学习网络的模型参数，得到所述运动预测模型。

其中，预设迭代次数可以是预先设置的基于模型训练需求的次数，具体设置方式在此不进行限定。

在一种可能的实施方式中，对于深度学习网络的损失值的计算是对于深度学习网络的训练过程中比较重要的一部分，下面将对深度学习网络的损失值的具体计算方式进行阐述。

具体地，通过以下步骤确定所述深度学习网络的损失值：

l1：基于所述样本对象的不同部位的运动灵活度，确定所述样本对象每个部位的权重系数以及超参数。

l2：基于所述每个部位的权重系数以及超参数，确定所述深度学习网络的损失函数。

l3：基于所述损失函数结合所述深度学习网络的模型参数，确定所述深度学习网络的损失值。

在本申请实施例中，以目标对象为人体为例，对于人体不同部位来说，因为在运动过程中的灵活度不同，在运动捕捉过程中的重要性也不同，一般来说，部位越灵活，需要解算的程度越高，因此，越灵活的部位对应的权重系数也越大，示例性地，在运功过程中，四肢(手臂、手腕、大腿和脚部)的灵活性要高于头部的灵活性，因此，在设置不同部位的权重参数时，四肢的权重系数要大于头部的权重系数。

在一种可能的实施方式中，以目标对象为人体为例，可以将人体分解为七个不同的部位：头部、肩部、手臂、手腕、躯干、大腿和脚部。

在一种可能的实施方式中，损失函数可以表示为：

其中，α

进一步的，当确定出损失函数的表达式后，基于损失函数结合深度学习网络的模型参数，可以计算得到相应的损失值，并根据得到的损失值对深度学习网络进行参数调整迭代优化，或者是结束对深度学习网络的训练过程。

示例性地，请参阅图9，图9为本申请实施例所提供的运动预测模型的训练流程图，以模型训练截止条件为深度学习网络的模型参数的迭代优化次数大于预设迭代次数为例，如图9所示，运动预测模型的训练过程为：输入带噪声的原始标记点的坐标序列；模型根据输入预测相应的对象运动序列；计算损失函数；利用损失函数梯度下降以更新网络参数；检测当前是否达到预设迭代次数，若否继续输入带噪声的原始标记点的坐标序列对模型进行参数优化迭代，若是保存模型参数，结束运动预测模型的训练过程。

本申请实施例提供的对象运动序列的生成方法，获取目标对象的初始标记坐标序列，将初始标记坐标序列输入至预先训练好的运动预测模型，以使运动预测模型将初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出目标对象的预测对象运动序列。这样，将获取到的初始标记坐标序列输入至预先训练好的运动预测模型中，以使运动预测模型将初始标记坐标序列进行分解，分别提取时空维度上的局部运动特征，再通过将局部运动特征聚合成全局运动特征，对目标对象的运动进行预测，输出预测对象运动序列。利用局部时空维度内标记点之间潜在的局部相关性，有效捕获目标对象运动的局部和全局信息，提高输出的预测对象运动序列的细节精度和准确性。

基于同一发明构思，本申请实施例中还提供了与对象运动序列的生成方法对应的对象运动序列的生成装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述对象运动序列的生成方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

请参阅图10、图11，图10为本申请实施例所提供的一种对象运动序列的生成装置的结构示意图之一，图11为本申请实施例所提供的一种对象运动序列的生成装置的结构示意图之二。如图10中所示，所述生成装置1000包括：

坐标序列获取模块1010，用于获取目标对象的初始标记坐标序列；所述初始标记坐标序列中包括多帧采集数据，每帧采集数据中包括所述目标对象携带的标记点的三维位置坐标；

运动序列输出模块1020，用于将所述初始标记坐标序列输入至预先训练好的运动预测模型，以使所述运动预测模型将所述初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出所述目标对象的预测对象运动序列。

在一种可能的实施方式中，如图11所示，所述生成装置1000还包括模型训练模块1030，所述模型训练模块1030用于通过以下步骤训练所述运动预测模型：

获取多个样本标记坐标序列；所述样本标记坐标序列中包括多帧样本采集数据，每帧样本采集数据中包括样本对象携带的标记点的三维位置坐标；

将所述多个样本标记坐标序列输入至预先构建好的深度学习网络中，以使深度学习网络输出预测对象运动序列；

计算所述深度学习网络的损失值，并基于所述损失值对所述深度学习网络的模型参数进行迭代优化；

当所述深度学习网络的模型参数的迭代优化次数大于预设迭代次数，或者，所述深度学习网络的损失值小于预设损失阈值时，确定所述深度学习网络训练完成，保存当前所述深度学习网络的模型参数，得到所述运动预测模型。

在一种可能的实施方式中，所述运动预测模型包括分治编码器以及序列解码器；所述运动序列输出模块1020在用于将所述初始标记坐标序列输入至预先训练好的运动预测模型，以使所述运动预测模型将所述初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出所述目标对象的预测对象运动序列时，所述运动序列输出模块1020用于：

将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量将所述初始标记坐标序列分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并输出聚合多个局部运动特征后的全局运动特征；

将所述全局运动特征输入至所述序列解码器，以使所述序列解码器基于所述全局运动特征分别在旋转维度以及平移维度，确定旋转运动序列以及平移运动序列，并基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列。

在一种可能的实施方式中，所述运动序列输出模块1020在用于将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量将所述初始标记坐标序列分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并输出聚合多个局部运动特征后的全局运动特征时，所述运动序列输出模块1020用于：

将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量，将所述初始标记坐标序列分解为多个局部特征标记子序列；

针对每一个局部特征标记子序列，利用预设的局部特征算子对该局部特征标记子序列进行特征提取，确定该局部特征标记子序列在时空维度上的局部运动特征；

将多个所述局部运动特征聚合，输出聚合多个局部运动特征后的全局运动特征。

在一种可能的实施方式中，所述分治编码器为局部卷积编码器；所述局部卷积编码器包括第一卷积层、第二卷积层、第三卷积层以及第四卷积层；所述运动序列输出模块1020在用于针对每一个局部特征标记子序列，利用预设的局部特征算子对该局部特征标记子序列进行特征提取，确定该局部特征标记子序列在时空维度上的局部运动特征时，所述运动序列输出模块1020用于：

针对每一个局部特征标记子序列，将所述局部特征标记子序列输入至所述第一卷积层，以使所述第一卷积层对所述局部特征标记子序列进行上采样，输出第一局部初始特征；将所述第一局部初始特征经过第一归一化函数以及第一激活函数处理后，得到第一局部运动特征；

针对每一个局部特征标记子序列，将所述第一局部运动特征输入至所述第二卷积层，以使所述第二卷积层对所述第一局部运动特征进行上采样，输出第二局部初始特征；将所述第二局部初始特征经过第二归一化函数以及第二激活函数处理后，得到第二局部运动特征；

针对每一个局部特征标记子序列，将所述第二局部运动特征输入至所述第三卷积层，以使所述第三卷积层对所述第二局部运动特征进行上采样，输出第三局部初始特征；将所述第三局部初始特征经过第三归一化函数以及第三激活函数处理后，得到第三局部运动特征；

针对每一个局部特征标记子序列，将所述第三局部运动特征输入至所述第四卷积层，以使所述第四卷积层对所述第三局部运动特征进行上采样，输出第四局部初始特征；将所述第四局部初始特征经过第四归一化函数以及第四激活函数处理后，得到该局部特征标记子序列在时空维度上的局部运动特征。

在一种可能的实施方式中，所述运动序列输出模块1020在用于将多个所述局部运动特征聚合，输出聚合多个局部运动特征后的全局运动特征时，所述运动序列输出模块1020用于：

基于所述局部卷积编码器相连的所述第一卷积层、所述第二卷积层、所述第三卷积层以及所述第四卷积层步长卷积，对多个局部特征标记子序列中的局部特征进行下采样，聚合相邻局部特征标记子序列中的特征信息，得到所述全局运动特征。

在一种可能的实施方式中，所述分治编码器为自注意力编码器；所述自注意力编码器包括块划分模块；所述运动序列输出模块1020在用于将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量，将所述初始标记坐标序列分解为多个局部特征标记子序列时，所述运动序列输出模块1020用于：

将所述初始标记坐标序列输入至所述块划分模块中，以使所述块划分模块按照预设帧数以及预设标记点数量，将所述初始标记坐标序列分解为多个局部特征标记子序列。

在一种可能的实施方式中，所述自注意力编码器还包括基础模块；所述基础模块包括编码模块；所述编码模块包括多头自注意力层以及连续的两个全连接层；

所述运动序列输出模块1020在用于针对每一个局部特征标记子序列，利用预设的局部特征算子对该局部特征标记子序列进行特征提取，确定该局部特征标记子序列在时空维度上的局部运动特征时，所述运动序列输出模块1020用于：

针对每一个局部特征标记子序列，将该局部特征标记子序列输入至所述多头自注意力层中，以使所述多头自注意力层对所述局部特征标记子序列进行特征提取，输出第一中间局部特征；

将所述第一中间局部特征经过归一化层以及激活函数处理后，得到处理后的第二中间局部特征；

将所述第二中间局部特征输入至连续的两个全连接层，以使连续的两个全连接层分别对所述第二中间局部特征进行特征提取，输出该局部特征标记子序列在时空维度上的局部运动特征。

在一种可能的实施方式中，所述基础模块包括块合并模块；所述运动序列输出模块1020在用于将多个所述局部运动特征聚合，输出聚合多个局部运动特征后的全局运动特征时，所述运动序列输出模块1020用于：

将多个所述局部运动特征输入至所述块合并模块，以使所述块合并模块对多个局部特征标记子序列中的局部特征进行下采样，聚合相邻局部特征标记子序列中的特征信息，输出所述全局运动特征。

在一种可能的实施方式中，所述运动预测模型还包括残差模块；所述运动序列输出模块1020还用于：

将所述全局运动特征输入至所述残差模块，以使所述残差模块对所述全局运动特征进行特征增强，输出增强后的中间运动特征；

将所述中间运动特征输入至所述序列解码器，以使所述序列解码器基于所述中间运动特征分别在旋转维度以及平移维度，确定旋转运动序列以及平移运动序列，并基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列。

在一种可能的实施方式中，所述残差模块包括预设数量个残差块；每个残差块包括卷积层、归一化层以及激活函数层；所述运动序列输出模块1020在用于针对于每一个残差块；所述将所述全局运动特征输入至所述残差模块，以使所述残差模块对所述全局运动特征进行特征增强，输出增强后的中间运动特征时，所述运动序列输出模块1020用于：

针对于每一个残差块，将全局运动特征输入至所述卷积层中，以使所述卷积层对所述全局运动特征进行采样，得到初始采样运动特征；

将所述初始采样运动特征依次输入至所述归一化层以及激活函数层，以使所述归一化层以及激活函数层，对所述初始采样运动特征经过归一化函数以及激活函数处理后，输出所述中间运动特征。

在一种可能的实施方式中，所述序列解码器包括旋转解码分支以及平移解码分支；所述运动序列输出模块1020在用于将所述全局运动特征输入至所述序列解码器，以使所述序列解码器基于所述全局运动特征分别在旋转维度以及平移维度，确定旋转运动序列以及平移运动序列，并基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列时，所述运动序列输出模块1020用于：

将所述全局运动特征输入至所述旋转解码分支，以使所述旋转解码分支对所述全局运动特征进行特征采样，输出所述旋转运动序列；

将所述全局运动特征输入至平移解码分支，以使所述平移解码分支对所述中间运动特征进行特征采样，输出所述平移运动序列；

基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列。

在一种可能的实施方式中，所述模型训练模块1030用于通过以下步骤确定所述深度学习网络的损失值：

基于所述样本对象的不同部位的运动灵活度，确定所述样本对象每个部位的权重系数以及超参数；

基于所述每个部位的权重系数以及超参数，确定所述深度学习网络的损失函数；

基于所述损失函数结合所述深度学习网络的模型参数，确定所述深度学习网络的损失值。

本申请实施例提供的对象运动序列的生成装置，获取目标对象的初始标记坐标序列，将初始标记坐标序列输入至预先训练好的运动预测模型，以使运动预测模型将初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出目标对象的预测对象运动序列。这样，将获取到的初始标记坐标序列输入至预先训练好的运动预测模型中，以使运动预测模型将初始标记坐标序列进行分解，分别提取时空维度上的局部运动特征，再通过将局部运动特征聚合成全局运动特征，对目标对象的运动进行预测，输出预测对象运动序列。利用局部时空维度内标记点之间潜在的局部相关性，有效捕获目标对象运动的局部和全局信息，提高输出的预测对象运动序列的细节精度和准确性。

请参阅图12，图12为本申请实施例所提供的一种电子设备的结构示意图。如图12中所示，所述电子设备1200包括处理器1210、存储器1220和总线1230。

所述存储器1220存储有所述处理器1210可执行的机器可读指令，当电子设备1200运行时，所述处理器1210与所述存储器1220之间通过总线1230通信，使得所述处理器1210在运行时执行以下指令：

获取目标对象的初始标记坐标序列；所述初始标记坐标序列中包括多帧采集数据，每帧采集数据中包括所述目标对象携带的标记点的三维位置坐标；

将所述初始标记坐标序列输入至预先训练好的运动预测模型，以使所述运动预测模型将所述初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出所述目标对象的预测对象运动序列。

一种可能的实施方式中，所述运动预测模型包括分治编码器序列解码器；处理器1210执行的指令中，所述将所述初始标记坐标序列输入至预先训练好的运动预测模型，以使所述运动预测模型将所述初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出所述目标对象的预测对象运动序列，包括：

将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量将所述初始标记坐标序列分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并输出聚合多个局部运动特征后的全局运动特征；

将所述全局运动特征至所述序列解码器，以使所述序列解码器基于所述全局运动特征分别在旋转维度以及平移维度，确定旋转运动序列以及平移运动序列，并基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列。

一种可能的实施方式中，处理器1210执行的指令中，所述将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量将所述初始标记坐标序列分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并输出聚合多个局部运动特征后的全局运动特征，包括：

将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量，将所述初始标记坐标序列分解为多个局部特征标记子序列；

针对每一个局部特征标记子序列，利用预设的局部特征算子对该局部特征标记子序列进行特征提取，确定该局部特征标记子序列在时空维度上的局部运动特征；

将多个所述局部运动特征聚合，输出聚合多个局部运动特征后的全局运动特征。

一种可能的实施方式中，所述分治编码器为局部卷积编码器；所述局部卷积编码器包括第一卷积层、第二卷积层、第三卷积层以及第四卷积层；处理器1210执行的指令中，所述针对每一个局部特征标记子序列，利用预设的局部特征算子对该局部特征标记子序列进行特征提取，确定该局部特征标记子序列在时空维度上的局部运动特征，包括：

针对每一个局部特征标记子序列，将所述局部特征标记子序列输入至所述第一卷积层，以使所述第一卷积层对所述局部特征标记子序列进行上采样，输出第一局部初始特征；将所述第一局部初始特征经过第一归一化函数以及第一激活函数处理后，得到第一局部运动特征；

针对每一个局部特征标记子序列，将所述第一局部运动特征输入至所述第二卷积层，以使所述第二卷积层对所述第一局部运动特征进行上采样，输出第二局部初始特征；将所述第二局部初始特征经过第二归一化函数以及第二激活函数处理后，得到第二局部运动特征；

针对每一个局部特征标记子序列，将所述第二局部运动特征输入至所述第三卷积层，以使所述第三卷积层对所述第二局部运动特征进行上采样，输出第三局部初始特征；将所述第三局部初始特征经过第三归一化函数以及第三激活函数处理后，得到第三局部运动特征；

针对每一个局部特征标记子序列，将所述第三局部运动特征输入至所述第四卷积层，以使所述第四卷积层对所述第三局部运动特征进行上采样，输出第四局部初始特征；将所述第四局部初始特征经过第四归一化函数以及第四激活函数处理后，得到该局部特征标记子序列在时空维度上的局部运动特征。

一种可能的实施方式中，处理器1210执行的指令中，所述将多个所述局部运动特征聚合，输出聚合多个局部运动特征后的全局运动特征，包括：

基于所述局部卷积编码器相连的所述第一卷积层、所述第二卷积层、所述第三卷积层以及所述第四卷积层步长卷积，对多个局部特征标记子序列中的局部特征进行下采样，聚合相邻局部特征标记子序列中的特征信息，得到所述全局运动特征。

一种可能的实施方式中，所述分治编码器为自注意力编码器；所述自注意力编码器包括块划分模块；处理器1210执行的指令中，所述将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量，将所述初始标记坐标序列分解为多个局部特征标记子序列，包括：

将所述初始标记坐标序列输入至所述块划分模块中，以使所述块划分模块按照预设帧数以及预设标记点数量，将所述初始标记坐标序列分解为多个局部特征标记子序列。

一种可能的实施方式中，所述自注意力编码器还包括基础模块；所述基础模块包括编码模块；所述编码模块包括多头自注意力层以及连续的两个全连接层；处理器1210执行的指令中，所述针对每一个局部特征标记子序列，利用预设的局部特征算子对该局部特征标记子序列进行特征提取，确定该局部特征标记子序列在时空维度上的局部运动特征，包括：

针对每一个局部特征标记子序列，将该局部特征标记子序列输入至所述多头自注意力层中，以使所述多头自注意力层对所述局部特征标记子序列进行特征提取，输出第一中间局部特征；

将所述第一中间局部特征经过归一化层以及激活函数处理后，得到处理后的第二中间局部特征；

将所述第二中间局部特征输入至连续的两个全连接层，以使连续的两个全连接层分别对所述第二中间局部特征进行特征提取，输出该局部特征标记子序列在时空维度上的局部运动特征。

一种可能的实施方式中，处理器1210执行的指令中，所述基础模块包括块合并模块；所述将多个所述局部运动特征聚合，输出聚合多个局部运动特征后的全局运动特征，包括：

将多个所述局部运动特征输入至所述块合并模块，以使所述块合并模块对多个局部特征标记子序列中的局部特征进行下采样，聚合相邻局部特征标记子序列中的特征信息，输出所述全局运动特征。

一种可能的实施方式中，处理器1210执行的指令中，还包括：

将所述全局运动特征输入至所述残差模块，以使所述残差模块对所述全局运动特征进行特征增强，输出增强后的中间运动特征；

将所述中间运动特征输入至所述序列解码器，以使所述序列解码器基于所述中间运动特征分别在旋转维度以及平移维度，确定旋转运动序列以及平移运动序列，并基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列。

一种可能的实施方式中，所述残差模块包括预设数量个残差块；每个残差块包括卷积层、归一化层以及激活函数层；处理器1210执行的指令中，针对于每一个残差块；所述将所述全局运动特征输入至所述残差模块，以使所述残差模块对所述全局运动特征进行特征增强，输出增强后的中间运动特征，包括：

针对于每一个残差块，将全局运动特征输入至所述卷积层中，以使所述卷积层对所述全局运动特征进行采样，得到初始采样运动特征；

将所述初始采样运动特征依次输入至所述归一化层以及激活函数层，以使所述归一化层以及激活函数层，对所述初始采样运动特征经过归一化函数以及激活函数处理后，输出所述中间运动特征。

一种可能的实施方式中，所述序列解码器包括旋转解码分支以及平移解码分支；处理器1210执行的指令中，所述将所述全局运动特征输入至所述序列解码器，以使所述序列解码器基于所述全局运动特征分别在旋转维度以及平移维度，确定旋转运动序列以及平移运动序列，并基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列；包括：

将所述全局运动特征输入至所述旋转解码分支，以使所述旋转解码分支对所述全局运动特征进行特征采样，输出所述旋转运动序列；

将所述全局运动特征输入至平移解码分支，以使所述平移解码分支对所述中间运动特征进行特征采样，输出所述平移运动序列；

基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列。

一种可能的实施方式中，处理器1210执行的指令中，通过以下步骤训练所述运动预测模型：

获取多个样本标记坐标序列；所述样本标记坐标序列中包括多帧样本采集数据，每帧样本采集数据中包括样本对象携带的标记点的三维位置坐标；

将所述多个样本标记坐标序列输入至预先构建好的深度学习网络中，以使深度学习网络输出预测对象运动序列；

计算所述深度学习网络的损失值，并基于所述损失值对所述深度学习网络的模型参数进行迭代优化；

当所述深度学习网络的模型参数的迭代优化次数大于预设迭代次数，或者，所述深度学习网络的损失值小于预设损失阈值时，确定所述深度学习网络训练完成，保存当前所述深度学习网络的模型参数，得到所述运动预测模型。

一种可能的实施方式中，处理器1210执行的指令中，通过以下步骤确定所述深度学习网络的损失值：

基于所述样本对象的不同部位的运动灵活度，确定所述样本对象每个部位的权重系数以及超参数；

基于所述每个部位的权重系数以及超参数，确定所述深度学习网络的损失函数；

基于所述损失函数结合所述深度学习网络的模型参数，确定所述深度学习网络的损失值。

通过上述方式，将获取到的初始标记坐标序列输入至预先训练好的运动预测模型中，以使运动预测模型将初始标记坐标序列进行分解，分别提取时空维度上的局部运动特征，再通过将局部运动特征聚合成全局运动特征，对目标对象的运动进行预测，输出预测对象运动序列。在降低了从完整的初始标记坐标序列中获取目标对象运动的难度的同时，还可以确定局部时空范围内标记点之间潜在的局部相关性，有效捕获目标对象运动的局部和全局信息，提高输出的预测对象运动序列的准确性。进一步的，使用局部特征算子还能显著地减少模型的参数量，使该模型更加轻量化且更适用于实际的生产应用。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，使得该计算机程序被处理器运行时执行以下指令：

获取目标对象的初始标记坐标序列；所述初始标记坐标序列中包括多帧采集数据，每帧采集数据中包括所述目标对象携带的标记点的三维位置坐标；

将所述初始标记坐标序列输入至预先训练好的运动预测模型，以使所述运动预测模型将所述初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出所述目标对象的预测对象运动序列。

一种可能的实施方式中，所述运动预测模型包括分治编码器序列解码器；计算机可读存储介质执行的指令中，所述将所述初始标记坐标序列输入至预先训练好的运动预测模型，以使所述运动预测模型将所述初始标记坐标序列按照预设帧数以及预设标记点数量分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并聚合多个局部运动特征确定全局运动特征后，输出所述目标对象的预测对象运动序列，包括：

将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量将所述初始标记坐标序列分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并输出聚合多个局部运动特征后的全局运动特征；

将所述全局运动特征输入所述序列解码器，以使所述序列解码器基于所述全局运动特征分别在旋转维度以及平移维度，确定旋转运动序列以及平移运动序列，并基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列。

一种可能的实施方式中，计算机可读存储介质执行的指令中，所述将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量将所述初始标记坐标序列分解为多个局部特征标记子序列，分别提取每个局部特征标记子序列在时空维度上的局部运动特征，并输出聚合多个局部运动特征后的全局运动特征，包括：

将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量，将所述初始标记坐标序列分解为多个局部特征标记子序列；

针对每一个局部特征标记子序列，利用预设的局部特征算子对该局部特征标记子序列进行特征提取，确定该局部特征标记子序列在时空维度上的局部运动特征；

将多个所述局部运动特征聚合，输出聚合多个局部运动特征后的全局运动特征。

一种可能的实施方式中，所述分治编码器为局部卷积编码器；所述局部卷积编码器包括第一卷积层、第二卷积层、第三卷积层以及第四卷积层；计算机可读存储介质执行的指令中，所述针对每一个局部特征标记子序列，利用预设的局部特征算子对该局部特征标记子序列进行特征提取，确定该局部特征标记子序列在时空维度上的局部运动特征，包括：

针对每一个局部特征标记子序列，将所述局部特征标记子序列输入至所述第一卷积层，以使所述第一卷积层对所述局部特征标记子序列进行上采样，输出第一局部初始特征；将所述第一局部初始特征经过第一归一化函数以及第一激活函数处理后，得到第一局部运动特征；

针对每一个局部特征标记子序列，将所述第一局部运动特征输入至所述第二卷积层，以使所述第二卷积层对所述第一局部运动特征进行上采样，输出第二局部初始特征；将所述第二局部初始特征经过第二归一化函数以及第二激活函数处理后，得到第二局部运动特征；

针对每一个局部特征标记子序列，将所述第二局部运动特征输入至所述第三卷积层，以使所述第三卷积层对所述第二局部运动特征进行上采样，输出第三局部初始特征；将所述第三局部初始特征经过第三归一化函数以及第三激活函数处理后，得到第三局部运动特征；

针对每一个局部特征标记子序列，将所述第三局部运动特征输入至所述第四卷积层，以使所述第四卷积层对所述第三局部运动特征进行上采样，输出第四局部初始特征；将所述第四局部初始特征经过第四归一化函数以及第四激活函数处理后，得到该局部特征标记子序列在时空维度上的局部运动特征。

一种可能的实施方式中，计算机可读存储介质执行的指令中，所述将多个所述局部运动特征聚合，输出聚合多个局部运动特征后的全局运动特征，包括：

基于所述局部卷积编码器相连的所述第一卷积层、所述第二卷积层、所述第三卷积层以及所述第四卷积层步长卷积，对多个局部特征标记子序列中的局部特征进行下采样，聚合相邻局部特征标记子序列中的特征信息，得到所述全局运动特征。

一种可能的实施方式中，所述分治编码器为自注意力编码器；所述自注意力编码器包括块划分模块；计算机可读存储介质执行的指令中，所述将所述初始标记坐标序列输入至所述分治编码器，以使所述分治编码器按照预设帧数以及预设标记点数量，将所述初始标记坐标序列分解为多个局部特征标记子序列，包括：

将所述初始标记坐标序列输入至所述块划分模块中，以使所述块划分模块按照预设帧数以及预设标记点数量，将所述初始标记坐标序列分解为多个局部特征标记子序列。

一种可能的实施方式中，所述自注意力编码器还包括基础模块；所述基础模块包括编码模块；所述编码模块包括多头自注意力层以及连续的两个全连接层；计算机可读存储介质执行的指令中，所述针对每一个局部特征标记子序列，利用预设的局部特征算子对该局部特征标记子序列进行特征提取，确定该局部特征标记子序列在时空维度上的局部运动特征，包括：

针对每一个局部特征标记子序列，将该局部特征标记子序列输入至所述多头自注意力层中，以使所述多头自注意力层对所述局部特征标记子序列进行特征提取，输出第一中间局部特征；

将所述第一中间局部特征经过归一化层以及激活函数处理后，得到处理后的第二中间局部特征；

将所述第二中间局部特征输入至连续的两个全连接层，以使连续的两个全连接层分别对所述第二中间局部特征进行特征提取，输出该局部特征标记子序列在时空维度上的局部运动特征。

一种可能的实施方式中，计算机可读存储介质执行的指令中，所述基础模块包括块合并模块；所述将多个所述局部运动特征聚合，输出聚合多个局部运动特征后的全局运动特征，包括：

将多个所述局部运动特征输入至所述块合并模块，以使所述块合并模块对多个局部特征标记子序列中的局部特征进行下采样，聚合相邻局部特征标记子序列中的特征信息，输出所述全局运动特征。

一种可能的实施方式中，计算机可读存储介质执行的指令中，还包括：

将所述全局运动特征输入至所述残差模块，以使所述残差模块对所述全局运动特征进行特征增强，输出增强后的中间运动特征；

将所述中间运动特征输入至所述序列解码器，以使所述序列解码器基于所述中间运动特征分别在旋转维度以及平移维度，确定旋转运动序列以及平移运动序列，并基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列。

一种可能的实施方式中，所述残差模块包括预设数量个残差块；每个残差块包括卷积层、归一化层以及激活函数层；计算机可读存储介质执行的指令中，针对于每一个残差块；所述将所述全局运动特征输入至所述残差模块，以使所述残差模块对所述全局运动特征进行特征增强，输出增强后的中间运动特征，包括：

针对于每一个残差块，将全局运动特征输入至所述卷积层中，以使所述卷积层对所述全局运动特征进行采样，得到初始采样运动特征；

将所述初始采样运动特征依次输入至所述归一化层以及激活函数层，以使所述归一化层以及激活函数层，对所述初始采样运动特征经过归一化函数以及激活函数处理后，输出所述中间运动特征。

一种可能的实施方式中，所述序列解码器包括旋转解码分支以及平移解码分支；计算机可读存储介质执行的指令中，所述将所述全局运动特征输入至所述序列解码器，以使所述序列解码器基于所述全局运动特征分别在旋转维度以及平移维度，确定旋转运动序列以及平移运动序列，并基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列；包括：

将所述全局运动特征输入至所述旋转解码分支，以使所述旋转解码分支对所述全局运动特征进行特征采样，输出所述旋转运动序列；

将所述全局运动特征输入至平移解码分支，以使所述平移解码分支对所述全局运动特征进行特征采样，输出所述平移运动序列；

基于所述旋转运动序列以及所述平移运动序列，输出所述目标对象的预测对象运动序列。

一种可能的实施方式中，计算机可读存储介质执行的指令中，通过以下步骤训练所述运动预测模型：

获取多个样本标记坐标序列；所述样本标记坐标序列中包括多帧样本采集数据，每帧样本采集数据中包括样本对象携带的标记点的三维位置坐标；

将所述多个样本标记坐标序列输入至预先构建好的深度学习网络中，以使深度学习网络输出预测对象运动序列；

计算所述深度学习网络的损失值，并基于所述损失值对所述深度学习网络的模型参数进行迭代优化；

当所述深度学习网络的模型参数的迭代优化次数大于预设迭代次数，或者，所述深度学习网络的损失值小于预设损失阈值时，确定所述深度学习网络训练完成，保存当前所述深度学习网络的模型参数，得到所述运动预测模型。

一种可能的实施方式中，计算机可读存储介质执行的指令中，通过以下步骤确定所述深度学习网络的损失值：

基于所述样本对象的不同部位的运动灵活度，确定所述样本对象每个部位的权重系数以及超参数；

基于所述每个部位的权重系数以及超参数，确定所述深度学习网络的损失函数；

基于所述损失函数结合所述深度学习网络的模型参数，确定所述深度学习网络的损失值。

通过上述方式，将获取到的初始标记坐标序列输入至预先训练好的运动预测模型中，以使运动预测模型将初始标记坐标序列进行分解，分别提取时空维度上的局部运动特征，再通过将局部运动特征聚合成全局运动特征，对目标对象的运动进行预测，输出预测对象运动序列。在降低了从完整的初始标记坐标序列中获取目标对象运动的难度的同时，还可以确定局部时空范围内标记点之间潜在的局部相关性，有效捕获目标对象运动的局部和全局信息，提高输出的预测对象运动序列的准确性。进一步的，使用局部特征算子还能显著地减少模型的参数量，使该模型更加轻量化且更适用于实际的生产应用。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。