手部动作捕捉方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种手部动作捕捉方法、装置、电子设备及存储介质。

背景技术

随着计算机技术、传感器技术以及虚拟现实产业的高速发展，运动捕捉技术的发展异常迅速并且应用范围日益广泛，尤其是在体育行业、游戏制作、动画制作以及影视特效制作等诸多领域中起着举足轻重的作用，其形成了一种新型的艺术与技术的相互渗透和融合的方式，并将成为未来的一种发展趋势。

现有的光学捕捉技术假设人体的每根骨骼都是刚体，基于此假设重建出演员的骨骼模型，该假设下，只能将标记点放置到人体的骨节点处。

针对于手部捕捉，因此现有的光学捕捉技术存在以下缺点，首先无法重建出与演员手部匹配的三维手部模型，无法自定义放置标记点的位置，其次，手指的骨骼有肌肉附着，且骨节点很小，与刚体的假设相违背。基于以上原因，现有的光学捕捉技术无法很好地捕捉手部动作。

发明内容

在运动捕捉领域中，针对手部动作的捕捉是重要挑战之一，迄今为止没有精度较高的手部姿态捕捉方案。现有的手部捕捉方案主要有两种，为惯性捕捉与光学捕捉。惯性捕捉需要手部穿戴带有惯性设备的手套，演员活动手指时，获取手部各个关节的角速度、线性加速度等信息，然后进行积分重建演员手指每一个关节的绝对位置和方向数据。惯性捕捉缺点为只能通过积分获取演员的手部姿态；惯性捕捉获取的角速度、加速度通常有一定噪声，所以随着录制时间的增加，积分造成的误差累积会越来越大。因此惯性捕捉无法进行长时间录制。另外，人体手部关节小，通常很难在每一个关穿戴惯性传感器，导致没法捕捉手指每一个关节的信息，造成捕捉精度下降。

针对于身体的光学捕捉，在身体各个关节处放置标记点，通过多个红外摄像头获取该标记点的三维坐标，从而获取演员的模型，进而实时获取演员表演的技术。目前手势捕捉无法直接照搬光学捕捉下的身体捕捉方案，原因为手部无法像身体一样在各个关节都放置标记点。手部关节较多，且各个关节都很小，因此每个关节都放置标记点是不现实的，并且贴过多标记点会影响手部表演。在上述情况下，只能在手部放置部分标记点，在放置部分标记点的情况下，存在下列问题，捕捉时，由于手部关节较多，自由度较高，会有多种手势都能满足标记点的实际三维坐标，比如在大拇指、食指放置标记点，手势比数字5，手势比数字8时大拇指、食指的姿势是相同的。这样，在捕捉时，捕捉的结果是不可控的(如在上面例子中，可能捕捉输出手势是5，也可能捕捉输出手势8)，捕捉的动作序列也可能存在不连贯的情况(如可能存在捕捉中手势5突然变成手势8的情况)。

针对于上述问题，本申请实施例提供一种手部动作捕捉方法、装置、电子设备及存储介质，用于至少解决以上提及的问题。

本申请实施例还提供一种手部动作捕捉方法，所述方法包括：确定附着在手部的第一标记对象的空间位置以及第一标记对象位于所述手部的部位的标签信息；利用第一标记对象的所述空间位置以及所述标签信息对初始手部姿态模型进行调整，生成与所述手部对应的基准手部姿态模型。

本方法实施例存在以下有益效果，标记点无需放置在手部的骨节点处，也无需必须精确到某个固定位置，节省时间。并且能够重建出与手部匹配的三维手部模型。

可选地，所述初始手部姿态模型包括用于描述手部形状的形状参数以及用于描述手部动作的手部动作参数。

可选地，所述利用第一标记对象的所述空间位置以及所述标签信息对初始手部姿态模型进行调整，生成与所述手部对应的基准手部姿态模型包括：通过使所述手部做出特定手部动作，设置所述初始手部姿态模型中的手部动作参数；在所述手部动作参数确定的情况下，获取第一标记对象在所述手部做出所述特定手部动作的情况下的所述空间位置以及所述标签信息；利用所述手部动作参数、所述空间位置以及所述标签信息，对所述初始手部姿态模型的形状参数进行调整，生成与所述手部对应的所述基准手部姿态模型。

可选地，在生成与所述手部对应的所述基准手部姿态模型后还包括：响应于所述手部所做出的当前手部动作，获取第一标记对象的当前空间位置以及当前标签信息；利用所述当前空间位置、所述当前标签信息以及与先验手部动作对应的先验手部动作模型对所述基准手部姿态模型进行调整，获取所述手部的当前手部姿态模型，以用于捕捉所述手部的当前手部动作。

本方法实施例可以在捕捉手部动作时，通过先验手部动作模型控制捕捉的结果，使捕捉的结果不存在歧义性，同时也可以保证捕捉的动作序列是连贯的。可以利用第一标记对象的当前空间位置以及当前标签信息，实现高精度的手部动作捕捉。

可选地，所述方法，还包括：确定第一标记对象在所述手部的分布情况；在预先设置的手部动作库中选择满足所述分布情况的至少一个手部动作；在确定所述至少一个手部动作不存在有歧义的手部动作的情况下，利用所述至少一个手部动作确定为所述先验手部动作；利用所述先验手部动作建立所述先验手部动作模型。

可选地，获取第一标记对象的当前标签信息包括：获取所述当前标签信息的预测空间位置和所述第一标记对象的当前空间位置；在确定所述第一标记对象的当前空间位置处于所述当前标签信息的预测空间位置的预设范围内的情况下，将所述第一标记对象与所述当前标签信息进行匹配，获得匹配关系，其中，所述预设范围是根据对所述手部的手部动作轨迹预测所设定的范围；根据所述匹配关系，确定所述第一标记对象对应的所述当前标签信息。

可选地，所述利用所述当前空间位置、所述当前标签信息以及与先验手部动作对应的先验手部动作模型对所述基准手部姿态模型进行调整，获取所述手部的当前手部姿态模型，以用于捕捉所述手部的当前手部动作包括：在所述基准手部姿态模型的形状参数确定的情况下，通过在所述先验手部动作模型的约束下通过不断调整所述手部动作参数使所有所述标签信息的虚拟空间位置与所有所述标签信息对应的所述第一标记对象的空间位置距离之和最小，获取所述当前手部姿态模型，以用于捕捉所述手部的姿态。

可选地，所述方法，还包括：确定与所述手部执行互动的互动道具；通过在所述互动道具上附着的道具标记对象，获取所述互动道具的道具空间位置及道具标签信息；利用所述道具空间位置以及道具标签信息，对与所述互动道具对应的基本道具姿态模型进行调整，生成当前道具姿态模型，以用于捕捉所述互动道具的运动。

可选地，所述通过在所述互动道具上附着的道具标记对象，获取所述互动道具的道具空间位置及道具标签信息包括：从所述道具标记对象中按照预设选择方式选择第一道具标记对象；获取第一道具标记对象的空间位置并将第一道具标记对象的空间位置确定为所述道具空间位置；获取第一道具标记对象的道具标签信息并将第一道具标记对象的道具标签信息确定为所述道具标签信息。

可选地，所述空间位置包括第一标记对象在用于捕捉所述手部的捕捉空间对应的空间坐标系内的坐标数据。

可选地，所述方法，还包括：将第一标记对象固定在所述手部穿戴的手套上以实现附着在所述手部上，或者，第一标记对象以指环方式直接穿戴在所述手部上以实现附着在所述手部上。

可选地，所述标签信息还包括用于识别所述手部的标识信息。

可选地，所述确定附着在手部的第一标记对象的空间位置以及第一标记对象位于所述手部的部位的标签信息还包括：对所述第一标记对象和所述标签信息进行匹配，获得所述第一标记对象和所述标签信息的对应关系。

本申请实施例还提供一种手部动作捕捉方法，所述方法包括：响应于手部做出的手部动作，确定附着在所述手部上的第一标记对象的当前空间位置以及用于描述第一标记对象在所述手部的部位的标签信息；利用第一标记对象的当前空间位置、标签信息以及与先验手部动作对应的先验手部动作模型，对手部的基准手部姿态模型进行调整，获取手部的当前手部姿态模型，从而捕捉到所述手部的当前手部动作。

本方法实施例可以在捕捉手部动作时，通过先验手部动作模型控制捕捉的结果，使捕捉的结果不存在歧义性，同时也可以保证捕捉的动作序列是连贯的。可以利用第一标记对象的当前空间位置以及当前标签信息，实现高精度的手部动作捕捉。

本申请实施例还提供一种手部动作的捕捉装置，所述装置包括：标签信息确定单元，确定附着在手部的第一标记对象的空间位置以及第一标记对象位于所述手部的部位的标签信息；基准手部姿态模型生成单元，用于利用第一标记对象的所述空间位置以及所述标签信息对初始手部姿态模型进行调整，生成与所述手部对应的基准手部姿态模型。

本申请实施例还提供一种电子设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行以上方法。

本申请实施例还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

综上可述，根据本申请的示例性实施例的手部动作捕捉方法能够在不对第一标记对象进行约束的情况下仅利用第一标记对象的空间位置以及标签信息即可确定与手部对应的基准手部姿态模型，无需将第一标记对象限制在骨骼点上，使用起来更加灵活，能够更加灵活且方便地获取与手部对应的基准手部姿态模型。此方案通过在手部放置一些稀疏的标记点，重建出与被摄手部匹配的手部模型，提升捕捉手部表演的精度。同时，设置与标记点位置对应的手部pose数据库，通过海量三位手部姿态数据库训练人工智能手部姿态的先验模型，在捕捉时，通过手部姿态先验模型来去除歧义性，保证捕捉结果连续。方案的优势在于捕捉时长不受限制，布置简单，捕捉的手指连贯、精细，可预期。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请的示例性实施例的手部动作捕捉方法的步骤流程图；

图2是根据本申请的示例性实施例的利用第二标记装置对多个相机执行标定操作的示图；

图3是根据本申请的示例性实施例的对多个相机执行标定操作的框图；

图4是根据本申请的示例性实施例的获取第一标记对象的空间位置的框图；

图5是根据本申请的示例性实施例的空间坐标匹配的示图；

图6是根据本申请的示例性实施例的生成手部的基准手部姿态模型的框图；

图7是根据本申请的示例性实施例的获取当前手部姿态模型的框图；

图8是根据本申请的示例性实施例的确定当前标签信息的框图；

图9是根据本申请的示例性实施例的手部动作捕捉装置的框图；

图10是根据本申请的示例性实施例的手部动作捕捉时第一标记对象在人手部位置的示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。为了能够解决以上技术问题，本申请的示例性实施例的手部动作捕捉方法可利用至少两个相机，确定对附着在手部上的第一标记对象的空间位置，并利用该空间位置生成手部的基准手部姿态模型。并且在手部做出手部动作后，利用第一标记对象的空间位置、标签信息以及先验手部动作模型，可确定基准手部姿态模型中的手部动作参数，以生成与该手部动作对应的当前手部姿态模型，达到捕捉手部的姿态的目的。

本申请的示例性实施例的手部动作捕捉方法可应用于各个领域，包括且不限于动画领域、体育领域、游戏制作以及影视制作。

图1是根据本申请的示例性实施例的手部动作捕捉方法的步骤流程图。

如图1所示，在步骤S110，确定附着在手部上的第一标记对象的空间位置以及用于描述第一标记对象在所述手部的部位的标签信息。

在实施中，所述手部可指示同一演员的左手或右手，也可以是不同演员的左右手，例如，在两个演员握手的场景中，针对手部动作的捕捉包括两个演员分别握手的左手/右手。

标记对象是指表面覆盖有特殊反光材料的标记物(marker点)，例如球形的标记物。在本申请中的第一标记对象与第二标记对象仅为了在命名上进行区分。在实施中，可利用相机发射红外光，该红外光经过标记物后反射并获取到该标记物的平面坐标(即，二维坐标)。此外，本申请中提及的第一标记对象和第二标记对象均未对数量进行限制，也就是说，可能存在多个第一标记对象以及多个第二标记对象。针对每个第一标记对象和第二次标记对象均可按照以下方式执行处理。

附着在手部上的第一标记对象可以是直接附着或者是间接附着。相较于身体的动作捕捉，针对手部动作的捕捉要求精度更高，如果第一标记对象无法固定在手部上，则无法准确捕捉到手部动作。

因此，在实施中，可让演员带上特定材料做成的手套，并把第一标记对象贴在手套上。这里提及的特定材料是指不能反光的材料，此外，为了能够将第一标记对象贴在手套上，所述特定材料还可以是采用钩面的材料。为了保证第一标记对象不会随着演员的动作偏移到其他位置，还可将第一标记对象缝在手套上，采用以上方式，可将第一标记对象间接附着在手部。

此外，在实施中，还可采用穿戴的方式将第一标记对象直接附着在手部，例如，可将第一标记对象制作成指环的方式穿戴在演员的手指上。

此外，所述空间位置包括第一标记对象在用于捕捉所述手部的捕捉空间内的坐标数据。具体来说，为了能够捕捉所述手部的姿态，首先需要为手部搭建一个标定场地，其中，标定场地由多个相机构成，然后在搭建好标定场地后，利用这些相机以及第二标记对象，确定与该标定场地对应的虚拟的捕捉空间，然后确定该捕捉空间对应的空间坐标系。以下将结合图2和图3对相机标定操作进行描述。

图2是根据本申请的示例性实施例的利用标记装置对多个相机执行标定操作的示图。图3是根据本申请的示例性实施例的对多个相机执行标定操作的框图。

如图2所示，这些相机构成了标定空间。然后，可利用如图2中的标定装置(例如，标定杆)对其进行标定，其中，所述标定装置上设置标记对象(即，第二标记对象)，优选地，可在标定装置上设置有三个标记对象。

随后使用标定装置扫场，具体地，具有第二标记对象的标记装置可以是具有标记点的标定杆。在实施中，用户(例如，技术人员)可在标定场地中挥动具有标记点的标定杆，每个相机获取标记点的二维坐标，根据二维坐标对所有相机进行标定，获得所有相机之间的标定信息，标定信息包括相机之间相对位置关系以及相机的内参。其中，标定场地是真实空间。

如图2所示，图2中的每个相机可拍摄到包括有标记对象的标定杆的图像，并计算出标定信息。在实施中，图2中相机可至少包括两个相机。

具体来说，如块301所示，可排除捕捉空间内的各个反光点。由于在场地中，不可避免有一些反光点被相机捕捉，因此需要对相机进行测试，将影响到相机捕捉的反光点进行排除，即确保相机捕获到就是标记对象。

随后，如块302所示，使用标定装置进行扫场。该标定装置上可安装有三个共线的第二标记对象，这三个标记对象之间的距离是确定的。在该标定空间中，挥动该标定装置，这些相机可捕获到这三个标记对象点的平面位置，最后在每个相机获取到以上平面位置后扫场完毕。

随后，如块303所示，确定所有相机的标定信息，其中，所述标定信息包括相机的参数信息、相对位置与尺度信息。在实施中，所述参数信息包括相机的内参以及外参，内参是指相机的内部参数，包括焦距、畸变参数等，外参是指相机的位置、朝向。

在实施中，可通过所述相机拍摄在所述标定空间内的具有第二标记对象的标记装置，获取所述标记装置的图像；通过所述相机中的所有相机在对应图像的同一位置的位置，确定所述相机的参数信息和相对位置，最后，还可通过标定装置中第二标记对象之间的距离进行确定比例关系。

具体来说，在对相机标定的同时，利用上述标定好的所有相机捕捉标定杆上的标记点，在捕捉空间中重建出捕捉到的标记点的三维坐标，将重建出来的标记点的三维坐标的距离与实际标定杆上标记点之间的距离进行比较，获得比例关系，比例关系用于后续计算。

同时，如块304所示，可在捕捉空间内放置三角板(三角板上3个顶点分别有标记对象)对地面进行标定，从而确定地面信息。具体来说，在标定场地上放置每个角上具有有标记点的L型三角杆。在捕捉空间中重建出L型三角杆上三个标记点的三维坐标，在捕捉空间形成虚拟L型三角杆，虚拟L型三角杆的直角点是原点，短边是Z轴，长边是X轴，通过X轴和Z轴可以建立出Y轴，通过X轴和Z轴可以建立捕捉空间的地面信息，其中，原点以及X轴、Y轴和Z轴是捕捉空间中的空间坐标系。其中，捕捉空间是虚拟空间。

最后，如块305所示，利用所述标定信息以及在块304中确定的地面信息，确定所述空间坐标系。也就是说，在确定了捕捉空间的地面信息后，可确定以地面信息为基础的捕捉空间的空间坐标系。

确定捕捉空间的空间坐标系后，可确定第一标记对象的空间位置。以下将参照图4进行详细描述。图4是根据本申请的示例性实施例的获取第一标记对象的空间位置的框图。

如块401，可利用若干相机获取到若干第一标记对象的二维位置。在实施中，利用至少两个相机对每个第一标记对象进行拍摄，获取上述至少两个相机拍摄的同一第一标记对象的至少两个图像，然后，利用该至少两个图像获取针对同一标记对象的至少两个二维位置。在块402，获取上述至少两个相机的标定信息。随后，在块403，可利用上述至少两个相机的标定信息以及与其对应的至少两个二维位置生成对应于同一第一标记对象的至少两条射线。

随后，如块404，可根据各种约束条件，获取到不同相机对于同一标记对象的对应关系。并且利用相机的参数信息为每个二维位置生成对应的一条射线。

最后，在块406，在获取以上对应关系后，可以通过使不同相机针对同一第一标记对象生成的射线相交，确定该第一标记对象的三维位置。也就是说，找出与所有射线的距离最小的点作为该标记对象的三维坐标点。

在实施中，这些射线可能无法相交于一点，可采用如块405所示的优化处理，使得重建的三维位置更稳定。简言之，所述优化处理可根据生成的三维坐标点与不同射线的距离不同，通过迭代性调节不同射线的权重，使得生成的三维坐标点与大部分射线的距离最近。

以上给出了针对单个第一标记对象确定空间位置的处理过程，在实施中，在多个第一标记对象的情况下，可针对每个第一标记对象均采用以上处理过程获取对应的空间坐标。

为了更好地解释，以下将结合图5进行描述。图5是根据本申请的示例性实施例的空间坐标匹配的示图。如图5所示，第一标记对象可通过不同的相机生成不同的图像510和图像520。第一标记对象在图像510中的二维位置为PL,第一标记对象在图像520中的二维位置为PR。图像510对应的相机的光学中心为OL，图像520对应的相机的光学中心为OR。这样形成的射线PLOL以及PROR可相交于点P，则点P为第一标记对象重建后的空间位置。图5可称为为第一标记对象的空间位置的三维重建过程。

随后，可确定第一标记对象的标签信息，将定义的贴在手部某个部位的某个位置称之为标签信息。

手部可包括手指，其中，手指可包括拇指、食指、中指、无名指以及小指，每个手指可包括上部、中部以及下部。因此，所述标签信息可以是小指中段等信息。

优选地，预先设定标记对象集(markerset)，即，预先设定好在手部的哪些部位的哪些位置贴第一标记对象。为了准确地捕捉手部动作，可确定将要捕捉的手部动作，并根据这些手部动作确定第一标记对象的分布情况。例如，由于手部做出动作“五”以及动作“六”，均需要伸出拇指和小指，因此，为了区分这两个手部动作，需要在食指、中指和无名指中的至少一个手指的上部增加标记对象。

在实施中，可让手部摆出特定动作(例如，五指张开)，然后获取附着在手部的各个第一标记对象上的空间位置，根据预先设定markerset，确定每个第一标记对象的标签信息，例如，可将位于最上部的第一标记对象的标签信息确定为中指的上部。

随后，可执行步骤S120，利用第一标记对象的所述空间位置以及所述标签信息对初始手部姿态模型进行调整，生成与所述手部对应的基准手部姿态模型。为了更好地描述该步骤，以下将参照图6进行描述。

图6是根据本申请的示例性实施例的生成手部的基准手部姿态模型的框图。

技术人员可通过三维扫描获取到大量的手部模型数据，在块610中的手部姿态数据库可包括各种体态和/或动作的姿态数据，例如，大手小手、左右手、男性的手，女性的手等。

在块620，可利用块610中的手部姿态数据库生成低维手部分布。可以对该分布进行取样，生成不同形态的手部。

在块630，建立初始手部姿态模型，其中，所述初始手部姿态模型包括用于描述手部形状的形状参数以及用于描述动作的动作参数。所述初始手部姿态模型包括用于描述手部形状的形状参数以及用于描述手部动作的手部动作参数。如以下公式1所示，FK用于指示初始手部姿态模型，α,ρ可分别代表手部的大小和胖瘦，pose代表手部的姿态，由于α,ρ和pose均是未知的，因此，需要利用第一标记对象的空间位置进行求解。

在块640，获取第一标记对象的空间位置和标签信息，在块650，利用第一标记对象的所述空间位置以及所述标签信息对初始手部姿态模型进行调整，生成与所述手部对应的基准手部姿态模型。

可选地，在步骤S110，确定附着在手部的第一标记对象的空间位置以及第一标记对象位于所述手部的部位的标签信息还包括：对所述第一标记对象和所述标签信息进行匹配，获得所述第一标记对象和所述标签信息的对应关系。

在实施中，由于

优选地，可通过使所述手部做出特定手部动作(例如，五指张开)，设置所述初始手部姿态模型中的手部动作参数。为了使结果更准确，设定的手部动作参数为标准的特定手部动作。在所述手部动作参数确定的情况下，获取第一标记对象在所述手部做出所述特定手部动作的情况下的所述空间位置以及所述标签信息。

然后，利用所述手部动作参数、所述空间位置以及所述标签信息，对所述初始手部姿态模型的形状参数进行调整，生成与所述手部对应的所述基准手部姿态模型。也就是说，利用以下公式1的方式不断调整FK模型中的形状参数直至公式1收敛。

在实施中，可利用如下公式1，对初始手部姿态模型进行调整：

公式中，α,ρ可分别代表手部的形状参数(大小和胖瘦)，pose代表手部的的动作参数(动作)；FK代表手部姿态模型，利用α,ρ,pose以及手部姿态模型，可重建出与手部对应带有手部动作的虚拟手部模型。。

Corr表示标签信息与第一标记对象的匹配关系，即标签信息i对应哪个第一标记对象(或第一标记对象m属于哪个标签信息)。i代表该第一标记对象的标签信息，公式中handMarker

标签信息与第一标记对象通过匹配关系Corr进行匹配，即标签信息i对应第m个第一标记对象。Dis表示handMarker

公式(1)表示获取到第一标记对象的三维坐标后，确定每个第一标记对象的标签信息(在公式中使用Corr表示第一标记对象与标签信息的匹配关系)，然后优化公式(1)中的变量，使虚拟手部模型上所有标签信息的虚拟三维坐标与所有标签信息对应的第一标记对象的三维坐标距离之和最小，来获取与手部对应的虚拟手部模型。

公式(1)的优化过程如下所述：

1.设定变量初始值。用定义markerset的初始值设定handMarker

2.获取标签信息与第一标记对象的匹配关系(公式(1)中的Corr)。通过handMarker

例如，匹配方法可采用最近邻匹配方法。最近邻匹配方法指从集合A某点a出发，寻找另一个集合B中与点a距离最近的点，形成匹配的方法。在实际使用中，本发明不限制匹配方法(即，可以使用其他匹配方法)。

3.优化变量α,ρ，pose，handMarker

4.回到步骤3进行迭代优化，直到公式(1)收敛或者达到最大迭代次数。

此外，由于每个手部的形状各不相同，因此为了能够更准确地表征各个手部，因此每个手部在进行手部动作捕捉之前均需要执行以上操作，确定该手部的基准手部姿态模型，以上操作称为标定过程。并且为了更准确地生成手部的基准手部姿态模型，可将手部的启动手部动作设置为某个特定手部动作。举例来说，每个演员在执行手部动作捕捉前均做出五指张开的手部动作，然后生成该演员的基准手部姿态模型。

所述方法在已确定所述手部对应的基准手部姿态模型的情况下，可利用该基准手部姿态模型以及后续描述的先验手部动作模型生成与手部的当前手部动作对应的当前手部姿态模型，从而能够捕捉手部的当前手部动作。为了更好地描述该过程，以下将结合图7进行具体描述。

按照上述所示的操作完成对手部的标定操作后，可对手部执行捕捉操作。捕捉时，手部先摆出特定动作(例如，五指张开)。获取第一标记对象的三维坐标以及标签信息与第一标记对象的匹配关系。

具体地，第一标记对象的当前空间位置通过三维重建获取。匹配关系的获取与标定过程类似，此时优化pose与匹配关系Corr即可，因为公式(1)中α,ρ，handMarker

所述手部可根据实际需求做出各种手部动作，例如，演员可按照剧本做出各种表演。在这种情况下，响应于手部做出的手部动作，在块710，在该手部动作下，获取第一标记对象的当前空间位置以及当前标签信息。

第一标记对象的当前空间位置通过三维重建获取，第一标记对象的当前标签信息通过标签信息与第一标记对象的匹配关系获取。

第一标记对象的当前空间位置是指手部做出手部动作后导致的在其上的第一标记对象位置发生移动后的空间位置。在实施中，可按照如上如图4所示的方法确定第一标记对象的当前空间位置。

在已经确定第一标记对象的当前空间位置的情况下，可确定第一标记对象的当前标签信息。以下将结合图8描述确定当前标签信息的处理过程。

图8是示出根据本申请的示例性实施例的确定当前标签信息的框图。

按照如7所示的操作完成对手部的标定操作后，可对手部执行捕捉操作。在捕捉过程中，可先摆出特定手部动作(例如，五指张开)，此时也需要获取标签信息与第一标记对象的匹配关系。在本申请中，所述标签信息还包括用于识别所述手部的标识信息，所述标识信息可指示左手/右手，或者可指示某个具体演员的左手/右手。

在块810，获取当前标签信息i的预测空间位置。在实施中，可根据标签信息i对应的第一标记对象的在先空间位置预测当前标签信息i在后空间位置，并将在后空间位置确定为预测空间位置，其中，在先空间位置是指标签信息i对应的第一标记对象在上一时刻(即，上一帧)的空间位置。在上一时刻中，标签信息i与第一标记对象的对应关系是确定的，即标签信息i与第一标记对象的空间位置一致。

预测空间位置指当前标签信息i当前时刻(即，当前帧)预测的空间位置。在实施中，可利用针对被摄体的运动轨迹的预测方法确定所述预测空间位置，在此，将不限制所述预测方法。

在块820，获取第一标记对象P的当前空间位置。在实施中，可利用以上已经描述的方法确定当前空间位置。

执行块830，判断第一标记对象P的当前空间位置是否在当前标签信息i的预测空间位置的预设范围内。如果是，即在确定第一标记对象P的当前空间位置在当前标签信息i的预测空间位置的预设范围内时，使用最近邻方法对第一标记对象P和当前标签信息i进行匹配并判断匹配是否正确(最近邻方法在上述标定时已介绍，不再赘述)，若匹配正确，则该第一标记对象P与标签信息i是有效匹配关系；如果不是，则不需要进行匹配。其中，所述预设范围是根据对被摄体的动作轨迹预测所设定的范围，通过上述过程，获取第一标记对象与标签信息的匹配关系。

在块840，确定当前时刻下标签信息i与第一标记对象P的匹配关系，根据所述匹配关系确定匹配成功后的第一标记对象P对应的标签信息i。

在实施中，如果不加以约束，会生成一些做不到的手部动作，此外，在做出连续性手部动作时，这些连续性手部动作要连贯且合理。

基于以上考虑，在实际捕捉手部动作的时候，所述方法需要加入先验手部动作模型对捕捉的手部动作进行限定，以免生成手部无法做出的手部动作。先验手部动作模型是基于先验手部动作所生成的模型，其中，所述先验手部动作既要符合手部骨骼，又要满足手部动作连贯性。

在块730，可确定第一标记对象在所述手部的分布情况。

块740中，获取手部动作库，该手部动作库中可包括各种各样的手部动作。

块750中，可利用在块730中确定的分布情况，从手部动作库中选择满足所述分布情况的至少一个手部动作并将这些手部动作确定为先验手部动作，这些手部动作中不能存在有歧义的手部动作，其中，有歧义的手部动作是指针对不同的手部动作第一标记物所在的手部的位置是相同的，则这些不同的手部动作互为有歧义的手部动作，例如，仅在大拇指和小指上有第一标记点的情况下，伸出五个手指与伸出大拇指和小拇指的动作就互为有歧义的手部动作。在实施中，若存在有歧义的手部动作，则按照以上描述的方法增加第一标记点。

在块760，利用在块750中确定的先验手部动作建立先验手部动作模型。

在块730，利用在块710中确定的当前空间位置、所述当前标签信息以及在块760中确定的先验手部动作模型，按照以下公式2对块720中的基准手部姿态模型进行调整，获取手部的当前手部姿态模型，以用于捕捉所述手部的当前手部动作。注意：块730至块760先验手部动作模型的建立过程在块710之前完成，在此仅为获取方法的描述，不代表实际的操作流程。

公式中，α,ρ可分别代表手部的形状参数(大小和胖瘦)，pose代表手部的的动作参数(动作)。在公式(2)中，FK代表基准手部姿态模型，利用pose以及基准手部姿态模型，可重建出与手部对应带有手部动作的虚拟手部模型。

Corr表示标签信息与第一标记对象的匹配关系，即标签信息i对应哪个第一标记对象(或第一标记对象m属于哪个标签信息)。i代表该第一标记对象的标签信息，公式中handMarker

标签信息与第一标记对象通过匹配关系Corr进行匹配，即标签信息i对应第m个第一标记对象。Dis表示handMarker

公式(2)中，i代表第i个标签，j代表当前帧，pose

Prior2(pose

具体来说，所述基准手部姿态模型是在按照以上处理已获取的模型，该模型是由形状参数以及手部动作参数构成的模型，在已经确定形状参数的情况下，可在先验手部动作模型的约束下利用第一标记对象的当前空间位置以及当前标签信息确定该模型中的手部动作参数。

在实施中，可在先验手部动作模型的约束下通过不断调整手部动作参数使虚拟手部模型上所有标签信息的虚拟三维坐标与所有标签信息对应的第一标记对象的三维坐标距离之和最小。

举例来说，在做出手势六的情况下，针对标签信息为大拇指以及小指的第一标记对象，可利用与手势六对应的先验手部动作模型进行约束，并通过使大拇指标签对应的第一标记对象的空间位置(三维坐标)与大拇指标签在基准手部姿态模型中对应的虚拟空间位置(虚拟三维坐标)之差以及小指标签对应的第一标记对象的空间位置与小指标签在基准手部姿态模型中对应的虚拟空间位置之差求和最小的方式获取基准手部姿态模型中的手部动作参数，其中，各个标签在基准手部姿态模型中对应的虚拟空间位置指示的是对应的第一标记对象附着在基准手部姿态模型(也就是在虚拟手部)接触点的位置。

在确定手部动作参数后，可利用形状参数和手部动作参数确定当前手部姿态模型，从而捕捉到手部的当前手部动作。当前的手部动作是符合先验手部动作模型的，不一定是与真实动作完全匹配。因为选取的时候剔除了有歧义性的动作。

此外，在对手部执行动作捕捉期间，还可确定与手部执行互动的互动道具，举例来说，可利用多个相机同时拍摄演员的手部以及与演员互动的篮球。应注意，所述互动道具不限定数量和类别，也就是说，该互动道具可以是单个或者多个，可以是同一类别的也可以是不同类别的。

在此情况下，可预先在互动道具上放置道具标记对象，其中，所述道具标记对象与如上所述的第一标记对象是相同的标记对象，并且不限定数量。在实施中，可从所述道具标记对象中按照预设选择方式选择第一道具标记对象，所述预设选择方式可以是用户根据需求确定的。

例如，在实施中，在对道具进行捕捉时，附着在道具上的道具标记对象至少有3个，标定时的道具标记对象的数量要求不少于捕捉时所选定的道具标记对象的数量。如果道具标记对象容易与手部的第一标记对象产生混淆，则去除容易与第一标记对象产生混淆的道具标记对象，如果不产生混淆，则可保留全部的道具标记对象。

随后，通过第一道具标记对象，获取所述互动道具的道具空间位置及道具标签信息，其中，所述道具空间位置和道具标签信息可以按照如上方式获取。

最后，利用道具标记点的空间位置和标签信息对基本道具姿态模型进行调整，生成当前道具姿态模型，捕捉当前道具的姿态。对于手部而言，虚拟手部模型是通过算法生成的，对于道具而言，虚拟道具模型是人工做出来的，在标定时，根据道具的标记点信息，人工制作虚拟道具模型，在捕捉时，根据道具上的标记点的空间位置和标签信息进行道具动作捕捉，从而使虚拟道具模型可以做出与真实道具相同的动作或者姿态。

此外，所述方法还可执行重定向操作，也就是说，根据预先设置的对应关系，将所述当前手部姿态模型重定向处理至虚拟对象上。此外，在所述手部包括互动道具的情况下，可根据预先设置的对应关系，将所述当前道具姿态模型重定向处理至与虚拟物体上。

综上可述，根据本申请的示例性实施例的手部动作捕捉方法能够在不对第一标记对象进行约束的情况下仅利用第一标记对象的空间位置以及标签信息即可确定与手部对应的基准手部姿态模型，无需将第一标记对象限制在骨骼点上，使用起来更加灵活，能够更加灵活且方便地获取与手部对应的基准手部姿态模型。更进一步地，可通过使手部做出特定手部动作的情况下，确定基准手部姿态模型的形状参数，从而能够使基准手部姿态模型更符合手部的形状。更进一步地，可利用第一标记对象的当前空间位置、当前标签信息以及先验手部动作模型，可获取到手部的当前手部姿态模型，从而捕捉到手部的当前手部动作，实现对手部动作的捕捉，降低了手部动作捕捉的难度。

上述手部动作捕捉方法可用在表演动画制作领域以及虚拟直播领域，尤其是高质量的三维动画生成，可以通过捕捉真实被摄体手部的动作和/或姿态从而生成虚拟角色手部的动作和/或姿态。上述提及的手部动作捕捉方法可以实现单支手的精细捕捉，也可以实现多支手的精细捕捉，即在同一画面中可以实现单个虚拟角色手部动作的输出也可以实现多个虚拟角色手部动作的输出。还可以捕捉演员手部之间的互动，例如，握手，还包括手部与道具之间的交互，如打篮球，舞剑等。从而根据多个演员手部之间的互动输出虚拟角色的互动。手部动作捕捉方法可以支持离线动画生成的模式和实时在线动画生成的模式。

本申请实施例可以根据上述方法示例对上述终端等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图9是根据本申请的示例性实施例的手部动作捕捉装置的框图。

如图9所示，手部动作的捕捉装置900包括标签信息确定单元910和基准姿态模型生成单元920，其中，标签信息确定单元910确定附着在手部的第一标记对象的空间位置以及第一标记对象位于所述手部的部位的标签信息；基准手部姿态模型生成单元920用于利用第一标记对象的所述空间位置以及所述标签信息对初始手部姿态模型进行调整，生成与所述手部对应的基准手部姿态模型。

可选地，所述初始手部姿态模型包括用于描述手部形状的形状参数以及用于描述手部动作的手部动作参数。

可选地，基准手部姿态模型生成单元920包括手部动作参数设置模块、第一标记对象信息获取模块以及基准手部姿态模型生成模块，其中，手部动作参数设置模块用于通过使所述手部做出特定手部动作，设置所述初始手部姿态模型中的手部动作参数；第一标记对象信息获取模块用于在所述手部动作参数确定的情况下，获取第一标记对象在所述手部做出所述特定手部动作的情况下的所述空间位置以及所述标签信息；基准手部姿态模型生成模块用于利用所述手部动作参数、所述空间位置以及所述标签信息，对所述初始手部姿态模型的形状参数进行调整，生成与所述手部对应的所述基准手部姿态模型。

可选地，第一标记对象信息获取模块还可响应于所述手部所做出的当前手部动作，获取第一标记对象的当前空间位置以及当前标签信息；并且基准手部姿态模型生成模块用于利用所述当前空间位置、所述当前标签信息以及与先验手部动作对应的先验手部动作模型，对所述基准手部姿态模型进行调整，获取所述手部的当前手部姿态模型，以用于捕捉所述手部的当前手部动作。

可选地，手部动作的捕捉装置900还可包括分布情况确定单元、至少一个手部动作确定单元以及先验手部动作分布单元，其中，分布情况确定单元用于利用第一标记对象的标签信息，确定第一标记对象在所述手部的分布情况；至少一个手部动作确定单元用于在预先设置的手部动作库中选择满足所述分布情况的至少一个手部动作；先验手部分布确定单元用于在确定所述至少一个手部动作不存在有歧义的手部动作的情况下，利用所述至少一个手部动作确定为所述先验手部分布。

可选地，第一标记对象信息获取模块具体用于在获取所述当前标签信息的预测空间位置和所述第一标记对象的当前空间位置；在确定所述第一标记对象的当前空间位置处于所述当前标签信息的预测空间位置的预设范围内的情况下，将所述第一标记对象与所述当前标签信息进行匹配，获得匹配关系，其中，所述预设范围是根据对所述手部的手部动作轨迹预测所设定的范围；根据所述匹配关系，确定所述第一标记对象对应的所述当前标签信息。

可选地，基准手部姿态模型生成模块具体用于在所述基准手部姿态模型的形状参数确定的情况下，通过在所述先验手部动作模型的约束下通过不断调整所述手部动作参数使所有所述标签信息的虚拟空间位置与所有所述标签信息对应的所述第一标记对象的空间位置距离之和最小，获取所述当前手部姿态模型，以用于捕捉所述手部的姿态。

可选地，所述手部动作的捕捉装置900还包括互动道具确定单元、道具信息确定单元以及当前道具模型确定单元，其中，所述互动道具确定单元用于确定与所述手部执行互动的互动道具；道具信息确定单元用于通过在所述互动道具上附着的道具标记对象，获取所述互动道具的道具空间位置及道具标签信息；当前道具模型确当单元用于利用所述道具空间位置以及道具标签信息，对与所述互动道具对应的基本道具姿态模型进行调整，生成当前道具姿态模型，以用于捕捉所述互动道具的运动

可选地，道具信息确定单元包括第一道具标记对象确定单元、道具空间位置确定单元以及道具标签信息确定单元，其中，第一道具标记对象确定单元用于从所述道具标记对象中按照预设选择方式选择第一道具标记对象；道具空间位置确定单元用于获取第一道具标记对象的空间位置并将第一道具标记对象的空间位置确定为所述道具空间位置；道具标签信息确定单元用于获取第一道具标记对象的道具标签信息并将第一道具标记对象的道具标签信息确定为所述道具标签信息。

可选地，所述空间位置包括第一标记对象在用于捕捉所述手部的捕捉空间对应的空间坐标系内的坐标数据。

可选地，第一标记对象固定在所述手部穿戴的手套上以实现附着在所述手部上，或者，第一标记对象以指环方式直接穿戴在所述手部上以实现附着在所述手部上。

可选地，所述标签信息还包括用于识别所述手部的标识信息。

可选地，所述手部动作的捕捉装置900还包括标签信息匹配单元，其中，标签信息匹配单元对所述第一标记对象和所述标签信息进行匹配，获得所述第一标记对象和所述标签信息的对应关系。

如图10所示，在手部动作捕捉时，可以在手部不同的位置放置第一标记对象。被摄体的首部需要戴上特制的动作捕捉手套，在动作捕捉手套上贴上标记点。图10仅仅是一个示例图，没有表示出动作捕捉手套，实际上，第一标记对象是与动作捕捉手套相接触的。

综上可述，根据本申请的示例性实施例的手部动作的捕捉装置能够在不对第一标记对象进行约束的情况下仅利用第一标记对象的空间位置以及标签信息即可确定与手部对应的基准手部姿态模型，无需将第一标记对象限制在骨骼点上，使用起来更加灵活，能够更加灵活且方便地获取与手部对应的基准手部姿态模型。更进一步地，可通过使手部做出特定手部动作的情况下，确定基准手部姿态模型的形状参数，从而能够使基准手部姿态模型更符合手部的形状。更进一步地，可利用第一标记对象的当前空间位置、当前标签信息以及先验手部动作模型，可获取到手部的当前手部姿态模型，从而捕捉到手部的当前手部动作，实现对手部动作的捕捉，降低了手部动作捕捉的难度。

是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤21和步骤22的执行主体可以为设备1，步骤23的执行主体可以为设备2；又比如，步骤21的执行主体可以为设备1，步骤22和步骤23的执行主体可以为设备2；等等。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程手部动作捕捉设备的处理器以产生一个机器，使得通过计算机或其他可编程手部动作捕捉设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程手部动作捕捉设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程手部动作捕捉设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。