虚拟人驱动信息获取、驱动方法、电子设备以及存储介质

技术领域

本申请涉及计算机技术领域，具体地涉及一种虚拟人驱动信息获取、驱动方法、电子设备以及存储介质。

背景技术

虚拟人是指通过计算机图形学技术进行虚拟制作的，具有人类身体的外观形体结构和与人类相仿行为模式的一种三维数字模型。在实际应用中，可以通过驱动虚拟人，使得虚拟人具备一定面部表情，口型动作表达以及躯体动作表达能力，进而使得虚拟人完成相应的工作或任务。例如，新闻播报、游戏直播等。

现有技术中，主要是依靠动捕真人驱动或者智能计算驱动的方法驱动虚拟人。其中，动捕真人驱动是指利用动捕设备获取相关信息，并经过相关技术人员的处理生成虚拟人驱动信息，进而实现对虚拟人面部表情、口型动作以及躯体动作的驱动。智能计算驱动是指通过相关算法实现对虚拟人面部表情、口型动作以及躯体动作的驱动。具体地，通过编译相关算法可以实现对虚拟人口型动作和面部表情的精准驱动，进而使虚拟人具备一定面部表情，口型动作表达以及躯体动作表达的能力。

但是，动捕真人驱动涉及大量人工操作，制作成本高。智能计算驱动通常只注重对虚拟人的口型动作和面部表情的精准驱动，忽略虚拟人的面部表情、口型动作以及躯体动作的统一性和流畅度，使驱动后虚拟人的面部表情、口型动作以及躯体动作并不完全匹配，进而使用户体验较差。

需要指出的是，公开于本申请背景技术部分的信息仅仅旨在加深对本申请的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成己为本领域技术人员所公知的现有技术。

发明内容

有鉴于此，本申请提供了一种虚拟人驱动信息获取、驱动方法、电子设备以及存储介质，以利于解决现有技术中虚拟人驱动成本较高；或者，虚拟人的面部表情、口型动作以及躯体动作并不完全匹配，进而使用户体验较差的问题。

第一方面，本申请实施例提供了一种获取虚拟人驱动信息的方法，所述方法包括：

获取视频中目标人物的面部信息，所述面部信息用于驱动虚拟人的面部表情与口型动作；

获取所述视频中所述目标人物的躯体动作信息，所述躯体动作信息用于驱动虚拟人的躯体动作；

确定相匹配的所述面部信息和所述躯体动作信息。

在一种可能的实现方式中，所述获取视频中目标人物的面部信息，包括：

获取视频中目标人物的三维人脸模型；

获取所述视频中所述目标人物的面部表情系数，所述面部表情系数用于修正所述三维人脸模型的面部表情；

根据所述三维人脸模型与所述面部表情系数，确定所述目标人物的面部信息。

在一种可能的实现方式中，所述获取视频中目标人物的三维人脸模型，包括：

获取视频中目标人物的二维人脸关键点；

根据所述二维人脸关键点，生成所述目标人物的三维人脸关键点；

根据所述三维人脸关键点，确定所述目标人物的三维人脸模型。

在一种可能的实现方式中，所述获取视频中目标人物的二维人脸关键点，包括：通过人脸关键点检测模型，提取视频中目标人物的二维人脸关键点；

所述根据所述二维人脸关键点，生成所述目标人物的三维人脸关键点，包括：将所述二维人脸关键点输入三维人脸预测模型，输出所述目标人物的三维人脸关键点。

在一种可能的实现方式中，所述获取所述视频中所述目标人物的面部表情系数，包括：

将所述视频输入Blendshape模型，输出所述目标人物对应的Blendshape系数。

在一种可能的实现方式中，所述获取所述视频中所述目标人物的躯体动作信息，包括：

获取所述视频中所述目标人物的人体关键点；

根据人体关键点，生成所述视频中所述目标人物的躯体动作信息。

在一种可能的实现方式中，所述获取所述视频中所述目标人物的人体关键点，包括：通过人体关键点检测模型，提取所述视频中所述目标人物的人体关键点；

所述根据人体关键点，生成所述视频中所述目标人物的躯体动作信息，包括：将所述人体关键点输入人体行为预测模型，输出所述视频中所述目标人物的躯体动作信息。

在一种可能的实现方式中，所述获取视频中目标人物的面部信息，包括：获取视频中每一帧画面中目标人物的面部信息；

所述获取所述视频中所述目标人物的躯体动作信息，包括：获取视频中每一帧画面中目标人物的躯体动作信息。

在一种可能的实现方式中，所述确定相匹配的所述面部信息和所述躯体动作信息，包括：

根据所述面部信息和所述躯体动作信息对应的时间信息，确定相匹配的所述面部信息和所述躯体动作信息。

第二方面，本申请实施例提供了一种虚拟人驱动方法，包括：

采用第一方面中任一项所述方法获取相匹配的所述面部信息和所述躯体动作信息；

采用相匹配的所述面部信息和所述躯体动作信息，对虚拟人进行驱动。

第三方面，本申请实施例提供了一种电子设备，包括：

处理器；

存储器；

以及计算机程序，其中所述计算机程序被存储在所述存储器中，所述计算机程序包括指令，当所述指令被所述处理器执行时，使得所述电子设备执行第一方面和/或第二方面中任意一项所述的方法。

第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行第一方面和/或第二方面中任意一项所述的方法。

在本申请实施例中，通过在视频中提取目标人物的面部信息和躯体动作信息，获得虚拟人驱动信息。由于该过程不需要使用昂贵的动捕设备，也不需要耗费大量的人工操，因此成本相对较低。另外，在视频中提取的面部信息和躯体动作信息相匹配，可以保证驱动后虚拟人的面部表情、口型动作以及躯体动作统一且流畅，提高了用户体验。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种应用场景示意图。

图2为本申请实施例提供的一种获取虚拟人驱动信息方法的流程示意图。

图3为本申请实施例提供的另一种获取虚拟人驱动信息方法的流程示意图。

图4为本申请实施例提供的一种三维人脸关键点的示意图。

图5为本申请实施例提供的另一种获取虚拟人驱动信息方法的流程示意图。

图6为本申请实施例提供的一种人体关键点的示意图。

图7A为本申请实施例提供的一种由人体关键点到躯体动作的预测示意图。

图7B为本申请实施例提供的另一种由人体关键点到躯体动作的预测示意图。

图8为本申请实施例提供的一种虚拟人驱动方法的流程示意图。

图9为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。

应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

为了便于理解，下面首先对具体的应用场景进行示例性说明。

参见图1，为本申请实施例提供的一种应用场景示意图。如图1所示，该图中示出了计算机101。其中，计算机101的屏幕上显示虚拟人展示界面，在虚拟人展示界面中包括虚拟人102。可以通过驱动虚拟人102，使得虚拟人102具备一定面部表情，口型动作表达以及躯体动作表达能力，进而使得虚拟人102完成相应的工作或任务。例如，图1所示的新闻播报。可理解，虚拟人除了可以进行新闻播报以外，还可以执行其他的工作或任务，例如，游戏直播等，本申请实施例对此不作具体限制。

需要指出的是图中示出的计算机101仅为一种示例性描述，具体地，计算机101还可以替换为手机、平板电脑以及智能手表等，本申请对此不做具体限制。

现有技术中，动捕真人驱动涉及大量人工操作，制作成本高。智能计算驱动通常只注重对虚拟人的口型动作和面部表情的精准驱动，忽略虚拟人的面部表情、口型动作以及躯体动作的统一性和流畅度，使驱动后虚拟人的面部表情、口型动作以及躯体动作并不完全匹配，进而使用户体验较差。

针对上述问题，本申请实施例提供了一种获取虚拟人驱动信息的方法，通过在视频中提取目标人物的面部信息和躯体动作信息，获得虚拟人驱动信息。由于该过程不需要使用昂贵的动捕设备，也不需要耗费大量的人工操，因此成本相对较低。另外，在视频中提取的面部信息和躯体动作信息相匹配，可以保证驱动后虚拟人的面部表情、口型动作以及躯体动作统一且流畅，提高了用户体验。具体的实施方法在下文中进行详细说明。

参见图2，为本申请实施例提供的一种获取虚拟人驱动信息方法的流程示意图。其主要包括以下步骤。

步骤S201：获取视频中目标人物的面部信息。

在实际应用中，在获取视频中目标人物的面部信息之前，通常需要利用录像设备拍摄一段包含目标人物的全身视频。其中，录像设备可以为摄像头、手机以及相机等，本申请对此不做具体限制。当然，本领域技术人员也可以直接利用已有的视频获取面部信息，本申请实施例对此不作具体限制。

可理解，当利用虚拟人执行不同的工作或任务时，需要虚拟人具备不同的面部表情、口型动作以及躯体动作。因此，基于对虚拟人的不同驱动，需要视频中的目标人物具备对应的面部表情、口型动作以及躯体动作。例如，当利用虚拟人进行新闻播报时，视频中的目标人物的面部表情、口型动作以及躯体动作应当为“表情严肃的站立着进行新闻播报”。

在本申请实施例中，根据视频中目标人物的面部表情与口型动作，获取视频中目标人物的面部信息，其中面部信息中包含用于驱动虚拟人面部表情与口型动作的信息。示例性的，当视频中的目标人物在表情严肃的进行新闻播报时，获取该视频中目标人物严肃的面部表情和播报新闻的口型动作，并生成目标人物的面部信息。

在一种可能的实现方式中，获取视频中每一帧画面中目标人物的面部信息。通过获取每一帧画面中目标人物的面部信息，可以使获得的面部信息更加精确，进而使虚拟人的展示更加生动。

在一种可能的实现方式中，每间隔N帧，获取视频中一帧画面中目标人物的面部信息，其中N≥2。通过间隔N帧获取一帧视频画面中目标人物的面部信息，可以使得对虚拟人面部表情和口型动作驱动的速度更快，进而提高了虚拟人驱动的工作效率。

步骤S202：获取视频中目标人物的躯体动作信息。

在本申请实施例中，根据视频中目标人物的躯体动作，获取视频中目标人物的躯体动作信息，其中躯体动作信息中包含用于驱动虚拟人的信息。示例性的，当视频中目标人物在站立着进行新闻播报时，获取该视频中目标人物站立的躯体动作，并生成躯体动作信息。

在一种可能的实现方式中，获取视频中每一帧画面中目标人物的躯体动作信息。通过获取视频中每一帧画面中目标人物的躯体动作信息，可以使获得的躯体动作信息更加精确，进而使虚拟人的展示更加生动。

在一种可能的实现方式中，每间隔N帧，获取视频中一帧画面中目标人物的躯体动作信息，其中N≥2。通过间隔N帧获取一帧视频画面中目标人物的躯体动作信息，可以使得对虚拟人躯体动作的驱动的速度更快，进而提高了虚拟人驱动的工作效率。

值得注意的是，上述步骤S201与步骤S202并不存在先后顺序，具体地，可以先执行步骤S201再执行步骤S202；也可以先执行步骤S202再执行步骤S201；也可以同时执行步骤S201与步骤S202。本申请对此不做具体限制。

步骤S203：确定相匹配的面部信息和躯体动作信息。

在一种可能的实现方式中，根据时间信息确定相匹配的面部信息和躯体动作信息。具体地，将对应相同时间的面部信息和躯体动作信息进行匹配。示例性的，当获取面部信息的时间为t1、t2、t3，获取躯体动作信息的时间为t1、t2、t3时，将与t1时间相对应的面部信息和躯体动作信息进行匹配，与t2时间相对应的面部信息和躯体动作信息进行匹配，与t3时间相对应的面部信息和躯体动作信息进行匹配。

在一种可能的实现方式中，获取视频中的某一帧视频画面对应的面部信息或躯体动作信息时，同时获取该视频中这一帧画面的对应的时间信息，并将对应时间信息相同的面部信息和躯体动作信息进行匹配。可理解，同一帧视频画面对应的面部信息和躯体动作信息对应的时间信息相同，因此，在同一帧视频画面中获取的面部信息和躯体动作信息通常相匹配。

在一种可能的实现方式中，上文中所述的时间信息可以为时间戳。

在本申请实施例中，通过在视频中提取目标人物的面部信息和躯体动作信息，获得虚拟人驱动信息。由于该过程不需要使用昂贵的动捕设备，也不需要耗费大量的人工操作，因此成本相对较低。另外，在视频中提取的面部信息和躯体动作信息相匹配，可以保证驱动后虚拟人的面部表情、口型动作以及躯体动作统一且流畅，提高了用户体验。

由上文所述可知，对虚拟人进行驱动需要获取视频中目标人物的面部信息。在本申请实施例中，可以通过三维人脸模型与面部表情系数确定视频中目标人物的面部信息，其中面部表情系数用于修正所述三维人脸模型的面部表情。具体的方法步骤在下文中结合具体实施例以及附图进行详细说明。

参见图3，为本申请实施例提供的另一种获取虚拟人驱动信息方法的流程示意图。如图3所示，该方法在图2所示实施例的基础上，步骤S201具体包括以下步骤。

步骤S2011：获取视频中目标人物的三维人脸模型。

在本申请实施例中，根据视频中目标人物的面部表情与口型动作，获取视频中目标人物的三维人脸模型。其中，三维人脸模型可作为确定目标人物面部信息的条件之一。

在本申请实施例中，可以首先根据视频中目标人物的面部表情与口型动作，获取视频中目标人物的二维人脸关键点。具体地，在本申请实施例中，目标人物的二维人脸关键点是指目标人物的眉毛、眼睛、鼻子、嘴巴以及脸部轮廓等部位。需要指出的是，本领域技术人员根据实际需要，也可以获取额头、耳朵等部位的二维人脸关键点，本申请对此不做具体限制。

在一种可能的实现方式中，本领域技术人员根据实际需要可以调整获取二维人脸关键点的数目，例如可以获取28个人脸关键点、68个人脸关键点以及98个人脸关键点等。示例性的，当需要确定的三维人脸模型的精确程度要求较高时，本领域技术人员可以对算法进行调整，使其获取较多的二维人脸关键点；当需要确定的三维人脸模型的精确程度要求不高时，为降低技术人员的工作量，可以降低获取二维人脸关键点的数目。本申请实施例对此不做具体限制。

在一种可能的实现方式中，在获取视频中目标人物的二维人脸关键点之前，训练一个人脸关键点检测模型。其中，该人脸关键点检测模型可用于提取视频中目标人物的二维人脸关键。具体地，将视频发送给人脸关键点检测模型，人脸关键点检测模型输出视频中目标人物的二维人脸关键点。

如上文所述，在获取视频中目标人物的二维人脸关键点之后，还需确定目标人物的三维人脸关键点。在下文中结合具体实施例以及附图进行详细说明。

参见图4，为本申请实施例提供的一种三维人脸关键点的示意图。在本申请实施例中，根据上文所述的二维人脸关键点，生成三维人脸关键点。图4中示出的三维人脸关键点仅为一种示例性表示，本申请对此不做具体限定。

在一种可能的实现方式中，训练一种三维人脸预测模型。其中，该三维人脸预测模型用于通过二维人脸关键点预测出三维人脸关键点。具体的，将二维人脸关键点输入到三维人脸预测模型中，三维人脸预测模型可以根据接收到的二维人脸关键点预测出对应的三维人脸关键点。

在本申请实施例中，根据三维人脸关键点，确定目标人物的三维人脸模型。

步骤S2012：获取视频中目标人物的面部表情系数。

在一种可能的实现方式中，获取视频中目标人物的面部表情系数。具体地，面部表情系数是指目标人物的眉毛、鼻子、眼睛、嘴巴以及下颚等部位的变化系数。需要指出的是，本领域技术人员根据实际需要，也可以获取额头，耳朵等部位的变化系数，本申请实施例对此不做具体限定。

在一种可能的实现方式中，训练一种Blendshape模型。其中，Blendshape模型用于获取视频中目标人物的面部表情系数，即Blendshape系数。具体地，将视频发送给Blendshape模型，Blendshape模型对该视频进行相关处理，可以输出视频中目标人物的Blendshape系数。

步骤S2013：根据三维人脸模型与面部表情系数，确定目标人物的面部信息。

在一种可能的实现方式中，根据三维人脸模型与面部表情系数，确定目标人物的面部信息。具体地，根据获取的面部表情系数，对三维人脸模型进行修正，进而可以确定目标人物的面部信息。根据目标人物的面部信息，可以实现对虚拟人面部表情及口型动作的驱动。

由上文所述可知，对虚拟人进行驱动还需要获取视频中目标人物的躯体动作信息。在本申请实施例中，通过获取视频中的人体关键点，进而生成躯体动作信息。具体的方法步骤在下文中结合具体实施例以及附图进行详细说明。

参见图5，为本申请实施例提供的另一种获取虚拟人驱动信息方法的流程示意图。如图5所示，该方法在图3所示步骤S202的基础上具体包括以下步骤。

步骤S2021：获取视频中目标人物的人体关键点。

参见图6，为本申请实施例提供的一种人体关键点的示意图。在一种可能的实现方式中，在确定躯体动作信息之前，先获取视频中目标人物的人体关键点。具体地，如图6所示，获取视频中目标人物的额头、脖子、肩膀、手肘、手腕、臀部、膝盖以及脚踝等人体关键点。需要指出的是，包括额头、脖子、肩膀、手肘、手腕、臀部、膝盖以及脚踝的人体关键点仅为一种示例性描述，并不应当将其作为本申请保护范围的限制。例如，本领域技术人员根据实际需要，也可以获取耳朵、眼睛以及鼻子等区域的人体关键点，本申请对此不做具体限制。

在一种可能的实现方式中，训练一种人体关键点检测模型。其中，人体关键点检测模型用于提取视频中目标人物的人体关键点。具体地，将视频发送给人体关键点检测模型，人体关键点检测模型输出视频中目标人物的人体关键点。

步骤S2022：根据人体关键点，生成视频中目标人物的躯体动作信息。

在本申请实施例中，根据人体关键点，生成视频中目标人物的躯体动作信息。具体的，对人体关键点通过算法进行行为估计，生成目标人物的躯体动作信息，进而实现对虚拟人躯体动作的驱动。

在一种可能的实现方式中，训练一种人体行为预测模型。其中，人体行为预测模型可以根据人体关键点进行人体行为估计，生成目标人物的躯体动作信息。具体地，将人体关键点发送给人体行为预测模型，人体行为预测模型根据人体关键点输出目标人物的躯体动作信息。该躯体动作信息可以对虚拟人的躯体动作进行驱动。

示例性的，参见图7A，为本申请实施例提供的一种由人体关键点到躯体动作的预测示意图。如图7A所示，当视频中目标人物正在跑步时，获取目标人物的人体关键点，如图中的左图所示。将获取的视频中目标人物的人体关键点发送给人体行为预测模型，人体行为预测模型可以根据人体关键点进行人体行为估计，生成目标人物正在跑步的躯体动作信息，展示结果如图中右图所示。

示例性的，参见图7B，为本申请实施例提供的另一种由人体关键点到躯体动作的预测示意图。如图7B所示，当视频中目标人物正在跳舞时，获取目标人物的人体关键点，如图中的左图所示。将获取的视频中目标人物的人体关键点发送给人体行为预测模型，人体行为预测模型可以根据人体关键点进行人体行为估计，生成目标人物正在跳舞的躯体动作信息，展示结果如图中右图所示。

与上述实施例相对应，本申请还提供了一种虚拟人驱动方法。

参见图8，为本申请实施例提供的一种虚拟人驱动方法的流程示意图。其在图2所示的方法的基础上，还包括以下步骤。

步骤S801：采用相匹配的面部表情和躯体动作信息，对虚拟人进行驱动。

在本申请实施例中，采用相匹配的面部表情和躯体动作信息，对虚拟人进行驱动时，可以使得虚拟人的面部表情、口型动作以及躯体动作相匹配。可理解，相匹配的面部表情和躯体动作信息是指从同一帧视频画面中确定的面部表情和躯体动作信息。

与上述实施例相对应，本申请还提供了一种电子设备。

参见图9，为本申请实施例提供的一种电子设备的结构示意图。所述电子设备900可以包括：处理器901、存储器902及通信单元903。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的电子设备的结构并不构成对本发明实施例的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，所述通信单元903，用于建立通信信道，从而使所述电子设备可以与其它设备进行通信。接收其他设备发送的用户数据或者向其他设备发送用户数据。

所述处理器901，为电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器902内的软件程序、指令、和/或模块，以及调用存储在存储器内的数据，以执行电子设备的各种功能和/或处理数据。所述处理器可以由集成电路(integrated circuit，IC)组成，例如可以由单颗封装的IC所组成，也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说，处理器901可以仅包括中央处理器(central processing unit，CPU)。在本发明实施方式中，CPU可以是单运算核心，也可以包括多运算核心。

所述存储器902，用于存储处理器901的执行指令，存储器902可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

当存储器902中的执行指令由处理器901执行时，使得电子设备900能够执行上述实施例中的部分或全部步骤。

与上述实施例相对应，本申请还提供了一种存储介质。

具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的仿真场景生成方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等。

本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

本领域普通技术人员可以意识到，本文中公开的实施例中描述的各单元及算法步骤，能够以电子硬件、计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，任一功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，简称ROM)、随机存取存储器(random access memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于装置实施例和终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。