一种人脸捕捉方法及相关装置

技术领域

本申请涉及人工智能技术领域，具体涉及一种人脸捕捉方法及相关装置。

背景技术

银行办理某些业务时，出于安全考虑，往往需要通过摄像设备采集人脸信息进行身份认证。而目前使用的摄像设备的摄像头的位置通常是固定的，客户自行进入人脸采集区域，或银行服务人员手动调整摄像头位置，使其对准人脸。而无论使用哪种方式，对于客户或银行服务人员都较为不便。

可见，银行目前的身份认证系统中的人脸采集设备的人脸采集效果仍不够理想，有待改进。

发明内容

本申请实施例提供了一种人脸捕捉方法及相关装置，能够在摄像头拍摄到的图像不包括人脸时自动预测人脸位置，并控制摄像头移动，实现自动的人脸捕捉。

有鉴于此，本申请第一方面提供了一种人脸捕捉方法，所述方法包括：

获取摄像设备的摄像头拍摄的目标图像；

当所述目标图像中不包括人脸时，将所述目标图像输入预先训练的人脸位置预测模型，获取所述人脸位置预测模型输出的预测移动方向；所述人脸位置预测模型用于根据所输入的图像中的人体局部特征预测人脸所在的方位；

根据所述预测移动方向，控制所述摄像设备的摄像头移动。

可选的，所述根据所述预测移动方向，控制所述摄像设备的摄像头移动，包括：

控制所述摄像设备的摄像头沿着所述预测移动方向移动预设距离，到达目标位置；

所述方法还包括：

获取所述摄像设备的摄像头在所述目标位置拍摄的图像，作为新的目标图像；

当所述目标图像中不包括人脸时，执行所述将所述目标图像输入预先训练的人脸位置预测模型，获取所述人脸位置预测模型输出的预测移动方向；以及，执行所述根据所述预测移动方向，控制所述摄像设备的摄像头移动。

可选的，所述方法还包括：

当所述目标图像中包括人脸时，基于所述目标图像中包括的人脸进行身份认证。

可选的，所述人脸位置预测模型是通过以下方式训练的：

获取基础训练样本集；所述基础训练样本集中包括多个基础训练样本，每个所述基础训练样本中包括人脸图像以及所述人脸图像中人脸的位置信息；

根据所述基础训练样本中包括的人脸图像中人脸的位置信息，对所述基础训练样本中包括的人脸图像进行剪切处理，得到所述人脸图像对应的训练图像，所述训练图像中不包括人脸，或者包括人脸的部分区域；确定所述剪切处理对应的剪切方向为所述训练图像的标签；

基于各个训练图像及其各自的标签，对初始的人脸位置预测模型进行训练，直至所述人脸位置预测模型满足训练结束条件为止。

可选的，所述方法还包括：

针对每个所述训练图像，对所述训练图像进行尺寸调整处理，使得所述训练图像的尺寸达到所述人脸位置预测模型支持的输入图像的尺寸。

可选的，在所述根据所述基础训练样本中包括的人脸图像中人脸的位置信息，对所述基础训练样本中包括的人脸图像进行剪切处理，得到所述人脸图像对应的训练图像之前，所述方法还包括：

根据所述人脸图像中人脸的位置信息以及所述人脸图像的尺寸信息，检测所述人脸图像是否符合预设的剪切处理条件；

若是，则执行所述根据所述基础训练样本中包括的人脸图像中人脸的位置信息，对所述基础训练样本中包括的人脸图像进行剪切处理，得到所述人脸图像对应的训练图像；若否，则丢弃所述基础训练样本。

本申请第二方面提供了一种人脸捕捉装置，所述装置包括：

图像获取模块，用于获取摄像设备的摄像头拍摄的目标图像；

方向预测模块，用于当所述目标图像中不包括人脸时，将所述目标图像输入预先训练的人脸位置预测模型，获取所述人脸位置预测模型输出的预测移动方向；所述人脸位置预测模型用于根据所输入的图像中的人体局部特征预测人脸所在的方位；

控制模块，用于根据所述预测移动方向，控制所述摄像设备的摄像头移动。

可选的，所述控制模块具体用于：

控制所述摄像设备的摄像头沿着所述预测移动方向移动预设距离，到达目标位置；

所述图像获取模块，还用于获取所述摄像设备的摄像头在所述目标位置拍摄的图像，作为新的目标图像；

所述方向预测模块，还用于当所述目标图像中不包括人脸时，执行所述将所述目标图像输入预先训练的人脸位置预测模型，获取所述人脸位置预测模型输出的预测移动方向；以及，执行所述根据所述预测移动方向，控制所述摄像设备的摄像头移动。

可选的，所述装置还包括：

身份认证模块，用于当所述目标图像中包括人脸时，基于所述目标图像中包括的人脸进行身份认证。

可选的，所述装置还包括：

样本获取模块，用于获取基础训练样本集；所述基础训练样本集中包括多个基础训练样本，每个所述基础训练样本中包括人脸图像以及所述人脸图像中人脸的位置信息；

样本标注模块，用于根据所述基础训练样本中包括的人脸图像中人脸的位置信息，对所述基础训练样本中包括的人脸图像进行剪切处理，得到所述人脸图像对应的训练图像，所述训练图像中不包括人脸，或者包括人脸的部分区域；确定所述剪切处理对应的剪切方向为所述训练图像的标签；

模型训练模块，用于基于各个训练图像及其各自的标签，对初始的人脸位置预测模型进行训练，直至所述人脸位置预测模型满足训练结束条件为止。

可选的，所述装置还包括：

图像预处理模块，用于针对每个所述训练图像，对所述训练图像进行尺寸调整处理，使得所述训练图像的尺寸达到所述人脸位置预测模型支持的输入图像的尺寸。

可选的，所述装置还包括：

图像检测模块，用于在所述根据所述基础训练样本中包括的人脸图像中人脸的位置信息，对所述基础训练样本中包括的人脸图像进行剪切处理，得到所述人脸图像对应的训练图像之前，根据所述人脸图像中人脸的位置信息以及所述人脸图像的尺寸信息，检测所述人脸图像是否符合预设的剪切处理条件；若是，则执行所述根据所述基础训练样本中包括的人脸图像中人脸的位置信息，对所述基础训练样本中包括的人脸图像进行剪切处理，得到所述人脸图像对应的训练图像；若否，则丢弃所述基础训练样本。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例提供了一种人脸捕捉方法，该方法包括：获取摄像设备的摄像头拍摄的目标图像；当该目标图像中不包括人脸时，将该目标图像输入预先训练的人脸位置预测模型，获取人脸位置预测模型输出的预测移动方向；此处的人脸位置预测模型用于根据所输入的图像中的人体局部特征预测人脸所在的方位；进而，根据该预测移动方向，控制摄像设备的摄像头移动。该方法能够在摄像头拍摄到的目标图像不包括人脸时，自动通过人脸位置预测模型预测人脸当前所处的方位，也即通过人脸位置预测模型预测摄像头的移动方向，进而根据该人脸位置预测模型输出的预测移动方向，控制摄像设备的摄像头移动，以实现控制摄像头自动向人脸所在的位置移动，从而自动地捕捉人脸，如此既不需要客户自主移动到特定的位置，又不需要银行服务人员手动移动摄像头，同时减少客户和银行服务人员的工作量。

附图说明

图1为本申请实施例提供的一种人脸捕捉方法的流程示意图；

图2为本申请实施例提供的另一种人脸捕捉方法的流程示意图；

图3为本申请实施例提供的人脸位置预测模型的训练方法的流程示意图；

图4为本申请实施例提供的人脸捕捉装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，本申请提供的人脸捕捉方法及相关装置可用于人工智能领域或金融领域。上述仅为示例，并不对本申请提供的人脸捕捉方法及相关装置的应用领域进行限定。

下面通过方法实施例对本申请提供的人脸捕捉方法进行介绍。

参见图1，图1为本申请实施例提供的人脸捕捉方法的流程示意图。该方法可以由计算机设备执行，该计算机设备具备控制摄像设备的摄像头移动的功能，例如该计算机设备可以为摄像设备本身。如图1所示，该方法包括以下步骤：

步骤101：获取摄像设备的摄像头拍摄的目标图像。

在本申请实施例中，当需要基于人脸进行身份认证时，计算机设备可以获取摄像设备的摄像头拍摄的目标图像。示例性的，摄像设备可以直接将其摄像头拍摄到的目标图像传输给计算机设备。或者，摄像设备可以将其摄像头拍摄到的目标图像存储至指定存储位置，例如，可以使用OpenCV库中的VideoCapture类初始化打开摄像头，并采集一帧拍摄画面图像保存到指定存储位置；进而由计算机设备从该指定存储位置调取该目标图像。

需要说明的是，本申请实施例中的摄像设备可以是带有云台的摄像设备，计算机设备可以通过控制云台来调整摄像设备的摄像头的位置。

步骤102：当所述目标图像中不包括人脸时，将所述目标图像输入预先训练的人脸位置预测模型，获取所述人脸位置预测模型输出的预测移动方向；所述人脸位置预测模型用于根据所输入的图像中的人体局部特征预测人脸所在的方位。

计算机设备获取到目标图像后，可以检测该目标图像中是否包括人脸(该人脸应当是完整的人脸)，若包括，则可以直接基于该目标图像中包括的人脸进行身份认证；若不包括，则需要基于目标图像来预测人脸所在的方位。

具体检测目标图像中是否包括人脸时，可以加载Dlib库中的frontal_face_detector函数以供使用，加载Dlib提供的模型，得到特征提取器，然后通过detector来对目标图像进行人脸检测。

具体基于目标图像预测人脸所在的方位时，计算机设备可以先对目标图像进行预处理；例如，可以将目标图像转换为灰度图像，并将该灰度图像放缩到指定尺寸，该指定尺寸是人脸位置预测模型所支持的输入图像的尺寸。进而，将放缩后的灰度图像输入预先训练的人脸位置预测模型，该人脸位置预测模型通过对输入的图像进行分析处理，可以相应地输出预测移动方向，该预测移动方向指示了人脸所在的方向，也即所需控制摄像头移动的方向。

需要说明的是，本申请实施例中的人脸位置预测模型，用于根据输入的图像中的人体局部特征预测人脸所在的方位，下文将通过另一方法实施例对该人脸位置预测模型的训练方法进行详细介绍。该人脸位置预测模型输出的预测移动方向通常可以包括以下任一种：上、下、左、右、左上、左下、右上、右下；当然，在实际应用中，人脸位置预测模型也可以输出更丰富的预测移动方向，本申请对此不做任何限定。

步骤103：根据所述预测移动方向，控制所述摄像设备的摄像头移动。

计算机设备获得人脸位置预测模型输出的预测移动方向后，可以根据该预测移动方向，控制摄像设备的摄像头移动。

具体的，计算机设备可以控制该摄像设备的摄像头沿着预测移动方向移动预设距离，到达目标位置。以摄像设备为带有云台的摄像设备为例，可以使用Android开发板通过Servo函数控制舵机以实现对云台的控制，创建一个舵机对象，定义固定角度值angle，读取预测移动方向，然后控制舵机进行相应角度的转动。

计算机设备控制摄像设备的摄像头到达目标位置后，可以进一步获取该摄像头在该目标位置拍摄的图像，并将该图像作为新的目标图像。进一步地，计算机设备可以检测该新的目标图像中是否包括人脸，若包括，则可以基于该新的目标图像中的人脸进行身份认证，若不包括，则需要基于该新的目标图像重新执行上述步骤102和步骤103，如此循环，直至摄像头所采集的目标图像包括人脸为止。

图2为本申请实施例提供的人脸捕捉方法的流程示意图。如图2所示，在该人脸捕捉方法中，先采集目标图像，然后针对目标图像进行人脸检测，如果检测到人脸，则进行身份认证，并在身份认证结束后，结束整个流程；如果没有检测到人脸，则检测是否触发人为中断，若没有人为中断，则继续检测人脸所在的方位，并根据检测结果调整摄像头角度，重新返回采集目标图像的步骤。

本申请实施例提供了一种人脸捕捉方法包括：获取摄像设备的摄像头拍摄的目标图像；当该目标图像中不包括人脸时，将该目标图像输入预先训练的人脸位置预测模型，获取人脸位置预测模型输出的预测移动方向；此处的人脸位置预测模型用于根据所输入的图像中的人体局部特征预测人脸所在的方位；进而，根据该预测移动方向，控制摄像设备的摄像头移动。该方法能够在摄像头拍摄到的目标图像不包括人脸时，自动通过人脸位置预测模型预测人脸当前所处的方位，也即通过人脸位置预测模型预测摄像头的移动方向，进而根据该人脸位置预测模型输出的预测移动方向，控制摄像设备的摄像头移动，以实现控制摄像头自动向人脸所在的位置移动，从而自动地捕捉人脸，如此既不需要客户自主移动到特定的位置，又不需要银行服务人员手动移动摄像头，同时减少客户和银行服务人员的工作量。

参见图3，图3为本申请实施例提供的人脸位置预测模型的训练方法的流程示意图。该方法也可以由计算机设备执行。如图3所示，该方法包括：

步骤301：获取基础训练样本集；所述基础训练样本集中包括多个基础训练样本，每个所述基础训练样本中包括人脸图像以及所述人脸图像中人脸的位置信息。

在本申请实施例中，计算机设备可以获取基础训练样本集，该基础训练样本集中包括若干基础训练样本，每个基础训练样本中包括人脸图像(即包括完整人脸的图像)、以及该人脸图像中人脸的位置信息(如人脸左上角的横坐标和纵坐标、以及人脸区域的宽度和高度等)。

示例性的，基础训练样本集中包括的人脸图像例如可以有20000张，每张人脸图像对应一个文件，该文件中包括该人脸图像中人脸的位置坐标信息。

步骤302：根据所述基础训练样本中包括的人脸图像中人脸的位置信息，对所述基础训练样本中包括的人脸图像进行剪切处理，得到所述人脸图像对应的训练图像，所述训练图像中不包括人脸，或者包括人脸的部分区域；确定所述剪切处理对应的剪切方向为所述训练图像的标签。

针对基础训练样本集中的基础训练样本，计算机设备可以根据该基础训练样本中包括的人脸图像中人脸的位置信息，对该基础训练样本中包括的人脸图像进行剪切处理，以得到不包括人脸、或者仅包括人脸部分区域(如左侧脸、右侧脸、上半张脸、下半张脸等)的训练图像，同时记录该剪切处理对应的剪切方向作为该训练图像的标签。

示例性的，可以使用PIL库中的crop函数，对基础训练样本中的人脸图像分别进行上、下、左、右以及左上、右上、左下、右下等多个方位的剪切；在对人脸图像进行剪切处理的同时，还可以对剪切处理得到的训练图像进行标注，即给每张训练图像配置标签，以区分其所属的类别，示例性可以针对训练图像标注“up”、“down”、“left”、“down”、“upperleft”、“upperright”、“lowerleft”以及“lowerright”等八个类别。应理解，基于剪切处理后得到的训练图像预测该剪切处理对应的剪切方向的原理，与根据不包括人脸的图像预测该人脸所在的方位的原理相类似。

需要说明的是，上述剪切处理对应的剪切方向可以理解为剪切后相应的人脸位置方向，例如，假设对某张人脸图像的剪切处理将该人脸图像中人脸的上半部分剪切掉，剪切后相应的人脸位置方向为上，也即本次剪切处理对应的剪切方向为上。

为了使得经剪切处理得到的训练图像达到人脸位置预测模型支持的输入图像的尺寸，计算机设备针对所得到的每个训练图像，还需要对该训练图像的尺寸进行调整，即对训练图像进行缩放处理，以使该训练图像的尺寸达到人脸位置预测模型支持的输入图像的尺寸。示例性的，可以使用OpenCV提供的resize函数，在不改变训练图像的内容的情况下，将训练图像变换到人脸位置预测模型支持的输入图像的尺寸。

此外，为了防止训练图像经尺寸调整后失真，还可以在对基础训练样本中的人脸图像进行剪切处理前，检测该人脸图像是否符合预设的剪切处理条件，也即检测剪切该人脸图像得到的训练图像再经放缩处理后是否会失真。具体的，可以根据该人脸图像中人脸的位置信息以及人脸图像的尺寸信息，检测该人脸图像是否符合预设的剪切处理条件；若是，则执行上述步骤302；若否，则舍弃该所述基础训练样本。

具体的，每张人脸图像具有其对应的人脸位置坐标文件，其中可以包括人脸位置坐标信息和人脸关键点坐标信息。示例性的，可以用x、y、w和h四个变量表示每张人脸图像中人脸左上角的横坐标和纵坐标、以及人脸图像中人脸区域的宽度和高度，并且可以使用width和height分别表示人脸图像的宽度和高度，该人脸图像的尺寸可以通过PIL库中的size函数获取。

对于从人脸底部开始剪切的剪切处理方式(即仅保留人脸底部位置以下的区域的剪切处理方式)，可以设置(y+h)/height≤0.6作为判定条件，用于判断人脸图像中人脸底部位置在整张图片中的占比是否超过预设的比例。对于从人脸右侧开始剪切的剪切处理方式(即仅保留人脸右侧区域的剪切处理方式)，可以设置(x+w)/width≤0.6作为判定条件，用于判断人脸图像中人脸右侧区域在整张图片中的占比是否超过预设的比例。只有人脸图像满足上述判定条件，才能对该人脸图像进行对应的剪切处理。如此，可以防止剪切处理后得到的训练图像过窄，进而可以防止过窄的训练图像经放缩处理后发生严重形变，而影响对于人脸位置检测模型的训练。

步骤303：基于各个训练图像及其各自的标签，对初始的人脸位置预测模型进行训练，直至所述人脸位置预测模型满足训练结束条件为止。

进而，可以利用通过步骤302得到的各训练图像及其各自的标签，对初始的人脸位置预测模型训练训练，直至该人脸位置预测模型满足训练结束条件为止。

具体训练人脸位置预测模型时，可以采用AlexNet网络结构作为初始的人脸位置预测模型，将人脸位置预测问题看作是一个分类问题，使用TensorFlow进行模型训练。在每次训练时，记录下网络的参数设置，根据每次的训练效果适当调整参数值，以使得模型得到更高的准确率；其中，学习率可以设置为1e-4，迭代的次数可以设置为40次，dropout_rate可以设置为0.6(表示在每次训练时，随机忽略掉隐层上60％的节点)，display_step设置为100(表示在100个train_batch_size训练完成以后，tensorboard中写入loss和accuracy)。在进行多次训练以后，调整得到以上参数设置下的模型训练效果好，模型准确率达到94％，能十分准确地根据摄像头拍摄的图像中出现的人的局部身体预测出人脸所在方向。

通过上述方式训练人脸位置预测模型，可以保证训练得到的人脸位置预测模型，能够较准确地根据不包括人脸的图像，预测人脸所在的方位。

本申请实施例还提供了一种人脸捕捉装置，参见图4，图4为本申请实施例提供的人脸捕捉装置的结构示意图，如图4所示，所述装置包括：

图像获取模块401，用于获取摄像设备的摄像头拍摄的目标图像；

方向预测模块402，用于当所述目标图像中不包括人脸时，将所述目标图像输入预先训练的人脸位置预测模型，获取所述人脸位置预测模型输出的预测移动方向；所述人脸位置预测模型用于根据所输入的图像中的人体局部特征预测人脸所在的方位；

控制模块403，用于根据所述预测移动方向，控制所述摄像设备的摄像头移动。

可选的，所述控制模块具体用于：

控制所述摄像设备的摄像头沿着所述预测移动方向移动预设距离，到达目标位置；

所述图像获取模块，还用于获取所述摄像设备的摄像头在所述目标位置拍摄的图像，作为新的目标图像；

所述方向预测模块，还用于当所述目标图像中不包括人脸时，执行所述将所述目标图像输入预先训练的人脸位置预测模型，获取所述人脸位置预测模型输出的预测移动方向；以及，执行所述根据所述预测移动方向，控制所述摄像设备的摄像头移动。

可选的，所述装置还包括：

身份认证模块，用于当所述目标图像中包括人脸时，基于所述目标图像中包括的人脸进行身份认证。

可选的，所述装置还包括：

样本获取模块，用于获取基础训练样本集；所述基础训练样本集中包括多个基础训练样本，每个所述基础训练样本中包括人脸图像以及所述人脸图像中人脸的位置信息；

样本标注模块，用于根据所述基础训练样本中包括的人脸图像中人脸的位置信息，对所述基础训练样本中包括的人脸图像进行剪切处理，得到所述人脸图像对应的训练图像，所述训练图像中不包括人脸，或者包括人脸的部分区域；确定所述剪切处理对应的剪切方向为所述训练图像的标签；

模型训练模块，用于基于各个训练图像及其各自的标签，对初始的人脸位置预测模型进行训练，直至所述人脸位置预测模型满足训练结束条件为止。

可选的，所述装置还包括：

图像预处理模块，用于针对每个所述训练图像，对所述训练图像进行尺寸调整处理，使得所述训练图像的尺寸达到所述人脸位置预测模型支持的输入图像的尺寸。

可选的，所述装置还包括：

图像检测模块，用于在所述根据所述基础训练样本中包括的人脸图像中人脸的位置信息，对所述基础训练样本中包括的人脸图像进行剪切处理，得到所述人脸图像对应的训练图像之前，根据所述人脸图像中人脸的位置信息以及所述人脸图像的尺寸信息，检测所述人脸图像是否符合预设的剪切处理条件；若是，则执行所述根据所述基础训练样本中包括的人脸图像中人脸的位置信息，对所述基础训练样本中包括的人脸图像进行剪切处理，得到所述人脸图像对应的训练图像；若否，则丢弃所述基础训练样本。

本申请实施例提供的人脸捕捉装置能够在摄像头拍摄到的目标图像不包括人脸时，自动通过人脸位置预测模型预测人脸当前所处的方位，也即通过人脸位置预测模型预测摄像头的移动方向，进而根据该人脸位置预测模型输出的预测移动方向，控制摄像设备的摄像头移动，以实现控制摄像头自动向人脸所在的位置移动，从而自动地捕捉人脸，如此既不需要客户自主移动到特定的位置，又不需要银行服务人员手动移动摄像头，同时减少客户和银行服务人员的工作量。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。