图像处理方法、装置、电子设备、介质和计算机程序产品

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备、介质和计算机程序产品。

背景技术

在图像处理领域，通常需要对图像中一些被部分遮挡的目标对象进行补全，目标对象可以为人体或者其他物体，以人体为例，假设在一张图像中，人体部分被遮挡物遮挡，则需要通过一系列的图像处理，将人体被遮挡的部分补全，得到一个完整的人体。通常，对目标对象进行补全的过程中，通常需要预测目标对象的目标完整掩码。

现有技术中，通常将原始图像输入到实例分割网络中，通过实例分割网络得到目标对象的可见区域的掩码，然后再基于目标对象的可见区域的掩码通过一个神经网络模型得到目标对象的目标完整掩码。

然而，采用现有技术得到目标对象的目标完整掩码的准确性不高。

发明内容

为了解决上述技术问题，本公开提供了一种图像处理方法、装置、电子设备、介质和计算机程序产品。

本公开第一方面提供一种图像的处理方法，包括：

获取原始图像中的目标对象的可见区域的第一掩码，其中，所述原始图像中包含目标对象，所述目标对象部分区域被遮挡物遮挡；

将所述原始图像和所述第一掩码堆叠后输入目标神经网络模型中，得到所述原始图像中的目标对象的目标完整掩码，其中，所述目标神经网络模型基于原始图像样本、目标对象样本的预设解析掩码以及目标对象样本的参考完整掩码训练得到的，所述原始图像样本中包含所述目标对象样本，所述目标对象样本的部分区域被遮挡物遮挡，所述预设解析掩码包含所述目标对象样本的各部分的语义掩码标签。

可选的，还包括：

将所述目标对象的目标完整掩码减去所述第一掩码，得到所述目标对象的不可见区域的掩码。

可选的，所述将所述原始图像和所述第一掩码堆叠后输入目标神经网络模型中之后，还包括：

输出所述原始图像中的目标对象的完整解析掩码，所述完整解析掩码包含所述目标对象的各部分的语义掩码标签。

可选的，还包括：

将所述目标对象的目标完整掩码减去所述第一掩码，得到所述目标对象的不可见区域的掩码；

将所述目标对象的不可见区域的掩码与所述目标对象的完整解析掩码相乘，得到所述目标对象的不可见区域的语义掩码标签。

可选的，所述获取原始图像中的目标对象的可见区域的第一掩码之前，还包括：

获取所述原始图像样本中的目标对象样本的第二掩码；

将所述原始图像样本和所述第二掩码输入神经网络模型中，得到所述原始图像样本中的目标对象样本的目标完整掩码和所述目标对象样本的完整解析掩码；

将所述目标对象样本的参考完整掩码和所述目标对象样本的预设解析掩码作为监督信号，利用所述监督信号及所述目标对象样本的目标完整掩码和所述目标对象样本的完整解析掩码得到损失函数，对所述神经网络模型进行训练，直到所述神经网络模型收敛，将收敛后的神经网络模型作为所述目标神经网络模型。

可选的，还包括：

将所述原始图像样本输入目标对象解析网络模型中，得到所述目标对象样本的预设解析掩码。

本公开第二方面提供一种图像处理装置，所述装置包括：

获取模块，用于获取原始图像中的目标对象的可见区域的第一掩码，其中，所述原始图像中包含目标对象，所述目标对象部分区域被遮挡物遮挡；

处理模块，用于将所述原始图像和所述第一掩码堆叠后输入目标神经网络模型中，得到所述原始图像中的目标对象的目标完整掩码，其中，所述目标神经网络模型基于原始图像样本、目标对象样本的预设解析掩码以及目标对象样本的参考完整掩码训练得到的，所述原始图像样本中包含所述目标对象样本，所述目标对象样本的部分区域被遮挡物遮挡，所述预设解析掩码包含所述目标对象样本的各部分的语义掩码标签。

可选的，所述处理模块还用于将所述目标对象的目标完整掩码减去所述第一掩码，得到所述目标对象的不可见区域的掩码。

可选的，所述处理模块还用于输出所述原始图像中的目标对象的完整解析掩码，所述完整解析掩码包含所述目标对象的各部分的语义掩码标签。

可选的，所述处理模块还用于将所述目标对象的目标完整掩码减去所述第一掩码，得到所述目标对象的不可见区域的掩码；将所述目标对象的不可见区域的掩码与所述目标对象的完整解析掩码相乘，得到所述目标对象的不可见区域的语义掩码标签。

可选的，所述目标对象的可见区域的掩码为所述第一掩码。

可选的，所述获取模块还用于获取所述原始图像样本中的目标对象样本的第二掩码；

所述处理模块还用于将所述原始图像样本和所述第二掩码输入神经网络模型中，得到所述原始图像样本中的目标对象样本的目标完整掩码和所述目标对象样本的完整解析掩码；将所述目标对象样本的参考完整掩码和所述目标对象样本的预设解析掩码作为监督信号，利用所述监督信号及所述目标对象样本的目标完整掩码和所述目标对象样本的完整解析掩码得到损失函数，对所述神经网络模型进行训练，直到所述神经网络模型收敛，将收敛后的神经网络模型作为所述目标神经网络模型。

可选的，所述处理模块还用于将所述原始图像样本输入目标对象解析网络模型中，得到所述目标对象样本的预设解析掩码。

本公开第三方面提供一种电子设备，包括：处理器，所述处理器用于执行存储于存储器的计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法的步骤。

本公开第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法的步骤。

本公开第五方面提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面所述的图像处理方法。

本公开实施例提供的技术方案与现有技术相比具有如下优点：

由于目标神经网络模型基于原始图像样本、目标对象样本的预设解析掩码以及目标对象样本的参考完整掩码训练得到的，考虑了目标对象各部分的语义信息，因此，通过获取原始图像中的目标对象的可见区域的第一掩码，其中，所述原始图像中包含目标对象，所述目标对象部分区域被遮挡物遮挡；将所述原始图像和所述第一掩码堆叠后输入目标神经网络模型中，得到所述原始图像中的目标对象的目标完整掩码，得到目标对象的目标完整掩码的准确性更高。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开提供的一种人体解掩码的示意图；

图2为本公开提供的一种图像处理系统的示意图；

图3为本公开提供的一种图像处理的流程示意图；

图4为本公开提供的另一种图像处理的流程示意图；

图5为本公开提供的再一种图像处理的流程示意图；

图6为本公开提供的又一种图像处理的流程示意图；

图7为本公开提供一种图像处理装置的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

本公开的原始图像中包含目标对象，其中，目标对象的部分区域被遮挡物遮挡，为了便于描述，将目标对象被遮挡物遮挡的区域描述为目标对象的不可见区域。将目标对象未被遮挡物遮挡的区域描述为目标对象的可见区域。其中，目标对象可以是人体、动物或者其他物体，对此，本公开不做限制。

在对原始图像的目标对象的不可见区域补全的过程中，需要预测目标对象的不可见区域的掩码，基于目标对象的不可见区域的掩码对目标对象进行补全。以便能够实现目标追踪、目标检测以及图像分割等图像处理任务。

目标对象的不可见区域的掩码通常基于目标对象的目标完整掩码和目标对象的可见区域的掩码作差得到，因此，目标对象的目标完整掩码的准确性会直接影响到目标对象的不可见区域的掩码的准确性。

目标对象的解析掩码可以理解为将目标对象的各个部分分割出来后，由各个部分对应的不同数字形成的编码。

本公开的目标对象可以是人体、动物或者其他物体等，本公开下述各实施例以人体为例进行描述和图示，其他目标对象与人体类似，不一一赘述。

目标对象以人体为例，人体解析(Human Parsing)就是将人体的N个部位分割出来，N为正整数。

假设N＝19，如图1所示，图1为本公开提供的一种人体解掩码的示意图，人体的19个部分可包括：头a1、颈a2、左肩a3、右肩a4、左上臂a5、右上臂a6、左下臂a7、右下臂a8、左手a9、右手a10、左臀a11、右臀a12、左大腿a13、右大腿a14、左小腿a15、右小腿a16、左脚a17、右脚a18和身体a19，且人体的解析掩码为由人体的19个部分分别对应一个数字形成的编码。另外，本公开不限于将人体分割为19个部分。

通过对目标对象进行解析，可以得到目标对象分割的各部分的语义信息。

本公开为了提高获取的目标对象的目标完整掩码的准确性，通过目标神经网络模型获取目标对象的目标完整掩码，其中，目标神经网络模型基于是原始图像样本、目标对象样本的预设解析掩码以及目标对象样本的参考完整掩码训练得到的。其中，目标对象样本的参考完整掩码是指获取到的目标对象样本的准确的完整掩码，预设解析掩码包含所述目标对象样本的各部分的可靠的语义掩码标签，将该些语义掩码标签作为伪标签，即认为是真实的语义掩码标签，参与神经网络训练。由于在训练目标神经网络模型的过程中，不仅采用了目标对象样本的参考完整掩码作为监督信号，还结合了目标对象样本的预设解析掩码作为监督信号，由于解析掩码考虑了目标对象各部分的语义信息，在训练时考虑了目标对象各部分语义的准确性，因此，结合两个监督信号训练得到目标神经网络模型输出的目标完整掩码的准确性更高。

本公开的图像处理方法由电子设备执行。其中，电子设备可以是平板电脑、手机(如折叠屏手机、大屏手机等)、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本、个人数字助理(personaldigital assistant，PDA)、智能电视、智慧屏、高清电视、4K电视、智能音箱、智能投影仪等物联网(the internet ofthings，IOT)设备，本公开对电子设备的具体类型不作任何限制。

图2为本公开提供的一种图像处理系统的示意图，如图2所示，该系统包括：

目标神经网络模型101，其中，目标神经网络模型101包括多个网络层，一些网络层用于预测目标对象的目标完整掩码，一些网络层用于预测目标对象的完整解析掩码。目标神经网络模型101可以包括沙漏网络101a和多层卷积网络101b(也称分割头或者任务头)。目标神经网络模型101的输入信号为原始图像的目标对象的可见区域的第一掩码103和所述原始图像102堆叠后的堆叠结果，目标神经网络模型101的输出为所述目标对象的目标完整掩码104和完整解析掩码105，其中，目标完整掩码104是二值分割的掩码；完整解析掩码105指能够标识目标对象各部分语义的掩码，完整解析掩码包含所述目标对象的各部分的语义掩码标签，根据语义掩码标签可以确定目标对象各部分是什么，例如，头、颈、左肩、右肩、左上臂、右上臂、左下臂、右下臂、左手、右手、左臀、右臀、左大腿、右大腿、左小腿、右小腿、左脚、右脚或者身体。

图3为本公开提供的一种图像处理的流程示意图，结合图2，本实施例的方法如下：

S301：获取原始图像中的目标对象的可见区域的第一掩码。

其中，原始图像中包含目标对象，所述目标对象部分区域被遮挡物遮挡。目标对象的可见区域是指在原始图像中显示的目标对象的区域。原始图像中一般包含背景、目标对象和遮挡物。

以图2为例，其中，目标对象为人体，遮挡物为草，人体的腿部和脚部被遮挡物遮挡，头和上半身以及部分腿为人体的可见区域。

示例性的，原始图像的大小可以为H×W×3，H为高，W为宽，3为通道数。

可选的，可以通过实例分割网络获取原始图像中的目标对象可见区域的第一掩码。其中，第一掩码的大小为H×W×1，第一掩码中的值服从0～1分布。然而，由于实例分割网络不考虑遮挡的情况，即，实例分割网络用于分割各种对象，并非针目标对象设计的，因此，采用实例分割网络获取的原始图像的目标对象可见区域的第一掩码可能是不完整的或部分错误的，准确性不高。

本步骤中，可以将原始图像记为：I

M

S302：将原始图像和所述第一掩码堆叠后输入目标神经网络模型中，得到所述原始图像中的目标对象对应的目标完整掩码。

其中，原始图像中的目标对象对应的目标完整掩码是指二值分割的掩码。

具体地，可以将原始图像和第一掩码进行堆叠处理，得到堆叠结果，将堆叠结果输入目标神经网络模型中，得到目标对象对应的目标完整掩码。结合S301中的描述，堆叠结果为一个H×W×4的图像，即，堆叠结果为一个四通道的图像。

目标神经网络模型记为：

由于目标神经网络模型是基于原始图像样本、目标对象样本的预设解析掩码以及目标对象样本的参考完整掩码训练得到的，即，在训练的过程中完整两个任务，一个任务是得到目标对象样本的目标完整掩码，另一个任务是得到目标对象样本的完整解析掩码，由于目标对象样本的完整解析掩码中包含目标对象各部分的语义掩码标签，因此，在以预设解析掩码和参考完整掩码作为监督信号对目标神经网络模型进行训练，衡量了更多的维度，从而，可以提高目标神经网络模型输出的目标对象的目标完整掩码的准确性。

本实施例，由于目标神经网络模型基于原始图像样本、目标对象样本的预设解析掩码以及目标对象样本的参考完整掩码训练得到的，考虑了目标对象各部分的语义信息，因此，通过获取原始图像中的目标对象的可见区域的第一掩码，其中，所述原始图像中包含目标对象，所述目标对象部分区域被遮挡物遮挡；将所述原始图像和所述第一掩码堆叠后输入目标神经网络模型中，得到所述原始图像中的目标对象的目标完整掩码，得到目标对象的目标完整掩码的准确性更高。

图4为本公开提供的另一种图像处理的流程示意图，图4是在图3所示实施例的基础上，进一步地，还包括：

S303：得到原始图像中的目标对象的完整解析掩码。

其中，完整解析掩码包含目标对象的各部分的语义掩码标签。

在一些场景中，可以利用目标对象的完整解析掩码进行图像处理，例如，在进行图像补全的过程中，可以基于补全完成后的图像的完整解析掩码，确定补全效果。

因此，本公开还输出所述原始图像中的目标对象的完整解析掩码，以便于在一些场景中对图像进行处理，提高图像处理的精确度。

并且，通过一个目标神经网络模型可以同时得到目标对象的目标完整掩码和目标对象的完整解析掩码。针对同时应用目标对象的目标完整掩码和完整解析掩码进行图像处理的场景，可以提高图像处理的效率。

图5为本公开提供的再一种图像处理的流程示意图，图5是在图3或图4所示实施例的基础上，进一步地，在一些同时应用目标对象的可见区域的掩码和目标对象的目标完整掩码进行图像处理的场景中，例如，进行目标对象补全的场景中，需要基于不可见区域的掩码进行目标对象的补全。因此，本公开的方法还可以包括：

S304：将所述目标对象的目标完整掩码减去所述目标对象的可见区域的掩码，得到所述目标对象的不可见区域的掩码。

其中，一种可能的实现方式为：将所述第一掩码作为目标对象的可见区域的掩码，即，通过将所述目标对象的目标完整掩码减去所述目标对象的可见区域的掩码，得到所述目标对象的不可见区域的掩码。

另一种可能的实现方式为：通过其他的方式获取到目标对象准确的可见区域的掩码，例如，通过抠图等方式获取到目标对象准确的的可见区域的掩码，将所述目标对象的目标完整掩码减去所述目标对象的准确的可见区域的掩码，得到所述目标对象的不可见区域的掩码，从而，可以进一步的提高目标对象的不可见区域的掩码的准确性。

本公开中，由于目标完整掩码的准确度提高了，因此，通过目标对象的目标完整掩码与目标对象的可见区域的掩码作差，得到目标对象的不可见区域的掩码的准确度也会提高，基于得到的不可见区域的掩码可以进行图像补全等处理，因此，可以进一步地提高图像补全的效果。

在图5所示实施例的基础上，进一步的，在一些场景中，需要应用到目标对象的不可见区域的语义掩码标签，因此，还可以包括S305：

S305：将目标对象的不可见区域的掩码与所述目标对象的完整解析掩码相乘，得到所述目标对象的不可见区域的语义掩码标签。

由于不可见区域的掩码只有不可见区域的值为1，其余区域的值均为0，因此，将目标对象的不可见区域的掩码与所述目标对象的完整解析掩码相乘，即可得到目标对象的不可见区域的语义掩码标签。从而，可以基于目标对象的不可见区域的语义掩码标签，确定不可见区域具体为目标对象的哪部分，即目标对象具体是哪部分被遮挡物遮挡了，以目标对象为人体为例，根据语义掩码标签可以确定具体是头、颈、左肩、右肩、左上臂、右上臂、左下臂、右下臂、左手、右手、左臀、右臀、左大腿、右大腿、左小腿、右小腿、左脚、右脚还是身体被遮挡了。可选的，也可以进一步地根据语义掩码标签进行不可见区域的补全，例如，根据语义掩码标签确定是右脚被遮挡了，则可以根据右脚的特征进行不可见区域的补全。可选的，也可以进一步地根据语义掩码标签对补全效果进行衡量，例如，根据语义掩码标签确定是右脚被遮挡了，然而，不可见区域补全后的图像为左脚，则可以确定补全准确性不高。

图6为本公开提供的又一种图像处理的流程示意图，图6是在图3-图5任一所示实施例的基础上，进一步地，还包括：获取目标神经网络模型的过程，即通过机器学习得到目标神经网络模型过程，如图6所示：

S601：获取原始图像样本中的目标对象样本的第二掩码。

其中，原始图像样本中包含目标对象样本，目标对象样本部分区域被遮挡物遮挡。目标对象样本的可见区域是指在原始图像样本中显示的目标对象样本的区域。原始图像样本中一般包含背景、目标对象样本和遮挡物。

可选的，可以通过实例分割网络获取原始图像样本中的目标对象样本可见区域的第二掩码。

S602：将原始图像样本和所述第二掩码堆叠后输入目标神经网络模型中，得到所述原始图像样本中的目标对象样本的目标完整掩码和所述目标对象样本的完整解析掩码。

即目标神经网络模型同时处理两个任务，一个任务是得到目标对象样本的目标完整掩码，另一个任务是得到目标对象样本的完整解析掩码。

S603：将所述目标对象样本的参考完整掩码和所述目标对象样本的预设解析掩码作为监督信号，利用所述监督信号及所述目标对象样本的目标完整掩码和所述目标对象样本的完整解析掩码得到损失函数，对所述神经网络模型进行训练，直到所述神经网络模型收敛，将收敛后的神经网络模型作为所述目标神经网络模型。

可选的，目标对象样本的预设解析掩码可以通过但不限于如下可能的实现方式得到：

其中，一种可能的实现方式为：通过人工标记的方式对目标对象的各部分标记语义掩码标签，进而由该语义掩码标签得到所述目标对象样本的预设解析掩码，目标对象样本的预设解析掩码中包含所述目标对象样本的各部分的语义掩码标签。

另一种可能的实现方式为：将所述原始图像样本输入目标对象解析网络模型中，得到所述目标对象样本的预设解析掩码。

将所述目标对象样本的参考完整掩码和所述目标对象样本的预设解析掩码作为监督信号，对所述神经网络模型进行训练的过程中，根据所述神经网络模型输出的目标对象样本的目标完整掩码和所述目标对象样本的参考完整掩码获取第一损失函数。根据所述神经网络模型输出的目标对象样本的完整解析掩码和所述目标对象样本的预设解析掩码获取第二损失函数。根据所述第一损失函数和第二损失函数，对所述神经网络模型进行训练。即，根据第一损失函数和第二损失函数调整神经网络模型的参数，直到神经网络模型收敛，即，直到第一损失函数和第二损失函数满足预设要求，也就是，直到输出的目标对象样本的目标完整掩码和目标对象样本的完整解析掩码的准确性满足要求，则认为神经网络模型收敛。将收敛后的神经网络模型作为目标神经网络模型。

具体地，可以基于梯度下降法，根据第一损失函数和第二损失函数，对神经网络模型，直到神经网络模型收敛。本实施例，获取所述原始图像样本中的目标对象样本的第二掩码，将所述原始图像样本和所述第二掩码对得后输入神经网络模型中，得到所述原始图像样本中的目标对象样本的目标完整掩码和所述目标对象样本的完整解析掩码；将所述目标对象样本的参考完整掩码和所述目标对象样本的预设解析掩码作为监督信号，对所述神经网络模型进行训练，直到所述神经网络模型收敛，将收敛后的神经网络模型作为所述目标神经网络模型。由于目标对象样本的完整解析掩码中包含目标对象各部分的语义掩码标签，因此，在以预设解析掩码和参考完整掩码作为监督信号对目标神经网络模型进行训练，衡量了更多的维度，从而，可以提高目标神经网络模型输出的目标对象的目标完整掩码的准确性。

图7为本公开提供一种图像处理装置的结构示意图，如图7所示，本实施例的装置包括：获取模块701和处理模块702，其中，

获取模块701，用于获取原始图像中的目标对象的可见区域的第一掩码，其中，所述原始图像中包含目标对象，所述目标对象部分区域被遮挡物遮挡；

处理模块702，用于将所述原始图像和所述第一掩码堆叠后输入目标神经网络模型中，得到所述原始图像中的目标对象的目标完整掩码，其中，所述目标神经网络模型基于原始图像样本、目标对象样本的预设解析掩码以及目标对象样本的参考完整掩码训练得到的，所述原始图像样本中包含所述目标对象样本，所述目标对象样本的部分区域被遮挡物遮挡，所述预设解析掩码包含所述目标对象样本的各部分的语义掩码标签。

可选的，所述处理模块702还用于将所述目标对象的目标完整掩码减去第一掩码，得到所述目标对象的不可见区域的掩码。

可选的，所述处理模块702还用于输出所述原始图像中的目标对象的完整解析掩码，所述完整解析掩码包含所述目标对象的各部分的语义掩码标签。

可选的，所述处理模块702还用于将所述目标对象的目标完整掩码减去第一掩码，得到所述目标对象的不可见区域的掩码；将所述目标对象的不可见区域的掩码与所述目标对象的完整解析掩码相乘，得到所述目标对象的不可见区域的语义掩码标签。

可选的，所述获取模块701还用于获取所述原始图像样本中的目标对象样本的第二掩码；

所述处理模块702还用于将所述原始图像样本和所述第二掩码输入神经网络模型中，得到所述原始图像样本中的目标对象样本的目标完整掩码和所述目标对象样本的完整解析掩码；将所述目标对象样本的参考完整掩码和所述目标对象样本的预设解析掩码作为监督信号，利用所述监督信号及所述目标对象样本的目标完整掩码和所述目标对象样本的完整解析掩码得到损失函数，对所述神经网络模型进行训练，直到所述神经网络模型收敛，将收敛后的神经网络模型作为所述目标神经网络模型。

可选的，所述处理模块702还用于将所述原始图像样本输入目标对象解析网络模型中，得到所述目标对象样本的预设解析掩码。

本实施例的装置，对应的可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本公开还提供一种电子设备，包括：处理器，所述处理器用于执行存储于存储器的计算机程序，所述计算机程序被处理器执行时实现图3-图6任一项所述的方法实施例的步骤。需要说明的是，所述处理器可以是图形处理器(Graphics Processing Unit，GPU)，即本公开的程序算法可以完全由GPU完成。示例性的，可以采用统一计算设备架构(ComputeUnified Device Architecture，CUDA)的PyTorch等完成。

本公开提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现图3-图6任一项所述的方法实施例的步骤。

本公开提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行图3-图6任一项所述的方法实施例的步骤。

在上述实施例中，全部或部分功能可以通过软件、硬件、或者软件加硬件的组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本公开实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。