神经网络训练及图像处理方法、装置、设备、存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种神经网络训练及图像处理方法、装置、设备、存储介质。

背景技术

计算机视觉作为人工智能领域至关重要的技术，可以通过神经网络对图像进行处理，以获取图像的信息，从而代替人眼对目标对象进行识别、跟踪和测量。为了训练一个效果更好，精度更高的神经网络，则需要大量的、种类丰富的样本数据。

然而，在相关技术中，通过大量的、种类丰富的样本数据训练得到的神经网络的精度较低，利用该神经网络进行图像处理的效果较差。

发明内容

为克服相关技术中存在的问题，本申请提供一种神经网络训练及图像处理方法、装置、设备、存储介质。

根据本申请实施例的第一方面，提供一种神经网络训练方法，所述方法包括：

利用第一特征提取网络，获取已标注图像的图像特征；

基于所述已标注图像的标注标签的类型，从至少两组分类器中确定与所述已标注图像对应的一组目标分类器；

利用所述一组目标分类器，对所述已标注图像的图像特征进行处理，得到与所述已标注图像对应的分类结果；

根据与所述已标注图像对应的所述分类结果，以及所述已标注图像的标注标签，至少对所述第一特征提取网络的网络参数进行调整，得到已训练的目标特征提取网络。

根据本申请实施例的第二方面，提供一种图像处理方法，所述方法包括：

利用目标特征提取网络，获取待处理的非机动车图像的第三图像特征；

根据所述第三图像特征，从预存于预设数据库的至少一个预设非机动车图像中，确定与所述非机动车图像对应的目标非机动车图像；

其中，所述目标特征提取网络为采用如第一方面所述的神经网络训练方法得到的。

根据本申请实施例的第三方面，提供一种神经网络训练装置，包括：

第一获取模块，配置为利用第一特征提取网络，获取已标注图像的图像特征；

第一确定模块，配置为基于所述已标注图像的标注标签的类型，从至少两组分类器中确定与所述已标注图像对应的一组目标分类器；

第一处理模块，配置为利用所述一组目标分类器，对所述已标注图像的图像特征进行处理，得到与所述已标注图像对应的分类结果；

调整模块，配置为根据与所述已标注图像对应的所述分类结果，以及所述已标注图像的标注标签，至少对所述第一特征提取网络的网络参数进行调整，得到已训练的目标特征提取网络。

根据本申请实施例的第四方面，提供一种图像处理装置，包括：

第二获取模块，配置为利用目标特征提取网络，获取待处理的非机动车图像的第三图像特征；

第三确定模块，配置为根据所述第三图像特征，从预存于预设数据库的至少一个预设非机动车图像中，确定与所述非机动车图像对应的目标非机动车图像；

其中，所述目标特征提取网络为采用如上述第一方面所述的神经网络训练方法得到的。

根据本申请实施例的第五方面，提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述神经网络训练方法或图像处理方法中的步骤。

根据本申请实施例的第六方面，提供一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述神经网络训练方法或图像处理方法中的步骤。

本申请的实施例提供的技术方案可以包括以下有益效果：

在本申请实施例中，在利用第一特征提取网络获取已标注图像的图像特征之后，可以基于已标注图像的标注标签的类型，从至少两组分类器中确定与已标注图像对应的一组目标分类器，然后利用一组目标分类器对已标注图像的图像特征进行处理，得到与已标注图像对应的分类结果。

如此，则可以通过不同的分类器处理标注标签的类型不同的图像，进而各组分类器对已标注图像进行处理后得到的分类结果不会影响其他组分类器。所以，根据与已标注图像对应的分类结果以及已标注图像的标注标签，对第一特征提取网络的网络参数进行调整得到的目标特征提取网络的精度更高。进而，使用目标特征提取网络对图像进行处理的效果更好。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据本申请一示例性实施例示出的神经网络训练方法的流程图一。

图2是根据本申请一示例性实施例示出的神经网络模型的结构框图。

图3是根据本申请一示例性实施例示出的已标注图像预处理方法的流程图。

图4是根据本申请一示例性实施例示出的神经网络模型的原理示意图。

图5是根据本申请一示例性实施例示出的确定损失值的方法的流程图。

图6是根据本申请一示例性实施例示出的神经网络训练方法的流程图二。

图7是根据本申请一示例性实施例示出的生成标注标签的方法的流程图。

图8是根据本申请一示例性实施例示出的图像处理方法的流程图一。

图9是根据本申请一示例性实施例示出的图像处理方法的流程图二。

图10是根据本申请一示例性实施例示出的神经网络训练装置的结构框图。

图11是根据本申请一示例性实施例示出的图像处理装置的结构框图。

图12是根据本申请一示例性实施例示出的电子设备的硬件实体示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1是根据本申请一示例性实施例示出的神经网络训练方法的流程图一。在一些实施例中，本申请提供的神经网络训练方法可以应用于终端和/或服务器组成的计算机系统中。这里，终端可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统等，服务器可以是服务器计算机系统小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境。

如图1所示，本申请一示例性实施例示出的神经网络训练方法包括以下步骤101至步骤104：

步骤101，利用第一特征提取网络，获取已标注图像的图像特征。

这里，已标注图像可以为具有标注标签的图像，第一特征提取网络可以是未开始训练的网络，也可以是已开始训练但未训练完成的网络。在一些实施例中，第一特征提取网络可以为卷积神经网络，也可以为某个卷积神经网络的卷积层，还可以包括某个卷积神经网络的卷积层和池化层。

可以理解的是，第一特征提取网络可以对图像进行特征提取，得到图像的图像特征。图像的图像特征可以包括图像的颜色特征、纹理特征、形状特征和空间关系特征，每个图像的图像特征可以实现为至少一个二维图像、特征向量等。在利用第一特征提取网络，获取已标注图像的图像特征时，可以将已标注图像输入第一特征提取网络，第一特征提取网络对已标注图像进行特征提取后，可以输出已标注图像的图像特征。在一些实施例中，已标注图像可以是灰度图像，也可以是RGB图像。

步骤102，基于所述已标注图像的标注标签的类型，从至少两组所述分类器中确定与所述已标注图像对应的一组目标分类器。

这里，可以以至少两帧已标注图像作为训练样本，训练第一特征提取网络。在一些实施例中，作为训练样本的至少两帧已标注图像的标注标签可以是采用不同方法得到的不同类型的标注标签；如，已标注图像的标注标签可以是通过人工对图像进行标注得到的真标签(真标签，即采用人工对图像进行标注的方法得到的标注标签)，也可以是通过模型或网络生成的伪标签。在一些实施例中，作为训练样本的至少两帧已标注图像的标注标签还可以是通过不同模型生成的置信度不同的标注标签。在一些实施例中，各帧已标注图像的标注标签上可以包含有与标注标签的类型对应的类型标识。

每组分类器与一种已标注图像的标注标签的类型对应。在一些实施例中，各组分类器的结构和参数可以相同，也可以不同。在一些实施例中，可以预先设置各组分类器与已标注图像的标注标签的类型的对应关系。

例如，作为训练样本的至少三帧已标注图像可以包括三种已标注图像：具有第一类型的标注标签的已标注图像，具有第二类型的标注标签的已标注图像和具有第三类型的标注标签的已标注图像；至少两组分类器可以包括第一组分类器、第二组分类器和第三组分类器，每组分类器中可以包括至少一个分类器。将各组分类器与各种已标注图像的标注标签的类型的对应关系设置为：第一组分类器与具有第一类型的标注标签的已标注图像对应，第二组分类器与具有第二类型的标注标签的已标注图像对应，第N组分类器与具有第N类型的标注标签的已标注图像对应。

在一些实施例中，基于已标注图像的标注标签的类型，从至少两组分类器中确定与已标注图像对应的一组目标分类器可以包括：获取已标注图像的标注标签，根据已标注图像的标注标签中的类型标识，确定已标注图像的标注标签的类型；基于已标注图像的标注标签的类型，从预设的对应关系中搜索该已标注图像的标注标签的类型及该类型对应的一组分类器；将搜索得到的一组分类器确定为与已标注图像对应的一组目标分类器。

在一些实施例中，第一特征提取网络和至少两组分类器可以属于同一神经网络模型。图2是根据本申请一示例性实施例示出的一种神经网络模型的结构框图，如图2所示，神经网络模型200中可以包括第一特征提取网络201和至少两组分类器，至少两组分类器可以包括N组分类器，例如，可以包括第一组分类器202、第二组分类器203…和第N组分类器204。其中，N可以大于或等于2。

在一些实施例中，神经网络模型200可以为卷积神经网络。例如，神经网络模型200可以是在ResNet(Residual Network，残差网络)或MobileNet(Mobile Network，移动网络)的基础上，进行改进得到的卷积神经网络。以ResNet101为例，神经网络模型200为对ResNet101进行改进得到的网络的情况下，第一特征提取网络可以为ResNet101的卷积层，也可以包括ResNet101的卷积层和池化层。

需说明的是，在对ResNet101进行改进时，可以去掉ResNet101的全连接层，将去掉全连接层之后的ResNet101作为第一特征提取网络，然后在第一特征提取网络后设置至少两组分类器，至少两组分类器可以是至少两个独立的全连接层，也可以是同一个全连接层中的不同部分。在至少两组分类器是同一个全连接层的不同部分的情况下，该全连接层的不同部分可以独立工作，互不干扰。

在一些实施例中，为了提高训练第一特征提取网络的效率，在利用第一特征提取网络，获取已标注图像的图像特征之前，可以对已标注图像进行预处理。图3是根据本申请一示例性实施例示出的已标注图像预处理方法的流程图。如图3所示，包括以下步骤301至步骤303：

步骤301，调整已标注图像的尺寸。

在一些实施例中，可以将已标注图像的尺寸调整为固定尺寸，如，将已标注图像的像素尺寸调整为224*224像素。

步骤302，对已标注图像的像素值进行归一化处理。

在一些实施例中，对已标注图像的像素值进行归一化处理可以包括：将已标注图像的像素值除以255，即，将已标注图像的像素值的取值范围从[0，255]调整为[0，1]。

步骤303，对已标注图像的像素值进行标准化处理。

在一些实施例中，对已标注图像的像素值进行标准化处理可以包括：将进行归一化处理后的已标注图像的像素值减去预设的像素均值，再除以预设的像素标准差。

在一些实施例中，已标注图像可以是RGB图像，预设的像素均值可以是ImageNet训练任务中的RGB像素均值，[0.485，0.456，0.406]；预设的像素标准差可以是ImageNet训练任务中的RGB标准差，[0.229，0.224，0.225]。

这样，在将已标注图像输入第一特征提取网络之前，对已标注图像进行预处理，可以提高训练第一特征提取网络的效率。

可以理解的是，在对已标注图像进行预处理的过程中，已标注图像的表现形式可以是像素矩阵的形式。

在一些实施例中，已标注图像可以是在未标注图像的基础上得到的，如，为未标注图像打上标注标签，得到已标注图像，即在利用第一特征提取网络，获取已标注图像的图像特征之前，可以根据未标注图像得到已标注图像。在一些实施例中，可以先对未标注图像进行预处理，然后再根据预处理之后的未标注图像得到已标注图像。

在一些实施例中，在对已标注图像进行预处理之后，将已标注图像输入第一特征提取网络，在特征提取层为卷积层的情况下，第一特征提取网络中包括至少一个卷积核或滤波器，通过卷积核或滤波器对已标注图像进行特征提取，即对卷积核或滤波器对应的矩阵与已标注图像的像素矩阵进行卷积计算，得到至少一个矩阵形式的图像特征。

在一些实施例中，在第一特征提取网络包括卷积层和池化层的情况下，在通过卷积层得到矩阵形式的图像特征之后，池化层可以对各个图像特征进行特征选择和信息过滤，以降低输出的图像特征的尺寸。

步骤103，利用所述一组目标分类器，对所述已标注图像的图像特征进行处理，得到与所述已标注图像对应的分类结果。

这里，可以通过一组目标分类器中的其中一个分类器对已标注图像的图像特征进行处理，也可以通过一组目标分类器中的各个分类器对已标注图像的图像特征进行处理。

图4是根据本申请一示例性实施例示出的一种神经网络模型的原理示意图。如图4所示，在将已标注图像输入神经网络模型400的第一特征提取网络401，第一特征提取网络401对已标注图像进行特征提取后，可以将已标注图像的图像特征输出至与已标注图像对应的一组目标分类器，利用与已标注图像对应的一组目标分类器对已标注图像的图像特征进行处理，得到与已标注图像对应的分类结果。

例如，利用第一组分类器402对具有第一种类型的标注标签的已标注图像的图像特征进行处理，得到与具有第一种类型的标注标签的已标注图像对应的第一分类结果；利用第二组分类器403对具有第二种类型的标注标签的已标注图像的图像特征进行处理，得到与具有第二种类型的标注标签的已标注图像对应的第二分类结果…利用第N组分类器404对具有第N种类型的标注标签的已标注图像的图像特征进行处理，得到与具有第N种类型的标注标签的已标注图像对应的第N分类结果。

可以理解的是，本申请实施例中的分类器可以为神经网络中的全连接层，全连接层可以包括多层，全连接层中的每一层均由许多神经元组成，全连接层的每一层中的任意一个神经元都与前一层的每个神经元连接。第一特征提取网络在获取到已标注图像的图像特征(这里，图像特征包括至少一个图像特征)之后，可以将已标注图像的至少一个图像特征输入与已标注图像对应的一组目标分类器，然后与已标注图像对应的一组目标分类器会对输入的已标注图像的至少一个图像特征进行非线性组合，得到已标注图像的分类结果。

在一些实施例中，在将已标注图像的图像特征输入一组目标分类器之前，还可以对已标注图像的图像特征进行标准化处理，例如，将已标注图像的图像特征除以图像特征的模长。

步骤104，根据与所述已标注图像对应的所述分类结果，以及所述已标注图像的标注标签，至少对所述第一特征提取网络的网络参数进行调整，得到已训练的目标特征提取网络。

可以理解的是，根据分类器对已标注图像进行分类，得到的分类结果不一定准确，分类结果与已标注图像真正所属类别可以会存在一定误差。因此，在本申请实施例中，可以根据每次对已标注图像进行分类得到的分类结果与已标注图像的标注标签来计算分类误差(即损失值)，进而基于分类误差不断调整第一特征提取网络的网络参数，得到性能更优的目标特征提取网络。在一些实施例中，可以基于分类误差调整第一特征提取网络的网络参数，也可以基于分类误差调整第一特征提取网络和至少两组分类器的网络参数。

在一些实施例中，分类器可以包括全连接层和/或分类网络，如Softmax(Softmaxlogical regression，softmax逻辑回归)分类网络。在将已标注图像的至少一个图像特征输入与已标注图像对应的一组目标分类器之后，一组目标分类器的全连接层会对输入的已标注图像的至少一个图像特征进行非线性组合，得到已标注图像的特征向量，然后将已标注图像的特征向量输入分类网络。分类网络根据已标注图像的特征向量，得到已标注图像在预设类型中的每种类型的预测概率分布，进而得到分类结果。

在一些实施例中，分类结果可以是已标注图像在预设类型中的每种类型的预测概率分布情况，也可以是预测概率分布中最大概率值对应的类型。

根据与已标注图像对应的分类结果可以得到已标注图像在预设类型中的每种类型的预测概率分布，根据已标注图像的标注标签可以得到已标注图像在预设类型中的每种类型的正确概率分布。在得到已标注图像的分类结果之后，可以利用预设函数，根据与已标注图像对应的分类结果和已标注图像的标注标签，计算得到损失值。例如，预设函数可以是交叉熵损失函数。得到损失值后，可以通过反向传播的方法，调整第一特征提取网络的网络参数，以对第一特征提取网络进行优化。

在一些实施例中，损失值包括至少两个子损失值。每组分类器对与该组分类器对应的至少一帧图像的图像特征进行处理后得到一组分类结果，每组分类结果对应一个子损失值。可以根据每组分类结果对应的子损失值，确定损失值。

图5是根据本申请一示例性实施例示出的确定损失值的方法的流程图。如图5所示，包括以下步骤501至步骤505，其中：

步骤501，在已标注图像的标注标签的类型为伪标签的情况下，根据与已标注图像对应的第一分类结果，得到该已标注图像在预设类型中的每个类别的第一预测概率分布，并根据该已标注图像的标注标签确定该已标注图像的第一正确概率分布；

步骤502，计算第一预测概率分布和第一正确概率分布的交叉熵，得到第一损失值；

步骤503，在已标注图像的标注标签的类型为真标签的情况下，根据与已标注图像对应的第二分类结果，得到该已标注图像在预设类型中的每个类别的第二预测概率分布，并根据该已标注图像的标注标签确定该已标注图像的第二正确概率分布；

步骤504，计算第二预测概率分布和第二正确概率分布的交叉熵，得到第二损失值；

步骤505，将第一损失值和第二损失值的和确定为损失值。

在一些实施例中，所述神经网络训练方法还可以包括：确定第一特征提取网络的网络参数的调整次数是否大于或等于预设次数；在第一特征提取网络的网络参数调整次数大于或等于预设次数的情况下，将当前的第一特征提取网络确定为目标特征提取网络；在第一特征提取网络的网络参数调整次数小于预设次数的情况下，利用第一特征提取网络继续获取已标注图像的图像特征。

可以理解的是，第一特征提取网络的网络参数调整次数大于或等于预设次数可以表示该第一特征提取网络已经训练完成，该第一特征提取网络的性能较好，因此可以将当前的第一特征提取网络确定为目标特征提取网络。第一特征提取网络的网络参数调整次数小于预设次数可以表示该第一特征提取网络还未训练完成，需要继续训练。

在本申请实施例中，可以设计至少两组分类器，这样，在利用第一特征提取网络获取已标注图像的图像特征之后，可以基于已标注图像的标注标签的类型，确定与已标注图像对应的一组目标分类器，然后利用一组目标分类器对已标注图像的图像特征进行处理，得到与已标注图像对应的分类结果。如此，则可以通过不同的分类器处理标注标签的类型不同的图像，进而各组分类器对已标注图像进行处理后得到的分类结果不会影响其他组分类器。所以，根据与已标注图像对应的分类结果以及已标注图像的标注标签，对第一特征提取网络的网络参数进行调整得到的目标特征提取网络的精度更高。进而，使用目标特征提取网络对图像进行处理的效果更好。

在一些实施例中，所述至少两组分类器包括第一组分类器和第二组分类器；所述第一组分类器和所述第二组分类器中均包括对图像中的预设对象进行分类的分类器。

在步骤102中，所述基于所述已标注图像的标注标签的类型，从至少两组所述分类器中确定与所述已标注图像对应的一组目标分类器，可以包括步骤1021和步骤1022，其中：

步骤1021，在所述已标注图像的标注标签的类型为伪标签的情况下，将所述第一组分类器确定为与所述已标注图像对应的一组目标分类器。

步骤1022，在所述已标注图像的标注标签的类型为真标签的情况下，将所述第二组分类器确定为与所述已标注图像对应的一组目标分类器。

可以理解的是，已标注图像的标注标签的类型可以为伪标签，也可以为真标签。在以至少两帧已标注图像作为训练样本，训练第一特征提取网络时，可以在将至少两帧已标注图像输入第一特征提取网络之后，确定输入的已标注图像的标注标签的类型。在确定已标注图像的标注标签为伪标签的情况下，将第一组分类器确定为与该已标注图像对应的一组目标分类器，并将该已标注图像输入第一组分类器，得到与该已标注图像对应的第一分类结果。在确定已标注图像的标注标签为真标签的情况下，将第二组分类器确定为与该已标注图像对应的一组目标分类器，并将该已标注图像输入第二组分类器，得到与该已标注图像对应的第二分类结果。

如上文所述，第一组分类器和第二组分类器中均包括对图像中的预设对象进行分类的分类器。这样，在同时存在包含预设对象且标注标签为伪标签的已标注图像，和包含预设对象且标注标签为真标签的已标注图像的情况下，可以通过第一组分类器中的分类器对包含预设对象且标注标签为伪标签的已标注图像的图像特征进行处理，通过第二组分类器中的分类器对包含预设对象且标注标签为真标签的已标注图像的图像特征进行处理。也就是说，第一组分类器和第二组分类器可以对包含同一对象的已标注图像进行分类。

这里，可以将具有不同类型的标注标签的已标注图像与不同组的分类器对应，通过与已标注图像对应的一组分类器，对已标注图像进行分类。这样，即使某一帧具有伪标签的已标注图像和某一帧具有真标签的已标注图像包含同一预设对象，通过不同的分类器来对具有不同类型的标注标签的已标注图像进行处理，两个独立的分类器互不影响，就可以避免同一分类器对包含同一预设对象的已标注图像进行分类得到的分类结果不同，从而影响第一特征提取网络的精度的问题。

如图6所示，在步骤101之前，本申请实施例提供的神经网络训练方法还可以包括步骤601至步骤604，其中：

步骤601，利用预设分组策略对预设训练数据集中的未标注图像进行分组，得到至少两组未标注图像；其中，每组未标注图像包括至少一帧所述未标注图像。

可以理解的是，利用预设分组策略对预设训练数据集中的未标注图像进行分组可以是按照图像的完整度、复杂度或清晰度对预设训练数据集中的未标注图像进行分组。例如，可以将完整度位于不同区间的图像分为一组，或者将复杂度位于不同区间的图像分为一组，或者将清晰度位于不同区间的图像分为一组。在另一些实施例中，也可以为图像的完整度、复杂度和清晰度配置不同的权重，计算图像的完整度、复杂度和清晰度的综合值，将综合值位于不同区间的图像分为一组。

在一些实施例中，可以将完整度位于第一预设完整度区间、清晰度位于第一预设清晰度区间或复杂度位于第一预设复杂度区间的未标注图像作为第一组未标注图像；将完整度位于第二预设完整度区间、清晰度位于第二预设清晰度区间或复杂度位于第二预设复杂度区间的未标注图像作为第二组未标注图像。

步骤602，从标签生成策略集合中，确定各个组对应的标签生成策略；其中，每个所述标签生成策略用于生成一种类型的标注标签。

在一些实施例中，标签生成策略集合中可以包含至少两种标签生成策略。例如，标签生成策略集合中可以包含利用标签生成网络生成伪标签的第一标签生成策略和利用人工生成真标签的第二标签生成策略；或者，标签生成策略集合中可以包含多种不同的用于生成伪标签的标签生成网络。

在标签生成策略集合中包含第一标签生成策略和第二标签生成策略的情况下，可以将第一标签生成策略确定为第一组未标注图像(完整度位于第一预设完整度区间、清晰度位于第一预设清晰度区间或复杂度位于第一预设复杂度区间的未标注图像)对应的标签生成策略，将第二标签生成策略确定为第二组未标注图像(完整度位于第二预设完整度区间、清晰度位于第二预设清晰度区间或复杂度位于第二预设复杂度区间的未标注图像)对应的标签生成策略。

可以理解的是，利用人工生成的真标签的置信度高于利用标签生成网络生成的伪标签的置信度。若通过标签生成网络为完整度较低、清晰度较低或复杂度越高的未标注图像生成伪标签，则可能出现生成的伪标签的置信度较低的情况。因此，对于一些完整度较低、清晰度较低或复杂度较高的未标注图像，需要通过人工生成未标注图像的真标签；对于一些完整度较高、清晰度较高或复杂度较低的未标注图像，可以通过标签生成网络生成未标注图像的伪标签。通过标签生成网络生成未标注图像的伪标签，可以提高生成标签的效率。

步骤603，利用各个组对应的标签生成策略，对各组未标注图像进行处理，得到各组所述未标注图像中每一帧所述未标注图像的标注标签；其中，每一组所述未标注图像中均包括标注标签表征预设对象的至少一帧未标注图像。

例如，在利用第一标签生成策略对第一组未标注图像进行处理时，将第一组未标注图像输入第一标签生成策略中的标签生成网络，通过该标签生成网络生成第一组未标注图像中的各帧未标注图像的伪标签；在利用第二标签生成策略对第二组未标注图像进行处理时，工作人员根据预设规则和个人经验对第二组未标注图像进行标注，得到第二组未标注图像中的各帧未标注图像的真标签。

这里，第一组未标注图像和第二组未标注图像中均可以包含标注标签表征预设对象的至少一帧未标注图像。也就是说，每一组未标注图像中均可以包括：包含同一对象的未标注图像。这里，预设对象可以是任意对象，例如，可以为一辆车、一个建筑物等。

步骤604，根据各帧所述未标注图像和各帧所述未标注图像的标注标签，得到至少一帧已标注图像。

本申请实施例中，在将未标注图像进行分组后，采用不同的标签生成策略生成各种不同类型的标注标签，可以提高标注标签的类型的丰富性，进而提高训练样本(即已标注标签)的多样性。

在一些实施例中，在步骤603中，所述利用各个组对应的标签生成策略，对各组未标注图像进行处理，得到各组所述未标注图像中的每一帧所述未标注图像的标注标签，可以包括步骤6031至步骤6032，其中：

步骤6031，利用预设网络，获取当前待处理的组中的所述未标注图像的图像特征。

步骤6032，根据所述当前待处理的组中的所述未标注图像的图像特征，对所述当前待处理的组中的每一未标注图像进行聚类，生成所述当前待处理的组中各帧所述未标注图像的伪标签；其中，所述当前待处理的组中包括伪标签表征所述预设对象的至少一帧未标注图像。

这里的预设网络可以为具有特征提取功能的网络。在一些实施例中，所述预设网络包括第一特征提取网络和/或第二特征提取网络，第二特征提取网络可以为预选训练好的用于进行特征提取的网络。当前待处理的组指的可以是至少两组未标注图像中的任意一组未标注图像，也可以是满足预设要求的未标注图像，例如，可以是前文所述的完整度高于预设完整度阈值、清晰度高于预设清晰度阈值或复杂度低于预设复杂度阈值的第一组未标注图像。当前待处理的组中可以包括：包含上文所述的预设对象的至少一帧未标注图像。

在一些实施例中，可以通过在线特征提取的方法来提取图像特征并生成伪标签，即：在训练第一特征提取网络的过程中，利用第一特征提取网络，获取当前待处理的组中的各帧未标注图像的图像特征，然后通过预设聚类算法，根据各帧未标注图像的图像特征，对当前待处理的组中的未标注图像进行聚类，并将聚类结果作为当前待处理的组中的各帧未标注图像的伪标签，得到各帧具有伪标签的已标注图像。

可以理解的是，在本申请实施例中，训练第一特征提取网络时，可以采用迭代训练的方法，在每一次训练第一特征提取网络时，均将上一次得到的各帧具有伪标签的已标注图像重新输入第一特征提取网络，再次对上一次得到的各帧具有伪标签的已标注图像进行特征提取和聚类。这样，随着第一特征提取网络每一次的训练，提取到的图像特征越来越精确，因此，聚类生成的伪标签的准确率随着训练次数增大而变高。

在一些实施例中，可以通过离线特征提取的方法来提取特征并生成伪标签，即：利用预先训练好的第二特征提取网络获取当前待处理的组中的各帧未标注图像的图像特征，然后通过预设聚类算法，根据各帧未标注图像的图像特征，对当前待处理的组中的未标注图像进行聚类，并将聚类结果作为当前待处理的组中的各帧未标注图像的伪标签，得到各帧具有伪标签的已标注图像。

这里，第二特征提取网络可以是预先训练好的效果较好的特征提取网络，利用第二特征提取网络，获取当前待处理的组中的各帧未标注图像的图像特征，可以提高对未标注图像进行特征提取的速度和效率，进而提高生成未标注图像的伪标签和训练第一特征提取网络的速度和效率。

在一些实施例中，预设聚类算法可以是DBSCAN(Density-Based SpatialClustering of Applications with Noise，基于密度的噪声应用空间聚类)算法。预设聚类算法可以根据未标注图像的图像特征，对未标注图像进行聚类，并将聚类结果作为未标注图像的伪标签。

如图7所示，在另一些实施例中，所述预设网络包括所述第一特征提取网络和第二特征提取网络，在步骤6031中，所述利用预设网络，获取当前待处理的组中的所述未标注图像的图像特征，可以包括步骤60311至步骤60312，其中：

步骤60311，利用所述第一特征提取网络，获取当前待处理的组中的第一部分所述未标注图像的第一图像特征。

步骤60312，利用所述第二特征提取网络，获取所述当前待处理的组中的第二部分所述未标注图像的第二图像特征。

可以理解的是，本申请实施例中的第一特征提取网络可以是未开始训练的网络，也可以是已开始训练但未训练完成的网络。因此，采用第一特征提取网络对图像进行特征提取得到的图像特征的准确性可能较低，可以将当前待处理的组中的第一部分未标注图像输入第一特征提取网络，利用第一特征提取网络，获取这一部分未标注图像的第一图像特征；将当前待处理的组中的另一部分未标注图像输入预先训练好的第二特征提取网络，利用第二特征提取网络，获取这一部分未标注图像的第二图像特征。

在步骤6032中，所述根据所述当前待处理的组中的所述未标注图像的图像特征，对所述当前待处理的组中的每一未标注图像进行聚类，生成所述当前待处理的组中各帧所述未标注图像的伪标签，可以包括：

利用预设聚类算法，根据所述第一图像特征和所述第二图像特征，对所述当前待处理的组中的每一未标注图像进行聚类，生成当前待处理的组中的各帧所述未标注图像的伪标签。

这样，可以通过在线特征提取和离线特征提取相结合的方法来提取特征并生成伪标签，即：在训练第一特征提取网络的过程中，利用第一特征提取网络获取到当前待处理的组中的第一部分未标注图像的第一图像特征；利用预先训练好的第二特征提取网络获取当前待处理的组中的第二部分未标注图像的第二图像特征；然后通过预设聚类算法，根据第一图像特征和第二图像特征，对当前待处理的组中的未标注图像进行聚类，并将聚类结果作为当前待处理的组中的各帧未标注图像的伪标签。

这样，通过将在线特征提取和离线特征提取两种方法相结合，能够在保证得到的伪标签的准确率的基础上，提高训练第一特征提取网络的速度和效率。

本申请实施例还提供一种图像处理方法，如图8所示，所述图像处理方法可以包括步骤701至步骤702，其中：

步骤701，利用目标特征提取网络，获取待处理的非机动车图像的第三图像特征。

步骤702，根据所述第三图像特征，从预存于预设数据库的至少一个预设非机动车图像中，确定与所述非机动车图像对应的目标非机动车图像；其中，所述目标特征提取网络为采用如上文所述的神经网络训练方法得到的。

这里的预设数据库中的预设非机动车图像可以是从各个场所(例如，各条道路)上的监控视频中截取的图像，也可以是对各个场所的监控视频进行转换得到的至少一帧图像。

可以理解的是，在得到目标特征提取网络之后，可以通过目标特征提取网络对图像进行特征提取，得到较为准确的图像特征。在一些实施例中，目标特征提取网络可以应用于非机动车的重识别。例如，在非机动车查找场景中，可以通过目标特征提取网络从包含目标非机动车的非机动车图像中提取图像特征，然后在预设数据库中进行相似车辆的检索，找到目标非机动车的轨迹，从而帮助查找目标非机动车。

在一些实施例中，第三图像特征可以是待处理的非机动车图像中的非机动车的特征，与待处理的非机动车图像对应的目标非机动车图像可以是，包含与非机动车图像中相同的目标对象(如，非机动车辆)的非机动车图像。

这里，由于目标特征提取网络是基于上述实施例训练好的准确性较高、效果较好的特征提取网络，所以利用目标特征提取网络获取的待处理的非机动车图像的第三图像特征的准确性较高。进而根据准确性较高的第三图像特征，确定的与待处理非机动车图像对应的目标非机动车图像的准确性也较高。

在一些实施例中，在步骤702中，所述根据所述第三图像特征，从预存于预设数据库的至少一个预设非机动车图像中，确定与所述非机动车图像对应的目标非机动车图像，可以包括步骤7021和步骤7022，其中：

步骤7021，将所述第三图像特征与各个所述预设非机动车图像的图像特征进行比对，得到比对结果。

在一些实施例中，预设数据库中可以包括预设非机动车图像以及预设非机动车图像的图像特征，预设非机动车图像的图像特征可以是预先通过目标特征提取网络对预设非机动车图像进行特征提取得到的图像特征，也可以是预先通过其他特征提取网络对非机动车图像进行特征提取得到的图像特征。预设非机动车图像的图像特征，可以是预设非机动车图像中非机动车的特征。

在对待处理的非机动车图像进行特征提取后，可以将提取得到的第三图像特征与预设数据库中的各个预设非机动车图像的图像特征一一进行比对，判断各个预设非机动车的图像特征是否与第三图像特征相同，或者判断各个预设非机动车的图像特征是否与第三图像特征的相似度大于预设相似度阈值，从而判断各个预设非机动车图像中是否包含与待处理的非机动车图像中相同的非机动车辆。

步骤7022，根据所述比对结果，从至少一个所述预设非机动车图像中确定所述目标非机动车图像。

例如，比对结果可以是各个预设非机动车的图像特征与第三图像特征的相似度，可以将相似度大于预设相似度阈值的图像特征对应的预设非机动车图像确定为目标非机动车图像。

这里，由于图像的图像特征可以准确的代表该图像的特征，将所述第三图像特征与各个预设非机动车图像的图像特征进行比对，则可以较为准确地从预设数据库中确定出与待处理非机动车图像对应的目标非机动车图像。

在一些实施例中，在步骤7021中，所述将所述第三图像特征与各个所述预设非机动车图像的图像特征进行比对，可以包括：

将所述第三图像特征与各个所述预设非机动车图像的图像特征进行比对，得到所述第三图像特征与各个所述预设非机动车图像的图像特征之间的相似度。

在步骤7022中，所述根据所述比对结果，从至少一个所述预设非机动车图像中确定所述目标非机动车图像，可以包括：

将与所述第三图像特征之间的相似度大于预设相似度阈值的图像特征所对应的所述预设非机动车图像，确定为所述目标非机动车图像。

在一些实施例中，图像特征可以是向量形式的图像特征，可以通过计算第三图像特征与各个预设非机动车图像的图像特征的相似度(如，余弦相似度)，来得到第三图像特征与各个预设非机动车图像的图像特征的相似度，进而得到待处理的非机动车图像与各个预设非机动车图像的相似度。

预设相似度阈值可以是预先根据工作人员的工作经验设定的，也可以是经过多次实验确定的。在第三图像特征与某个预设非机动车图像的图像特征相似度大于预设相似度阈值的情况下，说明该预设非机动车图像中包含与非机动车图像中相同的非机动车辆。

这里，则可以通过预设非机动车图像中的各个预设非机动车图像与第三图像特征之间的相似度，将与第三图像特征之间的相似度大于预设相似度阈值的图像特征所对应的预设非机动车图像，确定为目标非机动车图像，则可以找到与待处理的非机动车图像非常相似的非机动车图像。

图9是根据本申请一示例性实施例示出的图像处理方法的流程图二。如图9所示，包括以下步骤801至步骤811，其中：

步骤801，获取至少两帧未标注图像作为预设训练数据集，利用预设分组策略对预设训练数据集中的未标注图像进行分组，得到至少两组未标注图像。

这里，未标注图像可以是RGB图像，利用预设分组策略对预设训练数据集中的未标注图像进行分组可以是按照图像的完整度、复杂度或清晰度对预设训练数据集中的未标注图像进行分组。

步骤802，从标签生成策略集合中，确定各个组对应的标签生成策略；利用各个组对应的标签生成策略，对各组未标注图像进行处理，得到各帧未标注图像的标注标签，根据各帧未标注图像和各帧未标注图像的标注标签，得到已标注图像。

这里，标签生成策略集合中可以包含至少两种标签生成策略。例如，标签生成策略集合中可以包含利用标签生成网络生成伪标签的第一标签生成策略和利用人工生成真标签的第二标签生成策略；或者，标签生成策略集合中可以包含多种不同的用于生成伪标签的标签生成网络。

步骤803，对已标注图像进行预处理。

在一些实施例中，对已标注图像进行预处理可以包括：将已标注图像的尺寸调整为固定尺寸，对固定尺寸的已标注图像的像素值进行归一化处理，将进行归一化处理后的已标注图像的像素值减去预设的像素均值，再除以预设的像素标准差。

这样，可以提高神经网络训练的效率。

步骤804，利用第一特征提取网络，获取预处理后的已标注图像的图像特征。

在一些实施例中，第一特征提取网络可以是未开始训练或已开始训练但未训练完成的卷积神经网络。

步骤805，对获取得到的已标注图像的图像特征进行标准化处理。

这里，图像特征可以是向量形式的图像特征，对获取得到的已标注图像的图像特征进行标准化处理可以是将图像特征除以图像特征的模长。

步骤806，基于已标注图像的标注标签的类型，从至少两组分类器中确定与已标注图像对应的一组目标分类器；利用一组目标分类器，对已标注图像的图像特征进行处理，得到与已标注图像对应的分类结果。

例如，利用第一组分类器对具有第一种类型的标注标签的已标注图像的图像特征进行处理，得到与具有第一种类型的标注标签的已标注图像对应的第一分类结果；利用第二组分类器对具有第二种类型的标注标签的已标注图像的图像特征进行处理，得到与具有第二种类型的标注标签的已标注图像对应的第二分类结果。

步骤807，根据与已标注图像对应的分类结果，得到已标注图像在预设类型中的每种类型的预测概率分布；根据已标注图像的标注标签，得到已标注图像在预设类型中的每种类型的正确概率分布。

步骤808，计算预测概率分布和正确概率分布的交叉熵，得到损失值。

在一些实施例中，已标注图像的标注标签的类型可以为伪标签，也可以为真标签。在已标注图像的标注标签的类型为伪标签的情况下，根据与已标注图像对应的第一分类结果，得到该已标注图像在预设类型中的每个类别的第一预测概率分布，并根据该已标注图像的标注标签确定该已标注图像的第一正确概率分布；计算第一预测概率分布和第一正确概率分布的交叉熵，得到第一损失值。

在已标注图像的标注标签的类型为真标签的情况下，根据与已标注图像对应的第二分类结果，得到该已标注图像在预设类型中的每个类别的第二预测概率分布，并根据该已标注图像的标注标签确定该已标注图像的第二正确概率分布；计算第二预测概率分布和第二正确概率分布的交叉熵，得到第二损失值；将第一损失值和第二损失值的和，确定为损失值。

步骤809，确定损失值的梯度信息，并通过反向传播梯度信息，调整第一特征提取网络和至少两组分类器的网络参数。

步骤810，在第一特征提取网络的网络参数调整次数大于或等于预设次数的情况下，将当前的第一特征提取网络确定为目标特征提取网络。

在调整第一特征提取网络的网络参数之后，可以确定第一特征提取网络的网络参数调整次数是否大于或等于预设次数。在第一特征提取网络的网络参数调整次数小于预设次数的情况下，继续利用第一特征提取网络，获取已标注图像的图像特征。

可以理解的是，第一特征提取网络的网络参数调整次数大于或等于预设次数可以表示该第一特征提取网络已经训练完成，即第一特征提取网络的性能已优化完成。因此可以将当前的第一特征提取网络确定为目标特征提取网络。第一特征提取网络的网络参数调整次数小于预设次数可以表示该第一特征提取网络还未训练完成，需要继续训练。因此，在第一特征提取网络的网络参数调整次数小于预设次数的情况下，可以重复执行步骤804至步骤810。

步骤811，利用目标特征提取网络，获取待处理的非机动车图像的第三图像特征；根据第三图像特征，从预存于预设数据库的至少一个预设非机动车图像中，确定与非机动车图像对应的目标非机动车图像。

在一些实施例中，可以将所述第三图像特征与各个预设非机动车图像的图像特征进行比对，得到第三图像特征与各个预设非机动车图像的图像特征之间的相似度，将至少一个预设非机动车图像按照相似度降序排序，将相似度大于预设相似度阈值的预设非机动车图像或相似度位于排序前预设位数的预设非机动车图像确定为目标非机动车图像。

图10是根据本申请一示例性实施例示出的神经网络训练装置的结构框图。如图10所示，该神经网络训练装置900主要包括：第一获取模块901，配置为利用第一特征提取网络，获取已标注图像的图像特征；第一确定模块902，配置为基于所述已标注图像的标注标签的类型，从至少两组分类器中确定与所述已标注图像对应的一组目标分类器；第一处理模块903，配置为利用所述一组目标分类器，对所述已标注图像的图像特征进行处理，得到与所述已标注图像对应的分类结果；调整模块904，配置为根据与所述已标注图像对应的所述分类结果，以及所述已标注图像的标注标签，对所述第一特征提取网络的网络参数进行调整，得到目标特征提取网络。

在一些实施例中，所述至少两组分类器包括第一组分类器和第二组分类器，所述第一组分类器和所述第二组分类器中均包括对图像中的预设对象进行分类的分类器。所述第一确定模块902，配置为：在所述已标注图像的标注标签的类型为伪标签的情况下，将所述第一组分类器确定为与所述已标注图像对应的一组目标分类器；在所述已标注图像的标注标签的类型为真标签的情况下，将所述第二组分类器确定为与所述已标注图像对应的一组目标分类器。

在一些实施例中，所述装置还包括：分组模块，配置为利用预设分组策略对预设训练数据集中的未标注图像进行分组，得到至少两组未标注图像；其中，每组未标注图像包括至少一帧所述未标注图像；第二确定模块，配置为从标签生成策略集合中，确定各个组对应的标签生成策略；其中，每个所述标签生成策略用于生成一种类型的标注标签；第二处理模块，配置为利用各个组对应的标签生成策略，对各组未标注图像进行处理，得到各组所述未标注图像中每一帧所述未标注图像的标注标签，其中，每一组所述未标注图像中均包括标注标签表征预设对象的至少一帧未标注图像；第三处理模块，配置为根据各帧所述未标注图像和各帧所述未标注图像的标注标签，得到至少一帧已标注图像。

在一些实施例中，所述第二处理模块，包括获取单元和聚类单元；所述获取单元配置为：利用预设网络，获取当前待处理的组中的所述未标注图像的图像特征；所述聚类单元，配置为根据所述当前待处理的组中的所述未标注图像的图像特征，对所述当前待处理的组中的每一未标注图像进行聚类，生成所述当前待处理的组中各帧所述未标注图像的伪标签；其中，所述当前待处理的组中包括伪标签表征所述预设对象的至少一帧未标注图像。

在一些实施例中，所述预设网络包括所述第一特征提取网络和第二特征提取网络，所述获取单元，还配置为：利用所述第一特征提取网络，获取当前待处理的组中的第一部分所述未标注图像的第一图像特征；利用第二特征提取网络，获取所述当前待处理的组中的第二部分所述未标注图像的第二图像特征；所述聚类单元，还配置为：利用预设聚类算法，根据所述第一图像特征和所述第二图像特征，对所述当前待处理的组中的每一未标注图像进行聚类，生成所述当前待处理的组中各帧所述未标注图像的伪标签。

图11是根据本申请一示例性实施例示出的图像处理装置的结构框图。如图11所示，该图像处理装置10主要包括：第二获取模块11，配置为利用目标特征提取网络，获取待处理的非机动车图像的第三图像特征；第三确定模块12，配置为根据所述第三图像特征，从预存于预设数据库的至少一个预设非机动车图像中，确定与所述非机动车图像对应的目标非机动车图像。其中，所述目标特征提取网络为采用如上文所述的神经网络训练方法得到的。

在一些实施例中，所述第三确定模块12，包括：比对单元，配置为将所述第三图像特征与各个所述预设非机动车图像的图像特征进行比对，得到比对结果；确定单元，配置为根据所述比对结果，从至少一个所述预设非机动车图像中确定所述目标非机动车图像。

在一些实施例中，所述比对单元，还配置为：将所述第三图像特征与各个所述预设非机动车图像的图像特征进行比对，得到所述第三图像特征与各个所述预设非机动车图像的图像特征之间的相似度；所述确定单元，还配置为：将与所述第三图像特征之间的相似度大于预设相似度阈值的图像特征所对应的所述预设非机动车图像，确定为所述目标非机动车图像。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的神经网络训练或图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。

本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述神经网络训练方法或图像处理方法中的步骤。

本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述神经网络训练方法或图像处理方法中的步骤。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。

本申请实施例提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在计算机设备中运行的情况下，所述计算机设备中的处理器执行用于实现上述神经网络训练方法或图像处理方法中的部分或全部步骤。

本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述神经网络训练方法或图像处理方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一些实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

这里需要指出的是：以上存储介质、设备、计算机程序及计算机程序产品实施例的描述，与上述神经网络训练方法或图像处理方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质、设备、计算机程序及计算机程序产品实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。

需要说明的是，图12是根据本申请一示例性实施例示出的电子设备的硬件实体示意图，如图12所示，该电子设备20的硬件实体包括：处理器21、通信接口22和存储器23，其中，

处理器21通常控制电子设备20的总体操作。

通信接口22可以使电子设备通过网络与其他终端或服务器通信。

存储器23配置为存储由处理器21可执行的指令和应用，还可以缓存待处理器21以及电子设备20中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random Access Memory，RAM)实现。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。