浮游生物场景分类方法、装置、设备及存储介质

技术领域

本发明涉及人工智能领域，尤其涉及一种浮游生物场景分类方法、装置、设备及存储介质。

背景技术

水下环境复杂且多变，浮游生物种类多样且混杂各种干扰物，因此成像仪采集的原位图像不可避免的会出现浊度高低不同、浮游生物密度不同、视野内干扰物密度不同等情况。

目前，现有的浮游生物检测与分类技术主要是单式神经网络架构，该架构通常是采用多个卷积层、池化层、激活层对图像进行特征提取，然后通过特征金字塔融合特征信息、形成ROI区域，最终对ROI区域的IOU、置信度等指标进行分析，从而得出检测结果。而在复杂多变场景下的浮游生物检测、分割、分类过程中会出现准确率不佳、伪真率过高、微小生物群落丢失过多等问题。

发明内容

本发明提供了一种浮游生物场景分类方法、装置、设备及存储介质，用于促使目标检测模型自适应不同场景下的浮游生物识别进而提高浮游生物目标检测准确率。

本发明第一方面提供了一种浮游生物场景分类方法，所述浮游生物场景分类方法包括：基于预设的场景类别总数构建场景类别数据集合；将所述场景类别数据集合输入预置的训练模型进行浮游生物场景分类训练，得到场景分类权重模型；获取待处理的目标图像，并将所述目标图像输入所述场景分类权重模型进行场景分类预测，得到初始场景分类结果；对所述初始场景分类结果进行预处理操作，得到目标场景优化结果。

结合第一方面，本发明第一方面中，所述获取待处理的目标图像，并将所述目标图像输入所述场景分类权重模型进行场景分类预测，得到初始场景分类结果，包括：基于预置的图像采集终端采集待处理的目标图像；将所述目标图像输入所述场景分类权重模型，其中，所述场景分类权重模型包括：第一卷积网络、特征提取网络、第二卷积网络和全连接网络；通过所述场景分类权重模型对所述目标图像进行场景分类预测，得到初始场景分类结果。

结合第一方面，本发明第一方面中，所述通过所述场景分类权重模型对所述目标图像进行场景分类预测，得到初始场景分类结果，包括：通过所述场景分类权重模型中的第一卷积网络对所述目标图像进行卷积运算，得到第一卷积特征；将所述第一卷积特征输入所述特征提取网络进行特征提取处理，得到目标特征数据；将所述目标特征数据输入所述第二卷积网络进行卷积运算，得到第二卷积特征；将所述第二卷积特征输入所述全连接网络进行场景分类预测，输出初始场景分类结果。

结合第一方面，本发明第一方面中，所述将所述第一卷积特征输入所述特征提取网络进行特征提取处理，得到目标特征数据，包括：将所述第一卷积特征输入所述特征提取网络，其中，所述特征提取网络包括：第一特征提取层和第二特征提取层；通过所述第一特征提取层对所述第一卷积特征进行卷积特征运算，得到初始特征数据；通过所述第二特征提取层对所述初始特征数据进行特征归一化处理，得到目标特征数据。

结合第一方面，本发明第一方面中，所述通过所述第一特征提取层对所述第一卷积特征进行卷积特征运算，得到初始特征数据，包括：将所述第一卷积特征输入所述第一特征提取层，其中，所述第一特征提取层包括：第一特征处理块和第二特征处理块；通过所述第一特征处理块和所述第二特征处理块对所述第一卷积特征进行处理，得到初始特征数据。

结合第一方面，本发明第一方面中，所述通过所述第二特征提取层对所述初始特征数据进行特征归一化处理，得到目标特征数据，包括：将所述初始特征数据输入所述第二特征提取层，其中，所述第二特征提取层包括：通道划分层、卷积层、归一化层、激活函数层以及特征连接层；通过所述第二特征提取层对所述初始特征数据进行特征处理和归一化运算，得到目标特征数据。

结合第一方面，本发明第一方面中，所述对所述初始场景分类结果进行预处理操作，得到目标场景优化结果，包括：根据所述初始场景分类结果从预置的多个候选预处理策略选取目标预处理策略；根据所述目标预处理策略对所述初始场景分类结果进行预处理操作，得到目标场景优化结果。

本发明第二方面提供了一种浮游生物场景分类装置，所述浮游生物场景分类装置包括：构建模块，用于基于预设的场景类别总数构建场景类别数据集合；训练模块，用于将所述场景类别数据集合输入预置的训练模型进行浮游生物场景分类训练，得到场景分类权重模型；预测模块，用于获取待处理的目标图像，并将所述目标图像输入所述场景分类权重模型进行场景分类预测，得到初始场景分类结果；处理模块，用于对所述初始场景分类结果进行预处理操作，得到目标场景优化结果。

结合第二方面，本发明第二方面中，所述预测模块还包括：采集单元，用于基于预置的图像采集终端采集待处理的目标图像；输入单元，用于将所述目标图像输入所述场景分类权重模型，其中，所述场景分类权重模型包括：第一卷积网络、特征提取网络、第二卷积网络和全连接网络；预测单元，用于通过所述场景分类权重模型对所述目标图像进行场景分类预测，得到初始场景分类结果。

结合第二方面，本发明第二方面中，所述预测单元还包括：运算子单元，用于通过所述场景分类权重模型中的第一卷积网络对所述目标图像进行卷积运算，得到第一卷积特征；提取子单元，用于将所述第一卷积特征输入所述特征提取网络进行特征提取处理，得到目标特征数据；处理子单元，用于将所述目标特征数据输入所述第二卷积网络进行卷积运算，得到第二卷积特征；预测子单元，用于将所述第二卷积特征输入所述全连接网络进行场景分类预测，输出初始场景分类结果。

结合第二方面，本发明第二方面中，所述提取子单元具体用于：将所述第一卷积特征输入所述特征提取网络，其中，所述特征提取网络包括：第一特征提取层和第二特征提取层；通过所述第一特征提取层对所述第一卷积特征进行卷积特征运算，得到初始特征数据；通过所述第二特征提取层对所述初始特征数据进行特征归一化处理，得到目标特征数据。

结合第二方面，本发明第二方面中，所述提取子单元还用于：将所述第一卷积特征输入所述第一特征提取层，其中，所述第一特征提取层包括：第一特征处理块和第二特征处理块；通过所述第一特征处理块和所述第二特征处理块对所述第一卷积特征进行处理，得到初始特征数据。

结合第二方面，本发明第二方面中，所述提取子单元还用于：将所述初始特征数据输入所述第二特征提取层，其中，所述第二特征提取层包括：通道划分层、卷积层、归一化层、激活函数层以及特征连接层；通过所述第二特征提取层对所述初始特征数据进行特征处理和归一化运算，得到目标特征数据。

结合第二方面，本发明第二方面中，所述处理模块具体用于：根据所述初始场景分类结果从预置的多个候选预处理策略选取目标预处理策略；根据所述目标预处理策略对所述初始场景分类结果进行预处理操作，得到目标场景优化结果。

本发明第三方面提供了一种浮游生物场景分类设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述浮游生物场景分类设备执行上述的浮游生物场景分类方法。

本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的浮游生物场景分类方法。

本发明提供的技术方案中，基于预设的场景类别总数构建场景类别数据集合；将所述场景类别数据集合输入预置的训练模型进行浮游生物场景分类训练，得到场景分类权重模型；获取待处理的目标图像，并将所述目标图像输入所述场景分类权重模型进行场景分类预测，得到初始场景分类结果；对所述初始场景分类结果进行预处理操作，得到目标场景优化结果。本发明提高对浮游生物的分类场景构建深度学习预测模型，进而提高了浮游生物目标检测的准确率。

附图说明

图1为本发明实施例中浮游生物场景分类方法的一个实施例示意图；

图2为本发明实施例中浮游生物场景分类方法的另一个实施例示意图；

图3为本发明实施例中浮游生物场景分类装置的一个实施例示意图；

图4为本发明实施例中浮游生物场景分类装置的另一个实施例示意图；

图5为本发明实施例中浮游生物场景分类设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种浮游生物场景分类方法、装置、设备及存储介质，用于促使目标检测模型自适应不同场景下的浮游生物识别进而提高浮游生物目标检测准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中浮游生物场景分类方法的一个实施例包括：

101、基于预设的场景类别总数构建场景类别数据集合；

可以理解的是，本发明的执行主体可以为浮游生物场景分类装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。

具体的，构建场景类别数据集合S＝(S1，S2，...，Sk)，k为所有场景类别总数，其中k＝6，构建的场景类别数据集合S＝(High-Conc，Noctiluca，Phaeocystis，Pteropoda，Shrimp，Low-den)，High-Conc包含546张图像数据，Noctiluca包含1060张图像数据，Phaeocystis包含768张图像数据，Pteropoda包含508张图像数据，Shrimp包含336张图像数据，Low-den包含766张图像数据。

102、将场景类别数据集合输入预置的训练模型进行浮游生物场景分类训练，得到场景分类权重模型；

其中，3984张场景数据集S图像大小缩放为224*224，图像数量按9：1划分为训练集与测试集，学习率LR设置为0.01，学习率方式设置为自动衰减，优化器选择随机梯度下降SGD优化方式，损失函数根据Label Smoothing计算交叉熵损失，其计算公式为：

式中

103、获取待处理的目标图像，并将目标图像输入场景分类权重模型进行场景分类预测，得到初始场景分类结果；

将水下成像仪采集的图像输入浮游生物场景分类模块中，通过场景分类模型中的多层感知机进行自适应场景预测，获得其预测结果集合SP＝(S1，P1，S2，P2，...，Sk，Pk)，k为所有场景类别总数，Sk为实际场景类别，Pk为预测场景类别。

其中，浮游生物场景分类网络架构采用自适应场景类别，场景分类预测概率值最高的场景即为最终结果，预测结果集合SP＝(S1，P1，S2，P2，...，Sk，Pk)中k为所有场景类别总数，Sk为实际场景类别，Pk为预测场景类别，具体的，集合SP的子集S＝(High-Conc，Noctiluca，Phaeocystis，Pteropoda，Shrimp，Low-den)，Pk为最大预测概率对应的Sk，其每个场景Sk对应的概率值计算公式为：

g[Sk]＝W0+W1*S1+W2*S2+...+Wk*Sk；

g[Sk]中的W0，W1，…，Wk是场景分类网络构架中输入分类器的各个神经元权重的参数集合W，场景分类网络架构最终预测场景Max{P[Pk＝SjSk]}所对应的场景类别。

104、对初始场景分类结果进行预处理操作，得到目标场景优化结果。

具体的，当场景分类为High-Conc场景时，需要对该图像进行预处理，预处理方式是将图像像素矩阵线性归一化在0到255之间，并将归一化后的像素矩阵赋值给掩模版矩阵，从而削弱高浊度在目标检测网络架构中的影响系，提升图像的清晰度。其中，图像像素矩阵线性归一化方式为最大最小值归一化，其计算公式为：

式中

其中，目标检测模块自适应加载对应场景下的目标检测权重模型Mk，目标检测模块根据场景分类模块的预测结果Pk对目标检测权重模型集合M进行索引，根据索引返回的模型Mk在目标检测模块架构中进行标签注册、目标检测、目标分割与目标分类。本实施例中随机选取测试集120张图像同时采用全模型与分类两种方式进行目标检测，得到其检测结果集合OR＝(OR1，OR2，...，ORk)，其中，第一场景共20张图像数据，第二场景共20张图像数据，第三场景共20张图像数据，第四场景共20张图像数据，第五场景共20张图像数据，第六场景共20张图像数据。然后随机统计结果集合中的生物数据，本案例随机统计五种生物数据，通过数据分析可得检测准确率高于全模型的检测准确率，特别地，从第一场景下的生物数据对比分析，全模型丢失了78.18％的第一生物，而分类模型仅丢失了6.7％，从场景下的生物数据对比分析，全模型丢失了45.98％的第二生物，而分类模型仅丢失了0.89％。该分类模型减少了识别生物的丢失，本发明实施例中再对该初始场景分类结果进行预处理操作，最终得到目标场景优化结果。

本发明实施例中，基于预设的场景类别总数构建场景类别数据集合；将场景类别数据集合输入预置的训练模型进行浮游生物场景分类训练，得到场景分类权重模型；获取待处理的目标图像，并将目标图像输入场景分类权重模型进行场景分类预测，得到初始场景分类结果；对初始场景分类结果进行预处理操作，得到目标场景优化结果。本发明提高对浮游生物的分类场景构建深度学习预测模型，进而提高了浮游生物的场景分类准确率。

请参阅图2，本发明实施例中浮游生物场景分类方法的另一个实施例包括：

201、基于预设的场景类别总数构建场景类别数据集合；

202、将场景类别数据集合输入预置的训练模型进行浮游生物场景分类训练，得到场景分类权重模型；

203、基于预置的图像采集终端采集待处理的目标图像；

204、将目标图像输入场景分类权重模型，其中，场景分类权重模型包括：第一卷积网络、特征提取网络、第二卷积网络和全连接网络；

其中，本实施例中共有6类生物，分别为High-Conc、Noctiluca、Phaeocystis、Pteropoda、Shrimp、Low-den，High-Conc包含546张图像数据，Noctiluca包含1060张图像数据，Phaeocystis包含768张图像数据，Pteropoda包含508张图像数据，Shrimp包含336张图像数据，Low-den包含766张图像数据。同时服务器将场景类别数据集合输入预置的训练模型进行浮游生物场景分类训练，得到场景分类权重模型，基于预置的图像采集终端采集待处理的目标图像，将目标图像输入场景分类权重模型，其中，场景分类权重模型包括：第一卷积网络、特征提取网络、第二卷积网络和全连接网络。

205、通过场景分类权重模型对目标图像进行场景分类预测，得到初始场景分类结果；

具体的，通过场景分类权重模型中的第一卷积网络对目标图像进行卷积运算，得到第一卷积特征；将第一卷积特征输入特征提取网络进行特征提取处理，得到目标特征数据；将目标特征数据输入第二卷积网络进行卷积运算，得到第二卷积特征；将第二卷积特征输入全连接网络进行场景分类预测，输出初始场景分类结果。

其中，具体的，场景分类权重模型包括：

第一块：由24个步长为2，大小为3*3的卷积核构成的卷积层与一个大小为3*3的最大池化层组合而成。

第二块：由三个ST2块与三个ST1块间隔组成。

第三块：由2048个步长为1，大小为1*1的卷积核构成的卷积层。

第四块：由一个大小为7*7的全局池化层与一个输出为1*k的全连接层FC组成。所述全连接层中的k为场景类别数据集合S的总数量。

具体的，所述第二块ST2块主要包括第一部分与第二部分，第二部结果与第一部分的特征连接层相连。其中，所述第一部分依次包括：卷积核大小为1*1的卷积层、数据归一化层、激活函数层、卷积核大小为3*3的分组卷积、数据归一化层、卷积核大小为1*1的卷积层、数据归一化层、激活函数层、特征连接层、通道重排层；其中，所述第二部分依次包括：卷积核大小为3*3的分组卷积、数据归一化层、卷积核大小为1*1的卷积层、数据归一化层、激活函数层。

具体的，所述第二块ST1块依次包括：通道划分层、卷积核大小为1*1的卷积层、数据归一化层、激活函数层、卷积核大小为3*3的分组卷积、数据归一化层、卷积核大小为1*1的卷积层、数据归一化层、激活函数层、特征连接层、通道重排层；其中，所述通道划分层与特征连接层进行拼接。

具体的，将第一卷积特征输入特征提取网络，其中，特征提取网络包括：第一特征提取层和第二特征提取层；通过第一特征提取层对第一卷积特征进行卷积特征运算，得到初始特征数据；通过第二特征提取层对初始特征数据进行特征归一化处理，得到目标特征数据。

具体的，将第一卷积特征输入第一特征提取层，其中，第一特征提取层包括：第一特征处理块和第二特征处理块；通过第一特征处理块和第二特征处理块对第一卷积特征进行处理，得到初始特征数据。

具体的，将初始特征数据输入第二特征提取层，其中，第二特征提取层包括：通道划分层、卷积层、归一化层、激活函数层以及特征连接层；通过第二特征提取层对初始特征数据进行特征处理和归一化运算，得到目标特征数据。

206、对初始场景分类结果进行预处理操作，得到目标场景优化结果。

具体的，根据初始场景分类结果从预置的多个候选预处理策略选取目标预处理策略；根据目标预处理策略对初始场景分类结果进行预处理操作，得到目标场景优化结果。

其中，浮游生物场景分类网络架构采用自适应场景类别，场景分类预测概率值最高的场景即为最终结果，预测结果集合SP＝(S1，P1，S2，P2，...，Sk，Pk)中k为所有场景类别总数，Sk为实际场景类别，Pk为预测场景类别，具体的，集合SP的子集S＝(High-Conc，Noctiluca，Phaeocystis，Pteropoda，Shrimp，Low-den)，Pk为最大预测概率对应的Sk，其每个场景Sk对应的概率值计算公式为：

其中，g[S

本发明实施例中，基于预设的场景类别总数构建场景类别数据集合；将场景类别数据集合输入预置的训练模型进行浮游生物场景分类训练，得到场景分类权重模型；获取待处理的目标图像，并将目标图像输入场景分类权重模型进行场景分类预测，得到初始场景分类结果；对初始场景分类结果进行预处理操作，得到目标场景优化结果。本发明提高对浮游生物的分类场景构建深度学习预测模型，进而提高了浮游生物的场景分类准确率。

上面对本发明实施例中浮游生物场景分类方法进行了描述，下面对本发明实施例中浮游生物场景分类装置进行描述，请参阅图3，本发明实施例中浮游生物场景分类装置一个实施例包括：

构建模块301，用于基于预设的场景类别总数构建场景类别数据集合；

训练模块302，用于将所述场景类别数据集合输入预置的训练模型进行浮游生物场景分类训练，得到场景分类权重模型；

预测模块303，用于获取待处理的目标图像，并将所述目标图像输入所述场景分类权重模型进行场景分类预测，得到初始场景分类结果；

处理模块304，用于对所述初始场景分类结果进行预处理操作，得到目标场景优化结果。

本发明实施例中，基于预设的场景类别总数构建场景类别数据集合；将所述场景类别数据集合输入预置的训练模型进行浮游生物场景分类训练，得到场景分类权重模型；获取待处理的目标图像，并将所述目标图像输入所述场景分类权重模型进行场景分类预测，得到初始场景分类结果；对所述初始场景分类结果进行预处理操作，得到目标场景优化结果。本发明提高对浮游生物的分类场景构建深度学习预测模型，进而提高了浮游生物的场景分类准确率。

请参阅图4，本发明实施例中浮游生物场景分类装置另一个实施例包括：

构建模块301，用于基于预设的场景类别总数构建场景类别数据集合；

训练模块302，用于将所述场景类别数据集合输入预置的训练模型进行浮游生物场景分类训练，得到场景分类权重模型；

预测模块303，用于获取待处理的目标图像，并将所述目标图像输入所述场景分类权重模型进行场景分类预测，得到初始场景分类结果；

处理模块304，用于对所述初始场景分类结果进行预处理操作，得到目标场景优化结果。

可选的，所述预测模块303还包括：

采集单元3031，用于基于预置的图像采集终端采集待处理的目标图像；

输入单元3032，用于将所述目标图像输入所述场景分类权重模型，其中，所述场景分类权重模型包括：第一卷积网络、特征提取网络、第二卷积网络和全连接网络；

预测单元3033，用于通过所述场景分类权重模型对所述目标图像进行场景分类预测，得到初始场景分类结果。

可选的，所述预测单元3033还包括：

运算子单元，用于通过所述场景分类权重模型中的第一卷积网络对所述目标图像进行卷积运算，得到第一卷积特征；

提取子单元，用于将所述第一卷积特征输入所述特征提取网络进行特征提取处理，得到目标特征数据；

处理子单元，用于将所述目标特征数据输入所述第二卷积网络进行卷积运算，得到第二卷积特征；

预测子单元，用于将所述第二卷积特征输入所述全连接网络进行场景分类预测，输出初始场景分类结果。

可选的，所述提取子单元具体用于：

将所述第一卷积特征输入所述特征提取网络，其中，所述特征提取网络包括：第一特征提取层和第二特征提取层；通过所述第一特征提取层对所述第一卷积特征进行卷积特征运算，得到初始特征数据；通过所述第二特征提取层对所述初始特征数据进行特征归一化处理，得到目标特征数据。

可选的，所述提取子单元还用于：

将所述第一卷积特征输入所述第一特征提取层，其中，所述第一特征提取层包括：第一特征处理块和第二特征处理块；通过所述第一特征处理块和所述第二特征处理块对所述第一卷积特征进行处理，得到初始特征数据。

可选的，所述提取子单元还用于：

将所述初始特征数据输入所述第二特征提取层，其中，所述第二特征提取层包括：通道划分层、卷积层、归一化层、激活函数层以及特征连接层；通过所述第二特征提取层对所述初始特征数据进行特征处理和归一化运算，得到目标特征数据。

可选的，所述处理模块304具体用于：根据所述初始场景分类结果从预置的多个候选预处理策略选取目标预处理策略；根据所述目标预处理策略对所述初始场景分类结果进行预处理操作，得到目标场景优化结果。

本发明实施例中，基于预设的场景类别总数构建场景类别数据集合；将所述场景类别数据集合输入预置的训练模型进行浮游生物场景分类训练，得到场景分类权重模型；获取待处理的目标图像，并将所述目标图像输入所述场景分类权重模型进行场景分类预测，得到初始场景分类结果；对所述初始场景分类结果进行预处理操作，得到目标场景优化结果。本发明提高对浮游生物的分类场景构建深度学习预测模型，进而提高了浮游生物的场景分类准确率。

上面图3和图4从模块化功能实体的角度对本发明实施例中的浮游生物场景分类装置进行详细描述，下面从硬件处理的角度对本发明实施例中浮游生物场景分类设备进行详细描述。

图5是本发明实施例提供的一种浮游生物场景分类设备的结构示意图，该浮游生物场景分类设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对浮游生物场景分类设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在浮游生物场景分类设备500上执行存储介质530中的一系列指令操作。

浮游生物场景分类设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的浮游生物场景分类设备结构并不构成对浮游生物场景分类设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种浮游生物场景分类设备，所述浮游生物场景分类设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述浮游生物场景分类方法的步骤。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述浮游生物场景分类方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。