一种南美白对虾表型数据测定方法、装置、计算机设备及存储介质

技术领域

本发明属于计算机视觉领域，基于计算机视觉实现测量，具体涉及一种南美白对虾表型数据测定方法、装置、计算机设备及存储介质。

背景技术

长期以来，传统的测量南美白对虾的表型数据的方法主要是利用人工、手工接触式测量其外形尺寸、重量等相关的参数。然而，这种方法极易受人工的经验、习惯、专业技能水平等主观因素以及外部环境干扰，即不同环境、不同测量人员测量的结果之间往往存在不小的误差，测量结果的系统误差无法控制，从而导致测量结果不平衡、标准不一致、出错率高。另一方面，人工测量表型数据的方法需要大量的人力和时间，检测过程耗时耗力。同时，水产生物敏感性强，极易在人工接触式的测量过程中受到伤害，甚至可能导致疾病传播与水环境污染，而影响水产生物的正常生长。市场上也少量的出现一些基于计算机视觉的鱼表型数据测量方法，多是离水测量，且测量的指标比较少，这不仅依然会给鱼带来了较大的应激反应，而且限定条件比较多。

二十一世纪以来，随着计算机信息技术、光学成像技术、图像处理算法等技术的高速发展，基于机器学习的计算机视觉算法在各个领域都发挥了极其重要的作用，因其非接触性、高精度性、可量化性等优点，目前已经广泛应用于动物自动识别研究领域。因此，面对水产养殖业的需要，传统的人工接触式测量方法也逐渐被基于计算机视觉技术的自动化检测方法代替。与传统的人工接触式测量方法相比，计算机视觉处理方法更加快速、客观、准确。在利用计算机视觉技术进行水产生物视觉相关的属性测量方面，许多研究人员已经开展了一系列的研究，包括鱼、虾、蟹、贝等水产生物。

然而，传统的计算机视觉算法由于算法的特点，算法运行速度虽然较人工测量有了较大的改进，但还是无法满足发展愈发快速的水产养殖业的需求。同时，基于传统图像处理算法和机器学习的水产生物测量系统鲁棒性差，对变换的环境和水产生物的形态变换适应性很差。另一方面，虽然计算机视觉算法能消除人工测量时人工的主观性带来的误差，保证测量结果的标准一致，但受限于算法性能，往往不能达到较高的精度。

虾类作为水产品中最重要的部分之一，在虾类养殖中，虾体的形状、尺寸、颜色及纹理等信息是一项非常重要的基础信息，不仅能直观地表现虾的生长状况，帮助养殖人员更方便地进行喂养、筛选、分级等，同时也能帮助虾类科研人员进行相关的基础研究。长期以来，传统的测量水产生物的表型数据的方法主要是利用人工、手工接触式测量水产生物的尺寸、重量等相关的参数。然而，这种方法极易受人工的经验、习惯、专业技能水平等主观因素以及外部环境干扰，从而导致测量结果不平衡、标准不一致、出错率高。另一方面，人工测量表型数据的方法需要大量的人力和时间，检测过程耗时耗力。同时，水产生物敏感性强，极易在人工接触式的测量过程中受到伤害，甚至可能导致疾病传播与水环境污染，而影响水产生物的正常生长。

因此，研究快速、客观、准确和非接触式的自动化测量方法，对水产养殖业的持续健康高效发展有着至关重要的作用。传统的南美白对虾表型数据测定方法，其存在的问题可以总结如下：

1、检测方法需要大量的人力物力，且随着测量指标的增加而增加，效率比较低。

2、方法易受经验、习惯、偏好等主观因素和外部环境干扰的影响，致使检测过程耗时费力，检测结果主观性强、一致性差、出错率高，无法形成一个统一的标准。

3、由于对虾个体脱离水后存在一定的应激反应，且长时间脱水，接触式的测量方法会对对虾个体的活性造成一定的影响，对后续的育种研究造成一定的干扰。

由于关键点水产生物形态参数的强关联性以及其在图像处理算法中的易检出性，从20世纪80年代开始，基于静态图像的关键点检测算法已经开始应用于水产生物的形态测量的研究中。Irving等在鱼游过特定的通道时，拍摄鱼的侧面图像，通过图像处理的方式检测鱼的头尾关键点，计算鱼的长度，再根据鱼的长度来预测鱼的体重。Lines等将时间间隔相邻的两张图片相减，得到的图像中鱼头部分因鱼的运动而出现“新月形”，用鲁棒性较好的二进制模式分类器识别鱼头关键点，再根据鱼体的大概位置和方向用点分布模型(PointDistribution Model,PDM)识别鱼的边界关键点，计算鱼的表型数据，并根据鱼的长度预测鱼的体重。林妙玲等通过摄像头采集虾的图像，通过阈值分割算法和形态学开闭运算平滑处理，提取虾的关键点，并构建轮廓曲线，计算虾的长度，再利用小波变换低通滤波进行虾类的姿势识别，确定虾头尾朝向，再进行虾头部和身体连接点的识别算法，计算头长和体长。这些初步的研究表明了计算机视觉技术在水产生物生产和养殖中的可行性和相比于传统手工测量的优势。然而，这些算法大多都有鲁棒性差，精度不稳定，环境要求苛刻等特点，很难应用于实际研究中。

综上可知，南美白对虾类表型数据测量方法研究还是在手工测量为主，在对虾加工领域，采用了计算机视觉算法来实现，但带水无约束测定还没有相应的研究成果，现有技术中测量对虾表型数据存在一定的问题，列举如下：

1、对于传统图像处理中，通过获取图像轮廓，在轮廓上通过构建特定的特征寻找关键点，再通过关键点获取最终的表型数据，这种方法在对虾表型数据测定方面有一定的研究，但由于虾体的特殊性，传统的特征提取存在难点，传统方法不易实现活体测量。

2、现阶段大部分的表型数据人工测量方法都是进行脱水测量，对于对虾的活性具有一定的损害，没有一个通用的，具体的测量方案。

3、采用人工的测量方法测量的参数不是很多，对于后续的研究指导意义较少。

因此，如何提升南美白对虾表型数据测定精度和检测速度，是本领域亟待解决的问题。

发明内容

本发明的目的是针对现有技术的缺陷，提供一种南美白对虾表型数据测定方法，以南美白对虾为研究对象，实现了南美白对虾在水中无约束状态下非接触的表型数据的测量。

为了实现以上目的，本发明采用以下技术方案：

一种南美白对虾表型数据测定方法，其特征在于，包括步骤：

S1、采集南美白对虾的侧面和俯视图像样本；

S2、采用yolo3算法进行俯视图和侧视图图像的目标检测，确定南美白对虾的具体位置，得到南美白对虾的包围盒信息，将南美白对虾的图像裁剪出来作为下一步骤的输入；

S3、基于Hourglassnet深度学习网络模型检测南美白对虾的关键点，并获取关键点坐标信息；

S4、利用提取到的关键点坐标信息，构建出南美白对虾在水中的姿势骨架结构，进行南美白对虾姿势估计；

S5、计算南美白对虾表型数据：根据获取得到的关键点坐标信息，结合三维空间变换以及比例参数计算得到南美白对虾表型数据。

进一步地，所述步骤S1包括：将装满3/4水的水盒内放入南美白对虾后，将水盒放入图像样本采集设备，在该设备的上方和左侧布置工业相机，启动工业相机，采集放到水盒内南美白对虾的侧面和俯视图像样本。

进一步地，所述步骤S3包括：检测出南美白对虾的包围盒bounding box边框信息后，将裁剪得到的南美白对虾的图像输入到Hourglassnet网络中，获取到俯视图和侧视图的不同的关键点定位坐标；其中，侧视图中需检测19个关键点，依据点的位置顺序排列；在俯视图上，需检测23个关键点。

进一步地，所述步骤S3中通过俯视图检测模块获取俯视图的关键点的信息，俯视图检测模块包含两个级联的4阶沙漏模块和中继监督模块，每个沙漏模块由残差模块通过残差相加保留原始信息，使得沙漏模块能够在不同尺度下学习特征，并尽可能地保留原有的特征；中继监督模块对每个沙漏模块进行中间预测，即计算每个沙漏模块后的训练损失，来帮助后一阶段的沙漏模块的训练。

进一步地，所述步骤S3中通过侧视图检测模块获取侧视图的关键点，所述侧视图检测模块使用并行连接高分辨率到低分辨率的子网取代了俯视图检测模块中的中继监督模块和沙漏模块，在大幅减少模型参数的同时，通过在并行的多分辨率子网络上反复交换信息来进行多尺度的重复融合来保持关键点检测的精度。

进一步地，所述步骤S5包括：根据从侧视图和俯视图获取得到的关键点的信息，结合三维变换提取点的长度；在俯视图图上，将俯视图的关键点坐标信息分段处理提取出俯视图南美白对虾的分段曲线角度，在侧视图上，结合俯视图获取得到的南美白对虾曲线分段角度，计算出南美白对虾表型数据像素值，然后结合实验获取标尺在水中的比例尺信息，计算出最终的南美白对虾表型数据。

进一步地，所述南美白对虾表型数据包括体长、全长、头长、体宽、体高。

本发明还提供了一种南美白对虾表型数据测定装置，其特征在于，包括：

数据采集单元，采集南美白对虾的侧面和俯视图像样本；

目标检测单元，确定南美白对虾的具体位置，得到南美白对虾的包围盒信息，将南美白对虾的图像裁剪出来作为下一步骤的输入；

关键点定位单元，基于Hourglassnet深度学习网络模型检测南美白对虾的关键点，并获取关键点坐标信息；

姿势骨架构建单元，利用提取到的关键点坐标信息，构建出南美白对虾在水中的姿势骨架结构，进行南美白对虾姿势估计；

表型数据计算单元，根据获取得到的关键点坐标信息，结合三维空间变换以及比例参数计算得到南美白对虾表型数据。

本发明还提供了一种计算机设备，其特征在于，所述设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如上述的方法。

本发明还提供了一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如上述的方法。

本发明公开的一种南美白对虾表型数据测定方法及装置，与现有技术相比，具有如下优点：

1、本发明中南美白对虾在水中身体完全自然展开，表型数据关键点位置更准确，无论是人工测量，还是离水采用计算机视觉进行南美白对虾表型数据测量，虾体都会不同程度的受到挤压，影响了表型数据起始位置的坐标，而采用本发明的方法，虾体关键点位置是在鱼体自然伸展状态下获得的，位置更准确。

2、本发明中活体非接触一次获取5种表型数据，尽可能的减小了南美白对虾的应激反应；本发明的方法测量对虾表型数据时对虾处在水中自然游动状态下，表型数据整个测定过程在1秒内完成，减少了接触造成的应激反应。

3、本发明的测量方法并没有对虾体的姿态进行约束，允许虾体在水盒内自由游动，即使虾体弯曲，本方法也可以一次性准确的获取南美白对虾的5种表型数据，算法鲁棒性强。因此，本发明中南美白对虾表型数据在测量过程中，没有严格的约束，增强了算法的鲁棒性。

4、本发明将人体姿势关键点检测的深度学习网络模型拓展到南美白对虾的表型测定系统，本发明提出了42个南美白对虾虾体关键点检测，提出了HourglassNet和HR net模型结合的南美白对虾的表型检测算法，提高了检测精度和检测速度。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供对虾表型数据研究指标图；

图2为本发明实施例提供的南美白对虾俯视图和侧视图图像采集设备结构示意图；

图3为本发明实施例提供的南美白对虾俯视图关键点标记；

图4为本发明实施例提供的南美白对虾侧视图关键点标记；

图5为本发明实施例提供的关键点检测整体网络结构示意图，其中:(a)读取图像；(b)目标检测模块；(c)；经过目标检测得到精确目标定位；(d)关键点检测模块；(e)最终输出结果包括虾的关键点及虾运动姿态；

图6为本发明实施例提供的俯视图检测模块整体网络结构；

图7为本发明实施例提供的俯视图检测模块中的改进版沙漏模块；

图8为本发明实施例提供的俯视图检测模块中的中继监督模块；

图9为本发明实施例提供的侧视图检测模块；

图10为在本发明实施例提供的虾关键点对应生成的概率热图，其中：(a)关键点对应原图；(b)生成的概率热图；

图11为在本发明实施例提供的关键点检测模型训练参数，其中：(a)俯视图检测模型训练过程；(b)侧视图检测模型训练过程；

图12为在本发明实施例提供的关键点检测结果，其中：(a)待检测图像(b)检测结果。

图13为在本发明实施例中三维空间变换图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

术语解释：

关键点：南美白对虾表型数据测量时需要的一些定位点，本发明专利中称为关键点。

表型数据：南美白对虾生长过程中，需要测量的与南美白对虾形态有关的数据指标。

高通量：一次快速完成多个指标测量。

本实施例为一种南美白对虾表型数据测定方法，本发明的研究对象为南美白对虾，研究的指标如下图1所示，包括体长(AL)、全长(BL)、头长(CL)、体宽(CW)、体高(CH)。具体包括步骤：

S1、采集南美白对虾的侧面和俯视图像样本；

为由于活体南美白对虾在水中的姿势并非时时刻刻保持一个直线状态，大部分状态为弯曲的，无法通过一个摄像头精准有效的测量出鱼的表型数据，为此通过两个摄像头分别提取出南美白对虾个体在密闭盒子内的俯视图和侧视图图像。具体地，将装满3/4水的水盒内放入南美白对虾后，将水盒放入图像样本采集设备，在该设备的上面和左侧布置工业相机，启动工业相机，采集放到水盒内南美白对虾的侧面和俯视图像样本。

为了高效且精准地获取虾的表型数据，本实施例中分别对俯视图和侧视图的虾进行关键点的标定，见图3和图4。

其中，各点标记说明如下表1和表2所示。

表1对虾俯视图关键点标记说明

表2对虾侧视图关键点标记说明

因此，本实施例搭建一体式的图像采集系统，分别采集10000张俯视角度和侧视角度的虾图像，基于上述的标记方式，对其进行完全标注，作为本实施例的训练数据集。

S2、采用yolo3算法进行俯视图和侧视图图像的目标检测，确定南美白对虾的具体位置，得到南美白对虾的包围盒信息，将南美白对虾的图像裁剪出来作为下一步骤的输入；

S3、基于Hourglassnet深度学习网络模型检测南美白对虾的关键点，并获取关键点坐标信息；

本实施例中检测出南美白对虾的包围盒bounding box边框信息后，将裁剪得到的南美白对虾的图像输入到Hourglassnet网络中，获取到俯视图和侧视图的不同的关键点定位坐标；其中，侧视图中需检测19个关键点，依据点的位置顺序排列；在俯视图上，需检测23个关键点。

本实施例基于南美白对虾在图像采集硬件中俯视图和侧视图的特点，考虑运行精度及运行效率的平衡，设计了新型的虾检测算法，整体模型架构如图5所示，共分成目标检测子模块，俯视图检测子模块，侧视图检测子模块。

其中，图6所示为俯视图检测模块包含两个级联的4阶沙漏模块和中继监督模块。每个沙漏模块由残差模块通过如图7所示的结构组成，通过残差相加保留原始信息，使得沙漏模块能够在不同尺度下学习特征，并尽可能地保留原有的特征。

同时，为了在整个网络结构中堆叠多个沙漏模块，且防止因为网络深度导致的梯度消失问题，从而使得网络能不断重复自底向上及自顶向下的提取特征的过程以提高网络的可靠性。我们使用了中继监督模块来对每个沙漏模块进行中间预测，即计算每个沙漏模块后的训练损失，来帮助后一阶段的沙漏模块的训练，见图8。

与俯视图检测模块不同，本实施例中侧视图关键点结构简单且数量相比俯视图大幅减少，为了进一步加快算法整体效率，我们在侧视图检测模块中使用了更轻量级的网络结构，如图9所示，侧视图检测模块使用并行连接高分辨率到低分辨率的子网取代了俯视图检测模块中的中继监督模块和沙漏模块，在大幅减少模型参数的同时，通过在并行的多分辨率子网络上反复交换信息来进行多尺度的重复融合来保持关键点检测的精度。

S4、利用提取到的关键点坐标信息，构建出南美白对虾在水中的姿势骨架结构，进行南美白对虾姿势估计；

S5、计算南美白对虾表型数据：根据获取得到的关键点坐标信息，结合三维空间变换以及比例参数计算得到南美白对虾表型数据。

本实施例中根据从侧视图和俯视图获取得到的关键点的信息，结合三维变换提取点的长度；在俯视图图上，将俯视图的关键点坐标信息分段处理提取出俯视图南美白对虾的分段曲线角度，在侧视图上，结合俯视图获取得到的南美白对虾曲线分段角度，计算出南美白对虾表型数据像素值，然后结合实验获取标尺在水中的比例尺信息，计算出最终的南美白对虾表型数据。

具体为，根据获取得到的关键点，结合三维空间变换以及比例参数获取表型数据。因为获取到的点是从侧视图和俯视图得到，那么就需要结合三维变换提取点的长度，三维空间变换显示，三维空间实际长度计算，见图13。

在图13中显示的三维变换中，OA为三维空间中的物体真实长度，OA’为线段OA在平面YOZ上的投影，α为线段OA’与OY方向轴的夹角，β为先算OA在平面XOY上的投影与方向轴OY的夹角。由此，可以计算出OA的实际长度为：

根据从侧视图和俯视图获取得到的点的信息，结合三维空间变化，计算如下：

将侧视图得到的点综合处理，在俯视图图上，将俯视图的关键点坐标信息分段处理提取出俯视图对虾身的分段曲线角度，在侧视图上，结合俯视图获取得到的对虾身曲线分段角度，计算出对虾表型数据像素值，然后结合实验获取标尺在水中的比例尺信息，计算出最终的对虾体表型数据。

此外，为了训练得到鲁棒性强、高精度的关键点检测模型，本实施例以4000张图片作为训练集用于训练，其中输入图像大小分辨率为512X512，并将对应的真值坐标生成128X128的概率热图。本实施例用概率热图来表示关键点坐标，通过多元高斯模型计算生成的概率热图上每个像素点的概率值，即越接近关键点，对应的概率值越接近1，见图10。

在训练和推理过程中，本实施例使用一台配置为3.70GHz Intel i7-8700K CPU和NVIDIA RTX2080 SUPER图形卡的设备作为我们的训练设备。整体训练过程中，训练集准确率和验证集准确率变化，见图11；基于训练完的模型的预测结果，见图12。俯视图检测模型由于俯视图关键数量多，结构变化多等特点，训练速度要慢于侧视图，且最终的验证集准确率也略低于侧视图。最终，在训练结束时，俯视图验证集关键点检测准确率达到了97.57％，侧视图验证集关键点检测准确率达到了98.61％。

此外，为了验证本实施例的算法稳定性，基于关键点检测的结果和三维坐标变换方程，本实施例测量了20条南美白对虾数据样本，测量的相对平均误差见表3。然后同时对每条虾每次测定10次，记录测定10次的误差，来评定算法的稳定性。本实施例只列出了2条虾的10次测量结果，见表4和表5，从总体的实测数据估算可以发现本实施例算法稳定和可靠。

表3 20次测量平均相对误差

表4对虾表型10次测试结果(1)

表5对虾表型10次测试结果(2)

综上，本实施例的一种基于深度学习的南美白对虾表型数据测量方法，该方法实现了基于关键点检测思路的表型数据测量。本实施例可实现南美白对虾体长，全长，头长，体高和体宽的测量，全长和体长误差严格控制在5％误差以内，满足了实际应用的需求。同时系统在测量过程可以实时跟踪虾的运动，表型数据在1s内完成测定，满足生产过程快速准确采集的要求。

本实施例还提供了一种南美白对虾表型数据测定装置，包括：

数据采集单元，采集南美白对虾的侧面和俯视图像样本；

目标检测单元，确定南美白对虾的具体位置，得到南美白对虾的包围盒信息，将南美白对虾的图像裁剪出来作为下一步骤的输入；

关键点定位单元，基于Hourglassnet深度学习网络模型检测南美白对虾的关键点，并获取关键点坐标信息；

姿势骨架构建单元，利用提取到的关键点坐标信息，构建出南美白对虾在水中的姿势骨架结构，进行南美白对虾姿势估计；

表型数据计算单元，根据获取得到的关键点坐标信息，结合三维空间变换以及比例参数计算得到南美白对虾表型数据。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述南美白对虾姿势估计和南美白对虾表型数据测量装置和各单元块的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上述南美白对虾表型数据测量装置可以实现为一种计算机程序的形式，该计算机程序可以在计算机设备上运行。

计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。

该非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行一种南美白对虾表型数据测量方法。

该处理器用于提供计算和控制能力，以支撑整个计算机设备的运行。

该内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行一种南美白对虾表型数据测量方法。

该网络接口用于与其它设备进行网络通信。本领域技术人员可以理解，上述计算机设备结构仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器用于运行存储在存储器中的计算机程序，该程序实现实施例一所述的南美白对虾表型数据测量方法。

应当理解，在本申请实施例中，处理器可以是中央处理单元(Central ProcessingUnit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行实施例一所述的一种南美白对虾表型数据测量方法。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。