一种果实计数方法、装置及电子设备

技术领域

本申请属于深度学习卷积神经网络技术领域，尤其涉及一种果实计数方法、装置及电子设备。

背景技术

目前相关技术中，随着深度学习卷积神经网络技术在农业领域的广泛应用，对农业栽培、植保、测产等方方面面产生了较大的影响，极大的提升了农业生产的效率，明显的降低了生产的成本。

但是，使用简单的特征金字塔网络(FPN)进行特征融合，只能提升大目标物体的检测与识别，对小目标物体检测准确度仍然很低，达不到实用的级别。因此，如何提升对小目标物体(例如，果实)检测的准确度是目前业界亟待解决的难题。

发明内容

有鉴于此，本申请实施例提供了一种果实计数方法、装置及电子设备，以解决现有技术中对小目标物体检测准确度较低的问题。

本申请实施例的第一方面提供了一种果实计数方法，包括：获取果实图片；将果实图片输入至果实检测模型，以使得果实检测模型输出果实图片中各个果实的位置信息，其中果实检测模型中的第一卷积层模块的输出特征被输入至第二卷积层模块，第一卷积层模块用于处理果实整体特征，第二卷积层模块用于处理果实局部特征；根据所确定的果实的位置信息，确定果实图片所对应的果实数量。

本申请实施例的第二方面提供了一种果实计数装置，包括：获取单元，被配置为获取果实图片；处理单元，被配置为将果实图片输入至果实检测模型，以使得果实检测模型输出果实图片中各个果实的位置信息，其中果实检测模型中的第一卷积层模块的输出特征被输入至第二卷积层模块，第一卷积层模块用于处理果实整体特征，第二卷积层模块用于处理果实局部特征；确定单元，被配置为根据所确定的果实的位置信息，确定果实图片所对应的果实数量。

本申请实施例的第三方面提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法的步骤。

本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备实现如上述方法的步骤。

本申请实施例与现有技术相比存在的有益效果是：

通过本申请实施例，电子设备可以将果实图片输入至果实检测模型，以使得果实检测模型输出果实图片中各个果实的位置信息，其中果实检测模型中的第一卷积层模块的输出特征被输入至第二卷积层模块，第一卷积层模块用于处理果实整体特征，第二卷积层模块用于处理果实局部特征，以使得图片具有严格分类；根据所确定的果实的位置信息，确定果实图片所对应的果实数量。由此，将果实检测模型中的深层特征与浅层特征进行融合，可以提升对小目标物体的检测准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种果实计数方法的一示例的流程示意图；

图2是本申请实施例提供的在果实图片上的标注框的一示例的示意图；

图3是本申请实施例提供的果实检测模型的一示例的示意图；

图4是本申请实施例提供的一种提升在果实图片中存在遮挡果粒的检测准确度的一示例的示意图；

图5是本申请实施例提供的一种发送果实数量至客户端一示例的流程示意图；

图6是本申请实施例提供的一种果实计数方法的一示例的交互流程示意图；

图7是本申请实施例提供的一种果实计数装置的一示例的结构示意图；

图8是本申请实施例提供的电子设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

具体实现中，本申请实施例中描述的电子设备包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，上述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。

在接下来的讨论中，描述了包括显示器和触摸敏感表面的电子设备。然而，应当理解的是，电子设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。

电子设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。

可以在电子设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样，终端的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。

另外，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需说明的是，葡萄花期至幼果期疏果是葡萄整个生产过程中非常重要的一个环节，直接决定这葡萄品质的高低和价格，同时又是各种农事操作最为繁忙的时期，短短的一周时间，需要进行拉花、保果、无核化处理、打药、疏花疏果等一系列工作，提升工人的效率、降低生产升本、快速检验工人的工作质量是非常必要的。

基于深度学习的目标检测算法有两大主流方向，分别是两阶段(two-stage)模型和一阶段(one-stage)模型。两阶段模型以RCNN系列为代表，第一步是搜索出候选框，第二步是通过深度学习对候选框进行进一步的特征提取，确定候选框的目标类别与目标位置。两阶段模型因为其要对候选框进行大量搜索，以及对大量候选框进行卷积操作，使得计算比较耗时，不适合在实际高效场景中使用。一阶段模型以CenterNet和YOLO系列为代表，属于端到端的模型，直接从输入图片或者视频中提取特征，映射到目标物体的置信度、目标类别、以及目标位置，同时确定目标物体的类别与定位。由于田间场景复杂，而且葡萄果粒较小，属于小目标检测，早期的一阶段目标检测模型网络结构相对简单，即使YOLO-V3也仅仅使用了简单的特征金字塔网络(FPN)进行特征融合，即将深度卷积网络提取的特征从上往下传递到浅层卷积网络，这只能提升大目标物体的检测与识别，对小目标物体检测准确度仍然很低，达不到实用的级别。下面对本申请实施例提供的一种果实计数方法进行描述。

随着深度学习卷积神经网络技术在农业领域的广泛应用，对农业栽培、植保、测产等方方面面产生了较大的影响，极大的提升了农业生产的效率，明显的降低了生产的成本，本申请将深度学习卷积神经网络技术与葡萄幼果计数进行有机的结合，在领域内尚属首次。目前还没有专门针对葡萄幼果的计数系统，本申请可以很好的填补此项空白。

本申请公开了一种基于深度学习卷积神经网络的葡萄果实计数方法，包括：从葡萄果穗照片中分离出单个果粒，利用计算机视觉算法，提取果粒轮廓；对分离后的各果粒以其轮廓照片进行分类，果粒类型包括青果、黄果、红果、黑果，果粒状态包括无遮挡、1/3遮挡、2/3遮挡；使用各种类型、状态的果粒轮廓照片对深度卷积神经网络模型进行训练；使用验证照片对所述深度卷积神经网络模型进行验证；将待处理葡萄果穗照片输入到所述深度卷积神经网络模型中进行计数。可以对葡萄果粒进行快速准确地分类统计，同时还能对一批数量较大的样品进行自动编号、记录和统计。

在本文中，术语“果实”可以表示果穗或果粒，例如一个玉米棒是果穗，一颗玉米粒是果粒；一串葡萄是果穗，一颗葡萄是果粒，且都属于本申请实施例的实施范围内。

图1是本申请实施例提供的一种果实计数方法的一示例的流程示意图。关于本申请实施例方法的执行主体，可以是各种电子设备，例如客户端或服务器。

如图1所示，在步骤110中，获取果实图片。一示例性地，可以是由拍照客户端拍摄果实图片，以在本地进行相应的图片识别操作。另一示例性地，还可以是由拍照客户端将所拍摄的果实图片上传至服务器，以在云端进行相应的图片识别操作，且都属于本申请实施例的实施范围内。

在步骤120中，将果实图片输入至果实检测模型，以使得果实检测模型输出果实图片中各个果实的位置信息，其中果实检测模型中的第一卷积层模块的输出特征被输入至第二卷积层模块，第一卷积层模块用于处理果实整体特征，第二卷积层模块用于处理果实局部特征；示例性地，将果实图片输入至预先训练好的果实检测模型，此时果实检测模型会将果实图片中各个果实的位置信息一一识别并相应输出。示例性地，果实检测模型中的第一卷积层模块的输出特征被输入至第二卷积层模块，其中，第一卷积层模块的输出特征为在浅层卷积神经网络提取的特征简称浅层特征，第二卷积层模块的输出特征为在深层卷积神经网络提取的特征简称深层特征。例如，浅层卷积特征通常是颜色，边/角纹理特征等一些局部特征，深层特征通常是果实整体特征。果实检测模型中的深层特征被传递至浅层，并与浅层特征相融合，浅层特征被传递至深层，并与深层特征相融合；果实检测模型中的浅层特征被传递至深层，并与深层特征相融合，可以提升针对小目标物体的检测准确度。

关于果实检测模型的训练过程，可以是将果实图片作为输入数据输入至神经网络模型，将深层卷积特征从上往下传递至浅层卷积特征，并与浅层卷积特征融合，浅层卷积特征从下往上传递至深层卷积特征，并与深层卷积特征融合，这样反复将深层特征与浅层特征进行融合，如此融合方式，反复将深层特征与浅层特征相融合，以提升模型对小目标物体的检测准确度。基于融合后的特征输出预测结果，将预测结果与原始输入图片的标注对比，包括但不限于一一作差，并根据作差结果求得平均准确度，最后，选择平均准确度最高的模型作为训练好的果实检测模型。

早期的目标检测技术存在计算耗时，或者小目标检测准确度低的问题。针对计算耗时的问题，在本申请实施例中采用一阶段的检测网络技术。针对检测准确度低的问题，之前YOLO-V3等网络通过特征融合，将深层卷积网络提取的特征传递到浅层，改善了大目标检测的准确度，但是葡萄数穗计数是小目标检测场景，之前的如YOLO-V3等技术，其准确度也不高，无法实用。因此，在本申请实施例中，将从特征融合的角度进行优化，不仅考虑深层卷积提取的特征传递浅层，而且增加浅层卷积网络提取的特征传递到深层，反复进行不同卷积层的特征融合，以提升像葡萄等小目标的检测准确度。用于目标检测与识别的特征是通过对图像进行卷积操作所得到，不同的卷积层特征具有不同的语义表征，如浅层卷积特征通常是一些颜色，边/角纹理特征，中层卷积层表示物体的一部分，深层卷积层则表达整个完整的物体。因此，当图像在卷积操作时，深层卷积层将会忽略小目标的特征而展现整体物体特征，这样即使像YOLO-V3使用FPN(将深层特征从上往下传递给浅层特征)特征融合也无法有效检测到小目标物体。因此，本系统将增加从浅层特征从下往上传递到深层特征，将浅层特征与深层特征融合，提升对小目标物体的检测准确度。

在步骤130中，根据所确定的果实的位置信息，确定果实图片所对应的果实数量。示例性地，当电子设备将果实的位置信息确定之后，根据所确定的果实的位置信息来计算果实图片所对应的果穗或果粒数量。

示例性地，通过手机获取葡萄果实的照片，经过深度神经网络对照片中葡萄果实的特征提取，识别与定位出每颗葡萄果粒的位置，从而可以统计出一串葡萄的果粒数。该系统快速、准确，可以取代人工计数，节省人力成本，提升工作效率。

需说明的是，果实检测模型除了可以识别果实的位置信息之外，还可以是被果实的其他附加信息，例如颜色或果实状态，且都属于本申请实施例的实施范围内。示例性地，经过训练的果实检测模型能够结合不同果粒的位置坐标、颜色以及遮挡状态等信息确定出小目标物体(即果实图片中单个果粒)的数量，更多细节将在下文中展开。

结合应用场景来说，采用深度学习卷积神经网络技术，相比人工计数，用时更短，结果更精准；数据库对不同时期葡萄果穗的各种颜色的果粒进行目标框的标注，同时针对不同遮挡程度的果粒进行标注，以提升模型对遮挡果粒的识别准确性；所有入库的图片都经过严格的鉴别和分类，去除了重复、模糊的情况，数据库质量得到保证。在使用深度学习模型对图片进行训练前，会对数据进行增强，使得模型的泛化能力和鲁棒性更好。数据增强方法包括但不限于随机抖动缩放，图片亮度、HSV的改变，随机水平翻转和旋转，mixup，cutmix，mosaic，把一幅图像粘贴在另一幅图像中的随机位置等。葡萄果实计数算法的网络结构采用当前优秀的特征提取网络，包括但不限于CSPDarknet53、EfficientNet_B0-B7、Resnest50，以及MobileNet_V3、GhostNet、ShuffleNet_V2等。相比之前的计数算法，本申请最主要的优点在于特征融合层的改进，这里采用基于特征金字塔网络(FPN)的优化结构，包括但不限于PANet、NAS-FPN、BiFPN等网络结构，增加浅层卷积特征从下往上传递到深层卷积特征，与深层卷积特征融合，提升小目标物体检测的准确度。这样能够有针对性解决葡萄等小目标物体的检测准确度，帮助果农统计葡萄果粒数量，指导其进行农事操作。

针对上述步骤120的实施细节，在本申请实施例的一示例中，在电子设备将果实图片输入至果实检测模型之后，该方法还包括：基于果实检测模型，确定果实图片中各个果实的颜色，例如，果实颜色为青色、红色、黄色等。由此，可以得到不同颜色的果实所分别对应的数量。结合应用场景来说，假定成熟的果实一般是紫色，通过上述方案，可以有效识别出成熟果实的数量。

在本申请实施例的另一示例中，在将果实图片输入至果实检测模型，以使得果实检测模型输出果实图片中各个果实的位置信息之后，电子设备还可以根据所确定的各个果实的位置信息，为果实图片分别设置相应的第一标注框。示例性地，当果实的位置坐标确定以后，为果实图片的每个果实分别设置相应的第一标注框，例如，每个果实的第一标注框在果实图片上呈现框住相应果实的小方框，以提示果实图片中的各个果实的位置。在一些情况下，还可以在果实图片中添加各个框住果实的小方框的位置信息，能更直观地显示果实图片中的果实位置。图2是本申请实施例提供的在果实图片上的标注框的一示例的示意图，标注框可以参照如图2中的示例。

在本申请实施例的另一示例中，在将果实图片输入至果实检测模型，以使得果实检测模型输出果实图片中各个果实的位置信息之后，电子设备还可以根据所确定的各个果实的位置信息和颜色，为果实图片分别设置相应的第二标注框。示例性地，当果实的位置坐标和颜色信息被确定以后，可以为果实图片中的每个果实分别设置相应的第二标注框，例如可以标注出果实图片中不同颜色所分别对应的果实。针对上述步骤120的实施细节，在本申请实施例的一示例中，果实检测模型中设置有BiFPN(bidirectionalFeature ParymidNetwork,双向特征金字塔网络结构)模块，该模块用于将由第一卷积层模块所输出的特征输入至第二卷积层模块。示例性地，BiFPN模块将深层特征从上往下传递至浅层，同时也能够将浅层特征从下往上传递至深层。图3是根据本申请实施例提供的果实检测模型的一示例的结构原理示意图，如图3所示，通过BiFPN模块进行特征融合，可以得到果实图片中果实的类别(例如，状态和颜色，等)和果实位置。

示例性地，双向特征金字塔网络结构模块将深层特征与浅层特征反复地相互传递，能够使得深层特征与浅层特征反复地相互融合，以便提取出更加细微的特征。图4是本申请实施例提供的一种提升在果实图片中存在遮挡果粒的检测准确度的一示例的示意图。

如图4所示，在步骤410中，基于果实检测模型，确定果实图片中各个果实的果实状态。这里，果实状态可以是无遮挡、1/3遮挡、2/3遮挡与全遮挡等状态，由此利用果实检测模型能够对果实(例如，葡萄果粒)进行快速准确地状态分类。

在步骤420中，根据各个果实中对应果实状态为果实遮挡状态，使用soft-NMS(soft-non-maximum suppression,缓和的非极大值抑制算法)，以提升遮挡葡萄果粒的检测准确度。根据各个果实的果实遮挡状态，采用缓和的非极大值抑制算法，对葡萄果粒进行检测。

示例性地，根据各个果实的果实遮挡状态，采用缓和的非极大值抑制算法，对葡萄果粒进行检测，提升遮挡葡萄果粒的检测准确度。

图5是本申请实施例提供的一种发送果实数量至客户端一示例的流程示意图。

如图5所示，在步骤510中，服务器从拍照客户端接收果实图片。

在步骤520中，服务器根据所确定的果实的位置信息，确定果实图片所对应的果实数量。

其中步骤510与步骤520的技术细节和前面重复之处不再进行描述。

在步骤530中，服务器发送果实数量至拍照客户端。示例性地，在根据确定的果实的位置信息，确定果实图片所对应的果实数量之后，将果实数量发送至拍照客户端。

示例性地，确定果实图片所对应的果实数量之后，将果实数量发送至拍照客户端，果实具体数量能够在拍照客户端进行显示。由此，拍照客户端可以通过与云端交互果实图片而得到果实数量。

图6是本申请实施例提供的一种果实计数的一示例的交互流程示意图。

如图6所示，在步骤610中，服务器10从拍照客户端20接收果实图片。

在步骤620中，将果实图片输入至果实检测模型,输出果实图片中各个果实的位置信息。这里，果实检测模型中的深层特征与浅层特征可以反复地相互传递与融合，可以得到较精确的果实图片中各个果实的位置坐标等信息。

在步骤630中，基于果实检测模型，确定果实图片中各个果实的颜色与状态。示例性地，基于果实检测模型中的深层特征与浅层特征的反复的相互传递与融合的机制，提取出果实的各种特征，根据相应特征能够识别出果实图片中各个果实的颜色与遮挡状态等信息。

在步骤640中，根据所确定的各个果实的位置信息和颜色，为果实图片分别设置相应的第一标注框与第二标注框。示例性地，基于果实检测模型中识别出的各个果实的位置坐标信息和颜色等信息，为果实图片的每个果实分别设置相应的第一标注框与第二标注框。

在步骤650中，根据所确定的果实的位置信息，确定果实图片所对应的果实数量。示例性地，当果实的位置信息确定之后，根据所确定的果实的位置信息来计算果实图片所对应的果穗或果粒数量。

在步骤660中，服务器10发送果实数量至拍照客户端20，示例性地，服务器10根据确定的果实的位置信息，确定果实图片所对应的果实数量之后，服务器10将果实数量发送至拍照客户端20。

示例性地，服务器10确定果实图片所对应的果实数量之后，拍照客户端20接收到果实的具体数量，果实具体数量能够在拍照客户端20进行显示。

结合应用场景来说，用户只需要用手机拍摄一张图片，就可以自动统计出果实的数量，能快速地算出结果，估算过程快速、准确。示例性地，就亩产4000斤葡萄果园的管理量而言，工人每清数一串果穗需要的时间为15秒左右，使用本发明每亩节约时间超过11.1个小时，每个工人费用150元/天，一天工作8小时计，每亩可降低费用208元。

通过本申请实施例，基于深度学习技术通过提取图像或者视频的特征，用以区分目标物体与其他物体，从而实现对目标物体的检测与识别。此外，可以将这种目标检测技术应用在葡萄种植上，对葡萄的果穗和果粒进行计数统计，辅助果农基于大数据智能管理葡萄的生长，获取最大利润。图7是本申请实施例提供的一种果实计数装置的一示例的结构示意图。

本申请实施例提供了一种果实计数装置，为便于说明，仅示出与本申请相关的部分，如图7所示，一种果实计数装置包括获取单元710、处理单元720和确定单元730。

获取单元710，被配置为获取果实图片。

处理单元720，被配置为将果实图片输入至果实检测模型，以使得果实检测模型输出果实图片中各个果实的位置信息，其中果实检测模型中的第一卷积层模块的输出特征被输入至第二卷积层模块，第一卷积层模块用于处理果实整体特征，第二卷积层模块用于处理果实局部特征。

确定单元730，被配置为根据所确定的果实的位置信息，确定果实图片所对应的果实数量。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图8是本申请实施例提供的电子设备的示意图。

如图8所示，该实施例的电子设备800包括：处理器810、存储器620以及存储在所述存储器820中并可在所述处理器810上运行的计算机程序830。所述处理器810执行所述计算机程序830时实现上述果实计数方法实施例中的步骤，例如图1所示的步骤110至130。或者，所述处理器810执行所述计算机程序830时实现上述各装置实施例中各模块/单元的功能，例如图7所示单元710至730的功能。

示例性的，所述计算机程序830可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器820中，并由所述处理器810执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序830在所述电子设备800中的执行过程。例如，所述计算机程序830可以被分割成获取程序模块、处理程序模块以及确定程序模块，各程序模块具体功能如下：

获取程序模块,被配置为获取果实图片；

处理程序模块,被配置为将果实图片输入至果实检测模型，以使得果实检测模型输出果实图片中各个果实的位置信息，其中果实检测模型中的第一卷积层模块的输出特征被输入至第二卷积层模块，第一卷积层模块用于处理果实整体特征，第二卷积层模块用于处理果实局部特征；

确定程序模块,根据所确定的果实的位置信息，确定果实图片所对应的果实数量。

所述电子设备800可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器810、存储器820。本领域技术人员可以理解，图8仅仅是电子设备800的示例，并不构成对电子设备800的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器810可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器820可以是所述电子设备800的内部存储单元，例如电子设备800的硬盘或内存。所述存储器820也可以是所述电子设备800的外部存储设备，例如所述电子设备800上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器820还可以既包括所述电子设备800的内部存储单元也包括外部存储设备。所述存储器820用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器820还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。